日志分析計算效率問題

moartel

日志文件，每分鐘大概1G的文件，需要分析入庫

文件格式
xip:1.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
xip:1.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
xip:2.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
xip:2.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
xip:3.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
xip:3.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
xip:1.1.1.1 yip:2.2.2.2 zip:3.3.3.3 time(3434) /?abid=3455
。。。。。
。。。。。
。。。。。


日志量太大，需要對每分鐘的日志進(jìn)行處理后，進(jìn)行入庫。

表結(jié)構(gòu)
xip         num     time
1.1.1.1   3          3434

xip 列為xip中的獨(dú)立ip（不重復(fù)）
num 列為對應(yīng)ip的重復(fù)次數(shù)
time 列為平均的響應(yīng)時間

怎么實現(xiàn)效率比較高

我現(xiàn)在的處理方法：
匹配
        start = line.find('xip:')
        end = start + line[start:].find(' ')
        sip = line[start+4:end]

然后把需要的數(shù)據(jù)都放進(jìn)列表中
val1 = xip,time
l1.append(val1)

然后進(jìn)行計算每個ip的重復(fù)次數(shù) 和 平均響應(yīng)時間
d1={};
d2={};
for xip,avg in l1:
   if xip in d1:
      d1[xip] = int(d1[xip])+int(avg);
      d2[xip] = d2[xip]+1;
   else:
      d1[xip] = avg;
      d2[xip] = 1;
l2=[];
for xip in d1:
   val2=xip,d2[xip],int(d1[xip])/int(d2[xip])
   l2.append(val2)
   print val2

timespace

回復(fù) 1# moartel
有沒有統(tǒng)計你這種方法的處理能力是多少？


   

timespace

回復(fù) 1# moartel
1.關(guān)鍵要看你原方案的處理能力，確定瓶頸在IO還是CPU。

2.即使不管1是何情形，原代碼也有不必要的冗余：l1沒必要存在；無需兩個dict來保存次數(shù)與時間

info = {} # ip為key，(次數(shù)，時間之和)為value

for line in f:
  xip, time = get_value(line) #提取字段后，直接處理，無需中間數(shù)組保存

  cnt, total = info.get(xip, (0, 0))
  info[xip] = cnt + 1, total + time

#然后遍歷info，輸出次數(shù)，總時間/次數(shù)=平均時間
  



   

moartel

回復(fù) 3# timespace

去掉了l1
去掉了d2

988M的日志，1200351 行

處理時間從22s，提升到14s

cpu 是瓶頸。

感謝。