請教各位高手

chengxiaowei

最近領(lǐng)導(dǎo)讓我分析squid里面的數(shù)據(jù)，要達到的要求是 某些IP地址（192。168.11.65-192.168.11.111）最近一個月都上了哪些網(wǎng)站。 squid數(shù)據(jù)在/var/log/squid/access.log.*.gz  比如分析1號的，就分析access.log.01.gz,這個壓縮文件大小有70多MB。 我寫了一個小腳本，里面用了zgrep -f IP列表文件 /var/log/squid/access.log.01.gz > ~chu/tmp.log      命令，發(fā)現(xiàn)執(zhí)行的速度非常慢，需要20多分鐘，而且抓出來tmp.log大小達到了70多MB，我想知道，我怎么才能盡快的分析這個文件？   因為我發(fā)現(xiàn)在access.log.01.gz中有很多記錄是這樣的，記錄了IP和上的網(wǎng)站，那些網(wǎng)站有很多重復(fù)的，我想輸出的時候能否不要這些重復(fù)的網(wǎng)站，這些重復(fù)的網(wǎng)站只要出現(xiàn)一次就夠了。  不知道能否實現(xiàn)？

公司還安裝了sarg來分析squid.  我想知道如果我上面的要求滿足不了，那么用sarg能否滿足我的要求分析出我要的數(shù)據(jù)嗎？ 謝謝！

welcome008

貼出你的文件/var/log/squid/access.log.01先

給出你想要的結(jié)果樣式先

wstar

原帖由 welcome008 于 2008-9-24 21:34 發(fā)表
貼出你的文件/var/log/squid/access.log.01先

給出你想要的結(jié)果樣式先

呵呵，就是這樣。

7717060

cat access.log | grep 產(chǎn)找IP范圍 | awk '{print $7}' | cut -c8- | sort -r | uniq -c | sort -n
第一張圖是原始數(shù)據(jù)，第二張圖是經(jīng)過以上語句排序后數(shù)據(jù)，訪問率最高的在最下邊.希望能幫上忙

[ 本帖最后由 7717060 于 2008-9-24 22:00 編輯 ]

codecraft

你這領(lǐng)導(dǎo)太陰暗了。呵呵、。。。

springwind426

1. 
   
2. zcat 壓縮的日志文件 | awk '/IP/{a[$網(wǎng)址所在的字段序號]=1}END{for(url in a)print url}
   

復(fù)制代碼

只是不知道效能怎么樣

Qiangxi

分析70M的數(shù)據(jù)用sed與awk吧

chengxiaowei

謝謝各位兄弟的回答，最后還是沒有搞好，只能人工來弄了。