如何用腳本來實(shí)現(xiàn)論壇日志分析

zhaowenhui

用腳本來實(shí)現(xiàn)論壇日志分析，要求實(shí)現(xiàn)以下3個(gè)功能，可一項(xiàng)一項(xiàng)實(shí)現(xiàn)，該怎么寫，高手指點(diǎn)，其中日志中fid為版塊ID，tid為帖子id.

1論壇每個(gè)板塊每周的PV，IP數(shù)統(tǒng)計(jì)
2 全論壇/每個(gè)板塊 每周的 新帖數(shù)/回帖數(shù)
3. 每個(gè)帖子每周的PV，IP，回帖數(shù)量


日志如下：


124.238.39.103 - - [03/Apr/2007:15:52:55 +0800] "GET /images/default/button_bg.gif HTTP/1.1" 200 149 "http://bbs.bbstest.com/viewthread.php?tid=52353&&fid=14&extra=page%3D1&act=1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
124.238.39.103 - - [03/Apr/2007:15:52:54 +0800] "GET /customavatars/jane1502@sohu.com/photo_1147950704.jpg HTTP/1.1" 200 79735 "http://bbs.bbstest.com/viewthread.php?tid=52353&&fid=14&extra=page%3D1&act=1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
124.238.39.103 - - [03/Apr/2007:15:52:54 +0800] "GET /customavatars/SW.5@163.COM/photo_1145354359.jpg HTTP/1.1" 200 99203 "http://bbs.bbstest.com/viewthread.php?tid=52353&&fid=14&extra=page%3D1&act=1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
222.84.38.87 - - [03/Apr/2007:15:52:55 +0800] "GET /images/default/level/level_4.gif HTTP/1.0" 200 2587 "http://bbs.bbstest.com/viewthread.php?tid=8420&&fid=3&extra=page%3D1&act=1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
219.238.1.170 - - [03/Apr/2007:15:52:56 +0800] "GET /api/passport.php?action=login&auth=VnZUaQY2BmcDbQQ0BTQAMVAwVjVSbVJgUWVXZFRnACQCI1ZxVm4Fcwg1B2dWOwFiAGgDOVY4USQFMQw5VWYGPFYyVDAGfQZyAzEEdgV2AHFQalZyUjFSa1FhV2JUYwBhAjBWMVZvBWQIOgc%2FVjQBMgBjA2RWaVFlBTcMblVtBjNWNVQyBm4GMANkBDwFZwBlUD1WMFIzUmVRclc1VDkAYwI%2FVm5WNgVtCDIHd1ZnATUAZgNtVmFRZQUlDD9VZQZ3VmtUbgY6BiwDMwRqBWg%3D&forward=http%3A%2F%2Fwww.ganji.com%2F&verify=df7209234a09330f65b4cbe9bcfe7739 HTTP/1.1" 302 - "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)"
222.84.38.87 - - [03/Apr/2007:15:52:57 +0800] "GET /images/smilies/6.gif HTTP/1.0" 200 4569 "http://bbs.bbstest.com/viewthread.php?tid=8420&&fid=3&extra=page%3D1&act=1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

hongyunqi

cat $logfile | cut -d"-" -f1 | sort -u | wc -l
可以得到IP 數(shù)

zhaowenhui

兄弟，我是要統(tǒng)計(jì)論壇每個(gè)板塊每周的PV，IP數(shù)統(tǒng)計(jì)
關(guān)鍵是日志的這段http://bbs.bbstest.com/viewthread.php?tid=52353&&fid=14，還和fid有關(guān)系的，fid=后面是頻道的ID號(hào)，我想設(shè)一個(gè)變量比如這二個(gè)組成一個(gè)變量名（var+("為提取的ID號(hào)")）=varID+1;該怎么寫這個(gè)命令？

zhl1979

弱弱的問一下 什么是pv??

awk -F '[ &=]' '{if($9==200){print $1,$4, $9, "fid="$12,  $14"="$15} else {print $1,$4}}' youfile

看看怎么樣

[ 本帖最后由 zhl1979 于 2007-4-4 12:38 編輯 ]

lizheng83

剛接觸這些,還比較菜,想到什么就寫什么了,希望大家笑的同時(shí)能給點(diǎn)指點(diǎn)

#!/bin/sh
cat ufile1 | awk 'BEGIN{FS="\"";OFS=""} {print $1,$4 >"ufile2"}'
sed 's/\?/ /g;s/\&/ /g' ufile2 > ufile3
cat ufile3 | awk '{print $1,$4,$5,$7,$8 >"ufile4"}'

至于你說的統(tǒng)計(jì)次數(shù)的,我只會(huì)這樣寫
以統(tǒng)計(jì)IP為例子
cat ufile4 | awk 'BEGIN {FS=" ";OFS=" "} {arr[$1]+=1} END {for(ip in arr) print arr[ip],ip,$1}' | sort -n -r | awk '{print $0 > "ufile5"}'

想想也覺得好菜,呵呵,大牛指點(diǎn)下吧,剛開始學(xué)

qqeyes

什么是pv　　PV(page view)，即頁(yè)面瀏覽量，或點(diǎn)擊量；通常是衡量一個(gè)網(wǎng)絡(luò)新聞?lì)l道或網(wǎng)站甚至一條網(wǎng)絡(luò)新聞的主要指標(biāo)。

　　高手對(duì)pv的解釋是，一個(gè)訪問者在24小時(shí)(0點(diǎn)到24點(diǎn))內(nèi)到底看了你網(wǎng)站幾個(gè)頁(yè)面。這里需要強(qiáng)調(diào)：同一個(gè)人瀏覽你網(wǎng)站同一個(gè)頁(yè)面，不重復(fù)計(jì)算pv量，點(diǎn)100次也算1次。說白了，pv就是一個(gè)訪問者打開了你的幾個(gè)頁(yè)面。

　　PV之于網(wǎng)站，就像收視率之于電視，從某種程度上已成為投資者衡量商業(yè)網(wǎng)站表現(xiàn)的最重要尺度。

　　pv的計(jì)算：當(dāng)一個(gè)訪問著訪問的時(shí)候，記錄他所訪問的頁(yè)面和對(duì)應(yīng)的IP，然后確定這個(gè)IP今天訪問了這個(gè)頁(yè)面沒有。如果你的網(wǎng)站到了23點(diǎn)，單純IP有60萬(wàn)條的話，每個(gè)訪問者平均訪問了3個(gè)頁(yè)面，那么pv表的記錄就要有180萬(wàn)條。