亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
12下一頁
最近訪問板塊 發(fā)新帖
查看: 13580 | 回復: 10
打印 上一主題 下一主題

[文本處理] 急 access.log 的日志怎么分拆啊 [復制鏈接]

論壇徽章:
0
跳轉到指定樓層
1 [收藏(0)] [報告]
發(fā)表于 2013-12-19 11:36 |只看該作者 |倒序瀏覽
有個access.log的日志,格式如下
123.12.67.123 - - 2013-12-15 11:42:22 "GET /index.do HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=42ide" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
122.12.67.123 - - 2013-12-15 11:42:22 "POST /accl.do?name=232 HTTP/1.0" 302 67 "http://aa.bb.cc/querylist.do" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
132.12.67.123 - - 2013-12-15 11:42:22 "GET /baxe.do?a=12 HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=gyujhf" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
122.12.67.123 - - 2013-12-15 11:42:22 "GET /ccdw.do HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=werrrr" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"

  如何用shell分析后的結果如下啊,這個shell怎么寫呢
123.12.67.123|/index.do|http://aa.bb.cc/register.do|113.222.45.227
132.12.67.123|/accl.do|http://aa.bb.cc/querylist.do|113.222.45.227
132.12.67.123|/baxe.do|http://aa.bb.cc/register.do|113.222.45.227

論壇徽章:
0
2 [報告]
發(fā)表于 2013-12-19 11:42 |只看該作者
有點小麻煩,,,思路: 先按照空格取你想要的field,,,,,在field里過濾你想要的字符串,,,,然后拼接

論壇徽章:
145
技術圖書徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11獅子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龍
日期:2014-01-08 15:26:12技術圖書徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
3 [報告]
發(fā)表于 2013-12-19 12:01 |只看該作者
本帖最后由 jason680 于 2013-12-19 12:01 編輯

回復 1# wzltian

$ awk -F'[ ,?"]+' -vOFS="|" '{for(n=1;n++<NF;)if($n~/http:/){W=$n;n=NF};print $1,$7,W,$(NF-2)}' access.log
123.12.67.123|/index.do|http://aa.bb.cc/register.do|113.222.45.227
122.12.67.123|/accl.do|http://aa.bb.cc/querylist.do|113.222.45.227
132.12.67.123|/baxe.do|http://aa.bb.cc/register.do|113.222.45.227
122.12.67.123|/ccdw.do|http://aa.bb.cc/register.do|113.222.45.227
   

論壇徽章:
0
4 [報告]
發(fā)表于 2013-12-19 12:29 |只看該作者
  謝謝 jason680,你這個例子真是簡練, 如果再增加2個條件
1、 如果是url只取http://aa.bb.cc/xxx.do開頭的,其他的url都過濾,比如過濾掉http://www.soport.cn/等,這個怎么寫呢?
2、 后面有3個ip,其中,第三個是我想要的,但若有后面的第三個ip有時會沒有
  這是我現(xiàn)在遇到的真實情況,這個怎么寫呢?  盼復
123.12.67.123 - - 2013-12-15 11:42:22 "GET /index.do HTTP/1.0" 302 67 "http://www.soport.cn/register.do?jwd=42ide" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, "
122.12.67.123 - - 2013-12-15 11:42:22 "POST /accl.do?name=232 HTTP/1.0" 302 67 "http://aa.bb.cc/querylist.do" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
132.12.67.123 - - 2013-12-15 11:42:22 "GET /baxe.do?a=12 HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=gyujhf" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
122.12.67.123 - - 2013-12-15 11:42:22 "GET /ccdw.do HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=werrrr" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"

論壇徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16賽季CBA聯(lián)賽之北京
日期:2016-07-06 15:42:0715-16賽季CBA聯(lián)賽之同曦
日期:2016-06-12 10:38:0915-16賽季CBA聯(lián)賽之佛山
日期:2016-05-27 11:54:56黃金圣斗士
日期:2015-12-02 11:44:35白銀圣斗士
日期:2015-11-25 14:32:43白銀圣斗士
日期:2015-11-23 12:53:352015亞冠之布里斯班獅吼
日期:2015-10-21 16:55:482015亞冠之首爾
日期:2015-09-01 16:46:052015亞冠之德黑蘭石油
日期:2015-08-31 11:39:192015亞冠之薩濟拖拉機
日期:2015-08-28 21:06:5315-16賽季CBA聯(lián)賽之廣東
日期:2016-07-12 14:58:53
5 [報告]
發(fā)表于 2013-12-19 14:09 |只看該作者
回復 4# wzltian
  1. sed -r 's#([^ ]+).*[(GET|POST)] +/([^ ?]+).*(http://[^(?|")]+).*" +"([^,]+).*#\1|\2|\3|\4#g' file  
復制代碼

論壇徽章:
145
技術圖書徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11獅子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龍
日期:2014-01-08 15:26:12技術圖書徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
6 [報告]
發(fā)表于 2013-12-19 14:13 |只看該作者
本帖最后由 jason680 于 2013-12-19 14:25 編輯

回復 4# wzltian


$ awk -F'[ ,?"]+' -vOFS="|" '{for(n=1;n++<NF;)if($n~/http:/){if($n!~/aa\.bb\.cc/)next;W=$n;n=NF};IP=$(NF-3)~/\)$/?NF-2:NF-3;print $1,$7,W,$IP}' access.log
122.12.67.123|/accl.do|http://aa.bb.cc/querylist.do|126.23.22.11
132.12.67.123|/baxe.do|http://aa.bb.cc/register.do|126.23.22.11
122.12.67.123|/ccdw.do|http://aa.bb.cc/register.do|126.23.22.11

   

論壇徽章:
0
7 [報告]
發(fā)表于 2013-12-19 14:39 |只看該作者
不好意思,我剛才沒有表達清楚  如果是url只取http://aa.bb.cc/xxx.do開頭的,其他的url都過濾,比如過濾掉http://www.soport.cn/等,這個怎么寫呢?

123.12.67.123 - - 2013-12-15 11:42:22 "GET /index.do HTTP/1.0" 302 67 "http://www.soport.cn/register.do?jwd=42ide" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, "
122.12.67.123 - - 2013-12-15 11:42:22 "POST /accl.do?name=232 HTTP/1.0" 302 67 "http://aa.bb.cc/querylist.do" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
132.12.67.123 - - 2013-12-15 11:42:22 "GET /baxe.do?a=12 HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=gyujhf" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
122.12.67.123 - - 2013-12-15 11:42:22 "GET /ccdw.do HTTP/1.0" 302 67 "http://aa.bb.cc/register.do?jwd=werrrr" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" "126.23.22.11" "113.222.45.227, 127.0.0.1"
----------------- 過濾掉不是以http://aa.bb.cc 這些url請求的,即只要http://aa.bb.cc這樣的請求。 下面是我想要的結果----------
2013-12-15 11:42:22|/accl.do|http://aa.bb.cc/querylist.do|126.23.22.11
2013-12-15 11:42:22|/baxe.do|http://aa.bb.cc/register.do|126.23.22.11
2013-12-15 11:42:22|/ccdw.do|http://aa.bb.cc/register.do|126.23.22.11

論壇徽章:
33
榮譽會員
日期:2011-11-23 16:44:17天秤座
日期:2014-08-26 16:18:20天秤座
日期:2014-08-29 10:12:18丑牛
日期:2014-08-29 16:06:45丑牛
日期:2014-09-03 10:28:58射手座
日期:2014-09-03 16:01:17寅虎
日期:2014-09-11 14:24:21天蝎座
日期:2014-09-17 08:33:55IT運維版塊每日發(fā)帖之星
日期:2016-04-17 06:23:27操作系統(tǒng)版塊每日發(fā)帖之星
日期:2016-04-18 06:20:00IT運維版塊每日發(fā)帖之星
日期:2016-04-24 06:20:0015-16賽季CBA聯(lián)賽之天津
日期:2016-05-06 12:46:59
8 [報告]
發(fā)表于 2013-12-19 14:54 |只看該作者
我覺得樓主的問題如果用 perl 來寫一段 會比較容易. 用 shell 來處理一次還可以, 以后要維護的話, 成本可能不低于 perl.

論壇徽章:
0
9 [報告]
發(fā)表于 2013-12-19 15:52 |只看該作者
回復 6# jason680

謝謝了,剛看到你回復
  

   

論壇徽章:
0
10 [報告]
發(fā)表于 2013-12-19 15:54 |只看該作者
回復 5# reyleon

  謝謝啊,你的這個方法也好
   
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復

  

北京盛拓優(yōu)訊信息技術有限公司. 版權所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們:huangweiwei@itpub.net
感謝所有關心和支持過ChinaUnix的朋友們 轉載本站內容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP