亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
123下一頁
最近訪問板塊 發(fā)新帖
查看: 6085 | 回復: 20
打印 上一主題 下一主題

perl 大文件分析 [復制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1樓 [收藏(0)] [報告]
發(fā)表于 2012-11-01 17:32 |只看該作者 |倒序瀏覽
本帖最后由 kofpet 于 2012-11-01 17:34 編輯

第一次遇一個日志文件600G 現(xiàn)在要將文件里面的url抓出來，進行一個排序，將前點擊量最多的前1000名URL的存入一個文件，請大家指點一下這個要怎樣寫？

論壇徽章:
0
2樓 [報告]
發(fā)表于 2012-11-01 17:38 |只看該作者
用split試試，然后分文件讀

論壇徽章:
0
3樓 [報告]
發(fā)表于 2012-11-01 17:44 |只看該作者
一個文件？600G？

論壇徽章:
0
4樓 [報告]
發(fā)表于 2012-11-01 18:06 |只看該作者
是的，就一個文件，有論談的人建議用方法把：這個大文件分為若干小文件，然后選出若干小文件里面的前1000個，然后再繼續(xù)這樣處理，直到最后的1000個

論壇徽章:
0
5樓 [報告]
發(fā)表于 2012-11-01 18:59 |只看該作者
如果URL不會跨行的話，逐行處理如何？

論壇徽章:
0
6樓 [報告]
發(fā)表于 2012-11-01 19:52 |只看該作者
kofpet 發(fā)表于 2012-11-01 18:06
是的，就一個文件，有論談的人建議用方法把：這個大文件分為若干小文件，然后選出若干小文件里面的前1000個 ...

這個方法應該不錯的，想想怎么實現(xiàn)。600G用while單行讀也要讀很久很久吧...

論壇徽章:
0
7樓 [報告]
發(fā)表于 2012-11-01 21:26 |只看該作者
本帖最后由 kk861123 于 2012-11-01 21:28 編輯
kofpet 發(fā)表于 2012-11-01 18:06
是的，就一個文件，有論談的人建議用方法把：這個大文件分為若干小文件，然后選出若干小文件里面的前1000個 ...


又想了一下，感覺這種方法有失準確性，還是應該將每個小文件抓取的結(jié)果并在一起然后再分析出前1000個才是最準確的。
LZ可否傳上來小部分文件便于我們分析一下。

論壇徽章:
0
8樓 [報告]
發(fā)表于 2012-11-02 00:21 |只看該作者
回復 7# kk861123

顯然是要將N*1000個結(jié)果放在一起再排序。分成若干個文件的好處我想就是可以一次將單個文件的內(nèi)容全部讀入吧。


   

論壇徽章:
42
19周年集字徽章-周 日期:2019-10-14 14:35:31平安夜徽章 日期:2015-12-26 00:06:30數(shù)據(jù)庫技術(shù)版塊每日發(fā)帖之星 日期:2015-12-01 06:20:002015亞冠之首爾 日期:2015-11-04 22:25:43IT運維版塊每日發(fā)帖之星 日期:2015-08-17 06:20:00寅虎 日期:2014-06-04 16:25:27獅子座 日期:2014-05-12 11:00:00辰龍 日期:2013-12-20 17:07:19射手座 日期:2013-10-24 21:01:23CU十二周年紀念徽章 日期:2013-10-24 15:41:34IT運維版塊每日發(fā)帖之星 日期:2016-01-27 06:20:0015-16賽季CBA聯(lián)賽之新疆 日期:2016-06-07 14:10:01
9樓 [報告]
發(fā)表于 2012-11-02 11:09 |只看該作者
日志里面都是url么？
還是有很多其他內(nèi)容，可以先過濾一下?

論壇徽章:
1
IT運維版塊每日發(fā)帖之星 日期:2015-09-01 06:20:00
10樓 [報告]
發(fā)表于 2012-11-02 17:07 |只看該作者
C友，可以把部分內(nèi)容發(fā)出來，尋找規(guī)律。
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP