亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
123下一頁
最近訪問板塊 發(fā)新帖
查看: 3475 | 回復: 20
打印 上一主題 下一主題

[文本處理] 去掉重復行 [復制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1樓 [收藏(0)] [報告]
發(fā)表于 2015-10-13 03:36 |只看該作者 |倒序瀏覽
大家好，我現(xiàn)在手邊有一TXT文件，30G左右，想整行對比去掉重復格式如下：
123456----123123
123456----123456
123sdf----123123
1231明----123123
123456----123123
123456----123456
123sdf----123123
1231明----123123
123sdf----123456
1231明----123456

希望去掉重復行后變?yōu)?br /> 123456----123123
1231明----123456
1231明----123123
123456----123456
123sdf----123456
123sdf----123123

用來處理得機器分別為6G、32G內(nèi)存，從1.txt讀取，去重后保存為2.txt，這個shell怎么寫？

論壇徽章:
145
技術(shù)圖書徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11獅子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龍 日期:2014-01-08 15:26:12技術(shù)圖書徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
2樓 [報告]
發(fā)表于 2015-10-13 08:59 |只看該作者
回復 1# blss2008

1. awk
$ awk '!a[$0]++' 1.txt > 2.txt

2. sort
$ sort -u 1.txt > 2.txt

3. database 數(shù)據(jù)庫
   

論壇徽章:
95
程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-05 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-17 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-18 06:20:002015亞冠之阿爾艾因 日期:2015-09-18 10:35:08月度論壇發(fā)貼之星 日期:2015-09-30 22:25:002015亞冠之阿爾沙巴布 日期:2015-10-03 08:57:39程序設(shè)計版塊每日發(fā)帖之星 日期:2015-10-05 06:20:00每日論壇發(fā)貼之星 日期:2015-10-05 06:20:002015年亞冠紀念徽章 日期:2015-10-06 10:06:482015亞冠之塔什干棉農(nóng) 日期:2015-10-19 19:43:35程序設(shè)計版塊每日發(fā)帖之星 日期:2015-10-21 06:20:00每日論壇發(fā)貼之星 日期:2015-09-14 06:20:00
3樓 [報告]
發(fā)表于 2015-10-13 12:45 |只看該作者
回復 1# blss2008


    關(guān)鍵在于去重之后的文件2.txt 有多大。若是和你機器的物理內(nèi)存差不多大的話，還是用數(shù)據(jù)庫吧，更方便，也更高效；若是去重后結(jié)果不大（例如只有幾百M甚至更小，那直接用（各種語言的） hash 就可以。

論壇徽章:
0
4樓 [報告]
發(fā)表于 2015-10-14 18:08 |只看該作者
回復 2# jason680


   

用第一句AWK的很卡，處理個1G大小的文本，掛半天才處理600多MB

第二句SORT的，1G的文本大概10來分鐘左右完，但是處理后出現(xiàn)亂碼，不知道是不是有中文的問題。

論壇徽章:
0
5樓 [報告]
發(fā)表于 2015-10-14 18:09 |只看該作者
回復 3# MMMIX


   

處理后估計還有25G上下。

論壇徽章:
95
程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-05 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-17 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-18 06:20:002015亞冠之阿爾艾因 日期:2015-09-18 10:35:08月度論壇發(fā)貼之星 日期:2015-09-30 22:25:002015亞冠之阿爾沙巴布 日期:2015-10-03 08:57:39程序設(shè)計版塊每日發(fā)帖之星 日期:2015-10-05 06:20:00每日論壇發(fā)貼之星 日期:2015-10-05 06:20:002015年亞冠紀念徽章 日期:2015-10-06 10:06:482015亞冠之塔什干棉農(nóng) 日期:2015-10-19 19:43:35程序設(shè)計版塊每日發(fā)帖之星 日期:2015-10-21 06:20:00每日論壇發(fā)貼之星 日期:2015-09-14 06:20:00
6樓 [報告]
發(fā)表于 2015-10-14 21:17 |只看該作者
回復 5# blss2008


    上數(shù)據(jù)庫。

論壇徽章:
0
7樓 [報告]
發(fā)表于 2015-10-15 08:29 來自手機 |只看該作者
既然是文本，
簡單點，split分成30個1G的，然后sort -u 隨便你玩

論壇徽章:
2
處女座 日期:2014-10-24 11:12:372015年辭舊歲徽章 日期:2015-03-03 16:54:15
8樓 [報告]
發(fā)表于 2015-10-15 10:29 |只看該作者
學習了……如何統(tǒng)計重復行的個數(shù)呢

論壇徽章:
95
程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-05 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-17 06:20:00程序設(shè)計版塊每日發(fā)帖之星 日期:2015-09-18 06:20:002015亞冠之阿爾艾因 日期:2015-09-18 10:35:08月度論壇發(fā)貼之星 日期:2015-09-30 22:25:002015亞冠之阿爾沙巴布 日期:2015-10-03 08:57:39程序設(shè)計版塊每日發(fā)帖之星 日期:2015-10-05 06:20:00每日論壇發(fā)貼之星 日期:2015-10-05 06:20:002015年亞冠紀念徽章 日期:2015-10-06 10:06:482015亞冠之塔什干棉農(nóng) 日期:2015-10-19 19:43:35程序設(shè)計版塊每日發(fā)帖之星 日期:2015-10-21 06:20:00每日論壇發(fā)貼之星 日期:2015-09-14 06:20:00
9樓 [報告]
發(fā)表于 2015-10-15 12:23 |只看該作者
回復 7# 大螞蟻


    分割之后跨文件的重復你準備怎么弄？

論壇徽章:
0
10樓 [報告]
發(fā)表于 2015-10-15 14:57 |只看該作者
回復 7# 大螞蟻


   
一開始就是分成2G的，然后去重復，發(fā)現(xiàn)去重復后，跨文件的重復無法處理。。。
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP