亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 2372 | 回復: 9
打印 上一主題 下一主題

[文本處理] 大文件大文件…… [復制鏈接]

論壇徽章:
0
跳轉到指定樓層
1樓 [收藏(0)] [報告]
發(fā)表于 2013-09-18 12:58 |只看該作者 |倒序瀏覽
別人問我：
我有一個20G的文件
我想取前20000000000行
用head -n xxx>new
速度太慢了

shell不擅長處理這么大的文件吧？ 求助大家！ ！

論壇徽章:
50
15-16賽季CBA聯(lián)賽之廣夏 日期:2018-11-05 09:42:462015年亞冠紀念徽章 日期:2015-07-23 11:58:122015亞冠之廣州富力 日期:2015-07-07 08:26:172015亞冠之塔什干棉農(nóng) 日期:2015-06-29 09:08:072015年亞洲杯之伊朗 日期:2015-03-08 20:51:012015年迎新春徽章 日期:2015-03-04 09:58:11未羊 日期:2014-10-16 22:41:47處女座 日期:2014-10-16 15:33:33酉雞 日期:2014-03-13 12:54:10巳蛇 日期:2014-03-10 14:39:052015亞冠之德黑蘭石油 日期:2015-07-29 12:46:372015亞冠之德黑蘭石油 日期:2015-08-07 12:54:11
2樓 [報告]
發(fā)表于 2013-09-18 13:08 |只看該作者
試試sed
文件太大，估計也慢。但可能比head -n xxx>new要快。。。。。
  1. sed -ni '1,20000000000{p;20000000000q}' file
復制代碼

論壇徽章:
1
天秤座 日期:2013-09-04 10:35:07
3樓 [報告]
發(fā)表于 2013-09-18 14:32 |只看該作者
是不是先把大文件切成小文件，再分別讀取，記錄下各個文件數(shù)。

論壇徽章:
145
技術圖書徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11獅子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龍 日期:2014-01-08 15:26:12技術圖書徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
4樓 [報告]
發(fā)表于 2013-09-18 14:39 |只看該作者
回復 1# smallpboy


>> 我有一個20G的文件
>>我想取前20000000000行

one line for one character only
20,000,000,000行 x (1 byte + Enter"\n") = more than 20G

Would you let's know what do you want?

論壇徽章:
0
5樓 [報告]
發(fā)表于 2013-09-18 17:28 |只看該作者
sed -n '/1,20000000000 w output.txt/' input.txt

論壇徽章:
5
未羊 日期:2014-08-04 16:15:21天秤座 日期:2014-08-13 13:52:372015年辭舊歲徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:56:112015亞冠之浦和紅鉆 日期:2015-06-29 15:30:48
6樓 [報告]
發(fā)表于 2013-09-18 17:44 |只看該作者
  1. awk 'NR<20000000001{print > "new"}' xxx
復制代碼

論壇徽章:
7
卯兔 日期:2013-10-24 22:27:29天秤座 日期:2013-11-06 17:30:47午馬 日期:2015-01-16 10:16:252015年亞洲杯之烏茲別克斯坦 日期:2015-04-02 14:49:302015年亞洲杯之韓國 日期:2015-04-22 14:28:03青銅圣斗士 日期:2015-11-21 00:06:2915-16賽季CBA聯(lián)賽之天津 日期:2016-02-29 16:26:43
7樓 [報告]
發(fā)表于 2013-09-18 22:32 |只看該作者
雖然沒遇到過這樣的場景，來膜拜一下高手怎么解決這個問題。

論壇徽章:
0
8樓 [報告]
發(fā)表于 2013-09-19 05:51 |只看該作者
load the file into hadoop cluster hdfs, and run hadoop jobs

or load the file into cassandra cluster

論壇徽章:
2
2015年亞冠紀念徽章 日期:2015-07-05 23:06:04IT運維版塊每日發(fā)帖之星 日期:2015-07-06 22:20:00
9樓 [報告]
發(fā)表于 2013-09-23 11:02 |只看該作者
用split -l 20000000000如何？然后只要第一個文件就行了

論壇徽章:
36
摩羯座 日期:2013-09-23 16:37:312015年亞洲杯之沙特阿拉伯 日期:2015-04-14 09:10:172015亞冠之柏太陽神 日期:2015-06-25 08:48:212015亞冠之武里南聯(lián) 日期:2015-07-28 09:01:082015亞冠之萊赫維亞 日期:2015-07-28 15:44:172015亞冠之柏斯波利斯 日期:2015-09-06 14:08:52白銀圣斗士 日期:2015-11-25 17:06:2815-16賽季CBA聯(lián)賽之吉林 日期:2015-12-09 16:59:072016猴年福章徽章 日期:2016-02-18 15:30:3415-16賽季CBA聯(lián)賽之遼寧 日期:2016-04-14 09:29:04luobin 日期:2016-06-17 17:46:3615-16賽季CBA聯(lián)賽之天津 日期:2016-08-16 14:11:01
10樓 [報告]
發(fā)表于 2013-09-23 14:37 |只看該作者
sed -i '2000000000q' file
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復

  

北京盛拓優(yōu)訊信息技術有限公司. 版權所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關心和支持過ChinaUnix的朋友們 轉載本站內容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP