sed處理大文件的問題

macaw_w

-rw-r--r-- 1 root root 19149668437 04-10 03:32 1126_train_101.sql
-rw-r--r-- 1 root root   940539904 04-10 09:15 1126_train_101.sql.1
-rw-r--r-- 1 root root  8376476089 04-10 03:32 1126_train_102.sql


我用  sed 's#`\(.*\)`#`train_\1`#g' 1126_train_102.sql > 1126_train_102.sql.1 替換里面幾個(gè)庫名，但是差0.3GB就過不去了

但是直接用 sed 's#resource_center#train_resource_center#g;s#discuss_center#train_discuss_center#g;s#blog_center#train_blog_center#g;' 1126_train_102.sql > 1126_train_102.sql.1 替換就沒問題

server有8G內(nèi)存，個(gè)人理解是讀入東西太多, 但是sed不是逐行處理么，不解。

wtuter

應(yīng)該是緩存不夠

lululau

你這個(gè)只要sed 's/`/`train_/'不就行了？

liying_gg

。。。

[ 本帖最后由 liying_gg 于 2009-11-26 17:12 編輯 ]

macaw_w

開始是這么寫

sed '/CREATE DATABASE/s#`\(.*\)`#`train_\1`#g' 1126_train_102.sql > 1126_train_102.sql.1

我目的是改幾個(gè)庫名，我覺得如果逐行執(zhí)行并且重定向到新文件里面，我覺得8G應(yīng)該夠了吧。

macaw_w

原帖由 wtuter 于 2009-11-26 16:44 發(fā)表
應(yīng)該是緩存不夠

sed是先緩沖所有結(jié)果，然后再倒入管道么？
如果這樣，應(yīng)該會(huì)計(jì)算很長(zhǎng)時(shí)間，我開始能看到數(shù)據(jù)，最后剩300M，計(jì)算就失效了，但還占用1個(gè)線程，一直沒有釋放。

ly5066113

如果你的文件不是只有一行記錄，內(nèi)存絕對(duì)不是問題。
你確認(rèn)你的磁盤空間夠用？

macaw_w

原帖由 ly5066113 于 2009-11-26 17:35 發(fā)表
如果你的文件不是只有一行記錄，內(nèi)存絕對(duì)不是問題。
你確認(rèn)你的磁盤空間夠用？

/dev/mapper/VolGroup00-LogVol00
                      131G   66G   59G  53% /

磁盤夠

haimming

運(yùn)行時(shí)用top看看內(nèi)存變化情況，會(huì)不會(huì)存在一行很長(zhǎng)的

blackold

內(nèi)存不是問題。

我256M不到破機(jī)器都可以搞定。