求助： 很棘手的問題，大文件讀取并處理的問題

zhizhiping

有個(gè)文件在/tmp/t.unl下
里面有800萬行的數(shù)據(jù)，每行有8位數(shù)字，比如：
00000001
00000002
00000003
00000004
....

這些數(shù)字是對(duì)應(yīng)在
/work/0000/00000001
/work/0000/00000002
/work/0000/00000003
/work/0000/00000004
下的文件

求一腳本，使得刪除，存在/tmp/t.unl中，并在/work/0000/目錄下該文件名的文件�！�0000”是“00000004”的前4位
原方案使用
cat /tmp/t.unl |while read tmpf
do
rm the file
done

結(jié)果效率非常低，要跑幾個(gè)小時(shí)，怎么才能提高效率呢？

267020090

for 循環(huán)估計(jì)也一樣吧

zhizhiping

一樣

267020090

跑并發(fā)吧

267020090

分成幾個(gè)片段 分批跑把

zhizhiping

還有其他辦法嗎？

267020090

100W為單位多好啊

267020090

sed '1,10000p' a | while read LINE; do echo $LINE; done 不是很好嗎？

yinyuemi

回復(fù) 1# zhizhiping


    try:

1. 
   
2. sed 's,^,rm -rf /work/0000/,' /tmp/t.unl >/tmp/t_unl_rm.sh
   
3. 
   
4. . /tmp/t_unl_rm.sh
   
5. 
   

復(fù)制代碼