perl 行讀入大文件的問題

kernel69

工作中要查看日志，以前是用grep，現(xiàn)在想用perl來完成并在原來的命令上面又完善了一下，

以前用grep命令如下

1. grep `date +%F` -A 100  -a  /usr/local/jboss/server/default/log/program.log|more

復(fù)制代碼

現(xiàn)在用perl命令如下:

1. perl -ne 'chomp($t=`date +%F`);print if /$t/ && !/\d{11}$/'  /usr/local/jboss/server/default/log/program.log|more

復(fù)制代碼

發(fā)現(xiàn)perl在處理小于50M的文件時，速度還是可以，但超過50M后就得等好長時間，在執(zhí)行時我用top觀察perl只是占用CPU內(nèi)存占用是0，按說用行讀入模式應(yīng)該讀入一行處理一行并及時打印出來啊，請幫忙看一下，是我寫的代碼有問題？還是怎么樣，perl讀入文件內(nèi)容的原理有怎樣的？一次將整個文件全部讀入然后處理？

kernel69

怎么沒人回復(fù)啊，版主，幫忙看一下啊

zhlong8

每一行數(shù)據(jù)就開一個進(jìn)程

kernel69

能幫忙修改一下嗎？
回復(fù) 3# zhlong8


   

zhlong8

-n 相當(dāng)于在開頭結(jié)尾插入代碼

1. LINE:
   
2. while (<>){
   
3.     #-e 里面的代碼
   
4. }

復(fù)制代碼

解決方法是讓這個 `date %F` 只執(zhí)行一次，一種方法是用 BEGIN 讓它在編譯期執(zhí)行，運(yùn)行時看不到這行代碼自然也就不會循環(huán)了。

1. perl -ne 'BEGIN{chomp($t=`date +%F`)} print if /$t/ && !/\d{11}$/'

復(fù)制代碼

kernel69

非常感謝版主，原來是chomp($t=`date +%F`)，但我還是不太明白，為什么處理一行就開啟一個進(jìn)程？難道是chomp($t=`date +%F`)每執(zhí)行一次就會開啟一個進(jìn)程？還是怎樣？
回復(fù) 5# zhlong8


   

zhlong8

回復(fù) 6# kernel69


    你用 grep 那個例子 shell 幫你處理過最終 grep 看到的是個字符串常量，而 Perl 代碼上面不是說了有個隱藏的 while 循環(huán)，每次到 chomp($t=`date +%F`); 都會求值它，而 `` 會調(diào)用 shell

kernel69

哦，明白了，灰常感謝
回復(fù) 7# zhlong8