zcat | awk 執(zhí)行很慢

jayeeliu

1. zcat "$file"|awk -v ndate="$date" --posix '{if($11~/^[^"]{1,16}$/) {str=ndate "\t" $9 "\t" $11"\t"; if ($13 == "succ") {print str"1\t"} else {print str"0\t"$15}}}' > "$logfile"

復(fù)制代碼

這樣一條命令我在一臺(tái)linux的機(jī)器上執(zhí)行起來(lái)非常慢，處理一個(gè)10M的壓縮文件要大概十分鐘。

服務(wù)器環(huán)境正常，配置還算過(guò)得去。

jayeeliu

同樣的文件我在cygwin下只跑了20多秒（同樣的命令，處理的結(jié)果也一樣）。

sayigood

回復(fù) 1# jayeeliu


    可以把你的問(wèn)題列出來(lái)，看高手們?nèi)绾螌?shí)現(xiàn)這條語(yǔ)句。

jinl

回復(fù) 1# jayeeliu


   為什么要用zcat 再通過(guò)管道傳遞給awk處理，直接使用awk 不可以么？

jayeeliu

回復(fù) 4# jinl


    問(wèn)題不是這些，是awk用posix時(shí)，strace看到他一直在讀寫，基本上讀完數(shù)據(jù)就開(kāi)始寫，1s處理不了幾條數(shù)據(jù)，不知道awk用posix時(shí)為什么這么做。

jayeeliu

放棄了

用awk+sed了

redspider

首選方案是Perl

Shell_HAT

回復(fù) 6# jayeeliu


代碼貼出來(lái)看看？