【請(qǐng)教】cygwin下的awk統(tǒng)計(jì)問(wèn)題

keke00

環(huán)境：

1. $ bash --version
   
2. GNU bash, version 3.1.17(6)-release (i686-pc-cygwin)
   
3. Copyright (C) 2005 Free Software Foundation, Inc

復(fù)制代碼

背景：
一文件夾有數(shù)千個(gè)文件，文件名如下：
0_20100908090020.dat
0_20100909200001.dat
0_20100923180900.dat
........
每個(gè)文件650K左右，近8000行
現(xiàn)在想統(tǒng)計(jì)每個(gè)文件中符合特定字符串的信息

問(wèn)題：
當(dāng)輸入文件數(shù)量接近800，大小接近480MB時(shí)，
awk end部分打印兩次，如下：

Total：797
F:15
Total：254
F:5

按理只打印一次呀！
個(gè)人懷疑是和cygwin的最大存儲(chǔ)容量有關(guān)
于是修改注冊(cè)表修改注冊(cè)表的HKEY_LOCAL_MACHINE和HKEY_CURRENT_USER區(qū)段。添加DWORD鍵
heap_chunk_in_mb
同時(shí)用cygwin中的regtool完成該設(shè)置。如下：

regtool -i set /HKLM/Software/Cygnus\ Solutions/Cygwin/heap_chunk_in_mb 10240

regtool -v list /HKLM/Software/Cygnus\ Solutions/Cygwin

但問(wèn)題依舊，請(qǐng)教高手哪里還有問(wèn)題？


部分代碼如下：確定在此時(shí)已出問(wèn)題

1. ls*.dat | awk -F'[_.]' '$2+0>=201009080000 && $2+0 <=201009250000' | xargs awk '/$2~/EOF/{F++；nextfile}END{printf"\nTotal:%d\n",ARGC-1;printf"EOF:%d\n",F}'

復(fù)制代碼

代碼較少，解釋下我本意
ls*.dat | awk -F[_.]  '$2+0>=201009080000 && $2+0 <=201009250000' 找出符合條件的文件，之后在這些文件中查找信息包含EOF的文件數(shù)量

nuclearxin

ls*.dat | awk -F[_.]  '$2+0>=201009080000 && $2+0 <=201009250000' | xargs awk 'END{printf"\nTotal:%d\n",ARGC-1}'

首先 1)-F[_.] 為啥不用單引號(hào)引起來(lái)
2) xargs 你確認(rèn)要這么用?
3) 確認(rèn)了2 之后你還要用 ARGC的話 為啥不用wc

nuclearxin

....-F[_.]是什么意思 ........我看這有點(diǎn)崩潰

nuclearxin

1. 
   
2. ls*.dat | awk -F'_'  '{if($2>=201009080000 && $2<=201009250000)a++}END{print a}'

復(fù)制代碼

這個(gè)就ok了吧減少io

keke00

回復(fù) 2# nuclearxin


    1)-F[_.] 為啥不用單引號(hào)引起來(lái)，加單引號(hào)最好
已編輯

aili_chinaunix

樓主的意思不是很明白
我的理解是在某個(gè)目錄下，有很多.dat文件，這些文件中有的包含字符串"eof",你想根據(jù)這些dat文件的第二列過(guò)濾出一個(gè)文件列表，在這個(gè)列表中統(tǒng)計(jì)包含eof的dat文件的數(shù)量。
ls *.dat  | awk -F'[_.]'  '$2+0>=201009080000 && $2+0 <=201009250000' >tmpfile
more a.sh
#!/bin/bash
f=0
for file in `cat /tmp/alen/tee/tmpfile`
  do
     grep -i "eof" $file &>/dev/null
     [ $? = 0 ] && f=$((f+1))
  done
echo $f

wtuter

回復(fù) 1# keke00

try:
    xargs -0


xargs -零

zhangshebao

主要問(wèn)題可能是ls *.dat及xargs兩個(gè)命令命令行緩沖有限制，文件數(shù)量較大時(shí)不能在命令行用通配符，也不要用xargs.
下面代碼調(diào)試通過(guò)，應(yīng)該符合樓主要求：

1. 
   
2. ls | awk -F'[_.]' '
   
3. BEGIN{countf=eoff=0;}
   
4. $2+0>=201009080000 && $2+0 <=201009250000 && $3=="dat" && NF==3{
   
5. countf++;FS="[ \t]+";fname=$0;
   
6. while (1==getline<fname){
   
7.   if($2~"EOF"){
   
8.    eoff++;break;
   
9.   }
   
10. };
    
11. close(fname);
    
12. FS="[_.]";
    
13. }
    
14. END{
    
15.   print "\nTotal:,",countf,"EOF:",eoff;
    
16. }'
    

復(fù)制代碼

下面帶調(diào)試語(yǔ)句的（去掉#)腳本，并先生成調(diào)試數(shù)據(jù)后測(cè)試：

1. echo "1
   
2. 
   
3. 2 EOF">0_200009080900.dat
   
4. echo "2" >1_200009080900.dat
   
5. echo "1
   
6. 2
   
7. 3
   
8. 3 EOF">2_201009080010.dat
   
9. echo "4" >3_201009080030.dat
   
10. echo "4" >4_201009080020.dat
    
11. echo "4" >5_201109080020.dat
    
12. ls | awk -F'[_.]' '
    
13. BEGIN{countf=eoff=0;}
    
14. #{print "#0",NR,$0}
    
15. $2+0>=201009080000 && $2+0 <=201009250000 && $3=="dat" && NF==3{
    
16. countf++;
    
17. FS="[ \t]+";
    
18. fname=$0;
    
19. # print "#1",$0,countf,eoff,fname;
    
20. while (1==getline<fname){
    
21. # print "#2",$0,countf,eoff,fname;
    
22. if($2~"EOF"){
    
23. eoff++;
    
24. # print "#3",$0,countf,eoff,fname;
    
25. break;
    
26. }
    
27. };
    
28. close(fname);
    
29. FS="[_.]";
    
30. }
    
31. END{
    
32. print "\nTotal:,",countf,"EOF:",eoff;
    
33. }'
    

復(fù)制代碼

cjaizss

接在xargs后面，被分兩次執(zhí)行，這個(gè)太正常不過(guò)了。
參數(shù)再長(zhǎng)，也有個(gè)容限。xargs會(huì)幫你分的
$ seq 1 10000|xargs echo | wc -l
1
$ seq 1 100000|xargs echo | wc -l
5

cjaizss

可以這樣，在后面再加一個(gè)管道，再接一個(gè)awk來(lái)最終統(tǒng)計(jì)一下