問一個awk腳本寫法

curclew

處理一個文本，如果某一行的文字是其它行的一部分，那么只保留這一行。比如：

abcd
abcdef
abcdefg
abcc

處理后結果為：
abcd
abcc

galford433

1. #!/bin/awk -f
   
2. 
   
3. BEGIN{i=1}
   
4. NR==1{a[i]=$0}
   
5. NR>1{c=1;for(j=1;j<=i;j++)
   
6.    {
   
7.      if(a[j]~$0)
   
8.        {
   
9.         a[j]=$0;c=0;continue
   
10.        }
    
11.      else if($0~a[j])
    
12.        {
    
13.         c=0;break
    
14.        }
    
15.   }
    
16. if(c!=0){i++;a[i]=$0;c=0}
    
17. }
    
18. END{for(i in a)print a[i]}

復制代碼

出來結果再濾一次重（continue那里可能會重行）

blackold

try:

1. 
   
2. $ awk '{for ( i in a ) {if( i ~ $0) {delete a[i]; a[$0]=1} else if ($0 ~ i) f=1;} if(!f) a[$0]=1; else f=0;} END{for(i in a) print i}'  urfile
   

復制代碼

向ly5066113 學習next:

1. 
   
2. awk '{for ( i in a ) {if( i ~ $0) {delete a[i]; a[$0]=1; next} else if ($0 ~ i) next} a[$0]=1} END{for(i in a) print i}' urfile
   

復制代碼

向 cjaizss  學習 index:

1. awk ' {for ( i in a ) {if(index(i, $0)) {delete a[i]; a[$0]=1; next} else if (index($0,i)) next} a[$0]=1} END{for(i in a) print i}' urfile

復制代碼

[ 本帖最后由 blackold 于 2008-8-12 10:42 編輯 ]

cjaizss

1. 
   
2. #!/bin/awk -f
   
3. BEGIN{x=0;}
   
4. {
   
5.         for(i=0;i<x;i++){
   
6.                 if(!(i in a))
   
7.                         continue;
   
8.                 if(index($0,a[i])){
   
9.                         next;
   
10.                 } else if(index(a[i],$0)) {
    
11.                         a[i]=$0;
    
12.                         for(i++;i<x;i++)
    
13.                                 if((i in a)&&index(a[i],$0))
    
14.                                         delete a[i];
    
15.                         next;
    
16.                 }
    
17.         }
    
18.         a[x++]=$0
    
19. }
    
20. END{for(i in a)print a[i]}
    

復制代碼

雖然會很慢，但是可以得到正確的結果

ly5066113

原帖由 blackold 于 2008-8-12 09:06 發(fā)表
try:

$ awk 'NR==1{a[$0]=1} NR !=1{for ( i in a ) {if( i ~ $0) {delete a; a[$0]=1} else if ($0 !~ i) a[$0]=1}} END{for(i in a) print i}' urfile

思路差不多，呵呵。

1. awk '{for(i in a){if(index(i,$0)==1){a[$0]++;delete a[i];next}else if(index($0,i)==1) next}a[$0]++}END{for(i in a) print i}' urfile

復制代碼

blackold

原帖由 ly5066113 于 2008-8-12 09:32 發(fā)表


思路差不多，呵呵。

awk '{for(i in a){if(index(i,$0)==1){a[$0]++;delete a;next}else if(index($0,i)==1) next}a[$0]++}END{for(i in a) print i}' urfile

我的代碼有的問題，已經修改。awk還沒入門啊。

[ 本帖最后由 blackold 于 2008-8-12 10:01 編輯 ]

cjaizss

建議用index函數(shù)，而不是用regex匹配。
第一，regex匹配應該不是LZ想要的答案
第二，regex比較慢一點

blackold

原帖由 cjaizss 于 2008-8-12 10:15 發(fā)表
建議用index函數(shù)，而不是用regex匹配。
第一，regex匹配應該不是LZ想要的答案
第二，regex比較慢一點

有理，向cjaizss 學習!

springwind426

換個思路：

1. 
   
2. sort 數(shù)據(jù)文件 | awk 'NR==1{print;a=$0;FS="(" a ")"}NR>1&& NF==1{a=a"|"$0;FS="("a")";print}'
   
3. 
   
4. 如果文件中某些行可能存在特殊字符，那么上面的寫法就不適用了，可以嘗試下面的
   
5. 
   
6. sort 數(shù)據(jù)文件 | awk 'NR==1{a[$0]=1;print $0}NR>1{has=0;for(i in a) has+=index($0,i);if(!has){a[$0]=1;print $0}}'
   

復制代碼

注：假設數(shù)據(jù)文件是不排序的，如果數(shù)據(jù)文件已經是排序的，就不需要用sort了

[ 本帖最后由 springwind426 于 2008-8-12 10:58 編輯 ]

blackold

原帖由 springwind426 于 2008-8-12 10:49 發(fā)表
換個思路：

sort 數(shù)據(jù)文件 | awk 'NR==1{print;a=$0;FS="(" a ")"}NR>1&& NF==1{a=a"|"$0;FS="("a")";print}'

如果文件中某些行可能存在特殊字符，那么上面的寫法就不適用了，可以嘗試下面的

sort 數(shù)據(jù) ...

學習了。