匹配每行的第二列，只輸出第一次匹配行

volwang

已知文本：
qq sss.1  ww dd  rr  ee  tt yyy  
qq sss.1  wr  dt  tr  ye  qt yxy
qq sss.2  ww dd  rr  ee  tt yyy
qq sss.3  ww dd  rr  ey  tt yyy
qq sss.3  ww dd  rr  ee  tt yyy
qq sss.1  ww dd  rr  ee  tt yyy  
qq sss.1  ww dr  er  te  wt yyy  
qq sss.x1  ww dr  ur  te  wt yyy
qq sss.x1  ww dr  er  te  wt yyy
當?shù)诙�列字符相同時，只輸出第一次出現(xiàn)的列，后面重復出現(xiàn)的刪除。
上述文本只輸出第1,3,4，8列，第2，5，6,7,9列不輸出。
結(jié)果：
qq sss.1  ww dd  rr  ee  tt yyy  
qq sss.2  ww dd  rr  ee  tt yyy
qq sss.3  ww dd  rr  ey  tt yyy
qq sss.x1  ww dr  ur  te  wt yyy

謝謝

ly5066113

回復 1# volwang

1. awk '!a[$2]++' file

復制代碼

volwang

這個文本有25萬行。用你這行代碼只能處理一部分。

volwang

這個文本有25萬行。用你這行代碼只能處理一部分。

volwang

不能充分匹配。

zxy877298415

1. wk '{if(++a[$2]==1) print $1,$3,$4,$8}' file
   
2. qq ww dd yyy
   
3. qq ww dd yyy
   
4. qq ww dd yyy
   
5. qq ww dr yyy

復制代碼

回復 5# volwang


   

zxy877298415

回復 7# zooyo


   

dn833

找個較大內(nèi)存的機器，把文件放到/dev/shm下再試試看

blackold

回復 4# volwang


    25萬行不成問題吧。