匹配每行的第二列，只輸出第一次匹配行

yyt030

回復 4# volwang


    量大有啥區(qū)別？這個解決很完美��！

volwang

文本有20萬行。
akw只處理一部分文本就退出。awk沒有處理全部文本。

回復 11# yyt030


   

Herowinter

回復 12# volwang

1樓的數(shù)據(jù)和你的真實數(shù)據(jù)差距很大?
否則25W行好像可以處理啊。。。
   

volwang

稍微有點差距。20w行，8列。
awk處理一部分。
20w行中第二列中有不少重復的。需要輸出第一個，后續(xù)相同的不輸出。

回復 13# Herowinter


   

volwang

你好。過節(jié)好。
awk我試過了，少量行可以處理，行20萬就不行了。
如果我把這個文件命為log，用for循環(huán)遍歷每一行第二列。
第一次出現(xiàn)的寫到log2中，后續(xù)循環(huán)中，判斷l(xiāng)og2中是否含有相同字符，無則輸出到log2。
不知道這樣可行？
最后得到log2，則為輸出。

回復 13# Herowinter


   

volwang

原輸入文件為log；輸出文件為log2。

rm -rf log2
touch log2
for i in `cat log |awk '{print $2 }' `
do
aa=`cat log2 | grep $i `
if  [ ! -z "$aa" ] ; then
echo "have"
else
cat log |grep $i |head -1 >> log2
fi
done

這樣可否

回復 13# Herowinter


   

KoomIer

用python建立一個數(shù)組，然后try一下就好了
沒有就輸出，有就忽略


回復 1# volwang


   

jason680

回復 14# volwang

Try this way if your awk can't work properly

$ perl -lane '{print if(!$h{$F[1]}++)}' FILE
qq sss.1  ww dd  rr  ee  tt yyy  
qq sss.2  ww dd  rr  ee  tt yyy
qq sss.3  ww dd  rr  ey  tt yyy
qq sss.x1  ww dr  ur  te  wt yyy

zongyaotang

先把第二列重復的字符串找出來
然后對每個這樣的字符串找出其行號
如果能找出所有非第一次出現(xiàn)的行號
刪去這些行即可