[文本處理] 如何用awk實現(xiàn)僅保留不重復(fù)的行 [復(fù)制鏈接]

電梯直達

1樓 [收藏(0)] [報告]

發(fā)表于 2015-05-06 11:36 |只看該作者 |倒序瀏覽

如何用awk實現(xiàn)僅保留不重復(fù)的行
如，文件1.txt
a;b;d
a;b;c
d;e;c
d;e;a
c;c;d

想得到結(jié)果
c;c;d
即只要有$1;$2重復(fù)的行都刪除，不保留第一行

2樓 [報告]

發(fā)表于 2015-05-06 12:08 |只看該作者

awk -F ";" '{a[$1,$2]++;b[$1,$2]=$3}END{for(i in a){if(a[i]==1){split(i,c,SUBSEP);print c[1]";"c[2]";"b[i]}}}' file

3樓 [報告]

發(fā)表于 2015-05-06 12:13 |只看該作者

簡化下
awk -F ";" '{a[$1,$2]++;b[$1,$2]=$0}END{for(i in a){if(a[i]==1) print b[i]}}' file

4樓 [報告]

發(fā)表于 2015-05-06 12:58 |只看該作者

謝謝前輩，哎，愚鈍啊
a[$1,$2]++，求a[$1,$2]重復(fù)的次數(shù)，如果a[$1,$2]==1,則打印該行，如果a[$1,$2]>1即重復(fù)，則不打印

積分 0, 距離下一級還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区