如何刪掉某一個域相同的重復(fù)的行

落魄劍客

有一個文本，形式如下：
aaa:bbb:cccc:dddd
bbb:111:dddd:yyyy
222:bbb:3333xxx
vvv:aaa:pppp:jjjjjj
ooo:bbbxxxx:vvvv
假如現(xiàn)在我想把只要是第二域相同的行，只顯示第一行，其余的行刪除，用shell怎么實現(xiàn)，沒想到好的辦法，請高手賜教！多謝！

寂寞烈火

try:
awk -F: '!a[$2]++'

落魄劍客

烈火兄，我試驗了你的code ，沒問題，但 ！a[$2]++是什么意思？偶系新手不太明白，請指教，另 我是這樣寫的awk -F ':' '{if($2=line) print $0;line=$2}' 但實驗結(jié)果不正確，請烈火兄賜教，不勝感謝！�。�

落魄劍客

上面我的code寫錯了應(yīng)當(dāng)是
awk '{if ($2!=line) print;line=$0}' file

ly5066113

原帖由 寂寞烈火 于 2007-7-5 23:45 發(fā)表
try:
awk -F: '!a[$2]++'

贊一個。
又學(xué)了一招。

dengyin

awk '{if ($2!=line) print;line=$0}' file
這種寫法理論上應(yīng)該是對的，但是前提是重復(fù)的行都是相鄰的情況下才行，像前面給的文件內(nèi)容，顯然是不對的
可以用另一種方法，即先排序然后再排重
sort -t: -k2 test2.txt|awk '{if ($2!=line) print;line=$0}' file
試過了，這種是可以的，關(guān)鍵是排序后源文件的順序就亂了，保留下來的行的順序可能跟你想要的不一樣，還是寂寞烈火  的寫法猛

shihk

awk -F: '!a[$2]++' 很猛
但是一直沒看懂

springwind426

原帖由 shihk 于 2007-10-27 15:50 發(fā)表
awk -F: '!a[$2]++' 很猛
但是一直沒看懂

-F:  表示用:作分隔符

在awk中，表達(dá)式由  條件{} 組成，其中，{...}是操作，如果省略的話，就表示 print $0 就是打印讀取到的行
a[$2]++ 表示用第二個字段做數(shù)組的下標(biāo)（awk中，數(shù)組都是關(guān)聯(lián)數(shù)組，即 key=>value），同時將這個數(shù)組項+1
!a[$2]++ 是先對數(shù)組項a[$2]進(jìn)行非邏輯判斷，如果a[$2]為空、不存在、0的話，邏輯表達(dá)式的結(jié)果為true，判斷完成后，對a[$2]進(jìn)行+1運(yùn)算
因為這個表達(dá)式中沒有{}，因此，用缺省的print $0來操作

因此，!a[$2]++就表示，如果第二個字段的字符串第一次出現(xiàn)的話，就打印本行的內(nèi)容，否則略過不操作


不知道這樣解釋你是否滿意