緊急求助，awk如何根據(jù)某一列去除重復(fù)的記錄！

baochangjin

例子如下：
文件a是如下的記錄
0052850101003|20|285|410010001|module disconnected|2|1|1|
0052850101003|20|285|410010001|module disconnected|2|2|1|
0052850101003|22|285|410010001|module disconnected|2|1|1|
0052850101003|21|285|410010001|module disconnected|2|1|1|
0052850101003|21|285|410010001|module disconnected|2|2|1|

用awk如何根據(jù)第二列的值來去除重復(fù)的，請注意是去掉重復(fù)的，一次都不要。
要的結(jié)果應(yīng)該是只有：
0052850101003|22|285|410010001|module disconnected|2|1|1|

這一行的。
因為20的有重復(fù)了就不要了，21的也重復(fù)了就不要了。

目的是想取記錄中第二列的值只出現(xiàn)一次的那條記錄。

懇請大蝦們幫助呀�。。�！在線等待中呀�。。�！

Shell_HAT

1. awk -F '|' 'NR==FNR{a[$2]++;next}a[$2]==1' urfile urfile

復(fù)制代碼

ywlscpl

1. awk -F '|' '{a[$2]++; b[$2]=$0}END{for (i in a) if (a[i]==1) print b[i]}' file

復(fù)制代碼

waker

uniq -s14 -w2 -u  urfile

expert1

這種uniq 吧，看下-s參數(shù)

rdcwayx

uniq 只在這個特例有效， 如果第二列的數(shù)字有一位，兩位，三位數(shù)的話，就要出錯了。awk 則沒有這個問題。

baochangjin

ywlscpl 發(fā)表于 2011-08-26 08:20

    這位大蝦可以幫忙解釋一下嗎？？蝦米意思呀？

Shell_HAT

回復(fù) 5# expert1

#uname FreeBSD #uniq -s14 -w2 -u  urfile uniq: illegal option -- w usage: uniq [-c | -d | -u] [-i] [-f fields] [-s chars] [input [output]]

FreeBSD、HP-UX等用回表示鴨梨山大

$ uname HP-UX $ uniq -s14 -w2 -u  urfile uniq: illegal option -- w Usage: uniq [-cdu] [-f Fields] [-s Chars] [-Fields] [+Chars] [InFile [OutFile]]

expert1

回復(fù) 8# Shell_HAT


沒辦法，linux/unix家族太多分支了。

chhuma

回復(fù) 1# baochangjin


    awk程序文件名稱2.awk, 程序內(nèi)容：
BEGIN {
  FS = "|"
  OFS = "|"
}

{
  if (!dup[$2])
  {
    cont[$2] = $0;
  }
  dup[$2] = dup[$2] +1;
}


END {
  for (key in dup) {
      if (dup[key] == 1) {
        print cont[key]
      }
  }
}

運行awk程序：
awk -f 2.awk 2.txt