去重復<轉(zhuǎn)>

yinyuemi

文本：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30

去重復的規(guī)則：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33(和第1條重復5個,去掉)
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27(和第1條重復5個,去掉)
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30(和倒數(shù)3條重復6個,去掉)


輸出結(jié)果：

02,10,11,18,27,30
06,09,11,14,20,31
01,03,04,16,18,22
07,14,22,27,28,32
04,05,09,15,21,30
12,13,17,20,22,23

liion631818

沒看明白怎么辦，每一行都是跟他前面的行比較，重復5個或者以上就去掉？

yinyuemi

回復 2# liion631818


    恩，是這個意思

waker

1. 
   
2. awk -F, '{s=0;m=1;for(i=1;i<=NF;i++)s+=$i^3;for(i=1;i<=NF;i++)m*=(!a[s-$i^3]++);if(m)print}'
   

復制代碼

waker

如果每個域都是正整數(shù)，好象是可以的

mpstat

回復  liion631818


    恩，是這個意思
yinyuemi 發(fā)表于 2011-09-01 13:31

    順序要不要考慮？比如

02,10,11,18,27,30
02,10,27,11,18,30

是不是重復

yinyuemi

回復 6# mpstat


    應(yīng)該是排好序的，每行都是從小到大的

yinyuemi

回復 4# waker


    老大，這個太猛了！

mpstat

waker 發(fā)表于 2011-09-01 13:48

  。。。沒看懂，解釋一下

jason680

文本：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28 ...
yinyuemi 發(fā)表于 2011-09-01 12:55

$ echo '02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30' | awk -F, '{T="";for(n=0;n++<NF{T=T","a[$n];a[$n]=a[$n]","NR};split(T,t,",";f=0;for(n in t){if(t[n]==""continue;if(gsub(t[n],"",T)>=5)f=1};if(f==0)print $0}'
02,10,11,18,27,30
06,09,11,14,20,31
01,03,04,16,18,22
07,14,22,27,28,32
04,05,09,15,21,30
12,13,17,20,22,23