刪除復(fù)雜重復(fù)項(xiàng)

xingzhou823

在數(shù)據(jù)處理的過(guò)程中會(huì)遇到如下的問(wèn)題
1234 abc
4567 dfg
abc 1234
dfg 4567
6789 sac
sac 6789
....

中間TAB隔開。

現(xiàn)在要去除重復(fù)的行，得到如下結(jié)果
1234 abc
4567 dfg
6789 sac
...
如果是同一列中出現(xiàn)了重復(fù)我會(huì)弄，現(xiàn)在是不同列的重復(fù)，不知道怎么去重了。

xingzhou823

1. #!usr/bin/perl
   
2. 
   
3. my $file = $ARGV[0];
   
4. my %tmp;
   
5. open TEST,$file or die "can not open";
   
6. while(<TEST>){
   
7.         my $word = (split(/\s+/))[0];#0代表第一列，1代表第二列。
   
8.         next if(! $word);
   
9.         if(!exists $tmp{$word}){
   
10.                 print ;
    
11.                 $tmp{$word}=1;
    
12.         }
    
13. }
    
14. close TEST;

復(fù)制代碼

這樣只能刪除第一列相同的數(shù)據(jù)，不能達(dá)到我的目的。

yinyuemi

回復(fù) 2# xingzhou823

1. perl -e 'open(fh,"file"); while(<fh>){@a=split;print if(!$hash{$a[0,1]}++ and !$hash{$a[1,0]}++)};close(fh)'
   

復(fù)制代碼

xingzhou823

回復(fù) 3# yinyuemi

你好，這個(gè)命令行代碼好復(fù)雜，另外我是在window上面運(yùn)行的，把單引號(hào)改成雙引號(hào)，然后跑程序，顯示錯(cuò)誤呢。
我也不會(huì)修改。




   

yinyuemi

回復(fù) 4# xingzhou823

1. #!/usr/bin/env perl
   
2. open(fh,"file") or die "$!";
   
3. my %hash;
   
4. while(<fh>){
   
5.     my @a=split;
   
6.     print if(!$hash{$a[0,1]}++ and !$hash{$a[1,0]}++);
   
7. };
   
8. close(fh);'

復(fù)制代碼

kk861123

yinyuemi 發(fā)表于 2012-10-11 18:19
回復(fù) 4# xingzhou823

我想將@a 排序后可適應(yīng)更多列的情況：

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my %h;
   
6. while (<DATA>) {
   
7.     my @a = sort split;
   
8.     print if !$h{"@a"}++;
   
9. }
   
10. 
    
11. __DATA__
    
12. 1234 abc
    
13. 4567 dfg
    
14. abc 1234
    
15. dfg 4567
    
16. 6789 sac
    
17. sac 6789

復(fù)制代碼

yinyuemi

回復(fù) 6# kk861123

@kk861123
    學(xué)習(xí)了～

xingzhou823

回復(fù) 5# yinyuemi
嗯，多謝了

   

rubyish

kk861123 發(fā)表于 2012-10-11 16:44
我想將@a 排序后可適應(yīng)更多列的情況：

學(xué)習(xí)了～