亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 刪除復(fù)雜重復(fù)項 [打印本頁]
作者: xingzhou823    時間: 2012-10-11 17:00
標(biāo)題: 刪除復(fù)雜重復(fù)項
在數(shù)據(jù)處理的過程中會遇到如下的問題
1234 abc
4567 dfg
abc 1234
dfg 4567
6789 sac
sac 6789
....

中間TAB隔開。

現(xiàn)在要去除重復(fù)的行，得到如下結(jié)果
1234 abc
4567 dfg
6789 sac
...
如果是同一列中出現(xiàn)了重復(fù)我會弄，現(xiàn)在是不同列的重復(fù)，不知道怎么去重了。
作者: xingzhou823    時間: 2012-10-11 17:24
  1. #!usr/bin/perl

  3. my $file = $ARGV[0];
  4. my %tmp;
  5. open TEST,$file or die "can not open";
  6. while(<TEST>){
  7.         my $word = (split(/\s+/))[0];#0代表第一列，1代表第二列。
  8.         next if(! $word);
  9.         if(!exists $tmp{$word}){
  10.                 print ;
  11.                 $tmp{$word}=1;
  12.         }
  13. }
  14. close TEST;
復(fù)制代碼
這樣只能刪除第一列相同的數(shù)據(jù)，不能達(dá)到我的目的。
作者: yinyuemi    時間: 2012-10-11 17:30
回復(fù) 2# xingzhou823
  1. perl -e 'open(fh,"file"); while(<fh>){@a=split;print if(!$hash{$a[0,1]}++ and !$hash{$a[1,0]}++)};close(fh)'
復(fù)制代碼
作者: xingzhou823    時間: 2012-10-11 17:53
回復(fù) 3# yinyuemi

你好，這個命令行代碼好復(fù)雜，另外我是在window上面運行的，把單引號改成雙引號，然后跑程序，顯示錯誤呢。
我也不會修改。




   
作者: yinyuemi    時間: 2012-10-11 18:19

回復(fù) 4# xingzhou823
  1. #!/usr/bin/env perl
  2. open(fh,"file") or die "$!";
  3. my %hash;
  4. while(<fh>){
  5.     my @a=split;
  6.     print if(!$hash{$a[0,1]}++ and !$hash{$a[1,0]}++);
  7. };
  8. close(fh);'
復(fù)制代碼
作者: kk861123    時間: 2012-10-11 20:44
本帖最后由 kk861123 于 2012-10-11 20:44 編輯
yinyuemi 發(fā)表于 2012-10-11 18:19
回復(fù) 4# xingzhou823


我想將@a 排序后可適應(yīng)更多列的情況：
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;

  5. my %h;
  6. while (<DATA>) {
  7.     my @a = sort split;
  8.     print if !$h{"@a"}++;
  9. }

  11. __DATA__
  12. 1234 abc
  13. 4567 dfg
  14. abc 1234
  15. dfg 4567
  16. 6789 sac
  17. sac 6789
復(fù)制代碼
作者: yinyuemi    時間: 2012-10-11 23:49
回復(fù) 6# kk861123

@kk861123
    學(xué)習(xí)了～
作者: xingzhou823    時間: 2012-10-15 14:40
回復(fù) 5# yinyuemi
嗯，多謝了

   
作者: rubyish    時間: 2012-10-16 08:38
kk861123 發(fā)表于 2012-10-11 16:44
我想將@a 排序后可適應(yīng)更多列的情況：

學(xué)習(xí)了～



歡迎光臨 Chinaunix (http://www.72891.cn/) Powered by Discuz! X3.2