去除重復(fù)內(nèi)容并合并多個文本

tingshuibanxia

如題。假如
文本A：
>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
...

文本B：
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>3_  7
RTGFGFHGF
>1111111111
GFHHHHHHHHHHHHSD
...

文本C：
>123
RTGFGFHGF
>RER
DFFDGFHOEIWR
...

將文本間相同序列合并為一個（加粗部分），并且標(biāo)識符>以第一個文件為準(zhǔn)，只保留多個文本各自不同的部分和共有部分，
上述得到：

>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>RER
DFFDGFHOEIWR

MMMIX

就是根據(jù)序列去重嘛

jason680

去重 ==> !$h{$_}++

$ perl -lne '{if(m/^>/){$k=$_;next}if(!$h{$_}++){print "$k\n$_"}}' A B C
>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>3_  7
RTGFGFHGF
>RER
DFFDGFHOEIWR

sunzhiguolu

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. $/ = ">";
   
6. my (%hKeys);
   
7. while (<>){
   
8.     chomp;
   
9.     my ($id, $str) = split (/\n/);
   
10.     next if (!$id);
    
11.     if ($ARGV eq 'a'){
    
12.         $hKeys{$id} = $str;
    
13.         print ">$id\n$str\n";
    
14.         next;
    
15.     }
    
16.     next if (exists $hKeys{$id} or grep {$_ eq $str} values %hKeys);
    
17.     print ">$id\n$str\n";
    
18. }
    

復(fù)制代碼

perl abc.pl a b c
--------------------------------------------------------------------------------------------
>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>3_  7
RTGFGFHGF
>RER
DFFDGFHOEIWR

sunzhiguolu

抱歉...

tingshuibanxia

回復(fù) 3# jason680


    大神，這個問題怎么破？http://www.72891.cn/thread-4252601-1-1.html
用grep -x -B1后多出了第三行 “--”