自己寫了個(gè)Perl腳本，但是運(yùn)行很慢，麻煩各位好漢走過路過幫忙看看

Chinaaa123

大家好，我寫了個(gè)腳本但是腳本運(yùn)行的特別慢，但是文件小的話（假設(shè)2000行左右）就可以馬上運(yùn)行出來，但是文件大就特別慢好幾天了才出來一點(diǎn)點(diǎn)結(jié)果(400K左右)感覺不太正常，麻煩大家?guī)兔�看看如何修改才能讓它運(yùn)行速度加快，自己也不怎么懂算法，再此謝過了：具體情況見下述   我需要對(duì)一個(gè)4G左右大小的文件進(jìn)行處理，該文件內(nèi)容是這樣的----

ID1  xxx  xxx xxx 50                                   
ID1  xxx  xxx xxx 60                                   ID1  xxx  xxx xxx 60    即第5列是個(gè)分值，分值高則留下，分值一樣則都保留，ID重復(fù)的次數(shù)是>=2, 絕大部分是>=2的
ID2  xxx  xxx xxx 50                                   ID2  xxx  xxx xxx 60   
ID2  xxx  xxx xxx 60   最終需要得到右邊結(jié)果    ID4  xxx  xxx xxx 60

ID3  xxx  xxx xxx 50                                   ID4  xxx  xxx xxx 60
ID3  xxx  xxx xxx 60                                   ID3  xxx  xxx xxx 60

ID3  xxx  xxx xxx 60                                   ID3  xxx  xxx xxx 60
ID4  xxx  xxx xxx 60
ID4  xxx  xxx xxx 60  （xxx所表示的是不一樣的，所以只是ID 相同行不同）


while(<IN>){
    chomp;
    my($z,$c)=(split /\t/)[0,4];
    $hash{$z}++;
    if($hash{$z}==1){
         $hash2{$z}=$_;
         $hash4{$z}=$c;
     }
    if($hash{$z}>1){
         $hash3{$z}=$_;
         $hash5{$z}=$c;
     }
}
foreach my $key2(sort keys %hash2){
     foreach my $key3(sort keys %hash3){
          if($key2 eq $key3){
             if($hash4{$key2}>$hash5{$key3}){
               print OUT "$hash2{$key2}\n";
            }
             if($hash4{$key2}<$hash5{$key3}){
               print OUT "$hash3{$key3}\n"
           }
             if($hash4{$key2}==$hash5{$key3}){
                print OUT "$hash2{$key2}\n$hash3{$key3}\n";
           }
     }
  }}

zhlong8

你把所有數(shù)據(jù)都放內(nèi)存里，4G的文件占用內(nèi)存可能要40G到400G

如果有3個(gè)ID一樣，你這代碼不能正確處理。

優(yōu)化思路：如果ID是排過序的，相同的連著內(nèi)存占用就是O(1)常量，處理時(shí)間只跟文件行數(shù)相關(guān)O(n)

Chinaaa123

回復(fù) 2# zhlong8
非常感謝你的回答，謝謝！
文件我是已經(jīng)提前排好序了的，您的思路是  如果相同的ID連續(xù)出現(xiàn)，就賦值給一個(gè)常量（假設(shè)賦值給1），是這個(gè)意思么？這樣一來也是要進(jìn)行計(jì)算重復(fù)的次數(shù)的。
我再請(qǐng)教一個(gè)問題：  腳本運(yùn)行慢是因?yàn)槲野盐募�的每一行都存進(jìn)內(nèi)存里，是if(....)判斷后再將$_存入哈希里這里出錯(cuò)了是么，這樣就是存進(jìn)內(nèi)存么？
這個(gè)是我寫的另外一個(gè)腳本，我也是把$_存進(jìn)$hash里面，文件也很大但是這個(gè)運(yùn)行速度就快
while(<DATA>{
   chomp;
   my($c,$d)=(split/\t/)[0,4];
   $hash{$c}=$_;    #這里也是將其存進(jìn)內(nèi)存么？
   $hash2{$c}++;   
   $hash3{$c}=$a9ur7n9vt
}  

foreach my $key3(sort keys %hash3){    #還是遍歷的時(shí)候會(huì)存進(jìn)內(nèi)存
   if($hash2{$key3}>1){
         print OUT "$hash{$key3}\n";

   }else{
         print OUTTTT "$hash{$key3}\n";
     }
}

zhlong8

先寫正確再優(yōu)化啊。既然已經(jīng)排過序了，一個(gè)ID一個(gè)ID的處理不就行了，根本不用保存到 hash 中去。

1. use 5.010;
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my $last_id = '';
   
6. my $last_score;
   
7. my @queue;
   
8. 
   
9. while (<>) {
   
10.     my($id, $score) = (split /\t/)[0,4]; #每個(gè)字段位置固定的話可以用 substr
    
11.     if ($id ne $last_id) { #處理完一組直接打印，無(wú)需保留中間結(jié)果
    
12.         print for @queue;
    
13.        @queue     = $_; #等價(jià)于清空數(shù)組長(zhǎng)度變?yōu)?，然后 $queue[0] = $_;
    
14.         $last_id    = $id;
    
15.         $last_score = $score;
    
16.     } elsif ($score == $last_score) {
    
17.         push @queue, $_;
    
18.     } elsif ($score > $last_score) {
    
19.         $last_score = $score;
    
20.         @queue      = $_;
    
21.     }
    
22. }
    
23. 
    
24. print for @queue;

復(fù)制代碼

思路基本上就這樣了，這么頻繁的讀寫的話IO可能成為瓶頸，不過你要先測(cè)一下。

laputa73

我理解就是把最高分的id挑出來
那么用一個(gè)變量存最高分，用一個(gè)hash存分?jǐn)?shù)等于最高分的id xxx xxx xxx
如果最高分變了，就清空hash，
這樣從頭到尾過一遍。
不需要排序吧。
perl的文本處理速度大約是1分鐘1G左右。

jason680

回復(fù) 1# Chinaaa123

$ cat file
ID1  xx1  xxx xxx 50                                   
ID1  xx2  xxx xxx 60
ID2  xx3  xxx xxx 50
ID2  xx4  xxx xxx 60
ID3  xx5  xxx xxx 50
ID3  xx6  xxx xxx 80
ID3  xx7  xxx xxx 80
ID4  xx8  xxx xxx 70
ID4  xx9  xxx xxx 70

$ perl get_max_val.pl file
ID1  xx2  xxx xxx 60
ID2  xx4  xxx xxx 60
ID3  xx6  xxx xxx 80
ID3  xx7  xxx xxx 80
ID4  xx8  xxx xxx 70
ID4  xx9  xxx xxx 70

$ cat get_max_val.pl

use strict;
use warnings;

# get max value and string by sorted data
my $sMax_val = 0;
my $sMax_str = "";
my $sId = "";

while(<>){
  chomp;
  next if m/^\s*$/;
  s/^\s+|\s+$//g;
  my @aData = split;
  if ($sId ne $aData[0]){
    print $sMax_str if($sMax_str ne "");
    $sMax_val = $aData[-1];
    $sMax_str = "$_\n";
    $sId = $aData[0];
    next;
  }
  if ($sMax_val < $aData[-1]){
    $sMax_val = $aData[-1];
    $sMax_str = "$_\n";
    next;
  }
  if ($sMax_val == $aData[-1]){
    $sMax_str .= "$_\n";
    next;
  }

}
print $sMax_str;

dahe_1984

你的文件重要不？不重要的話打個(gè)包上傳上來

dahe_1984

perl有沒有pandas？ 這種數(shù)據(jù)pandas處理的快

Chinaaa123

哇，！
在此感謝上述各位大神的回復(fù)，謝謝你們的幫助！
我的問題解決了，再次感謝！抱拳

Chinaaa123

回復(fù) 8# dahe_1984

pandas是Python快速處理數(shù)據(jù)的一個(gè)工具，我感覺Perl本身就類似于pandas吧，也不知道理解的對(duì)不對(duì)，謝謝你的回答！