Tie::File處理大文件問題

linewer

近3T的大文件(大概2195822197行),每行一條記錄, 想查找符合某條件的行,
在一臺Intel(R) Xeon(R) CPU E5-2609 v3 1.90GHz , 64GB內(nèi)存的服務(wù)器上,跑了大半天,最后直接內(nèi)存溢出了;  最后測試了下grep直接查找，大半天最后出來結(jié)果了....
如下程序有啥問題么，或者對于這么大文件用perl處理有啥建議么

1. #!/usr/bin/env perl
   
2. use Tie::File;
   
3. 
   
4. open( $fn, '>', './line-number.log') or die "Could not open file";
   
5. open( $fm, '>', './tie-result.log') or die "Could not open file";
   
6. tie @array, 'Tie::File', './myresult.json' or die "File error\n";
   
7. $min=1464537601000-900;
   
8. $max=1466783999000;
   
9. for ($n=2195822197;$n>=0;$n--)   #只知道大概在文件中下部的樣子,具體不知道哪一行,采用從后往前查找匹配
   
10. {
    
11.   my $tmp=$array[$n];
    
12.   if( $tmp =~ /"Time":"(.*?)",.*"time":"2016-0[5-6].*?","SerialNumber":"123456790abcd"/)
    
13.   {
    
14.     if ( $1 >= $min  && $1 <= $max)
    
15.     {
    
16.        print $fn "$n\n";
    
17.        print $fm "$tmp\n";
    
18.     }
    
19.     if( $1 < $min)
    
20.     {
    
21.        last;
    
22.     }
    
23.   }
    
24. }
    
25. 
    
26. close($fn);
    
27. close($fm);

復(fù)制代碼

104359176

這么大的文件用 Tie:: 模塊，這個模塊會把文件盡可能的裝到內(nèi)存里。既然是遍歷，就用文件句柄，逐行遍歷就好了。

不過這么大的文件不放在數(shù)據(jù)庫里，一行一行的找太費時間。不如一次放在數(shù)據(jù)庫里，省的下次麻煩。

或者用多線程語言，把文件分成多個部分，分別去找，會快很多。

linewer

回復(fù) 2# 104359176
本來是DB里，因為臨時整改調(diào)整，以前知道Tie并簡單用過，這次想試試處理這么大文件是什么效率,結(jié)果大失所望...