split內(nèi)存占用太大怎么辦

raoweijian

現(xiàn)在有圖1所示文件，包含了數(shù)百萬個(gè)位點(diǎn)的信息，相互之間用空格分開。
現(xiàn)在需要找出指定開始和終止位置之間的信息，統(tǒng)計(jì)有多少是大于3的。
比如需要統(tǒng)計(jì)第3000-5000個(gè)位點(diǎn)內(nèi)，有多少個(gè)位點(diǎn)的數(shù)字是大于3.
如果用split，內(nèi)存會(huì)飆到十多G，不適用。substr也不好用，因?yàn)槿绻麛?shù)字為兩位數(shù)或者三位數(shù)，則會(huì)占用多個(gè)字符位置，沒辦法統(tǒng)計(jì)。
請(qǐng)問應(yīng)該怎么解決這個(gè)問題？

rubyish

example:

1. #!/usr/bin/perl
   
2. 
   
3. my $data = '0 0 0 1 2 3 4 5 6 7 8 1 1 1 11 15 16 0 0 0 0 12';
   
4. my ( $begin, $end, $num, $count ) = ( 5, 15, 3, 0 );
   
5. my ( $L1, $L2 ) = ( $begin - 1, $end - $begin + 1 );
   
6. my ($wanted) = $data =~ /^(?:\S+\s+){$L1}((?:\S+\s+){$L2})/;
   
7. 
   
8. $& > $num and $count++ while $wanted =~ /\S+/g;
   
9. print "P$begin ~ P$end [ data > $num ] count = $count\n";

復(fù)制代碼

q1208c

回復(fù) 1# raoweijian

不是太清楚樓主的數(shù)據(jù)是來自文件還是哪里. 另外, 數(shù)據(jù)的總量有多大.

如果數(shù)據(jù)能讀入內(nèi)存(全部或一行), 可以使用split, 不過, 要加個(gè)參數(shù), 類似

1. 
   
2. my $others = $data;
   
3. my ($first, $others) = split(/\s+/, $others, 2);
   

復(fù)制代碼

這樣, 你的數(shù)據(jù)會(huì)分成兩部分, 前一部分只有一個(gè)數(shù)字, 所有的其它的數(shù)據(jù)都在另一部分, 這樣, 占用的內(nèi)存應(yīng)該不是太大. 然后, 繼續(xù)split下去就行了. 每次只處理一個(gè)數(shù)據(jù).
   

jason680

回復(fù) 1# raoweijian

How about this example ...
Note: you can control them by yourself

$ cat get_long_string.pl
#!/usr/bin/perl
use strict;
use warnings;

$_="1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80";

my $sCnt = 1;
my $sOut = "";
while(m/((?:\S+\s+){10})/g){ # 10 items for one times
  if(31 <= $sCnt && $sCnt <= 50){
    $sOut .= $1
  }
  $sCnt +=10;   # 10 items for one times
}
print "Out=$sOut\n";

$ perl get_long_string.pl
Out=31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
   

kk861123

try~ set $/:

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. my $str = join(' ' => 1..22);
   
5. 
   
6. print $str,"\n";
   
7. {
   
8.   open my $fh, '<', \$str or die $!;
   
9.   local $/=' ';
   
10.   while ( <$fh> ) {
    
11.     print "$_\n";
    
12.   }
    
13. }
    

復(fù)制代碼

afukada

1. use strict;
   
2. use warnings;
   
3. 
   
4. $_="1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80";
   
5. 
   
6. my ($start,$end,$dataStart,$i)=(31,50,0,0);
   
7. my @myList;
   
8. 
   
9. while(/\s+/g)
   
10. {
    
11.         $i++;
    
12.         push(@myList,substr($_,$dataStart,pos($_)-$dataStart-1)) if($i>=$start&&$i<=$end);
    
13.         $dataStart=pos($_);
    
14. }
    
15. 
    
16. print join(",",@myList),"\n";

復(fù)制代碼

這個(gè)如何

pitonas

嘆為觀止{:2_178:}

raoweijian

看來還是我對(duì)正則匹配了解得不夠。這個(gè)數(shù)據(jù)一共有200M，大約3000W個(gè)位點(diǎn)，3樓說的方法每次處理一個(gè)似乎并不適用。
二樓和四樓都用到了/^(?:\S+\s+){$L1}((?:\S+\s+){$L2})/類似這樣的匹配，不過我不太看得懂。
五樓把默認(rèn)換行符改成了空格，應(yīng)該是可行的，不過我還沒具體試過。
六樓的方法之前沒用到過，代碼測試結(jié)果很好，就是while(/\s+/g)，這種用法具體表示什么不是很明白。

后來我自己想了個(gè)辦法，就是每次只讀100個(gè)數(shù)字，然后判斷是否在區(qū)間內(nèi)，反復(fù)循環(huán)，效率也還可以接受。

rubyish

kk861123 發(fā)表于 2013-11-15 07:30
try~ set $/:

1. local $/=' ';

復(fù)制代碼

學(xué)習(xí)了！這個(gè)速度應(yīng)該比較快。