多進(jìn)程的內(nèi)存問題

heut2009

代碼是要實(shí)現(xiàn)批量的抓取網(wǎng)頁，由于數(shù)量太多，考慮到多進(jìn)程，可是運(yùn)行就提示內(nèi)存不能為read，該怎么寫這種多進(jìn)程的腳本呢？
還有采用多線程不知能否實(shí)現(xiàn)，本人嘗試多線程時，線程執(zhí)行時并沒有提交cookies。

1. use LWP::UserAgent;
   
2. use HTTP::Cookies;
   
3. use LWP::ConnCache;
   
4. use strict;
   
5. my $ua=LWP::UserAgent->new;
   
6. my $cache=LWP::ConnCache->new();
   
7. $ua->conn_cache($cache);
   
8. my $user="yongchun_wsu";
   
9. my $password="trial01";
   
10. my $url="https://portal.biobase-international.com/cgi-bin/portal/login.cgi";
    
11. 
    
12. my $cookie=HTTP::Cookies->new(file=>'lwp_cookie.dat',autosave=>1,ignore_discard=>1);
    
13. $ua->cookie_jar($cookie);
    
14. 
    
15. my $res=$ua->post("$url",[login=>"$user",
    
16.                           password=>"$password"]) or die "can't login $!";
    
17. print "login successed !\n";
    
18. 
    
19. for(my $count=1;$count<10;$count++){
    
20. my $c=fork();
    
21. if($c){
    
22.         print "parent running \n";
    
23. }
    
24. else
    
25. {
    
26. &getpage();
    
27. exit 0;
    
28. }
    
29. }
    
30. 
    
31. sub getpage {
    
32. my $url1="https://portal.biobase-international.com/cgi-bin/build_t/idb/1.0/pageview.cgi?view=MatrixReport&matrix_acc=M0";
    
33. for(my $i=1;$i<1357;$i++){
    
34.     my $id=sprintf("%04d",$i);
    
35.     if(! -e "M0".$id.".html"){
    
36.     my $bro=$ua->get($url1.$id);
    
37.     if($bro->is_success){
    
38.       open(FH,">","M0".$id.".html");
    
39.       print FH $bro->content;
    
40.       print "page M0$id".".html finished\n";
    
41.       close(FH);
    
42.       
    
43.       }
    
44.       else
    
45.       {
    
46.               print "can't get page $id";
    
47.               redo;
    
48.       }
    
49.       }
    
50.     }
    
51. }
    

復(fù)制代碼

wfnh

有一個帖子··可以看一下·
http://www.72891.cn/viewthread.php?tid=1722536