亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標題: 多進程的內(nèi)存問題 [打印本頁]
作者: heut2009    時間: 2010-08-29 12:30
標題: 多進程的內(nèi)存問題
代碼是要實現(xiàn)批量的抓取網(wǎng)頁，由于數(shù)量太多，考慮到多進程，可是運行就提示內(nèi)存不能為read，該怎么寫這種多進程的腳本呢？
還有采用多線程不知能否實現(xiàn)，本人嘗試多線程時，線程執(zhí)行時并沒有提交cookies。
  1. use LWP::UserAgent;
  2. use HTTP::Cookies;
  3. use LWP::ConnCache;
  4. use strict;
  5. my $ua=LWP::UserAgent->new;
  6. my $cache=LWP::ConnCache->new();
  7. $ua->conn_cache($cache);
  8. my $user="yongchun_wsu";
  9. my $password="trial01";
  10. my $url="https://portal.biobase-international.com/cgi-bin/portal/login.cgi";

  12. my $cookie=HTTP::Cookies->new(file=>'lwp_cookie.dat',autosave=>1,ignore_discard=>1);
  13. $ua->cookie_jar($cookie);

  15. my $res=$ua->post("$url",[login=>"$user",
  16.                           password=>"$password"]) or die "can't login $!";
  17. print "login successed !\n";

  19. for(my $count=1;$count<10;$count++){
  20. my $c=fork();
  21. if($c){
  22.         print "parent running \n";
  23. }
  24. else
  25. {
  26. &getpage();
  27. exit 0;
  28. }
  29. }

  31. sub getpage {
  32. my $url1="https://portal.biobase-international.com/cgi-bin/build_t/idb/1.0/pageview.cgi?view=MatrixReport&matrix_acc=M0";
  33. for(my $i=1;$i<1357;$i++){
  34.     my $id=sprintf("%04d",$i);
  35.     if(! -e "M0".$id.".html"){
  36.     my $bro=$ua->get($url1.$id);
  37.     if($bro->is_success){
  38.       open(FH,">","M0".$id.".html");
  39.       print FH $bro->content;
  40.       print "page M0$id".".html finished\n";
  41.       close(FH);
  42.       
  43.       }
  44.       else
  45.       {
  46.               print "can't get page $id";
  47.               redo;
  48.       }
  49.       }
  50.     }
  51. }
復(fù)制代碼
作者: wfnh    時間: 2010-08-29 13:18
有一個帖子··可以看一下·
http://www.72891.cn/viewthread.php?tid=1722536



歡迎光臨 Chinaunix (http://www.72891.cn/) Powered by Discuz! X3.2