利用perl提取google網(wǎng)頁搜索結(jié)果中的內(nèi)容

xingzhou823

各位，早上好

利用google搜索時(shí)，輸入關(guān)鍵詞以后可能會(huì)出現(xiàn)很多結(jié)果，例如 輸入“醫(yī)學(xué) email @ .com” 以后，會(huì)有43000個(gè)結(jié)果，我的目的就是要得到這么多結(jié)果中的郵箱信息。
只要每個(gè)結(jié)果中含有 郵箱格式的內(nèi)容就提取出來。

利用perl來實(shí)現(xiàn)這一過程該怎么弄呢，

我之前只用過利用perl來提取 生物數(shù)據(jù)庫NCBI 的pubmed數(shù)據(jù)庫中的pubmed id，如下所示

1. #!/usr/bin/perl
   
2. use strict;
   
3. #use warnings;
   
4. die "Usage : perl $0 <KEY.list> <key_word> <count.txt>\n"unless(@ARGV==3);
   
5. open(IN,$ARGV[0])or die $!;
   
6. my $key_word=$ARGV[1];
   
7. open(OUT1,">$ARGV[2]") or die "could not open file!";
   
8. open(OUT,">result_abstract.tmp.v2") or die "could not open file!";
   
9. #perl **.pl  KEY.list  count.txt
   
10. my %has;
    
11. my @key;
    
12. my %notkey;
    
13. while(<IN>){
    
14.         chomp (my $tmp=$_);
    
15.    my ($key,$notkey,$a2)=split(/\s+/,$tmp);
    
16.          $key=[        DISCUZ_CODE_0        ] if($key=~/\w+.*\w+/);
    
17.         $notkey=[        DISCUZ_CODE_0        ] if($notkey=~/\w+.*\w+/);
    
18.         $has{$key}=$tmp;
    
19.         $notkey{$key}=$notkey;
    
20.         push @key,$key;
    
21. }
    
22. 
    
23. 
    
24. 
    
25. 
    
26. 
    
27. sub ask_user {
    
28.   print "$_[0] [$_[1]]: ";
    
29.   my $rc = <>;
    
30.   chomp $rc;
    
31.   if($rc eq "") { $rc = $_[1]; }
    
32.   return $rc;
    
33. }
    
34. 
    
35. # ---------------------------------------------------------------------------
    
36. # Define library for the 'get' function used in the next section.
    
37. # $utils contains route for the utilities.
    
38. # $db, $query, and $report may be supplied by the user when prompted;
    
39. # if not answered, default values, will be assigned as shown below.
    
40. 
    
41. use LWP::Simple;
    
42. 
    
43. my $utils = "http://www.ncbi.nlm.nih.gov/entrez/eutils";
    
44. my $num;
    
45. # ---------------------------------------------------------------------------
    
46. # $esearch cont羒ns the PATH & parameters for the ESearch call
    
47. # $esearch_result containts the result of the ESearch call
    
48. # the results are displayed 羘d parsed into variables
    
49. # $Count, $QueryKey, and $WebEnv for later use and then displayed.
    
50. foreach my $key (@key){
    
51. my        $db="Pubmed";
    
52. my $report="abstract";
    
53. my $query ="($key NOT $notkey{$key})AND $key_word";
    
54. my $esearch = "$utils/esearch.fcgi?" .
    
55.               "db=$db&retmax=1&usehistory=y&term=";
    
56. $num++;
    
57.         #print "$key\t$num\n";
    
58.         print "$query\t$num\n";
    
59. my $esearch_result = get($esearch . $query);
    
60. 
    
61. $esearch_result =~
    
62.   m|<Count>(\d+)</Count>.*<QueryKey>(\d+)</QueryKey>.*<WebEnv>(\S+)</WebEnv>|s;
    
63. 
    
64. my $Count    = $1;
    
65. my $QueryKey = $2;
    
66. my $WebEnv   = $3;
    
67. $has{$key}=[        DISCUZ_CODE_0        ] if($has{$key}=~/\w+.*\w+/);
    
68. print OUT1 "$has{$key}\tQuery \: $query \tpubmed_count\t$Count\n";
    
69. # ---------------------------------------------------------------------------
    
70. # this area defines a loop which will display $retmax citation results from
    
71. # Efetch each time the the Enter Key is pressed, after a prompt.
    
72. 
    
73. my $retstart;
    
74. my $retmax=$Count;
    
75. 
    
76. for($retstart = 0; $retstart < $retmax; $retstart += $retmax) {
    
77.   my $efetch = "$utils/efetch.fcgi?" .
    
78.                "rettype=$report&retmode=text&retstart=$retstart&retmax=$retmax&" .
    
79.                "db=$db&query_key=$QueryKey&WebEnv=$WebEnv";
    
80.        
    
81. 
    
82.   my $efetch_result = get($efetch);
    
83.   
    
84.   print OUT "---------\nQuery\: $key\t$Count\t$query\nEFETCH RESULT(".
    
85.          ($retstart + 1) . ".." . ($retstart + $retmax) . "): ".
    
86.         "[$efetch_result]\n-----PRESS ENTER!!!-------\n";
    
87.   ;
    
88. }
    
89. }
    
90. close OUT;
    

復(fù)制代碼

應(yīng)用到google上面就不一樣了

該怎么寫呢？

laputa73

用lwp或者curl先把網(wǎng)頁抓下來
然后就很簡單吧
用關(guān)鍵字/正則匹配含@的字符串就可以了
注意一下前后的分界就行了吧

xingzhou823

能具體點(diǎn)嗎，還是不會(huì)改回復(fù) 2# laputa73


   

laputa73

你可以先cpan一下lwp的例子看看啊
試試看有什么地方不明白的再問

1. my $url = 'http://freshair.npr.org/dayFA.cfm?todayDate=current';
   
2.     # Just an example: the URL for the most recent /Fresh Air/ show
   
3. 
   
4.   use LWP::Simple;
   
5.   my $content = get $url;
   
6.   die "Couldn't get $url" unless defined $content;
   
7. 
   
8.   # Then go do things with $content, like this:
   
9. 
   
10.   if($content =~ m/jazz/i) {
    
11.     print "They're talking about jazz today on Fresh Air!\n";
    
12.   } else {
    
13.     print "Fresh Air is apparently jazzless today.\n";
    
14.   }
    

復(fù)制代碼

78612576

這個(gè)需求的難點(diǎn)  應(yīng)該是你反復(fù)請(qǐng)求google時(shí)   ip被重置 的 應(yīng)對(duì)策略 ~

laputa73

那就百度或者360咯
google已經(jīng)悲劇了

cdtits

先占個(gè)位置，坐等答案出現(xiàn)

laputa73

LZ的意思大概是不知道怎么翻頁遍歷結(jié)果？
這個(gè)在下面的頁碼上有每一頁的連接,可以用程序拼接
循環(huán)取直到最后一頁
和你那個(gè)生物網(wǎng)頁的fcgi翻頁原理其實(shí)也差不多。
我用google搜索了一下“醫(yī)學(xué) email @ .com”
搜索獲得約 206,000,000 條結(jié)果，以下是第 23 頁 （用時(shí) 0.24 秒） 。。。
頁數(shù)好多。。。

py

有這樣需求的多半是要做壞事。

做壞事就要有做壞事的本事，得有基本的技術(shù)能力和鉆研精神。就這么個(gè)問題都解決不了，趁早放棄。

LZ做這件事，后面可能出現(xiàn)的問題還多著呢。想做成你就必須能自己解決這些問題。

xingzhou823

這個(gè)例子我是能看明白的，可是google搜索中我直接引用網(wǎng)頁
my $ulr = "http://scholar.google.com.hk/scholar?start=0&q=%E5%8C%BB%E5%AD%A6+email+%40+.com&hl=zh-CN&as_sdt=1,5&as_vis=1"
是得不到結(jié)果的，并且沒有自動(dòng)翻頁的功能。

回復(fù) 4# laputa73