一個帶cookie 的下載 請求問題

heut2009

初學(xué)者的疑問
我想用perl 來批量下載和訊音樂，音樂的url已經(jīng)得到。不過和訊的音樂下載必須要在get請求中帶有cookie�？戳藀erl&lwp 的相關(guān)內(nèi)容，于是照著寫了下�？墒莄ookie并沒有提交成功啊。望高人給點(diǎn)撥一下。

1. use LWP::UserAgent;
   
2. use HTTP::Cookies::Netscape;
   
3. my $url=$ARGV[0];
   
4. open(FH,">c:/a.mp3");
   
5. $cookie=HTTP::Cookies::Netscape->new('file'=>'C:/Documents and Settings/Administrator/Cookies/administrator@hexun[1].txt');
   
6. my $browser=LWP::UserAgent->new;
   
7. $browser->agent("mozilla/4.76");
   
8. $browser->cookie_jar($cookie);
   
9. my $ua=$browser->get($url);
   
10. my $resp=$ua->content;
    
11. print FH $resp;
    
12. close($file);
    

復(fù)制代碼

iamlimeng

經(jīng)過分析和訊的網(wǎng)頁信息，和訊是通過COOKIE防止非法外鏈，而真正影響音樂文件下載的COOLIE是由SetPlayState.js腳本生成的，原代碼如下：

1. //設(shè)置播放狀態(tài)Cookie值。
   
2. function SetPlayState()
   
3. {
   
4.         var cookieName = "HEXUN_COM_MEDIA_PLAYSTATE";
   
5.         var curCookie = cookieName + "=1;path=/;domain=hexun.com";
   
6.         document.cookie = curCookie;
   
7. }
   
8. SetPlayState();

復(fù)制代碼

那么在下載音樂文件的時候，需要在HTTP請求中加入這個COOKIE。

以ID號為5692541音樂為例：
它的播放網(wǎng)頁為：
http://fangchuanqian.music.hexun.com/M5692541.html

經(jīng)分析網(wǎng)頁代碼，它的網(wǎng)頁播放器鏈接為：
http://music.hexun.com/PlayMedia ... 692541&FileUrl=

再分析能發(fā)現(xiàn)，真正生成MP3實(shí)際下載地址的鏈接為：
http://homemusic.tool.hexun.com/ ... 692541&FileUrl=

向“http://homemusic.tool.hexun.com/ ... 692541&FileUrl=”發(fā)送請求，并在請求中加入COOKIE信息，即可正常下載音樂文件。

寫了一個簡單的按音樂的ID號下載的代碼：

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. use LWP::UserAgent;
   
6. use LWP::ConnCache;
   
7. local $| =1;
   
8. 
   
9. my @mp3_ID = ('5692541','5597643');
   
10. 
    
11. my $ua = LWP::UserAgent->new;
    
12. my $conncache = new LWP::ConnCache;
    
13. $ua->conn_cache($conncache);
    
14. my @head = ('Cookie'=>'HEXUN_COM_MEDIA_PLAYSTATE=1'); #將COOLIE加入GET請求頭
    
15. 
    
16. print "\n Download begin ...\n\n";
    
17. foreach my $id (@mp3_ID) {
    
18.         my $res1 = $ua->get("http://homemusic.tool.hexun.com/PM.aspx?CID=1&MID=$id&FileUrl=");
    
19.         my $html = $res1->as_string;
    
20.         if ($html =~ /歡迎訪問.*?和訊音樂個人門戶/) {
    
21.                 print "ID $id is error!\n";
    
22.         }
    
23.         else {
    
24.                  my ($mp3_url) = ($html =~ /A HREF="(.*?)"/i);
    
25.                  print " Downloading $id.mp3 ... ";
    
26.                  my $res2 = $ua->get($mp3_url,@head);
    
27.                  if ($res2->is_success) {
    
28.                           open(my $fp, ">:raw", "$id.mp3");
    
29.                           print $fp $res2->content;
    
30.                           close $fp;
    
31.                           print "OK\n";
    
32.                  }
    
33.                  else { print "Failed!\n"; }
    
34.         }
    
35. }
    
36. print "\n All downloaded!\7";
    
37. <STDIN>;

復(fù)制代碼

可以通過從和訊的網(wǎng)頁中批量提取音樂ID，加入@mp3_ID中，以實(shí)現(xiàn)批量下載。

x9x9

回復(fù) 2# iamlimeng


    學(xué)習(xí)，感覺樓上對網(wǎng)頁抓取很有經(jīng)驗(yàn)~

iamlimeng

回復(fù) 3# x9x9


    以前經(jīng)常寫CGI，所以比較熟悉。

perl-v

遇到高人了， 學(xué)習(xí)經(jīng)驗(yàn)了。

heut2009

回復(fù) 2# iamlimeng


    非常感謝啊，剛用perl不久，之前用來批量抓取頁面提取音樂ID的時候，也不知道用個LWP::conncache。5000多個URL，用來一個多小時，而且失敗的情況也占四分之一。

heut2009

回復(fù) 2# iamlimeng


    還有一個問題，我下載音樂的時候，可以使用什么辦法來同時下載多個音樂呢，用Threads模塊可以實(shí)現(xiàn)么？

iamlimeng

回復(fù) 7# heut2009


    http://bbs3.chinaunix.net/thread-1722536-1-2.html

heut2009

回復(fù) 8# iamlimeng


    再次感謝iamlimeng 的幫助，音樂可以全部下載了，正在downlloading，目前已經(jīng)2個多G了，呵呵。有喜歡輕音樂和懷舊影視配樂的可以找我要啊。