如何對(duì)同一主域的url分開抓取

張翱

我怎么看不明白呢，對(duì)同一主域的沒有做到分開抓取啊回復(fù) 7# 銀風(fēng)冷月


   

seesea2517

回復(fù) 10# 張翱


    沒明白分開抓取的意思……是說(shuō)每次wget一個(gè)url，連續(xù)兩個(gè)url都是同一個(gè)主域的，這就算沒有“分開”抓取的是嗎？這樣的話咱排url列表的時(shí)候分開就行了唄�；蛘哌�是別的意思？

張翱

我給你把題目說(shuō)下：
編寫一個(gè)抓取腳本，輸入url列表，輸出全部抓取回來(lái)的頁(yè)面的打包文件。

抓取要求:
控制被抓取服務(wù)端的壓力，對(duì)同一主域的url分開抓取。(比如w.a.com/a.html和
w.a.com/b.html不要同時(shí)抓取)
控制抓取服務(wù)器的壓力，并發(fā)度為30，即同時(shí)可以使用30個(gè)進(jìn)程來(lái)進(jìn)行抓取。

URL示例:
url.list隨便寫幾個(gè)抓取URL即可




回復(fù) 12# seesea2517


   

seesea2517

回復(fù) 13# 張翱


    這個(gè)明白了。你一樓沒說(shuō)到“并發(fā)”這個(gè)事情，不然順序抓取怎么會(huì)有同時(shí)這個(gè)問題嘛。

張翱

嗯，不知道該怎么編寫回復(fù) 14# seesea2517


   

seesea2517

簡(jiǎn)單寫了一下，沒有測(cè)試，大體思路是循環(huán)處理每一行，并記錄主域，如果主域不在處理中則處理，否則把當(dāng)前行存到末尾，處理下一行。

1. url_list="urls.txt"
   
2. dir_saved="保存的目錄"
   
3. file_packed="xxxx.tgz"
   
4. 
   
5. THREAD_NUM_MAX=30
   
6. fd=4
   
7. domain_processing=()
   
8. 
   
9. init ()
   
10. {
    
11.     file_name="$.fifo"
    
12.     mkfifo $file_name
    
13.     eval "exec $fd<>$file_name"
    
14.     rm $file_name
    
15. 
    
16.     for ((i = 0; i < $THREAD_NUM_MAX; ++i))
    
17.     do
    
18.         echo "xxx" >& $fd
    
19.     done
    
20. }
    
21. 
    
22. spawn_sub_job ()
    
23. {
    
24.     wget --directory-prefix=$dir_saved $1
    
25.     domain_processing[$2]=0
    
26.    
    
27.     echo "xxx" >& $fd
    
28. }
    
29. 
    
30. main ()
    
31. {
    
32.     content=`cat $url_list`
    
33.     OLF_IFS=${IFS}
    
34.     IFS='\n'
    
35. 
    
36.     ((count = 0))
    
37.     for line in $content
    
38.     do
    
39.         # 空行略過
    
40.         if [ -z "$line" ]
    
41.         then
    
42.             continue
    
43.         fi
    
44. 
    
45.         # 略過注釋
    
46.         echo "$line" | grep '^#' > /dev/null
    
47.         if [ $? == 0 ]
    
48.         then
    
49.             continue
    
50.         fi
    
51. 
    
52.         # 檢查主域是否在處理中，是的話放到文件尾下次再處理，繼續(xù)處理下一行
    
53.         domain=$(dirname $line)
    
54.         if (( ${domain_processing[$domain]} > 0 ))
    
55.         then
    
56.             content="$content\n$line"
    
57.             continue
    
58.         fi
    
59. 
    
60.         domain_processing[$domain]=1
    
61.         ((count++))
    
62. 
    
63.         # 由管道控制是否還能再產(chǎn)生子進(jìn)程，如果不行，則會(huì)在此等待
    
64.         read -u$fd
    
65. 
    
66.         # 啟動(dòng)子任務(wù)并放入后臺(tái)
    
67.         echo "處理第 $count 行：$line。"
    
68.         spawn_sub_job $line $domain &
    
69.     done
    
70. 
    
71.     # 恢復(fù)舊的設(shè)置
    
72.     IFS=$OLD_IFS
    
73. 
    
74.     # 等待最后一部分查詢完成
    
75.     wait
    
76.    
    
77.     tar -czf $file_packed $dir_saved
    
78. }
    
79. 
    
80. # 執(zhí)行
    
81. init;
    
82. main;

復(fù)制代碼

肯定有錯(cuò)誤，請(qǐng)你修改一下了，元宵快樂，下班走人。

張翱

真是謝謝您了，好人一生平安，元宵節(jié)快樂回復(fù) 16# seesea2517


   

我是一隻羊

學(xué)了一招,這里判斷可以用數(shù)組,而且很高效...
自己之前都是先維護(hù)一個(gè)文件,然后再開一個(gè)管道做隊(duì)列過來(lái)sed -i ,比較麻煩.
贊.

seesea2517

竟然把文字粘貼到代碼中了，哈哈。
樓主測(cè)試測(cè)試，我最怕看代碼了，錯(cuò)了幫我修正。

張翱

OK,大大回復(fù) 19# seesea2517