如何對同一主域的url分開抓取

張翱

(比如w.a.com/a.html和
w.a.com/b.html不要同時抓取)，請教各位大大。

張翱

各位大大，這到底怎么用shell寫，原諒我老是想不通

我是一隻羊

沒明白你啥意思....能不能貼一段文本出來...
原來的文本+你希望處理后生成的文本.

張翱

編寫一個抓取腳本，輸入url列表，輸出全部抓取回來的頁面的打包文件，要求就是對同一主域的URL分開抓取，
(比如w.a.com/a.html和
w.a.com/b.html不要同時抓取)回復(fù) 3# 我是一隻羊


   

Shell_HAT

如果是想整站下載，可以試試這個工具：httrack

seesea2517

回復(fù) 4# 張翱


    分開抓取不是很明白。簡單的想法是就對 url 列表一個循環(huán)，wget 下載保存，這樣可以么？

銀風(fēng)冷月

while read line;do
    curl -i $line -o /opt/${line##*/}.html
done < urllist
tar -zcvf url.tar.gz /opt/*.html

張翱

分開抓取是為了控制被抓取服務(wù)端的壓力，防止因為對同一主域多次同時抓取而遭被抓取端封鎖。回復(fù) 6# seesea2517


   

張翱

還整不了整站那么大，只要控制被抓取服務(wù)端的壓力就行，同一主域的分開抓取回復(fù) 5# Shell_HAT


   

張翱

對是這個意思，就是不知道如何將同一主域的url分開抓取回復(fù) 6# seesea2517