如何對同一主域的url分開抓取

張翱

#!/bin/bash
#geturl.sh
#Program:抓取腳本，輸入url列表，輸出全部抓取回來的頁面的打包文件
#自定義并發(fā)進程數(shù)
SUB_PROCESS_NUM=30

#以PID命名管道文件
tmpfile="$$.file"
mkfifo $tmpfile

#以讀寫方式打開管道文件，文件描述符為6
exec 6<>$tmpfile

#刪除臨時管道文件，可不刪除
rm -fr $tmpfile

#for 循環(huán)向管道中輸入并發(fā)的空行
for ((i=0;i<=$SUB_PROCESS_NUM;i++))
do
echo ""
#輸出空行 輸出重導向的文件描述符6上
done >&6

function Geturl ()
{
for url in `cat url.list`
do

#從管道中讀取行，每次一行，所有行讀取完畢后掛起，直到管道有空閑的行
read -u6

#wget -t 3 -w 30 -T 30 $url -o url_html
#md=`cat url.list | awk -F '/' '{print $1}'

{
curl --limit-rate 1024b  --retry 3 --retry-delay 30 --retry-max-time 30  $url -o url_html

#暫停3秒,給系統(tǒng)緩沖時間，達到限制并發(fā)進程數(shù)量
sleep 3
#再寫入一個空行，是掛起的循環(huán)繼續(xù)執(zhí)行
echo "" >&6
}&
done

#等待所有后臺進程執(zhí)行完成
wait

#刪除文件描述符
exec 6>&-
}

time Geturl

張翱

大大您好，您有時間可以為我解釋代碼中的一些東西嘛，我是個大大大菜鳥，整個腳本主要不理解的地方就是52行以后，可以說從那之后一直到78行每行都不理解，勞煩你如果有時間給解釋下，謝謝您了。還有并發(fā)三十個進程我根據(jù)書上的寫了代碼已經(jīng)上傳，麻煩您給看看和您寫的有什么區(qū)別。回復(fù) 16# seesea2517


   

seesea2517

回復(fù) 22# 張翱


    我也是菜鳥啦，不要這么稱呼……
第52 - 78行每一個代碼邏輯段我都有寫注釋，如果是語法不明白的建議是看看手冊說明比較詳細。除了這一行“domain_processing[$domain]=1”是把主域記錄一下以便于判斷是否在處理中沒有寫注釋這里補充一下。
你的并發(fā)控制的方法和我的是完全一樣的，沒有區(qū)別。