[原]如何使用 aria2c + taskset + mawk 實(shí)現(xiàn)并發(fā)多任務(wù)、多線程下載并快速分割XML

ailms

原文鏈接 ：http://blog.ailms.me/2013/07/20/ ... wk-for-xml-job.html

完整腳本 ：http://static2.ailms.me/scripts/tuan-proc.tar.gz

受人之托寫一個(gè)腳本，需求如下

1、定時(shí)從多個(gè)團(tuán)購網(wǎng)站下載 XML (全量，有些超巨大)

2、要并發(fā)下載+實(shí)時(shí)處理。也就是不能一個(gè)下載完處理后，再下載第2個(gè)，再處理 (話說這個(gè)要求是樓主自己提的 ..)

3、對(duì)下載的 XML 按照每文件1000個(gè)商品的數(shù)量進(jìn)行分割。XML 的格式如下 ：<goods id=n></goods> 為一個(gè)商品

<?xml version=”1.0″ encoding=”UTF-8″?>
<data>
<apiversion><![CDATA[3.0]]></apiversion>
<site_name><![CDATA[滿座網(wǎng)]]></site_name>
<goodsdata>
<goods id=”1″>
<xxxx>
<yyyy>
</goods>
<goods id=”2″>
<xxxx>
<yyyy>
</good>
….

針對(duì)第一點(diǎn) ：

如何快速下載。wget 是傳統(tǒng)的單線程，所以樓主搜索了一下，有一個(gè) aria2 ，看了一下 man ，非常滿意。實(shí)際測(cè)試速度也很不錯(cuò)。

另外這個(gè)東西功能過于強(qiáng)大，強(qiáng)大到可以支持 session 和 daemon 模式，具體樓主還沒研究，目前只是簡(jiǎn)單使用，其他等待以后吧。

另外有一個(gè)要注意的，因?yàn)椴皇菬o時(shí)無刻這些 XML 都在更新，所以并不需要每次都全量下載，所以樓主用了 HEAD 方法記錄這些

XML 文件的 ETag、Mtime、Size 并存成文件，下次下載前檢查一下這3項(xiàng)信息，并與磁盤上實(shí)際的文件大小比較，如果相同則不下載。

1. 
   
2. declare -a aria2cOpts=()
   
3. 
   
4. aria2cOpts+=("--log $tempDir/$i.log --log-level=info")
   
5. 
   
6. aria2cOpts+=("--stop=$(($singleURLTimeout * 60)) --max-concurrent-downloads=10")
   
7. 
   
8. aria2cOpts+=("--auto-file-renaming=false --continue")
   
9. 
   
10. #aria2cOpts+=("--http-accept-gzip=true --enable-http-keep-alive=true")
    
11. 
    
12. aria2cOpts+=("-d $tempDir/ -o ${i}.xml --quiet")
    
13. 
    
14. aria2c ${aria2cOpts[*]} $url 2>$logDir/${i}/${i}.err
    

復(fù)制代碼

針對(duì)第二點(diǎn) ：

后臺(tái)多任務(wù)這個(gè)簡(jiǎn)單，但多少才是合適呢? 這個(gè)樓主做了測(cè)試，先是用 wget 下載一個(gè) 500MB 的 XML 文件，記錄下耗時(shí)。

由于這個(gè)時(shí)候沒有指定 CPU cores ，所以默認(rèn)是bind 在任意一個(gè) Cores 都可以。接下來再用 taskset 啟動(dòng)相同的 wget 命令，

但這次不同的是，只bind 到一個(gè) core 。經(jīng)過多次測(cè)試，發(fā)現(xiàn)時(shí)間節(jié)省了 50% ! 所以樓主用下面的代碼實(shí)現(xiàn)了一個(gè)功能，就是

每一輪取出跟 cpu core 數(shù)量相同的下載任務(wù)，然后分配到不同的 cpu core 上，再并發(fā)多任務(wù)下載。

1. 
   
2. cpuCoreNum=$(cat /proc/cpuinfo | grep -c '^processor[[:space:]]')
   
3. 
   
4. batchDownloadTask=$(egrep -v '^#|^[[:space:]]* $1 | xargs -n $cpuCoreNum)
   
5. 
   
6. count=0
   
7. 
   
8. while read line ; do
   
9. 
   
10.    (
    
11.       <spawn arai2c job>
    
12. 
    
13.     ) &
    
14. 
    
15.    backgroundJobPid=$!
    
16. 
    
17.    sleep 0.5
    
18. 
    
19.    taskset -c -p $count $backgroundJobPid &>/dev/null
    
20. 
    
21.    info_log "$i" "bind pid [$backgroundJobPid] to cpu #$(taskset -c -p $backgroundJobPid 2>/dev/null | awk -F '[ :]+' '{print $NF}')"
    
22. 
    
23.   ((count++))
    
24. 
    
25. done  <<< "$batchDownloadTask"
    

復(fù)制代碼

針對(duì)第三點(diǎn) ：

【方法1】一開始是想用 grep + sed 的。就是找到所有 <goods id=n></goods> 行的行號(hào)，并把每個(gè) pair 湊成一行。然后

            每1000個(gè)pair做成一個(gè)文件，再取出文件的第一個(gè)和最后一個(gè)數(shù)字，這2個(gè)數(shù)字就是代表1000個(gè)商品的范圍，然

           后動(dòng)態(tài)生成 sed  命令，每次取出指定的范圍。但按照這個(gè)想法實(shí)現(xiàn)后，發(fā)現(xiàn)性能太差了，因?yàn)榧僭O(shè)有10w 個(gè)商品，

           那么需要切割為10次， 意味著需要訪問10次 XML 文件，性能自然不行了，實(shí)際測(cè)試也證明了這點(diǎn)：將近10分鐘 ，

          所以不能接受

【方法2】因?yàn)榈谝环N方法的瓶頸是在于 sed 多次訪問XML 文件，所以這次的目的就是如何減少對(duì) XML 文件訪問的次數(shù)。前

             一種方法之所以需要多次訪問，是因?yàn)闆]有找到標(biāo)記“這里是第1000個(gè)商品”的類似信息，如果我們能提供這種信息

             ，那么就可以使用操作系統(tǒng)自帶的 csplit 命令來一次性分割了。所以這次放棄 grep + sed 的組合，先用 awk 讀取文

            件，每讀取1000 個(gè) </goods> 行就打印出一個(gè)標(biāo)記行“—cut-here—“ 。在所有標(biāo)記行打印完畢后，用 csplit 命令分

            割，分割之前需要 grep 檢查一共有多少個(gè)標(biāo)記行。

            

【方法3】第2種方法比起第1種是快了不少，但扔因?yàn)?cpslit 的使用而顯得不夠輕巧，因?yàn)?awk 已經(jīng)可以識(shí)別出每1000 個(gè)

             </goods> 行的所在，所以直接把遇到第n*1000個(gè) <\/goods> 行的內(nèi)容放入字符串，當(dāng)遇到第 n*1000個(gè)</goods>

            行時(shí)就直接 print 到文件，這樣可以最大程度的減少 IO 次數(shù)。但很不幸，這個(gè)方法失敗了，因?yàn)樽址�串太大了，�?dǎo)致

            mawk 執(zhí)行非常久，而且 cpu 的消耗達(dá)到了幾乎 100%

【方法4】既然方法3的字符串存儲(chǔ)行不通，那么就直接輸出到文件。每次打開一個(gè)文件，并將當(dāng)前行輸出到該文件，當(dāng)遇到

             第n*1000個(gè)</goods> 行時(shí)，就關(guān)閉文件，同時(shí)設(shè)置一個(gè)新的文件名，繼續(xù)上面的循環(huán)。這個(gè)方法經(jīng)過測(cè)試是最

             快的，+500MB的文件，在30s內(nèi)可以完成切割，而且?guī)缀醪徽?cpu 和內(nèi)存。

————————————————————— 中途休息 —————————————————————————-

樓主用的是 Ubuntu 12.04 ，默認(rèn)安裝的是 mawk 。但對(duì)方是 centOS 5.8 ，安裝的是 gawk ，所以當(dāng)樓主把腳本給到對(duì)方

測(cè)試時(shí)，發(fā)現(xiàn)很慢，通過檢查發(fā)現(xiàn)是 awk 的版本不同。所以讓對(duì)方安裝了 mawk ，則速度一下子就提高了非常多。樓主當(dāng)

即進(jìn)行了自測(cè)，發(fā)現(xiàn)結(jié)果非常驚人，mawk 是30s 左右，而 gawk 竟然要1分27秒，相差了1.5倍左右。

mawk 是目前已知的性能最高的 awk的實(shí)現(xiàn)。怪不得 Ubuntu 12.04 默認(rèn)安裝的是 mawk

下面是用于切割 XML 文件的 shell 腳本完整代碼，整個(gè)腳本由于比較大，不好貼出，請(qǐng)點(diǎn)擊這里下載

1. 
   
2. #!/bin/bash
   
3. 
   
4. mawk -v _result_dir=$2  -v _flag_line="$3" -v _goods_per_file=$4 '
   
5. 
   
6.   BEGIN { count=0 ; batch=0 ; }
   
7. 
   
8.   {
   
9.     output=_result_dir"/cut."sprintf("%03d",batch)
   
10. 
    
11.     output_cmd="cat >>"output
    
12. 
    
13.     if ( $0 !~ _flag_line ) {
    
14. 
    
15.          print $0 | output_cmd
    
16. 
    
17.     } else {
    
18. 
    
19.          print $0 | output_cmd
    
20. 
    
21.          count++
    
22. 
    
23.          if ( count % _goods_per_file == 0 ) {
    
24. 
    
25.               fflush(output_cmd)
    
26. 
    
27.               close(output_cmd)
    
28. 
    
29.               batch++
    
30.          }
    
31. 
    
32.    }
    
33. 
    
34. }' $1
    
35. 
    
36. cd $2
    
37. 
    
38. lastCutFile=$(ls cut.??? | tail -n 1)
    
39. 
    
40. for i in cut.000 $lastCutFile ; do
    
41. 
    
42.   sed -r -n '/<goods id=/,/<\/goods>/p' $i > $i.new
    
43. 
    
44.   mv $i.new $i
    
45. 
    
46. done
    

復(fù)制代碼

腳本整體輸出如下(一共 2.3GB 的 XML ，5個(gè)) 。由于樓主的 VPS 是在米國，所以下載速度不如國內(nèi)，如果是在國內(nèi)執(zhí)行，時(shí)間會(huì)比下面的小

rdcwayx

謝謝分享。并發(fā)和先比較再下載的主意不錯(cuò)。

blackold

回復(fù) 1# ailms


    不錯(cuò)，學(xué)習(xí)。

winway1988

好，學(xué)習(xí)了