- 論壇徽章:
- 0
|
在bash中，使用后臺(tái)任務(wù)來實(shí)現(xiàn)任務(wù)的“多進(jìn)程化”。在不加控制的模式下，不管有多少任務(wù)，全部都后臺(tái)執(zhí)行。也就是說，在這種情況下，有多少任務(wù)就有多少“進(jìn)程”在同時(shí)執(zhí)行。我們就先實(shí)現(xiàn)第一種情況：
實(shí)例一：正常情況腳本
#!/bin/bash
for ((i=0;i<5;i++));do
{
sleep 3;echo 1>>aa && echo "done!"
}
done
wait
cat aa|wc -l
rm aa
這種情況下，程序順序執(zhí)行，每個(gè)循環(huán)3s，共需15s左右。
$ time bash test.sh
done!
done!
done!
done!
done!
5
real 0m15.030s
user 0m0.002s
sys 0m0.003s
實(shí)例二：“多進(jìn)程”實(shí)現(xiàn)
#!/bin/bash
for ((i=0;i<5;i++));do
{
sleep 3;echo 1>>aa && echo "done!"
} &
done
wait
cat aa|wc -l
rm aa
這個(gè)實(shí)例實(shí)際上就在上面基礎(chǔ)上多加了一個(gè)后臺(tái)執(zhí)行&符號(hào)，此時(shí)應(yīng)該是5個(gè)循環(huán)任務(wù)并發(fā)執(zhí)行，最后需要3s左右時(shí)間。
$ time bash test.sh
done!
done!
done!
done!
done!
5
real 0m3.011s
user 0m0.002s
sys 0m0.004s
效果非常明顯。
這里需要說明一下wait的左右。wait是等待前面的后臺(tái)任務(wù)全部完成才往下執(zhí)行，否則程序本身是不會(huì)等待的，這樣對(duì)后面依賴前面任務(wù)結(jié)果的命令來說就可能出錯(cuò)。例如上面wc -l的命令就報(bào)錯(cuò)：不存在aa這個(gè)文件。
wait命令的官方解釋如下：
wait [n]
Wait for the specified process and return its termination status. n may be a process ID or a job specification; if a job spec is given, all processes in that job's pipeline are waited for. If n is not given, all currently active child processes are waited for, and the return status is zero. If n specifies a non-existent process or job, the return status is 127. Otherwise, the return status is the exit status of the last processor job waited for.
以上所講的實(shí)例都是進(jìn)程數(shù)目不可控制的情況，下面描述如何準(zhǔn)確控制并發(fā)的進(jìn)程數(shù)目。
#!/bin/bash
# 2006-7-12, by wwy
#———————————————————————————–
# 此例子說明了一種用wait、read命令模擬多線程的一種技巧
# 此技巧往往用于多主機(jī)檢查，比如ssh登錄、ping等等這種單進(jìn)程比較慢而不耗費(fèi)cpu的情況
# 還說明了多線程的控制
#———————————————————————————–
function a_sub { # 此處定義一個(gè)函數(shù)，作為一個(gè)線程(子進(jìn)程)
sleep 3 # 線程的作用是sleep 3s
}
tmp_fifofile="/tmp/$$.fifo"
mkfifo $tmp_fifofile # 新建一個(gè)fifo類型的文件
exec 6<>$tmp_fifofile # 將fd6指向fifo類型
rm $tmp_fifofile
thread=15 # 此處定義線程數(shù)
for ((i=0;i<$thread;i++));do
echo
done >&6 # 事實(shí)上就是在fd6中放置了$thread個(gè)回車符
for ((i=0;i<50;i++));do # 50次循環(huán)，可以理解為50個(gè)主機(jī)，或其他
read -u6
# 一個(gè)read -u6命令執(zhí)行一次，就從fd6中減去一個(gè)回車符，然后向下執(zhí)行，
# fd6中沒有回車符的時(shí)候，就停在這了，從而實(shí)現(xiàn)了線程數(shù)量控制
{ # 此處子進(jìn)程開始執(zhí)行，被放到后臺(tái)
a_sub && { # 此處可以用來判斷子進(jìn)程的邏輯
echo "a_sub is finished"
} || {
echo "sub error"
}
echo >&6 # 當(dāng)進(jìn)程結(jié)束以后，再向fd6中加上一個(gè)回車符，即補(bǔ)上了read -u6減去的那個(gè)
} &
done
wait # 等待所有的后臺(tái)子進(jìn)程結(jié)束
exec 6>&- # 關(guān)閉df6
exit 0
sleep 3s，線程數(shù)為15，一共循環(huán)50次，所以，此腳本一共的執(zhí)行時(shí)間大約為12秒
即：
15×3=45, 所以 3 x 3s = 9s
(50-45=5)<15, 所以 1 x 3s = 3s
所以 9s + 3s = 12s
$ time ./multithread.sh >/dev/null
real 0m12.025s
user 0m0.020s
sys 0m0.064s
而當(dāng)不使用多線程技巧的時(shí)候，執(zhí)行時(shí)間為：50 x 3s = 150s。
此程序中的命令
mkfifo tmpfile
和linux中的命令
mknod tmpfile p
效果相同。區(qū)別是mkfifo為POSIX標(biāo)準(zhǔn)，因此推薦使用它。該命令創(chuàng)建了一個(gè)先入先出的管道文件，并為其分配文件標(biāo)志符6。管道文件是油泵進(jìn)程之間通信的一種方式，注意這一句很重要
exec 6<>$tmp_fifofile # 將fd6指向fifo類型
如果沒有這句，在向文件$tmp_fifofile或者&6寫入數(shù)據(jù)時(shí)，程序會(huì)被阻塞，直到有read讀出了管道文件中的數(shù)據(jù)為止。而執(zhí)行了上面這一句后就可以在程序運(yùn)行期間不斷向fifo類型的文件寫入數(shù)據(jù)而不會(huì)阻塞，并且數(shù)據(jù)會(huì)被保存下來以供read程序讀出。
|
|
免費(fèi)注冊(cè)
念章.png "2016科比退役紀(jì)念章
日期:2022-04-24 14:33:24")
發(fā)表于 2012-01-06 11:16
發(fā)表于 2012-01-06 12:57
發(fā)表于 2012-01-06 12:58
