Python多線程問題

z0415010

各位好：

遇到一個問題，用戶指定線程數量，來并行執(zhí)行N條命令，請問用多線程怎么實現呢？

我能想到的方法是，先創(chuàng)建用戶指定的線程數量，比如5個，然后先執(zhí)行前5條命令，如果某一個線程結束了，直接從剩余的命令中拿一條繼續(xù)執(zhí)行，直到所有的命令執(zhí)行完。

可是好像不容易實現。

哪位能幫忙實現嗎？謝謝了。

Linux_manne

若干個 線程... lock 方式讀取queue 中的command,取到后釋放...直到queue 為空即可...

Hadron74

回復 1# z0415010
試著寫了一個，應該滿足你的要求。拋磚引玉：

1. 
   
2. import threading
   
3. import time
   
4. from collections import deque
   
5. 
   
6. command_list = deque([ "sleep {} ".format(i) for i in range(1,10,1)])
   
7. 
   
8. def worker(command):
   
9.     from subprocess import call
   
10.     call(command,shell=True)
    
11.     print "Finished {}".format(command)
    
12.     return
    
13. 
    
14. NUMBER_THREADS = 5
    
15. TIME_INTERVAL = 0.5
    
16. 
    
17. def run():
    
18.     command = command_list.pop()
    
19.     t = threading.Thread(target=worker, args=(command,))
    
20.     t.start()
    
21. 
    
22. for i in range(NUMBER_THREADS):
    
23.     run()
    
24. 
    
25. while command_list:
    
26.     time.sleep(TIME_INTERVAL)
    
27.     alive_threads = threading.enumerate()
    
28.     lat = len(alive_threads)
    
29.     if lat == 1 : break
    
30.     if lat <= NUMBER_THREADS : run()

復制代碼

1. Finished sleep 5
   
2. Finished sleep 6
   
3. Finished sleep 7
   
4. Finished sleep 8
   
5. Finished sleep 9
   
6. Finished sleep 4
   
7. Finished sleep 1
   
8. Finished sleep 2
   
9. Finished sleep 3
   

復制代碼

q1208c

回復 1# z0415010

multithreading 中有現成的實現， 還有現成的例子。


   

Hadron74

回復 4# q1208c

能貼出來嗎？多線程不熟，正好學學。謝謝！
   

mswsg

假設你使用的是multiprocessing的Pool，是使用多進程實現了concurrency
from multiprocessing import Pool
如果把這個代碼改成下面這樣，就變成多線程實現concurrency
from multiprocessing.dummy import Pool
兩種方式都跑一下，哪個速度快用哪個就行了。

這個參考不錯
h ttps://segmentfault.com/a/1190000000414339

Hadron74

回復 6# mswsg

這個好！