os.system(sort)疑惑

fufeiwxy

python程序需要調(diào)用如下的sort命令：

sort -t@ -rink1 /data1/admatch//datamanager/logAna//his//maxRate/stats/20080523/1_max_rate.dat.tmp -T /data2/search/.SortTmp/|head -n100 > /data1/admatch//datamanager/logAna//his//maxRate/stats/20080523/1_max_rate.dat

python執(zhí)行的時(shí)候經(jīng)常會(huì)輸出如下的錯(cuò)誤：
sort: write failed: -: Broken pipe

其中，1_max_rate.dat.tmp  117KB
不知道為什么會(huì)出現(xiàn)這個(gè)錯(cuò)誤；如果我在shell手動(dòng)調(diào)用這個(gè)sort命令，則不會(huì)出現(xiàn)錯(cuò)誤。
先謝謝各位了！

fufeiwxy

up一下！呵呵

ocean390

看到你在shell版發(fā)的帖子，發(fā)出了這樣的感慨：
但我個(gè)人覺得：如果在shell腳本里遇到，數(shù)據(jù)量大，計(jì)算量也大的應(yīng)用的時(shí)候，最好不要使用管道。存成臨時(shí)文件會(huì)更安全
和強(qiáng)壯些。（個(gè)人想法，歡迎批評(píng)指正！）
其實(shí)這并不是管道的問題，使用管道反而會(huì)提高效率，就拿你的例子來說sort file |head -n 100，如果file這個(gè)文件很大，而head只需要前100行就夠了，何必要把整個(gè)文件的內(nèi)容都寫入管道呢，這不是多此一舉嘛。
對(duì)于管道來說寫一個(gè)讀斷已經(jīng)關(guān)閉的管道，會(huì)產(chǎn)生SIGPIPE信號(hào)，在這里head讀完100行之后就結(jié)束了，sort再往管道里面寫就會(huì)接收到SIGPIPE信號(hào)，而sort是不會(huì)顯示的處理信號(hào)的。在一個(gè)程序剛啟動(dòng)時(shí)，會(huì)把在父進(jìn)程中設(shè)置為捕捉的信號(hào)，設(shè)置為默認(rèn)動(dòng)作，設(shè)置為忽略的不做改變。在登錄shell中對(duì)于SIGPIPE的動(dòng)作是默認(rèn)動(dòng)作，也就是進(jìn)程結(jié)束。所以在終端下執(zhí)行sort這個(gè)命令接收到SIGPIPE信號(hào)時(shí)，進(jìn)程就直接退出了，所以不會(huì)產(chǎn)生出錯(cuò)信息。當(dāng)然也不是正常結(jié)束的，只不過你看不到出錯(cuò)信息罷了。而python啟動(dòng)后，則會(huì)把SIGPIPE設(shè)置為忽略。在sort進(jìn)程中接收到此信號(hào)時(shí)，也會(huì)忽略這個(gè)信號(hào)，繼續(xù)執(zhí)行。然后sort發(fā)現(xiàn)write的返回值為-1，就認(rèn)為產(chǎn)生了錯(cuò)誤，所以會(huì)打印出錯(cuò)信息。
你可以做一個(gè)實(shí)驗(yàn)，在python中import singal，然后signal.singal(signal.SIGPIPE,signal.SIG_DFL)，把SIGPIPE設(shè)置為默認(rèn)動(dòng)作，然后再執(zhí)行sort命令，你就不會(huì)看到出錯(cuò)信息了。

baif

原帖由 ocean390 于 2008-5-27 15:05 發(fā)表
看到你在shell版發(fā)的帖子，發(fā)出了這樣的感慨：
但我個(gè)人覺得：如果在shell腳本里遇到，數(shù)據(jù)量大，計(jì)算量也大的應(yīng)用的時(shí)候，最好不要使用管道。存成臨時(shí)文件會(huì)更安全
和強(qiáng)壯些。（個(gè)人想法，歡迎批評(píng)指正！）
...

收藏。

不妨用os.popen().readline 讀100行出來。

fufeiwxy

ocean390的分析十分到位！
兄弟我學(xué)到很多東西！多謝！我當(dāng)時(shí)咋就沒想出來呢！
難怪我當(dāng)時(shí)在分析生成的文件的時(shí)候，發(fā)現(xiàn)結(jié)果是正確的。
另外從分析中我也覺得，利用broken pipe，也正是使用管道以提高效率的原因之一。

如此精辟之分豈能獨(dú)享！再up一下！

save as...

baif

原帖由 fufeiwxy 于 2008-5-28 17:50 發(fā)表
ocean390的分析十分到位！
兄弟我學(xué)到很多東西！多謝！我當(dāng)時(shí)咋就沒想出來呢！
難怪我當(dāng)時(shí)在分析生成的文件的時(shí)候，發(fā)現(xiàn)結(jié)果是正確的。
另外從分析中我也覺得，利用broken pipe ...

1. 
   
2. import os
   
3. import sys
   
4. import time
   
5. import traceback
   
6. 
   
7. fifoname = '/tmp/pipefifo' # must open same name
   
8. 
   
9. def child():
   
10.         pipeout= os.open(fifoname, os.O_WRONLY) # open fifo pipe file as fd
    
11.         zzz = 0
    
12.         while True:
    
13.                 try:
    
14.                         time.sleep(zzz)
    
15.                         os.write(pipeout, 'Spam %03d\n' % zzz)
    
16.                 except OSError:
    
17.                         exc_info = sys.exc_info()
    
18. #                        print exc_info[0]
    
19.                         print exc_info[1]
    
20. #                        traceback.print_tb(exc_info[2])
    
21.                         if str(exc_info[1])[-11:].lower() == 'broken pipe':
    
22.                                 print 'Consumer had exited...'
    
23.                                 lets_exit()
    
24.                 except KeyboardInterrupt:
    
25.                         os.write(pipeout,'Byebye\n')
    
26.                         print 'Byebye message had sent...'
    
27.                         lets_exit()
    
28.                 else:
    
29.                         zzz = (zzz+1) %5
    
30. 
    
31. def lets_exit():
    
32.         print 'OK, byebye'
    
33.         sys.exit()
    
34. 
    
35. 
    
36. def parent():
    
37.         pipein = open(fifoname, 'r') # open fifo as stdio object
    
38.         while True:
    
39.                 try:
    
40.                         line = pipein.readline()[:-1] # block until data sent
    
41.                         if line:
    
42.                                 print 'Parent %d got "%s" at %s' % (os.getpid(), line, time.time())
    
43.                                 if line[:3].lower() == 'bye':
    
44.                                         print 'Proceduer had exited...'
    
45.                                         lets_exit()
    
46.                 except  KeyboardInterrupt:
    
47.                                 lets_exit()
    
48. 
    
49. if __name__ == '__main__':
    
50.         if not os.path.exists(fifoname):
    
51.                 os.mkfifo(fifoname) # create a named pipe file
    
52.         if len(sys.argv) == 1: # run as parent if no args
    
53.                 parent()
    
54.         else: # else run as child process
    
55.                 child()
    

復(fù)制代碼

ocean390

不太清楚要說明什么？