python shell 命令控制臺(tái)打印輸出

mvplove123

我用subprocess執(zhí)行shell hadoop 命令
commond = "hadoop fs -text /user/gosear/liwei/output/clusterCenter/clusterCenter* >  /search/taoyongbo/clusterCenter"
sub = subprocess.Popen(commond , cwd=cwd, stdout=subprocess.PIPE,shell=True,bufsize=4096)

我想把控制臺(tái)打印出hadoop 執(zhí)行的過程log如下， 保留到文件里，該如何處理
16/06/28 13:58:27 INFO security.UserGroupInformation: Using the configured user name and password, user name is go2search
16/06/28 13:58:28 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512
16/06/28 13:58:30 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
16/06/28 13:58:30 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 7041408c0d57cb3b6f51d004772ccf5073ecc95e]

ning_lianjie

你已經(jīng)完成了90%，再多寫一行就行了。
out = sub.stdout.read()
然后把out的內(nèi)容寫入文件，可以用open方法

mvplove123

這個(gè)我試過了，不行的，因?yàn)槲乙�把hadoop 啟動(dòng)日志保存下來，不是hadoop 運(yùn)行結(jié)果的日志回復(fù) 2# ning_lianjie


   

reyleon

hadoop 啟動(dòng)日志是非標(biāo)準(zhǔn)輸出吧???

試試?yán)��?script 命令吧

commond = """script -q -c 'hadoop fs -text /user/gosear/liwei/output/clusterCenter/clusterCenter* >  /search/taoyongbo/clusterCenter' /tmp/hadoop_start.log """

python愛好者

試試寫一個(gè) 線程寫 stdout 的內(nèi)容

bskay

這個(gè)問題我研究過
對(duì)于控制臺(tái)命令,需要模擬控制臺(tái)的shell,也就是

cmd = 'xxx' #帶| >> && 等
wrap_cmd = "/bin/sh -c '%s'"%cmd
包裝一下...再執(zhí)行,才有效果

mvplove123

能基于我這個(gè)幫我改下么，我沒看懂第一行是啥意思回復(fù) 6# bskay