python 如何收集動態(tài)日志文件

grinsky

比如我要收集系統(tǒng)日志，文件名 spark-master.log
這個文件是動態(tài)追加的，即現(xiàn)在可能只要100行，過一分鐘就變成200行了；并且spark-master.log在達(dá)到100M大小后會重命名為spark-master.log.1
然后在生成一個spark-master.log 繼續(xù)往這里寫日志。

我現(xiàn)在想通過python來收集spark-master.log的內(nèi)容，這個要怎么實現(xiàn)呢？
需要用到什么模塊？
或這哪里有參考文檔啊？

Linux_manne

我以前做監(jiān)控log 內(nèi)容的時候 寫過類似, 說下思路, 首先根據(jù)文件狀態(tài)st_mtime 來獲取最新的是哪個文件(包在while 里).. 然后 read 該文件進(jìn)來,  同時存下st_mtime  的值, 同時在將文件指針seek 到 剛剛讀到的地方,  tell 出 位置. 然后做你的事情, 然后log 文件一旦有變化, 通過上訴的狀態(tài) 變化獲取, 再次讀入,(當(dāng)然是從 你上次tell 出來的位置開始讀入)... 如此循環(huán)處理....  

lshlfyf

如果日志文件寫的比較快，文件變化速度太快
不知道樓上方法是否可行