棘手的系統(tǒng)環(huán)境變化引起程序運(yùn)行異常的問題求解

myster

許久沒有上來發(fā)貼求助了，這里一直是我諸多問題求解最后陣地，還忘朋友們相助。

問題現(xiàn)象：程序可以運(yùn)行但是無法正常工作
系統(tǒng)版本：redhat linux 6.0 x86_64
JAVA版本：1.6.0
問題描述：JAVA的一個程序，用于采集apache的ssl日志，此前一直正常運(yùn)行1年多，由于維護(hù)的需要，近日對該程序進(jìn)行了手動停止運(yùn)行，再恢復(fù)啟動的操作，在停止前程序正常運(yùn)行，并且日志一直在采集，停止再次啟動后發(fā)現(xiàn)程序不再采集日志文件 ，但是能夠讀到目標(biāo)日志文件，顯示開始讀，但是沒有后續(xù)動作。

背景信息：故障發(fā)生前未對采集程序做過任何修改操作，目標(biāo)日志文件路徑及名稱未做修改，文件編碼也未做修改，程序以root用戶安裝，并以root用戶運(yùn)行，目前看來文件權(quán)限都是root。

問過系統(tǒng)管理員，說也沒有對操作系統(tǒng)進(jìn)行過變更操作，當(dāng)然這話不太可信，因為不止一個人對系統(tǒng)有root操作權(quán)限。

問題分析處理：
1、卸載程序，操作失敗
原因是因為登陸的用戶雖是root權(quán)限，但并不是root用戶，而是一個添加了0權(quán)限的用戶，系統(tǒng)當(dāng)中存在兩個root權(quán)限的用戶。
刪除非root的為root權(quán)限的用戶后，卸載成功。
2、重新安裝程序
安裝正常，配置正常，和之前配置保持一致，還是未能解決問題。
3、在外面單獨搭建環(huán)境進(jìn)行測試
同樣的程序，同樣的配置，同樣的系統(tǒng)版本，同樣的目標(biāo)日志文件 ，測試通過。
4、通過strace跟蹤java進(jìn)程
發(fā)現(xiàn)有讀目標(biāo)文件的動作和內(nèi)容，但是沒有寫的動作。

依據(jù)上面的測試分析，問題原因初步分析得出應(yīng)該在操作系統(tǒng)上，但是由于對系統(tǒng)的了解有限，目前還沒有找到引起java進(jìn)程運(yùn)行異常的原因。

我主要問題還是：為何此前一直運(yùn)行正常，停止再運(yùn)行后就不正常了，系統(tǒng)環(huán)境當(dāng)中什么因素可能導(dǎo)致這類問題。

humjb_1983

具體報啥錯？
“登陸的用戶雖是root權(quán)限，但并不是root用戶，而是一個添加了0權(quán)限的用戶，系統(tǒng)當(dāng)中存在兩個root權(quán)限的用戶�！�---這個是被黑了？通常不太可能添加root用戶的。

myster

回復(fù) 2# humjb_1983


    程序沒有任何的報錯，并且開了Debug，都是正常的輸出，但是有開始沒繼續(xù)。

關(guān)于root權(quán)限那塊可能是我描述不清楚，有維護(hù)人員添加了其他用戶，并修改了uid為0，之前一直用用戶登陸時總是被切到該用戶，據(jù)悉是OS的一個Bug。

humjb_1983

除了java之外，運(yùn)行其它程序有問題么？

myster

回復(fù) 4# humjb_1983


    apache運(yùn)行正常，不過也是一直沒有停下來過，沒有聽到反饋說其他程序有問題。

系統(tǒng)權(quán)限設(shè)定沒看出來有什么影響 ，通常的系統(tǒng)中固也就是登陸或者弱口令這塊，但是對于進(jìn)程的運(yùn)行通常不會有太多限制吧。

q1208c

我不是太清楚樓主用的是什么程序,

不過, 有些程序是需要一些條件才會運(yùn)行的. 比如某個文件如果不存在, 就不繼續(xù), 又或者硬盤空間低于多少時, 就不運(yùn)行. 不知道樓主遇到的是不是這類問題.

myster

回復(fù) 6# q1208c


    這方面我已經(jīng)進(jìn)行了確認(rèn)，應(yīng)該不存在這類的問題，系統(tǒng)資源充足，CPU、Memory以及disk都是OK的，沒有存在OS性能的問題。

Shell_HAT

在正常的機(jī)器上和不正常的機(jī)器上分別把程序啟動起來，執(zhí)行命令：
ps -ef | grep java

看看兩臺機(jī)器上java進(jìn)程的環(huán)境變量和參數(shù)有何差異

myster

回復(fù) 8# Shell_HAT


    可以確認(rèn)的是正常和異常環(huán)境中看到的ps以及l(fā)sof中看到的java結(jié)果是相同的。

humjb_1983

按lz的說法，就無解了，肯定有遺漏的地方
建議再仔細(xì)對比下正常和異常環(huán)境中的strace結(jié)果和啟動debug日志~