IT運維技術(shù)討論之三：大話日志分析與管理

cgweb

獲獎名單已公布：http://www.72891.cn/thread-4171750-1-1.html

大話日志分析與管理，有獎贈書活動，歡迎大家參與~

     隨著IT運維管理工作的復(fù)雜程度不斷增加，僅靠幾個“技術(shù)大拿”來包打天下的已不能滿足要求，每當(dāng)系統(tǒng)或網(wǎng)絡(luò)故障來臨時再去被動的查找原因，已不適應(yīng)現(xiàn)在的企業(yè)發(fā)展，企業(yè)需要一種安全的運維平臺，滿足專業(yè)化、標準化和流程化的需要來實現(xiàn)運維工作的自動化管理，下面就日志分析與管理的話題展開討論。

本期話題：
1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
5.工作中多久查看日志系統(tǒng)，并對其中嚴重日志進行分析，是否進行關(guān)聯(lián)分析？
6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
10.希望日志存儲多長時間？是否有必要銷毀？
11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？


活動規(guī)則：
用心回答以上問題。

活動時間：2015-1-22 ~ 2-15

本期獎品：活動結(jié)束后將會抽取 10名 認真回答問題的會員，贈送《UNIX/Linux網(wǎng)絡(luò)日志分析與流量監(jiān)控》一本。


獎品簡介：
《UNIX/Linux網(wǎng)絡(luò)日志分析與流量監(jiān)控》  

主要內(nèi)容及目錄

作者：李晨光      ChinaUnix社區(qū)專家
出版社：機械工業(yè)出版社
ISBN：9787111479611
出版時間：2015-01-01
頁數(shù)：448
用紙：膠版紙

購書地址：http://item.jd.com/11582561.html
樣章試讀：http://wenku.it168.com/d_001573516.shtml
ChinaUnix視頻大講堂：OSSIM4應(yīng)用視頻教程 http://edu.chinaunix.net/

yxuqtr

目前公司還沒專門針對這塊去做架構(gòu)，也期待什么時候領(lǐng)導(dǎo)下達通知去試水一下；平常針對故障多半是使用應(yīng)用程序日志以及故障狀態(tài)去處理；因為站點和應(yīng)用量不是特別大所以沒做集中日志管理，我也希望能在這方面長點見識；

hexilanlan

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
木有用過。。。

3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
unix/linux,定時任務(wù)收集；windows一般就不管了。。。。

4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
木有存儲。。。。。。。需要改善。

5.工作中多久查看日志系統(tǒng)，并對其中嚴重日志進行分析，是否進行關(guān)聯(lián)分析？
周檢 ，月檢。。。
有問題的時候，查看發(fā)生點的每條日志。

6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
流量信息，僅由網(wǎng)絡(luò)設(shè)備看。服務(wù)器端無流量監(jiān)測。。

7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
遇到服務(wù)器大量發(fā)包的事，導(dǎo)致網(wǎng)絡(luò)中其他服務(wù)器斷ping。通過網(wǎng)絡(luò)交換機發(fā)現(xiàn)是哪個IP，對應(yīng)到服務(wù)器。檢查日志及異常進程，干掉異常進程。

8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
還木有啊。

9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
可以很好的看到IP的流量，很好用。

10.希望日志存儲多長時間？是否有必要銷毀？
正常的日志，1年足夠長了。
故障日志，整理保留。

11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
好用嗎？

12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？
不清楚。。。。

orchid420

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
        通過自己寫的腳本手動定期去分析
2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
        目前使用的免費的awast來分析Nginx tomcat日志，目前發(fā)現(xiàn)用這個工具分析到的結(jié)果不是很準備，曾和自己寫的腳本分析結(jié)果有出入，不過不是很大，在接受的范圍內(nèi)
3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
        通過rsylog工具，把日志同步到一臺服務(wù)器中然后再做處理
4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
        把日志同步到一臺服務(wù)器中，目前暫時沒有做這樣的管理平臺，在近期會接手做這樣的事
5.工作中多久查看日志系統(tǒng)，并對其中嚴重日志進行分析，是否進行關(guān)聯(lián)分析？
        平均一周會查看分析一次
6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
        互相依存的關(guān)系，平時會定期對應(yīng)用和系統(tǒng)進行升級打補丁
7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
        會的，比如去年5月我們服務(wù)器受到大流量攻擊，當(dāng)時是臨時把帶寬加大，并啟用CND進行分流，然后通過日志分析找出來源IP通過防火墻對其屏蔽。
8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
        目前正是這樣處理，把所有日志通過腳本分析然后把結(jié)果及詳情導(dǎo)入到數(shù)據(jù)庫中
9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
        目前是通過cacti對服務(wù)器進行的流量監(jiān)控，當(dāng)達到警戒線時會主動發(fā)郵件和消息通知相關(guān)人員
10.希望日志存儲多長時間？是否有必要銷毀？
        目前我們是保留一個月的，由于日志量大，考慮到自身存儲空間的有限，我個人認為把日志保留下來，對以后業(yè)務(wù)上是有很大的幫助的，我們可以通過對以往日志的總結(jié)與分析，為我們往后的運行環(huán)境提供很大的參考
11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
        應(yīng)該考慮
12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？
        從目前的運維趨勢來看勢必要建立這樣的系統(tǒng)，把人從運維的體力活中抽出來做其它更有意義的事，讓這些重復(fù)而且枯燥的活讓程序和平臺去代替，我們只要定期對平臺產(chǎn)生的報告進行分析，從中加以修復(fù)完善。
        對于OSSIM的學(xué)習(xí)從網(wǎng)上零零散散找了些資料，沒有系統(tǒng)的對其學(xué)習(xí)過，如果有這樣的機會，肯定會去好好充電一翻。

shangrilawyx

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
        通過系統(tǒng)命令grep sed等或?qū)懩_本手動定期去分析
2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
        目前使用的免費的開源工具來分析日志，沒有統(tǒng)一的技術(shù)支持,需要自己研究或具備較好的技術(shù)功底
3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
        rsylog/自建日志平臺，把日志同步到一臺服務(wù)器中然后再做處理
4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
        日志存儲于日志服務(wù)器中，集中分析,可擴展性不好
5.工作中多久查看日志系統(tǒng)，并對其中嚴重日志進行分析，是否進行關(guān)聯(lián)分析？
        每日會查看分析,有報表分析
6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
       關(guān)聯(lián)主要靠人工分析，定期對應(yīng)用和系統(tǒng)進行升級打補丁
7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
        會的，比如我們服務(wù)器受到入侵，當(dāng)時通過日志分析找出來源IP通過防CC對其屏蔽。
8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
        是存儲于mysql,初步建設(shè)一個平臺自動搜集
9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
        目前是通過zabbix對服務(wù)器進行的流量監(jiān)控，當(dāng)達到警戒線時會主動發(fā)郵件和消息通知相關(guān)人員
10.希望日志存儲多長時間？是否有必要銷毀？
        目前保留3個月的，根據(jù)需要會刪除部分,保留關(guān)鍵日志

11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
        是的
12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？
     ossim可以為運維人員提供一個直觀的界面,對整體狀況有直接的認識,但是在關(guān)聯(lián)分析,APT這方面還有欠缺
ossim目前沒有較完整,官方的文檔共學(xué)習(xí),自己摸索 與同行交流!!
希望有培訓(xùn)可參加.

zsszss0000

這是晨光大神的書，先支持一下。

蟲蟲貓

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
通過編寫日志分析腳本進行分析，主要是分析web日志較多，系統(tǒng)日志一般不會太多，直接使用vim 查看，如果日志量比較多就用grep獲取必要的信息。

2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
開源日志分析工具一般功能比較單一，更新速度也較慢，需要花較多的時間去學(xué)習(xí)和二次開發(fā)，才能達到要求的效果。商業(yè)日志分析工具功能上比較高大上， 但是也許并不適合業(yè)務(wù)的需求，最主要的是要花 錢，一般中小型公司很少會花錢購買商業(yè)的日志分析工具，大公司一般都是自己定制開發(fā)。

3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
一般使用計劃任務(wù)加腳本的方式過濾并且匯總Unix/Linux下的日志，windows用的比較少，所以沒做日志匯總

4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
還是通過計劃任務(wù)和腳本進行集中存儲，問題主要是需要關(guān)注日志是否成功從節(jié)點機下載完成，傳輸?shù)耐暾��?還有就是如何展現(xiàn)的問題。

5.工作中多久查看日志系統(tǒng)，并對其中嚴重日志進行分析，是否進行關(guān)聯(lián)分析？
平時的關(guān)注并不是很多，遇到排錯或者遇到問題后才會進行查看，并沒有進行關(guān)聯(lián)分析。

6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
網(wǎng)絡(luò)資產(chǎn)一般都會設(shè)置自己的閾值，達到閾值后就會在日志中進行報警，應(yīng)該是觸發(fā)的關(guān)系，如果這些信息能實時推動到管理員手中是最好了。


7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
遇到故障首先就會通過日志分析來排查故障，比如遇到網(wǎng)絡(luò)攻擊，首先就會對web日志進行排序和檢查，看異常流量的來源和請求的資源，再決定應(yīng)對的策略。

8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
曾經(jīng)嘗試使用clamav掃描服務(wù)器，并將日志匯總存儲到服務(wù)器，再用腳本進行分析報警，存儲到mysql并web圖形化展示沒有試過，主要是沒有好用的工具，自行開發(fā)的話難度較大。

9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
主要是遇到問題時候查找問題所在的設(shè)備，比如常用的cacti之類的工具，不足主要是實時性不夠，有時候短時間的異常這類工具根本無法采集到數(shù)據(jù)。

10.希望日志存儲多長時間？是否有必要銷毀？
根據(jù)業(yè)務(wù)需求和存儲的大小合理決定存儲的時間，如果確認日志沒用還是要進行銷毀的。

11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
如果有充足的預(yù)算的話考慮建立SIEM平臺，畢竟安全對于互聯(lián)網(wǎng)行業(yè)是至關(guān)重要的。

12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？
希望OSSIM平臺可以幫助運維人員快速定位安全問題出現(xiàn)的位置，并給出建議的解決方案。目前并沒有使用過OSSIM平臺，如果有相應(yīng)的培訓(xùn)會考慮去學(xué)習(xí)下。

dengbao2001

這個活動不錯，支持下！

forgaoqiang

這明顯是運維人員的菜 日志好 日志妙 日志呱呱叫~

qingduo04

火前留名。。。。。