IT運維技術(shù)討論之三：大話日志分析與管理

typuc

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
tail -f /var/log/XX.log|grep -a3 --color '123'
打印及時日志，查詢包含123關(guān)鍵詞的前后3行記錄，并標(biāo)明顏色

2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？

開源的話，目前正在測試環(huán)境使用logstash+elasticsearch；初步使用達到預(yù)計效果，可以按照業(yè)務(wù)，服務(wù)器（多臺服務(wù)器比較實用），日期進行分類顯示，并按照特有字段進行模糊和完全匹配查詢；服務(wù)器端故障恢復(fù)后不會丟失日志。之前公司實用的是mongodb存儲，當(dāng)時mongodb死掉后，造成業(yè)務(wù)日志寫入堵塞應(yīng)用也死掉了，后面也就廢棄了。商業(yè)的沒用過。業(yè)務(wù)訪問日志用的awstat如果你的IP地址庫比較新的話，對訪問來源地分析比較準(zhǔn)確；由于我們在多線機房架設(shè)了代理，日志格式上需要單獨配置，以便獲取到真實的IP，而不是代理的Ip。

3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？

系統(tǒng)主要是linux日志，及時日志查看；過期日志腳本打包清理回傳公司。

4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？

  集中存放展示，定期清理打包。日志平臺展示時候擔(dān)心系統(tǒng)磁盤瓶頸和高可用問題。

5.工作中多久查看日志系統(tǒng)，并對其中嚴(yán)重日志進行分析，是否進行關(guān)聯(lián)分析？

   一般不查看，排查業(yè)務(wù)故障協(xié)助開發(fā)人員查看及時日志；關(guān)聯(lián)分析沒有了，只有根據(jù)業(yè)務(wù)提示查詢下一個業(yè)務(wù)日志。
   
6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？

  漏洞可能會造成攻擊，進而誘發(fā)流量激增，進一步觸發(fā)相關(guān)報警。對日志監(jiān)控，nagios有個check_log插件應(yīng)該可以滿足，但是要針對不同設(shè)備定義不同的報警值。

7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
  
目前沒遇到網(wǎng)絡(luò)引起的故障，一般不要亂修改配置，網(wǎng)絡(luò)還是很穩(wěn)定的。
   案例：
     之前遇到一個tomcat應(yīng)用無法訪問，查看catlian.out日志，發(fā)現(xiàn)大量的“can't creat new connection”,修改tomcat最大連接數(shù)后，能堅持1-2分鐘，又不行了。然后數(shù)據(jù)庫負載報警，登陸數(shù)據(jù)庫服務(wù)器，發(fā)現(xiàn)大量來自這個應(yīng)用服務(wù)器的連接，數(shù)據(jù)庫慢查詢?nèi)罩咀罡叩膕ql執(zhí)行20多秒，把這個sql給dba,優(yōu)化后解決。

8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？

   這個沒有。難度：格式統(tǒng)一處理，web展示，數(shù)據(jù)庫壓力。

9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？

   用作資源使用趨勢監(jiān)控，用于擴容分析。目前用的cacti,自己用shell+snmp MIB 寫了簡單插件監(jiān)控java jvm參數(shù)。cacti 5分鐘間隔太長了監(jiān)控粒度不夠細。

10.希望日志存儲多長時間？是否有必要銷毀？

    這個要看行業(yè)和業(yè)務(wù)類型。一般的tomcat日志我們保留2周，業(yè)務(wù)日志保留半年。

11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？

    希望了解，如果一個平臺能解決大部分的問題，當(dāng)然好。

12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？

    之前裝過，后面忙就沒深入學(xué)習(xí)。有條件的話希望參加。

action08

很多大公司已分開這部分了

感覺是一個有趣的話題

baochenggood

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
通過腳本，截取出關(guān)鍵字，分析的
2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
GoAccess  分析nginx日志很好很強大
3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
linux通過自己自定義腳本，收集到日志服務(wù)器，window的就直接看了，沒收集
4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
日志存儲，存儲在單獨的一臺虛擬機上，日志監(jiān)控平臺，在研究，架設(shè)肯定有這個必要
5.工作中多久查看日志系統(tǒng)，并對其中嚴(yán)重日志進行分析，是否進行關(guān)聯(lián)分析？
一周分析一次，繪出數(shù)據(jù)圖，綜合分析
6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
記錄起來，問售后
7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
排除故障，肯定要分析日志的
8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
這些應(yīng)用，用到經(jīng)常用，通過web界面圖形化，可以 用GoAccess  繪個簡單的圖

9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
監(jiān)控，預(yù)警，
10.希望日志存儲多長時間？是否有必要銷毀？
一個月銷毀，不銷毀，浪費磁盤
11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
呵呵，考慮建設(shè)，參考李老師的書，學(xué)習(xí)，學(xué)習(xí)
12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？
肯定會考慮

hexilanlan

好多經(jīng)驗。。。。。

2009532140

火前留名。。。。。

expert1

logstash/ splunk / Elastric Search 專業(yè)分析日志的工具。

chenyx

1.請舉例說明CLI方式下如何分析系統(tǒng)日志？
  主要采用grep過濾關(guān)鍵字,比如檢查web日志,搜索POST關(guān)鍵字,可以找到文件上傳的日志

2.談?wù)勀銓﹂_源日志分析工具和商業(yè)日志分析工具使用的感受或心得？
  商業(yè)的木有用過,開源的,用過awast,基本上對于日常運維足夠了

3.談?wù)勀闶侨绾问占疷nix/Linux以及Windows平臺上各種日志？
  目前沒有統(tǒng)一的日志存儲.

4.介紹你目前的日志存儲方案？是否考慮架設(shè)集中日志管理平臺，又遇到了何種問題？
   目前沒有,正在考慮架設(shè)集中日志管理平臺.

5.工作中多久查看日志系統(tǒng)，并對其中嚴(yán)重日志進行分析，是否進行關(guān)聯(lián)分析？
  基本上每周2次吧,有時候每周一次.如果有嚴(yán)重問題,肯定會進行分析的,關(guān)聯(lián)分析倒是沒做過.

6.由網(wǎng)絡(luò)資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備）產(chǎn)生的各種告警日志，每個設(shè)備的流量信息、以及設(shè)備的漏洞信息，你認為他們之間存在什么樣的關(guān)聯(lián)，打算如何對待這些信息（處理的方式）？
   目前主要通過nagios+cacti進行網(wǎng)絡(luò)檢測,有問題直接會發(fā)告警郵件,問題嚴(yán)重的時候,肯定會進行多個設(shè)備報警信息的綜合判斷.

7.你通過日志分析來排除網(wǎng)絡(luò)或系統(tǒng)故障碼？當(dāng)你遇到網(wǎng)絡(luò)攻擊時，會去主動分析日志嗎？請用詳細實例說明。
   排錯以及故障排查,分析日志是最主要的工作.沒有日志,根本沒有解決問題的方向.
   網(wǎng)站遇到攻擊,第一步肯定是先分析日志,看看攻擊是什么類型的,然后針對不同的攻擊類型采取相應(yīng)的措施

8.你是否嘗試將Apache、Ftp、Samba、Snort、OSSEC、Iptables，DNS等應(yīng)用服務(wù)器日志存儲到MySQL，再通過Web界面圖形化展示？你是通過那些方法實現(xiàn)的，難度在哪兒？
   目前還沒有將日志存儲到MySQL.

9.目前你所管理的網(wǎng)絡(luò)中流量監(jiān)控系統(tǒng)起到那些作用，又由那些不足？
   主要進行網(wǎng)絡(luò)監(jiān)控,以及出問題的時候進行告警.網(wǎng)絡(luò)流量監(jiān)控主要通過cacti,不足之處就是5分鐘太長了,粒度不夠,只能看到大致趨勢.

10.希望日志存儲多長時間？是否有必要銷毀？
   基本上按照有關(guān)部門文件要求,保存90天的時間,到期就刪除了.

11.是否考慮在企業(yè)中建設(shè)SIEM平臺，以整合原先各種零散的監(jiān)控和日志分析報警系統(tǒng)？
   有機會會考慮建設(shè)統(tǒng)一的平臺來整合我的監(jiān)控系統(tǒng).

12. 說說你眼中的OSSIM平臺，能為運維人員解決那些事情，還有那些功能是它所無法實現(xiàn)的？你在學(xué)習(xí)、使用OSSIM中又遇到了那些困難？如果有OSSIM平臺部署和應(yīng)用培訓(xùn)是否會參加？
  有培訓(xùn)肯定會想辦法參加的.

niao5929

最開始使用LINUX系統(tǒng)就覺得它可以讓我知道計算機本身都干了些什么東西。日志系統(tǒng)確實給了我們很多處理問題的提示。和WINDOWS相比。這好很多。WINDOWS系統(tǒng)經(jīng)常是不知道什么原因，因為它的日志本身就是說的不明不白的。讓人一頭污水。

ivysummer

我們在使用Splunk做產(chǎn)品環(huán)境的日志分析，一般的方式是在服務(wù)器上安裝splukforwarder,將需要分析的日志傳送到splunk服務(wù)器上面。給每個開發(fā)人員都分配賬號，這樣它們不用登陸服務(wù)器就就可以查看產(chǎn)品環(huán)境的日志了。Splunk的功能很強大，通過命令也可以生成圖標(biāo)，進行分析，還可以設(shè)定在一個時段內(nèi)遇到多少錯誤時報警。
除了Splunk之外，開源的日志分析工具還有LogStash或者是Graylog2，沒有仔細研究過。