日志監(jiān)控很重要�。。∫粋�(gè)運(yùn)維的傷心史……

stay_sun

   獲獎(jiǎng)詳情：  http://www.72891.cn/thread-4216624-1-1.html



      今天發(fā)這個(gè)帖子是因?yàn)檎�好公司在搞這個(gè)日志檢索工具，因?yàn)槭裁茨卣?qǐng)看下面案例。
案列介紹：
      上個(gè)月的一天，監(jiān)控突然報(bào)警某linux 主機(jī)網(wǎng)卡流量異常，直接把網(wǎng)卡打滿了，然后出口流量也被打滿 基本一個(gè)網(wǎng)段都快完了。
馬上去服務(wù)器上檢查，直接斷掉這個(gè)服務(wù)器，苦命的檢查了半個(gè)多小時(shí)，發(fā)現(xiàn)是被人攻擊了。刪掉木馬程序也不行。后來(lái)把目錄權(quán)限給限制了
不讓寫(xiě)才解決問(wèn)題，但是怎么出現(xiàn)的問(wèn)題呢
      最后看了下tomcat的目錄 居然有web shell 在上面。
      檢查服務(wù)器的ssh 日志 發(fā)現(xiàn)已經(jīng)被嘗試密碼  好幾個(gè)月了。
      這個(gè)主機(jī)為購(gòu)買的系統(tǒng)，聯(lián)系廠家重新安裝軟件。
   
上述案例截圖我就不補(bǔ)上傳了，太傷心了。
大家來(lái)討論問(wèn)題吧

本期特邀嘉賓：本書(shū)作者chenryn，大家有什么問(wèn)題可以盡情發(fā)問(wèn)。（饒琛琳 新浪網(wǎng)系統(tǒng)架構(gòu)師，曾任人人網(wǎng)技術(shù)專家，中華網(wǎng)高級(jí)運(yùn)維工程師等職位。參與了大規(guī)模系統(tǒng)的運(yùn)維監(jiān)控設(shè)計(jì)與自動(dòng)化平臺(tái)的建設(shè)，對(duì)CDN架構(gòu)、系統(tǒng)監(jiān)控和日志分析都有豐富的經(jīng)驗(yàn)。）

討論問(wèn)題 ：
    1 上述案例告訴我們，日志監(jiān)管真的很重要，你們遇到過(guò)什么問(wèn)題？
    2 大家都在使用什么日志分析軟件？
    3 你覺(jué)得還有什么好的辦法解決這樣的問(wèn)題呢？


活動(dòng)時(shí)間：2015年11月13日—2015年12月13日


獎(jiǎng)勵(lì)設(shè)置：
活動(dòng)結(jié)束后，我們將選取4位討論精彩的同學(xué)，各送一本《ELK stack權(quán)威指南》。

作者： 饒琛琳   
叢書(shū)名： 數(shù)據(jù)分析與決策技術(shù)叢書(shū)
出版社：機(jī)械工業(yè)出版社
ISBN：9787111516347
上架時(shí)間：2015-10-10
出版日期：2015 年10月
開(kāi)本：16開(kāi)
版次：1-1

內(nèi)容簡(jiǎn)介：Elasticsearch、Logstash、Kibana這三個(gè)開(kāi)源軟件組成了當(dāng)今最流行的實(shí)時(shí)數(shù)據(jù)分析利器，為快速應(yīng)對(duì)大數(shù)據(jù)時(shí)代的數(shù)據(jù)收集、檢索、可視化，提供了一站式解決方案，成為實(shí)時(shí)日志處理領(lǐng)域開(kāi)源界的第一選擇。本書(shū)對(duì)ELK stack的工作原理概念進(jìn)行了解剖，不僅分享了大量實(shí)戰(zhàn)案例和實(shí)現(xiàn)效果，而且分析了部分源代碼。作者將自己多年的運(yùn)維開(kāi)發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn)融入了書(shū)中，使得本書(shū)易讀、易懂，將復(fù)雜的環(huán)境分解得清清楚楚，展示了多種工具的組合使用，為打造復(fù)雜環(huán)境的數(shù)據(jù)分析系統(tǒng)提供了有價(jià)值的參考。
樣章試讀： 《ELK stack權(quán)威指南》預(yù)讀.pdf (3.22 MB, 下載次數(shù): 299)

2015-11-13 15:52 上傳

點(diǎn)擊文件名下載附件

蟲(chóng)蟲(chóng)貓

1.日志對(duì)于運(yùn)維來(lái)說(shuō)太重要了，排查問(wèn)題首先就要從日志著手，還有諸如安全審計(jì)等。
2.之前基本還是人肉的方式查問(wèn)題，效率太差了，最近在著手搭建日志分析平臺(tái)，就是ELK stack。
3。這個(gè)平臺(tái)上線后應(yīng)該可以解決日志的查找速度問(wèn)題，開(kāi)發(fā)查看日志也會(huì)更加的方便。

expert1

支持，很不錯(cuò)的書(shū)。

蟲(chóng)蟲(chóng)貓

提兩個(gè)問(wèn)題：
1.如果在每個(gè)服務(wù)器上都安裝logstash會(huì)不會(huì)太重了，而且如果業(yè)務(wù)有使用java會(huì)對(duì)jdk的版本有要求，使用logstash也同樣依賴于jdk，可能會(huì)造成jdk版本的沖突，這個(gè)怎么處理？
2.目前在考慮使用logstash-forwarder，但是這個(gè)軟件功能呢又比較簡(jiǎn)單，又想對(duì)json類型的日志進(jìn)行收集處理，請(qǐng)問(wèn)有沒(méi)有什么更好的方法？

蟲(chóng)蟲(chóng)貓

之前的問(wèn)題問(wèn)的太幼稚了..
在indexer的filter那進(jìn)行處理就行了

hiyachen

1 上述案例告訴我們，日志監(jiān)管真的很重要，你們遇到過(guò)什么問(wèn)題？
沒(méi)有巡檢嗎？上個(gè)月的都有問(wèn)題居然沒(méi)有發(fā)現(xiàn)。我們會(huì)對(duì)帶外管理、cpu、內(nèi)存、網(wǎng)絡(luò)、安全都有審計(jì)和監(jiān)控。
有很多開(kāi)源的軟件可以用。
像上述的問(wèn)題，應(yīng)該早就報(bào)警了。
有大量的日志文件信息包需要監(jiān)管。
有很多易用的軟件。

    2 大家都在使用什么日志分析軟件？
zabbix,ganglia等，我們自己也作了一些。

    3 你覺(jué)得還有什么好的辦法解決這樣的問(wèn)題呢？
提高軟件供應(yīng)商的軟件水平。
軟件使用廠家也要多自己培養(yǎng)和學(xué)習(xí)。
多巡檢。

action08

蟲(chóng)蟲(chóng)貓 發(fā)表于 2015-11-13 16:50
提兩個(gè)問(wèn)題：
1.如果在每個(gè)服務(wù)器上都安裝logstash會(huì)不會(huì)太重了，而且如果業(yè)務(wù)有使用java會(huì)對(duì)jdk的版本 ...

高版本的java一般是能兼容低版本的，你們的應(yīng)用是不是出現(xiàn)什么問(wèn)題了？？是不是用到版本的特定功能？？

lsstarboy

    1 上述案例告訴我們，日志監(jiān)管真的很重要，你們遇到過(guò)什么問(wèn)題？
日志雖然是事后諸葛亮，但還是非常重要的，遇到攻擊、異常等，首先想到的應(yīng)該是日志，如果日志也被刪除，那這個(gè)系統(tǒng)基本上無(wú)可救藥了。
重要的系統(tǒng)，如果機(jī)器夠用的話，最好有獨(dú)立的日志服務(wù)器，這樣遇到攻擊了時(shí)候，也能保證日志不被刪除。
web系統(tǒng)最簡(jiǎn)單的是加一級(jí)nginx反向代理，日志都在反向代理服務(wù)器上，想刪除也不容易。

    2 大家都在使用什么日志分析軟件？
目前自己寫(xiě)的分析程序，兩分鐘分析一次，跟防火墻聯(lián)動(dòng)，遇到攻擊特征的字符串就自動(dòng)封IP或者限制連接數(shù)，相當(dāng)于一個(gè)手動(dòng)的utm，防火墻造價(jià)太高，并且不一定能適合我們的應(yīng)用。
現(xiàn)在的運(yùn)維工具基本上都支持日志分析。

    3 你覺(jué)得還有什么好的辦法解決這樣的問(wèn)題呢？
不定時(shí)分析日志，肯定是運(yùn)維的失誤。
不僅是網(wǎng)站的日志，像登錄日志，messages異常，security日志等，必須每天過(guò)濾一遍，重要的系統(tǒng)最好幾分鐘就來(lái)一次，遇到問(wèn)題及時(shí)報(bào)警。

woshiyiziyu

1 上述案例告訴我們，日志監(jiān)管真的很重要，你們遇到過(guò)什么問(wèn)題？
我遇到過(guò)和案例一模一樣的問(wèn)題

2 大家都在使用什么日志分析軟件？
沒(méi)用軟件，靠cat和vi命令行

3 你覺(jué)得還有什么好的辦法解決這樣的問(wèn)題呢？
Linux殺毒軟件

sync_1521

回復(fù) 8# lsstarboy
目前自己寫(xiě)的分析程序，兩分鐘分析一次，跟防火墻聯(lián)動(dòng)，遇到攻擊特征的字符串就自動(dòng)封IP或者限制連接數(shù)，相當(dāng)于一個(gè)手動(dòng)的utm
--這個(gè)能詳細(xì)說(shuō)說(shuō)怎么實(shí)現(xiàn)的么，比如說(shuō)什么是有攻擊特征的字符串？怎么自動(dòng)封ip和限制連接數(shù)？謝謝

另外一個(gè)，我覺(jué)得日志太多，怎么才能從日志里面區(qū)分是哪些日志是不正常的日志，哪些是正常的日志？難道說(shuō)要把這些東西全部整理一遍，讓后再根據(jù)這些特征整腳本去進(jìn)行監(jiān)控？