大型數(shù)據(jù)中心運行監(jiān)測體系的建設與運用

sopato

jiang_box 發(fā)表于 2014-05-05 13:55
大家好，我剛剛注冊到該板塊的實習版主，我先做個自我介紹，希望今后通過這個板塊，與大家共同探討，建立起 ...

支持有心分享知識和經(jīng)驗的前輩做版主！！

jiang_box

Web服務器響應時間監(jiān)控方案





ITCAM for Web Response Time產(chǎn)品概述
ITM框架簡介
ITCAM 產(chǎn)品家族基于ITM（IBM Tivoli Monitoring）監(jiān)控框架，因此所有的ITCAM產(chǎn)品將擁有ITM所有用的功能。ITM做基礎框架，提供如下基本功能：
ITM提供統(tǒng)一的視圖界面（Tivoli Enterprise Portal），用戶可以在同一個界面里面查看和配置所有的監(jiān)控對象。TEP有如下特點：
集中的管理界面，簡化用戶操作
基于上下文環(huán)境和組合視圖，降低用戶診斷問題的時間
基于角色和權限的控制，增強管理的安全性
可定制化的工作區(qū)和視圖，提高操作的靈活性

歷史數(shù)據(jù)采集
統(tǒng)一的歷史數(shù)據(jù)采集配置
靈活的歷史數(shù)據(jù)采集和分發(fā)策略
靈活的歷史數(shù)據(jù)裁剪和匯聚策略
統(tǒng)一報表展示
事件報告，自動響應預定義的告警事件
大量基于實踐經(jīng)驗的預定義場景（Situation），給用戶提供參考，節(jié)約客戶化時間。
動態(tài)的閥值設定。
集成專家建議，協(xié)助用戶診斷問題時間。
通過自定義操作，自動響應事件（Take Action）

通過工作流（workflow）定制，實現(xiàn)自動化處理復雜的客戶場景的告警事件
圖形化的工作流定制界面
整合自動響應事件（Take Action）


對未來趨勢的預測以及告警


Web Response Time（WRT）功能描述
WRT是ITCAM For Transaction產(chǎn)品系列中一個子產(chǎn)品，它是針對WEB應用的性能管理解決方案中一環(huán)，主要針對的是HTTP的性能監(jiān)控，主要特點包括：
體現(xiàn)基于WEB應用的 終端用戶體驗
WEB請求的響應時間以及相應時間的分段響應時間
WEB頁面請求響應時間以及內(nèi)嵌的元素響應時間
支持HTTP以及HTTPS
支持端口映射模式，可將監(jiān)控探針部署在WEB服務器之外的主機上
實現(xiàn)原理
WRT通過對網(wǎng)卡的監(jiān)聽，從物理網(wǎng)卡上獲取數(shù)據(jù)包，并對之做協(xié)議棧分析，來獲取此協(xié)議在網(wǎng)絡上傳輸?shù)男阅�。針對于HTTP協(xié)議，WRT解析如下時間點：

收集的屬性指標
URL相關
  URL – URL of request
  Referrer URL – Referring URL of request (if any)
  Browser Description – Description of client browser
  Server Description – Description of HTTP server
  Application Protocol – Protocol used in request
  URL Hostname – Hostname portion of request URL
  URL Path – Path portion of request URL
  URL File – File portion of request URL
  URL Query String – Query string portion of request URL
  URL Anchor – Anchor portion of request URL
  Page Title – Page title of response
  Method – HTTP method used for request
響應請求
Average Request Packet Count – Average number of request packets
Request Packet Count – Number of request packets
Request ACK Packet Count – Number  of request ACK packets
Reply Packet Count – Number of response packets
Reply ACK Packet Count – Number of response ACK packets
Total Bytes – Total bytes of in request and response
Request Bytes – Total bytes in request
Reply Bytes – Total bytes in response
Total Object Count – Total number of objects in page
Total Object Size – Total size of objects in page
Total Header Request Count – Total header count of request

支持的服務器
IBM HTTP Server 6.0.x, 2.0.47+, 1.3
Microsoft Internet Information Server 6.0
Sun Java System Web Server 6.1
Apache HTTP Server
部署架構

WRT依賴ITM基礎框架，我們需要在一臺服務器搭建ITM服務框架，這是最小的配置環(huán)境，生產(chǎn)環(huán)境需要參看具體監(jiān)控的數(shù)量已經(jīng)實際的網(wǎng)絡拓撲結構而定。然后在被監(jiān)管的WEB服務器上部署WRT的探針。WRT探針將監(jiān)控的數(shù)據(jù)匯總到服務端，統(tǒng)一配置，統(tǒng)一展示，并定期的將性能數(shù)據(jù)存放至數(shù)據(jù)倉庫，供以后的數(shù)據(jù)挖掘和分析。
使用方法
根據(jù)URL創(chuàng)建Transaction：

為定義的Transaction創(chuàng)建過濾器

配置顯示模式



我們可以把我們所關心的屬性用于定義交易，常見的比如IP加上URL下第一級目錄名稱；或者目標端口等等，等等。
定義監(jiān)控策略

分發(fā)此策略到被監(jiān)控的WEB服務器，并定義相關的性能指標。
產(chǎn)品截圖
服務器可用性

Transaction詳細信息

左側的導航圖包含：
Applications詳細信息
Transaction詳細信息
Server端詳細信息
Client端詳細信息
Web 性能監(jiān)控方案 1.0.1 (ITCAM for RT - WebResponseTime) _20091105.doc (2.18 MB, 下載次數(shù): 280)

2014-06-23 13:09 上傳

點擊文件名下載附件

network__yang

支持，謝謝分享，。


thank you。。。

jiang_box

日志分析背景
傳統(tǒng)的日志分析方法是將應用系統(tǒng)產(chǎn)生的日志結構化、放入到數(shù)據(jù)庫中進行分析。隨著企業(yè)應用系統(tǒng)所產(chǎn)生的運行數(shù)據(jù)日漸龐大，日志類型不斷增加，傳統(tǒng)的應用系統(tǒng)日志分析的工作變得繁雜、低效，為企業(yè)IT部門帶來越來越高的運維難度。尤其在迅速發(fā)展的復合應用架構中，采用傳統(tǒng)方法進行性能分析的局限性越來越多的顯現(xiàn)出來：
面對格式不同，數(shù)量龐大的日志數(shù)據(jù)，需要重復執(zhí)行篩選、分析、舉證，難以準確獲取有價值的、可以反映業(yè)務性能狀態(tài)的關鍵內(nèi)容；
需要針對每個新上線應用系統(tǒng)定制化開發(fā)分析查詢界面，將非結構化日志信息進行規(guī)整、入庫，大量消耗企業(yè)IT部門的時間及人力，同時帶來開發(fā)周期長、落地困難、維護成本高等問題；
各應用系統(tǒng)相互孤立，格式不一，數(shù)據(jù)高度離散，缺乏關聯(lián)性，缺乏統(tǒng)一視角對應用系統(tǒng)日志進行分析管理；
隨著歷史數(shù)據(jù)的增加，用于存放歷史數(shù)據(jù)的數(shù)據(jù)庫給企業(yè)帶來巨大的額外開銷。

新型的日志分析管理，采用了大數(shù)據(jù)的處理方法，直接對日志數(shù)據(jù)進行索引、分析、定位，不再需要將日志數(shù)據(jù)結構化、入庫處理，大大提高了處理效率。并且能夠?qū)崿F(xiàn)多個系統(tǒng)日志之間的關聯(lián)分析；能夠?qū)⒃瓉矶际荰+1的日志分析，做到T+0，即實時的發(fā)現(xiàn)問題。


日志分析提供的功能簡介
日志分析是收集服務器、網(wǎng)絡設備、應用程序、數(shù)據(jù)庫等所產(chǎn)生的日志，對日志文件進行全文索引，并根據(jù)日志中索引出的關鍵字進行關聯(lián)分析；
還可以關聯(lián)時間段，提供某個時間段內(nèi)的系統(tǒng)狀態(tài)。
讓管理員可以對日志中出現(xiàn)的各種情況進行搜索，并且通過非常好的圖形化的方式展現(xiàn)出來。
具體實現(xiàn)的功能如下：
交易追蹤
交易追蹤功能使用戶可以根據(jù)卡號、賬號、用戶信息等進行快速查詢追蹤；

原始日志保存、查詢及統(tǒng)計
充分利用現(xiàn)有應用系統(tǒng)所產(chǎn)生的數(shù)據(jù)資源，在海量數(shù)據(jù)中準確定位查詢有價值的關鍵信息，同時保持原始日志數(shù)據(jù)的完整性；并能夠?qū)θ罩镜年P鍵字進行頻率統(tǒng)計。

日志的分析查詢并生成報表
強大的數(shù)據(jù)分析能力，包括交易性能指標呈現(xiàn)、歷史數(shù)據(jù)統(tǒng)計、多維度關聯(lián)分析以及去專業(yè)化查詢界面等；并根據(jù)查詢的結果生成報表、統(tǒng)計圖表。


通過定義儀表板實現(xiàn)問題的實時追蹤
根據(jù)查詢和分析的結果以及實際需求，用戶自定義應用儀表板，實現(xiàn)對問題的實時定位和追蹤。

file:///C:\Users\dell\AppData\Local\Temp\ksohtml\wps_clip_image-24733.png

日志分析的一個例子

file:///C:\Users\dell\AppData\Local\Temp\ksohtml\wps_clip_image-24838.png

最后可以將這個分析生成一個儀表板，以便今后隨時查看。

rdcwayx

樓主能說說這套工具對云系統(tǒng)（私有云和公有云）的支持程度嗎？

jiang_box

中小銀行運維自動化解決之道

lanwei86e

給樓主贊一個

nblinuxmaster

留貼紀念，支持一下

pxczy

相當專業(yè)啊

ttzhuce2

感謝樓主了，學習了不少東西！