【吐血推薦】網(wǎng)絡(luò)醫(yī)院的故事----連載(ZT)轉(zhuǎn)載結(jié)束，共35篇

chenglima

bestwall

很好的文章，請(qǐng)繼續(xù)的發(fā)，謝謝你的奉獻(xiàn)

mazu

一共38集呢，我會(huì)陸續(xù)貼出來(lái)。。。。謝謝大家的捧場(chǎng)

vectralcn

真長(zhǎng)了不少見(jiàn)識(shí)，好！

酸辣粉

好東西大家

lly80

好�。。『煤脜⒖枷�，決不辜負(fù)你的努力！

sevenday

好貼，頂！

mazu

[故事之八]插頭故障
        [癥狀]某電信移動(dòng)計(jì)費(fèi)中心，用戶反映，近三個(gè)月移動(dòng)用戶總數(shù)增加了近30％，但移動(dòng)計(jì)費(fèi)的營(yíng)業(yè)收入?yún)s只增加了5％，懷疑計(jì)費(fèi)系統(tǒng)是不是有問(wèn)題。從計(jì)費(fèi)服務(wù)器查看收費(fèi)記錄，沒(méi)有發(fā)現(xiàn)什么問(wèn)題。檢查計(jì)費(fèi)服務(wù)器軟件，工作正常。從路由器另一側(cè)的財(cái)務(wù)服務(wù)器檢查，內(nèi)部的財(cái)務(wù)服務(wù)器顯示的計(jì)費(fèi)數(shù)據(jù)與計(jì)費(fèi)服務(wù)器的數(shù)據(jù)沒(méi)有差錯(cuò)。查找電話局局端記錄，發(fā)現(xiàn)記錄次數(shù)超出移動(dòng)計(jì)費(fèi)的記錄次數(shù)。最后作實(shí)地測(cè)試，用移動(dòng)電話撥打50次，記錄次數(shù)45次，記錄時(shí)間與實(shí)際通話時(shí)間一致的次數(shù)為30次。歷時(shí)一周，還不能確定故障位置。
       
[診斷過(guò)程]計(jì)費(fèi)服務(wù)器連接到一臺(tái)16端口交換機(jī)Bay28115的第一插槽5號(hào)端口。第6號(hào)端口下掛一個(gè)100Mbps的以太網(wǎng)，網(wǎng)管機(jī)HP Open View也設(shè)置在此。打開(kāi)網(wǎng)管系統(tǒng)，準(zhǔn)備觀察5號(hào)端口的工作情況，這時(shí)才發(fā)現(xiàn)無(wú)法打開(kāi)5號(hào)端口的工作表數(shù)據(jù)記錄。詢問(wèn)網(wǎng)絡(luò)管理人員，告知3個(gè)月前因交換機(jī)故障自行更換過(guò)備用的Bay28115交換機(jī)，更換后系統(tǒng)工作很正常。查看維護(hù)工作記錄登記和日志，沒(méi)有任何關(guān)于Bay18115的維護(hù)說(shuō)明，也沒(méi)有關(guān)于網(wǎng)絡(luò)工作參數(shù)的記錄(記錄上顯示的還是系統(tǒng)開(kāi)通時(shí)的原始數(shù)據(jù))。詢問(wèn)網(wǎng)管人員為何不設(shè)置并打開(kāi)交換機(jī)工作表的Mib。答曰網(wǎng)管系統(tǒng)是一年前安裝的，平時(shí)只用來(lái)看看系統(tǒng)設(shè)備是否連接以及是否有報(bào)警信號(hào)，更多的功能也不會(huì)用。前任網(wǎng)絡(luò)管理員已調(diào)任工作崗位，實(shí)際上現(xiàn)在已沒(méi)有人會(huì)使用和設(shè)置網(wǎng)管系統(tǒng)。由于系統(tǒng)開(kāi)通是有系統(tǒng)承包商負(fù)責(zé)的，自行更換交換機(jī)后沒(méi)有發(fā)現(xiàn)什么問(wèn)題，也沒(méi)再 仔細(xì)檢查。用網(wǎng)絡(luò)測(cè)試儀的協(xié)議對(duì)話分析功能從網(wǎng)管機(jī)所在網(wǎng)段觀察計(jì)費(fèi)服務(wù)器的工作情況，發(fā)現(xiàn)服務(wù)器對(duì)約有1/3的數(shù)據(jù)包沒(méi)有回應(yīng)。為了不影響系統(tǒng)工作，于凌晨3:00在移動(dòng)用戶使用率底的時(shí)候用F683網(wǎng)絡(luò)測(cè)試儀模擬服務(wù)器測(cè)試5號(hào)端口，顯示鏈路工作于10Mbps速率(原始記錄顯示此端口的速度應(yīng)該是100Mbps)。由于交換機(jī)沒(méi)有啟動(dòng)SNMP支持功能，故臨時(shí)在5號(hào)端口安裝了一只10Mbps的集線器與服務(wù)器連接，用網(wǎng)絡(luò)測(cè)試儀從這個(gè)集線器的任意端口對(duì)計(jì)費(fèi)服務(wù)器發(fā)送數(shù)據(jù)并觀察服務(wù)器數(shù)據(jù)流工作情況。發(fā)現(xiàn)大量碰撞和錯(cuò)誤的FCS幀，當(dāng)流量為30％時(shí)，碰撞及錯(cuò)誤流量占21％。用電纜測(cè)試儀檢查服務(wù)器電纜，發(fā)現(xiàn)靠交換器一端的插頭處近端串?dāng)_NEXT嚴(yán)重超差。重新更換插頭并正確打線，碰撞率下降為0.5％，錯(cuò)誤率為0％。去掉臨時(shí)集線器，重新啟動(dòng)交換器的SNMP功能，從交換器某空閑端口向服務(wù)器發(fā)送流量，用網(wǎng)管系統(tǒng)觀察5號(hào)計(jì)費(fèi)服務(wù)器端口，當(dāng)流量為40Mbps時(shí)，碰撞率、錯(cuò)誤率、廣播率等參數(shù)均表現(xiàn)優(yōu)良。服務(wù)器自適應(yīng)恢復(fù)為100Mbps鏈路速度。
        重新進(jìn)行兩組各50次實(shí)際撥打測(cè)試，計(jì)費(fèi)數(shù)據(jù)完全正確。可以基本肯定計(jì)費(fèi)功能已全部恢復(fù)正常。
       
[診斷評(píng)點(diǎn)]本次故障的原因非常簡(jiǎn)單(一個(gè)插頭問(wèn)題)，但表現(xiàn)出來(lái)的現(xiàn)象則稍微復(fù)雜一些。該服務(wù)器使用的是一個(gè)10/100Mbps的自適應(yīng)以太網(wǎng)卡，設(shè)計(jì)鏈路速度為100Mbps。網(wǎng)管人員在更換交換器時(shí)曾不小心將插頭拉壞，隨即更換了接頭，但確留下隱患，不過(guò)，維護(hù)人員并未及時(shí)發(fā)現(xiàn)速度方面異常。服務(wù)器鏈路此時(shí)的實(shí)際工作速度已經(jīng)下降為10Mbps。新交換器沒(méi)有啟動(dòng)SNMP支持功能，網(wǎng)管系統(tǒng)也就不能觀察計(jì)費(fèi)服務(wù)器的端口工作狀態(tài)。在平時(shí)的維護(hù)工作中，該計(jì)費(fèi)中心的維護(hù)人員基本上不用網(wǎng)管系統(tǒng)定期觀測(cè)并記錄網(wǎng)絡(luò)的工作參數(shù)，當(dāng)故障出現(xiàn)時(shí)就不能覺(jué)察到服務(wù)器工作速度的變化。有趣的是，如果電纜沒(méi)有問(wèn)題，即使將鏈路速度設(shè)置為10Mbps，計(jì)費(fèi)服務(wù)器應(yīng)該還是能正常工作的(計(jì)費(fèi)信息的網(wǎng)絡(luò)流量一般不高)。在本故障中，計(jì)費(fèi)服務(wù)器繁忙時(shí)由于碰撞率和錯(cuò)誤率太高，服務(wù)器無(wú)法處理一部分?jǐn)?shù)據(jù)包，其中已經(jīng)被“掛號(hào)”的部分?jǐn)?shù)據(jù)包將被丟棄，造成計(jì)費(fèi)數(shù)據(jù)不準(zhǔn)確。
       
[診斷建議]布線系統(tǒng)平時(shí)要定期輪測(cè)(一至兩年輪測(cè)意義遍)。更換鏈路元件后一定要對(duì)鏈路進(jìn)行測(cè)試(尤其是100Mbps鏈路，必須用電纜測(cè)試儀測(cè)試)。網(wǎng)管系統(tǒng)要指定專人進(jìn)行維護(hù)使用，一般來(lái)講，網(wǎng)管系統(tǒng)可以覆蓋約35％左右的網(wǎng)絡(luò)故障，因此強(qiáng)烈建議重要的網(wǎng)絡(luò)要安裝支持SNMP或RMON協(xié)議(多數(shù)網(wǎng)絡(luò)設(shè)備都支持SNMP協(xié)議，部分支持RMON)，啟動(dòng)已有SNMP、RMON等功能的網(wǎng)絡(luò)設(shè)備，否則網(wǎng)管系統(tǒng)將形同虛設(shè)。維護(hù)工作要求有及時(shí)完整的記錄，這對(duì)提高處理故障的速度是非常必要的。

mazu

[故事之九]交換機(jī)軟故障：電路板接觸不良

[癥狀]今天的“病人”是某大型證券公司，在全市有近11個(gè)營(yíng)業(yè)網(wǎng)絡(luò)。以下是該公司信息中心工程師對(duì)故障現(xiàn)象的描述：
一段時(shí)間以來(lái)，整個(gè)網(wǎng)絡(luò)交易時(shí)常中斷，有時(shí)一天內(nèi)會(huì)出現(xiàn)2～3次。起初每次持續(xù)的時(shí)間很短，沒(méi)有引起我們的足夠重視；我們做過(guò)簡(jiǎn)單的測(cè)試，約幾秒鐘至十幾秒鐘不等，規(guī)律性不太明顯，一般開(kāi)市時(shí)都正常。隨后一段時(shí)間“病情”不斷加重，發(fā)病頻率不斷增加。好幾個(gè)“資深”用戶曾向老總抱怨，近來(lái)碰到幾次原本估計(jì)十拿九穩(wěn)的網(wǎng)上交易不能及時(shí)成交：“當(dāng)我按下交易確認(rèn)鍵時(shí)，計(jì)算機(jī)對(duì)此卻沒(méi)有任何響應(yīng)，也不知道成交了沒(méi)有，只好再等上一會(huì)兒。我給伙伴們介紹的絕招是，過(guò)半分鐘再試，計(jì)算機(jī)就會(huì)顯示成交。不是每次都這樣靈光，但以前極少遇到這種事，而最近一周已經(jīng)遇到好幾次了，好象一天比一天厲害，搞得我們的神經(jīng)緊張兮兮的�！�
昨天15:26，臨近下午閉市時(shí)，故障現(xiàn)象再次出現(xiàn)：行情數(shù)據(jù)的顯示和更新都正常，就是普遍不響應(yīng)交易命令(但不是絕對(duì)不響應(yīng)，其中仍有少數(shù)交易能成交)，11個(gè)子交易網(wǎng)絡(luò)均反映受阻。網(wǎng)管人員初步判斷是中心網(wǎng)絡(luò)的問(wèn)題，立即在電腦科計(jì)算中心檢查交易服務(wù)器，CPU利用率、協(xié)議交換及包交換等指示正常，試驗(yàn)重新登錄服務(wù)器和Ping測(cè)試也正常。時(shí)間到，轉(zhuǎn)為休市狀態(tài)。休市后保持交易網(wǎng)絡(luò)繼續(xù)運(yùn)行，啟動(dòng)模擬交易功能模塊，進(jìn)入故障診斷作業(yè)程序。在計(jì)算中心LAN內(nèi)連續(xù)作了40筆模擬交易均成功。同時(shí)在3個(gè)子交易網(wǎng)處作對(duì)內(nèi)和對(duì)外的模擬交易，對(duì)內(nèi)100％，對(duì)外成功率約15％左右。基本上可以肯定故障在網(wǎng)絡(luò)本身。保持模擬交易連續(xù)工作狀態(tài)，啟用計(jì)算中心的網(wǎng)管系統(tǒng)查看網(wǎng)絡(luò)，服務(wù)器工作狀況指示正常。檢查與其它11個(gè)營(yíng)業(yè)網(wǎng)絡(luò)的聯(lián)系的交換器端口，有流量指示，但時(shí)有停頓。對(duì)其作Ping測(cè)試，偶爾會(huì)有中斷(約有3％Ping測(cè)試不響應(yīng))。用DSP-100電
纜分析儀檢查與交換機(jī)連接的端口電纜鏈路(服務(wù)器、網(wǎng)管機(jī)均在此網(wǎng)段內(nèi))，沒(méi)有問(wèn)題。這說(shuō)明服務(wù)器所在網(wǎng)段是正常的，懷疑是交換機(jī)端口損壞。將與服務(wù)器網(wǎng)段的電纜改插在別的交換器端口并作相應(yīng)設(shè)置，網(wǎng)絡(luò)恢復(fù)正常工作，故障消失，確認(rèn)為交換機(jī)端口損壞，心想總算可以松一口氣了。不料，今日開(kāi)市后不久故障依舊如期“光臨”。

[診斷過(guò)程]晚上19:50我們趕到該證券公司所在地，立即啟動(dòng)系統(tǒng)，自檢顯示正常。然后啟動(dòng)模擬交易系統(tǒng)，觀察與子交易網(wǎng)絡(luò)的通信情況，表現(xiàn)正常。網(wǎng)絡(luò)拓?fù)鋱D上顯示各子交易網(wǎng)絡(luò)是用DDN專線通過(guò)路由器與計(jì)算中心本地網(wǎng)段的交換器聯(lián)系起來(lái)。打開(kāi)各Router的工作表Mib檢查，無(wú)異常和錯(cuò)誤記錄。逐個(gè)檢查交換機(jī)各端口工作表Mib，亦無(wú)異常和錯(cuò)誤記錄。交易服務(wù)器和網(wǎng)管機(jī)同在一個(gè)網(wǎng)段，通過(guò)一個(gè)智能型集線器連接到交換機(jī)端口。打開(kāi)集線器工作表，記錄數(shù)據(jù)正常。將F683網(wǎng)絡(luò)測(cè)試儀接入集線器端口進(jìn)行連續(xù)監(jiān)測(cè)。同時(shí)啟動(dòng)測(cè)試儀流量發(fā)送功能，抽查3個(gè)子網(wǎng)的通道性能，并做體能測(cè)試，持續(xù)流量承受能力為98％，說(shuō)明網(wǎng)絡(luò)很正常且表現(xiàn)相當(dāng)優(yōu)秀。
本故障屬于軟故障�？梢杂删W(wǎng)絡(luò)設(shè)備、應(yīng)用軟件、供電設(shè)備、外來(lái)干擾等故障引起。由于故障時(shí)檢查過(guò)本地網(wǎng)絡(luò)，登錄服務(wù)器和進(jìn)行Ping測(cè)試也是正常的，所以可基本判定集線器下掛網(wǎng)段是正常的。為了定位網(wǎng)絡(luò)故障，在某個(gè)選定的遠(yuǎn)端子交易網(wǎng)絡(luò)處和網(wǎng)管中心同時(shí)用F683網(wǎng)絡(luò)測(cè)試儀雙向發(fā)送流量作通道性能測(cè)試和故障監(jiān)測(cè)，并作ICMP Ping連續(xù)測(cè)試和ICMP監(jiān)測(cè)。為便于觀察和比較，流量發(fā)送的幀長(zhǎng)都設(shè)定為100字節(jié)，流量總和約30％(各占15％約10K左右)。在21:30故障如期出現(xiàn)。ICMP Ping測(cè)試出現(xiàn)斷層，立即打開(kāi)交換機(jī)和路由器的工作表，記錄的流量等數(shù)據(jù)出現(xiàn)停頓或斷續(xù)，并顯示出現(xiàn)FCS幀錯(cuò)誤。從遠(yuǎn)端打開(kāi)相應(yīng)工作表的結(jié)果是：路由器接轉(zhuǎn)流量為17％，交換機(jī)接轉(zhuǎn)流量為2％，ICMP Ping斷層損失90％。ICMP監(jiān)測(cè)顯示不可達(dá)97％左右。從中心打開(kāi)路由器和交換機(jī)工作表Mibs，接轉(zhuǎn)流量均為0.5％~0.9％。這表明遠(yuǎn)端數(shù)據(jù)可以順利到達(dá)路由器但不能在交換機(jī)端口順利進(jìn)行交換。最后用F43電源諧波測(cè)試儀測(cè)試UPS電源參數(shù)，驗(yàn)證UPS電源合格�？梢耘卸ù_實(shí)是交換機(jī)的問(wèn)題。由于網(wǎng)管中心沒(méi)有備用的交換機(jī)，已知原交換機(jī)供應(yīng)商已經(jīng)停產(chǎn)該型號(hào)產(chǎn)品，所以只能考慮更換新型交換機(jī)。為了應(yīng)付明天開(kāi)市，試著確定一個(gè)好的代用端口，這樣可以將服務(wù)器網(wǎng)段臨時(shí)連接入網(wǎng)，防止明日開(kāi)市遇到不測(cè)事件發(fā)生。
查看交換機(jī)與路由器一側(cè)的連接端口，發(fā)現(xiàn)工作表是正常的。因此只需要代換與服務(wù)器連接的端口即可，詢問(wèn)網(wǎng)管工程師上次故障時(shí)曾經(jīng)更換過(guò)的是那個(gè)端口，答曰第4插槽上的空閑端口都試過(guò)。改用第5插槽上僅剩下的一個(gè)端口試驗(yàn)連接，網(wǎng)絡(luò)恢復(fù)正常。由于故障時(shí)隱時(shí)現(xiàn)，故懷疑第4插槽存在軟故障。重新將端口還原為第4插槽，故障已經(jīng)消失。為重復(fù)故障現(xiàn)象，試著用改錐木柄敲擊第4插槽，故障出現(xiàn)，再次連續(xù)敲擊，則故障時(shí)隱時(shí)現(xiàn)。取下第4插槽的電路板觀察，發(fā)現(xiàn)插針有較厚的氧化層(黑色氧化物)。用0000#細(xì)砂紙打磨插針并用酒精清洗，重新安裝好電路板，故障徹底消除，并且不再隨著敲擊電路板而時(shí)隱時(shí)現(xiàn)。為保險(xiǎn)起見(jiàn)，順便檢查其它7個(gè)插槽的電路板，插針均沒(méi)有黑色氧化痕跡，證明只有4號(hào)插槽的插針在生產(chǎn)時(shí)使用了一組不合格的接插元件。交換機(jī)應(yīng)屬于不合格產(chǎn)品。暫時(shí)確定用第5號(hào)插槽的空余端口作代用端口，并要求網(wǎng)絡(luò)不停機(jī)持續(xù)運(yùn)行直到第二天休市為止，進(jìn)行連續(xù)觀察。

[診斷評(píng)點(diǎn)]網(wǎng)絡(luò)故障分硬件故障和軟件故障，有時(shí)是軟硬件相結(jié)合的故障。某些情況下從網(wǎng)絡(luò)表現(xiàn)出的故障現(xiàn)象不能立即確定是那一類故障。本故障是由硬件設(shè)備接觸不良引起的故障，原因是計(jì)算中心用作分隔網(wǎng)段的交換機(jī)其第4插槽的插針接觸不良，使得與交換機(jī)第4插槽有關(guān)的接口工作都不太正常，出現(xiàn)斷續(xù)和停頓。設(shè)備在剛啟動(dòng)的一段時(shí)間內(nèi)，機(jī)器的元器件溫度較低，工作正常，隨著元器件溫度的升高，器件受熱膨脹，出現(xiàn)接觸不良的故障，所以每天開(kāi)市后的一段時(shí)間網(wǎng)絡(luò)一般都不出問(wèn)題。多次重復(fù)這一過(guò)程故障現(xiàn)象就會(huì)由較低頻率的時(shí)隱時(shí)現(xiàn)轉(zhuǎn)為較高頻率的時(shí)隱時(shí)現(xiàn)，故障每此持續(xù)時(shí)間也會(huì)延長(zhǎng)，最終可能會(huì)演變?yōu)槌掷m(xù)的硬故障現(xiàn)象(硬故障在故障診斷時(shí)反而容易些！)。當(dāng)網(wǎng)絡(luò)維護(hù)人員作停機(jī)檢查并更換端口后由于元器件溫度降低的關(guān)系，網(wǎng)絡(luò)也會(huì)正常工作一段時(shí)間。這往往給人一種錯(cuò)覺(jué)，以為故障排除了，但第二天開(kāi)市一段時(shí)間后故障又會(huì)重新出現(xiàn)。
由于本故障的故障點(diǎn)在交換機(jī)向中心網(wǎng)絡(luò)的一側(cè)，所以從計(jì)算中心不能準(zhǔn)確地觀察路由器和交換機(jī)的工作情況，這樣要從網(wǎng)管系統(tǒng)一側(cè)判斷故障是很有困難的。若改由從路由器的另一側(cè)對(duì)路由器和交換機(jī)的工作狀況進(jìn)行實(shí)時(shí)監(jiān)測(cè)，就會(huì)發(fā)現(xiàn)流量不均衡的故障現(xiàn)象，加上ICMP Ping測(cè)試的損失率為90％以及ICMP監(jiān)測(cè)結(jié)果，定位故障就很容易了。由此確定是交換機(jī)的問(wèn)題。
時(shí)隱時(shí)現(xiàn)的故障我們稱作軟故障(注意，不是軟件故障的含義)，可以由軟件故障引起，也可以是硬件故障引起，是難度比較高的一類故障。這除了需要網(wǎng)絡(luò)維護(hù)和管理人員具備一定的軟硬件故障診斷知識(shí)外，對(duì)診斷經(jīng)驗(yàn)的積累也有一定的要求。目前，多數(shù)的網(wǎng)絡(luò)維護(hù)和管理人員是由計(jì)算機(jī)專業(yè)的人員來(lái)?yè)?dān)任，對(duì)硬件設(shè)備的診斷還比較地不熟悉。

[診斷建議]如何選擇合適的檢測(cè)工具對(duì)故障監(jiān)測(cè)點(diǎn)進(jìn)行測(cè)試是很有講究的。許多故障需要進(jìn)行多點(diǎn)測(cè)試才能定位，這時(shí)非常需要的是便攜式的測(cè)試工具。網(wǎng)絡(luò)故障的診斷發(fā)展方向是測(cè)試工具的網(wǎng)絡(luò)化和故障診斷的網(wǎng)絡(luò)化。一般的網(wǎng)絡(luò)設(shè)備和網(wǎng)上設(shè)備只支持有限的網(wǎng)管功能，所以監(jiān)測(cè)網(wǎng)絡(luò)性能和快速定位網(wǎng)絡(luò)故障需要一些必要的固定測(cè)試工具(如固定探頭、網(wǎng)管系統(tǒng)等)和移動(dòng)測(cè)試工具(如網(wǎng)絡(luò)測(cè)試儀、流量分析儀等)。對(duì)重要的網(wǎng)絡(luò)設(shè)備要準(zhǔn)備適當(dāng)?shù)膫溆迷O(shè)備，至少要留足備用通道。網(wǎng)絡(luò)關(guān)鍵設(shè)備不一定要選用最昂貴和功能最齊全的設(shè)備，但一定要選用應(yīng)用比較成熟，可靠性高、用戶數(shù)量大的設(shè)備，這樣技術(shù)支持的難度就會(huì)降低。如果將關(guān)鍵網(wǎng)絡(luò)設(shè)備的維護(hù)工作交給集成商或廠商來(lái)做，那用戶就得準(zhǔn)備將網(wǎng)絡(luò)的命運(yùn)完全交給集成商或廠商來(lái)控制，而這是非常危險(xiǎn)的。因此對(duì)人員進(jìn)行適當(dāng)?shù)呐嘤?xùn)并配備合適的、易懂易用的工具是做好網(wǎng)絡(luò)維護(hù)工作的必要條件之一。尤其對(duì)占維護(hù)隊(duì)伍總數(shù)90％以上的初級(jí)和中級(jí)網(wǎng)絡(luò)維護(hù)技術(shù)人員和工程人員，這一點(diǎn)更具有實(shí)際意義，因?yàn)椴僮鲝?fù)雜、參數(shù)難懂難記、培訓(xùn)時(shí)間長(zhǎng)、價(jià)格昂貴的工具對(duì)他們來(lái)說(shuō)是豪無(wú)實(shí)際意義的。

藍(lán)美

JJ，  辛苦啦，

先喝口水吧，