12306訂票系統(tǒng)空調故障暫停售票事有蹊蹺 機房常見故障分析（獲獎名單已公布-1-24）

zhengb302

回復 29# arron劉


    淫家貼倒布都敢這么干，有啥不敢想的。

ylky_2000

太巧了，剛剛票系統(tǒng)去掉什么了保險，票的計算公式要重新定義，購票系統(tǒng)就恰當?shù)臅r候掛了。。。。
1、機房內一般遇見的故障是什么？你是如何解決的？面對12306這樣的空調故障問題你怎么看？
一般遇到的主要故障，電源、空調、和網(wǎng)絡故障。
電源故障：服務器和網(wǎng)路設備采用冗余電源，電源接入采用雙回路設計，簡單的說部署兩套電源系統(tǒng)，實時在線，并配備ups在線式電源；
空調故障：部署兩個空調系統(tǒng)，一般機房需要5p空調，這個要根據(jù)面積和機器的發(fā)熱量，部署防靜電地板，并要能通風；
網(wǎng)絡故障：這個其實是最常見的故障，做好網(wǎng)絡設計、冗余設備、線路標簽、規(guī)劃好機柜、防火墻防攻擊、設備狀態(tài)、流量監(jiān)控等等。
機房里要有溫濕記監(jiān)控、有語音報警撥號系統(tǒng)，當溫度過高或者市電跳閘，有問題的自動撥號到固定的手機或者電話，第一時間通知維護人員。
對于12306空調故障看法。沒有實地考察過，機房溫度到底多高，有幾臺空調，不好發(fā)表意見。不過覺得因為空調問題出現(xiàn)長時間中斷系統(tǒng)確實少見，難道只有一個數(shù)據(jù)庫服務器、數(shù)據(jù)庫集群、高可用和cdn都成了浮云？都放在一個機房？個人覺得空調故障只是一個托詞。
2、眾所周知，機房中的空調供電等設施都有監(jiān)控設備，那么如何提高監(jiān)控設備的監(jiān)控力度和準確性？
重點系統(tǒng)，還是要定制開發(fā)響應的監(jiān)控系統(tǒng)，開源的監(jiān)控系統(tǒng)如cacti、nagios等也有，畢竟本地化做的有限，也沒有那個領導愿意把監(jiān)控賭在開源監(jiān)控系統(tǒng)上。就算開源的很牛逼了，有響應的真正的專業(yè)人員跟進？不要被市面上的專家忽悠了。。。。
要建立運維知識案例庫，畢竟大型系統(tǒng)運維故障沒有太多可參考的案例，需要靠團隊積累。包括人力資源的積累。
3、支招12306 設計一套你認為最合理的數(shù)據(jù)中心架構？
個人覺得一套最合理的，就是所有的東西必須有冗余架構，門、電源、水、監(jiān)控系統(tǒng)、服務器、空調、網(wǎng)絡、專業(yè)人員、作業(yè)流程等等，機房要分布式，地震自然災害不可避免，總之一切不要在一棵樹上吊死。
今年流行一句話，覺得在這里也使用，不怕神一樣的對手，就怕豬一樣的隊友。要有經(jīng)過嚴格審查的運維制度，責任落實到團隊。千金重擔人人挑，個個頭上有指標，讓混日子的人見鬼去。

2013-1-3
今天路過南站，特意去查看了下廣珠城軌的取票機，非常驚訝的是，票價居然不聲不響的漲了。
我之前經(jīng)常坐的那趟廣州到中山北 二等票從之前的25元漲到了40元。非常憤怒，決定改用其他交通工具了。。。
我在想作為經(jīng)常使用輕軌的老顧客，在這個方面他們信息化也有空白，很多人跟我一樣，不知道要漲價，一點預兆都沒有。是否啟用網(wǎng)絡調查問卷？專家給出合理票價的依據(jù)，我想之前25元的價位并不是隨便定出來的吧？一年時間不到居然漲成這樣？莫非志軍同志走了，有更大的魚來了？手機短信通知、郵件提前通知等等呢？見過一個人沒有帶夠錢，而耽誤行程的，因為漲的厲害啊。

剛收到騰訊新聞彈出頁，三星因為價格壟斷罰款3點多個億，我想這樣的亂無依據(jù)的漲價是否也屬于壟斷，寡頭？

智勇雙全

回復 29# arron劉


    玩笑話，勿當真哈。。

starggw

1、機房內一般遇見的故障是什么？你是如何解決的？面對12306這樣的空調故障問題你怎么看？

1.1
機房內一般是網(wǎng)站相關設備的硬件故障較多。其次是人為的一些誤操作。IDC基礎設施，比如制冷/電力等出問題較少，但只要一出問題，這個影響就是大范圍的。當然，還有一些匪夷所思的其他偶發(fā)故障。

1.2 怎么解決
一般故障，比如服務器/負載設備等，比如磁盤壞道，I/O異常情況下，在應用層面應該做到自動剔除出錯主機；而在設備層面通過監(jiān)控，自動告警，及早發(fā)現(xiàn)及早維修，讓第一種情況發(fā)生的概率減到很小。

人為操作失誤，比如插錯網(wǎng)線導致網(wǎng)絡環(huán)路了，誤拔電源線了。。。。 悲劇，遲早總會很慘 很慘的 發(fā)生！ 怎么樣盡量避免呢？ 對于現(xiàn)場操作的人員，一定要把標準操作流程培訓到位。操作前，確保做到要做的事情有預案。重要的變更，已經(jīng)通告相關人員。如果是讓他人操作，要讓對方準確的接受操作的消息�，F(xiàn)場操作過程中，盡量保證有2個人在場，一人操作，一人監(jiān)督。操作完成后，更新操作結果給相關人員。

對于基礎設施的故障規(guī)避，主要做好維護和監(jiān)控，還有應急預案吧，定期還要進行演練。

1.3
面對12306這樣的空調故障問題你怎么看？
IDC內制冷設備是有監(jiān)控和冗余的，而且有相應的應急機制。即使故障報警監(jiān)控消息沒人收到，常規(guī)的機房也都有人定期（3-4小時內）巡檢吧 。個人推斷，如果真是空調的問題
那么，空調報警/制冷冗余機制/人員巡檢/應急預案，12306把這一系列環(huán)節(jié)統(tǒng)統(tǒng)都克服了，最終做到把機房環(huán)境溫度升高到60度以上，服務器蓋板差不多可以烤肉的情況，真心不容易啊。
也可能，12306的IDC 對于成本非常看重，基本上沒有這些保障環(huán)節(jié)。。。。


2、眾所周知，機房中的空調供電等設施都有監(jiān)控設備，那么如何提高監(jiān)控設備的監(jiān)控力度和準確性？

檢查機房設備和監(jiān)控系統(tǒng)，看有無設備未被監(jiān)控到。檢查監(jiān)控項，確認是否有監(jiān)控項遺漏。檢查監(jiān)控閥值，提高監(jiān)控敏感度。比如機房濕度，正常值在40-60%之間，而報警閥值，有沒有設置范圍過大導致未觸發(fā)報警但可能已影響到設備，比如設置到 20-80%就不合理了。還可以增加報警信息告知渠道，比如 電話機器人/短信/IM/郵件/人工值守監(jiān)控等 報警方式

進行應急演練，找出故障發(fā)生時，監(jiān)控系統(tǒng)的是否收集到了設施的報警信息，報警閥值是否設置準確，報警信息有沒有準確的告知外界等等，找出遺漏環(huán)節(jié)，進行整改。
       


3、支招12306 設計一套你認為最合理的數(shù)據(jù)中心架構？
12306把握著屌絲們/叔叔們過年肥家的命運，絕對是不允許掛掉的，否則，我們從感情上不能接受。
從數(shù)據(jù)中心架構考慮的話。首先，要做到多機房部署，屌絲們買票的流量，可以根據(jù)情況在多機房間切換（包括本次空調時間）。保證在某個機房整體掛掉的時候，其他機房可以承載業(yè)務。要做好機房間的數(shù)據(jù)備份。

另外，在具體的某個機房內，IDC的電力/制冷/監(jiān)控/門禁/安保等，都需要完備到位，并定期演練。IDC內的維護人員，需要按計劃做變更，變更前/變更時要有double check .并及時知會相關人員。IDC內的操作，需要有例行的標準流程。大家都按照流程來處理，避免突發(fā)的/無計劃的變更。

如果網(wǎng)站規(guī)模只在一個IDC內，那么，這個IDC內的電力/制冷/監(jiān)控/門禁/安保這些項目都要關注的，需要和IDC接口人和值班人員有暢通的聯(lián)系渠道。確保任何信息及時獲取，并能做到快速響應。

wsxedcer

1、機房內一般遇見的故障是什么？你是如何解決的？面對12306這樣的空調故障問題你怎么看？
最常見的應該是電源供應問題吧。解決之道無非就是UPS+UPS。12306不是耗資多少多少億么，還除這樣的空調故障？接著繼續(xù)忽悠P民吧，反正他們是不會被和諧的
2、眾所周知，機房中的空調供電等設施都有監(jiān)控設備，那么如何提高監(jiān)控設備的監(jiān)控力度和準確性？
高配置設備+人員每天定時親臨巡檢
3、支招12306 設計一套你認為最合理的數(shù)據(jù)中心架構？
尼瑪?shù)淖约鹤霾涣私o阿里做吧

OKatCU

不是技術的問題，而是體制問題。

xueni

討論話題：1、機房內一般遇見的故障是什么？你是如何解決的？面對12306這樣的空調故障問題你怎么看？
               2、眾所周知，機房中的空調供電等設施都有監(jiān)控設備，那么如何提高監(jiān)控設備的監(jiān)控力度和準確性？
               3、支招12306 設計一套你認為最合理的數(shù)據(jù)中心架構？
機房內的故障主要包括：物理環(huán)境故障、和IT設備故障以及鏈路故障以及病毒和攻擊。
物理環(huán)境故障包括：1、電：電壓不穩(wěn)，或者市電中斷            電壓不穩(wěn)通過采用UPS供電，UPS供電也要選擇合適的方案才能滿足他的高可靠性。 當UPS出現(xiàn)故障時，系統(tǒng)可以直接切入市電運行。  市電問題，除了可                 以用UPS外，還需要保證從兩個不同的變壓器接入市電。
                  2、溫度、濕度            這個主要通過機房專業(yè)空調來保障。同樣也要選擇合適的方案滿足高可用，比如模塊化的，分布式的 多臺空調并機等扽。   同時可以通過空調的一些智能解決方案保證室內各個點的溫度基本一致，而不會出現(xiàn)局部過熱現(xiàn)象。在設計時充分考慮設備的特殊性以及未來的擴展性，為未來留有余量。
                  3、防雷、靜電、零地電壓等等，這些都會引起問題。按照機房施工標準去做可以解決相關問題。
                   4、其它突發(fā)事件，如空調漏水 ，這個可以通過配置相應的監(jiān)控解決；非機房人員進入盜竊，破壞等，可以通過安保健康解決。 機房失火可以通過一些消防監(jiān)控措施進行監(jiān)控 。

總之以上這些環(huán)境故障，如果他按照國標來做，他就不應該出問題，起碼不應該出這么大的問題。               總結他的問題，就是沒有按照機房標準來做。這么重要的機房，應該按照A級標準來建，如果資金有問題，最少不低于B級標準。 以他目前的情況來看，以及他公布的理由，C級標準都不符合。


就說空調故障：首先對于這么重要的機房，應該設置智能的監(jiān)控和報警設施，溫度過熱應提前報警，而不是到設備停了不能運作了才能發(fā)現(xiàn)。就算他用的刀片，如果溫度異常提早報警，到搶修完成過程中，還是能堅持一會的不會立馬就不行。其次，他的空調不應該是一組，所以不存在空調同時壞，如果空調不同時壞，最多溫度會上升，但不應該這么快。如果溫度上身這么快，說明他的余量設計不足，到有大量反問的時候還會出現(xiàn)溫度立馬上升問題。而且可以通過關閉其它不重要的系統(tǒng)來保證定訂票系統(tǒng)的運行。最后就是管理制度不完善，設置專門的值班人員，和巡檢人員，周期性察看機房實際運行情況。在此，應該有專門的單位對機房的設備進行保養(yǎng)和維護。很多問題在另行檢查中應該能發(fā)現(xiàn)。如果是空調故障，這么重要的機房，維護單位需要有空調的重要部件的現(xiàn)場備件，出現(xiàn)問題，幾個小時內就能換上。
他的問題估計是個綜合問題，在我們假定他確實是空調問題的前提下。他的機房散熱和風道以及設備擺設，可能都存在問題。不能單純的是空調設備問題，我覺得是他的這整套系統(tǒng)都有問題。

IT設備故障：能想到的問題就是 采用高可用設備，如用小機或者大型機   或者采用高可用集群 或者HA等等多種方式來應對設備故障

鏈路故障，就是采用冗余方式解決，通信鏈路采用多運營商接入，鏈路負載均衡 。  物理鏈路采用多備份鏈路。

病毒和攻擊：在架構上，按照安全規(guī)范，設立邊界，并對邊界做好防護。什么IDS，IPS，防火墻 ，防病毒軟件。當然其它就是通過有效的管理，減少這些事件發(fā)生。工作按照標準流程來。

所有以上設備和方案選擇靠普的最重要。

2、眾所周知，機房中的空調供電等設施都有監(jiān)控設備，那么如何提高監(jiān)控設備的監(jiān)控力度和準確性？

設備加人員保證準確性。總結監(jiān)控軟件的特性，熟悉報警規(guī)律，再加人員的巡邏補充，可以提高監(jiān)控力度和準確性。好的管理制度和管理方法真的很重要。

3、支招12306 設計一套你認為最合理的數(shù)據(jù)中心架構？
最少是兩地兩中心的，應用級的容災，最好是兩地三中心