7月份的時(shí)候，寧夏銀行系統(tǒng)故障業(yè)務(wù)中斷37小時(shí) ，7年未購維保服務(wù)，您怎么看？

www_xylove

寧夏銀行今年7月1日下午15時(shí)至7月3日核心系統(tǒng)數(shù)據(jù)庫出現(xiàn)故障，導(dǎo)致存取款、網(wǎng)銀、ATM等業(yè)務(wù)全部中斷長達(dá)37個(gè)多小時(shí)，其間只能依靠手工辦理業(yè)務(wù)。

下面是詳細(xì)報(bào)道：
有消息稱，監(jiān)管部門發(fā)文也通報(bào)了寧夏銀行的這起數(shù)據(jù)庫故障，稱經(jīng)初步分析，在季末結(jié)算業(yè)務(wù)量較大的情況下，因備份系統(tǒng)異常導(dǎo)致備份存儲(chǔ)磁盤讀寫處理嚴(yán)重延時(shí)，備份與主存儲(chǔ)數(shù)據(jù)不一致，在采取中斷數(shù)據(jù)備份錄像操作后，造成生產(chǎn)數(shù)據(jù)庫損壞并宕機(jī)。
　　不過本報(bào)記者暫未聯(lián)系上監(jiān)管部門置評。某城商行電子銀行部負(fù)責(zé)人表示，聽說了寧夏銀行數(shù)據(jù)庫故障的事，但暫未收到監(jiān)管部門的文件。
　　當(dāng)日21世紀(jì)經(jīng)濟(jì)報(bào)道記者致電寧夏銀行董事會(huì)辦公室時(shí)，相關(guān)工作人員表示，“不方便說”。至于數(shù)據(jù)庫故障是否造成損失，其稱，“以監(jiān)管部門的通報(bào)為準(zhǔn)”。
　　曾經(jīng)的演練：僅1小時(shí)恢復(fù)正常
　　有媒體引述監(jiān)管部門消息稱，2014年7月1日，寧夏銀行核心系統(tǒng)數(shù)據(jù)庫出現(xiàn)故障，導(dǎo)致該行（含異地分支機(jī)構(gòu)）存取款、轉(zhuǎn)賬支付、借記卡、網(wǎng)上銀行、ATM和POS業(yè)務(wù)全部中斷。因?qū)幭你y行應(yīng)急恢復(fù)處置機(jī)制嚴(yán)重缺失，導(dǎo)致系統(tǒng)恢復(fù)工作進(jìn)展緩慢，業(yè)務(wù)系統(tǒng)中斷長達(dá)37小時(shí)40分鐘，其間完全依靠手工辦理。
　　盡管寧夏銀行并未有相關(guān)公告，但是另外兩則消息可以佐證這一事實(shí)。7月2日，銀川市醫(yī)療保險(xiǎn)事務(wù)管理中心官方微博稱，因?qū)幭你y行機(jī)房出現(xiàn)故障，自2014年7月1日15：30起全市定點(diǎn)醫(yī)療機(jī)構(gòu)和定點(diǎn)零售藥店共700多家不能刷醫(yī)保卡（社�？ǎ┚歪t(yī)結(jié)算。
　　此外，寧夏土地和礦業(yè)權(quán)交易中心網(wǎng)站也于7月3日通知，寧夏銀行2014年7月1日下午15時(shí)37分至7月3日8時(shí)30分業(yè)務(wù)系統(tǒng)出現(xiàn)故障，導(dǎo)致土地和礦業(yè)權(quán)網(wǎng)上交易系統(tǒng)無法與銀行連接。
　　前述城商行電子銀行部負(fù)責(zé)人向21世紀(jì)經(jīng)濟(jì)報(bào)道表示，“之前有一家全國性的商業(yè)銀行也出現(xiàn)過這樣的情況，核心數(shù)據(jù)庫出現(xiàn)故障。不過造成業(yè)務(wù)這么長時(shí)間中斷的比較少見�！�
　　監(jiān)管部門此前就對銀行的信息系統(tǒng)安全提出諸多指導(dǎo)意見。早在2006年，央行和銀監(jiān)會(huì)就分別發(fā)文，要求全國性大型銀行，原則上同時(shí)采用同城和異地災(zāi)難備份和恢復(fù)策略，區(qū)域性銀行可采用同城或異地災(zāi)難備份和恢復(fù)策略。
　　2008年2月，央行發(fā)布《銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范》要求：短時(shí)間中斷對國家、外部機(jī)構(gòu)和社會(huì)產(chǎn)生重大影響或影響單位關(guān)鍵業(yè)務(wù)功能并造成重大經(jīng)濟(jì)損失的系統(tǒng)RTO（恢復(fù)時(shí)間目標(biāo)）<6小時(shí)，RPO（恢復(fù)點(diǎn)目標(biāo)）<15分鐘。
　　RTO是反映業(yè)務(wù)恢復(fù)及時(shí)性的指標(biāo)，表示業(yè)務(wù)從中斷到恢復(fù)正常所需的時(shí)間；RPO是反映恢復(fù)完整性的指標(biāo)，在同步復(fù)制下，RPO等于數(shù)據(jù)傳輸時(shí)延長時(shí)間。
　　寧夏銀行官網(wǎng)刊登于2010年的一篇新聞稿也表示，該行當(dāng)時(shí)實(shí)施過一次異地災(zāi)難恢復(fù)演練。寧夏銀行數(shù)據(jù)中心與備份中心，分處寧夏銀川和陜西西安。演練設(shè)計(jì)了數(shù)據(jù)庫系統(tǒng)癱瘓和數(shù)據(jù)中心發(fā)生火災(zāi)兩個(gè)場景，分別進(jìn)行本地和異地的系統(tǒng)恢復(fù)和切換。
　　模擬災(zāi)難發(fā)生后，銀川數(shù)據(jù)中心癱瘓，無法向外界提供服務(wù)。此時(shí)，需要在西安容災(zāi)中心啟動(dòng)備份系統(tǒng)進(jìn)行數(shù)據(jù)和業(yè)務(wù)恢復(fù)。該行稱，演練的RTO<1小時(shí)，RPO<1分鐘。
　　2007年至今未購維保服務(wù)
　　按照前述媒體的說法，監(jiān)管部門表示，寧夏銀行系統(tǒng)故障的根源在于，安全意識薄弱、應(yīng)急管理體系缺失、應(yīng)急處置過程混亂。核心系統(tǒng)數(shù)據(jù)庫版本嚴(yán)重老化，2007年至今未購買維保服務(wù)。核心系統(tǒng)長期缺乏維護(hù)，事故發(fā)生后，無法獲得系統(tǒng)供應(yīng)商及時(shí)的數(shù)據(jù)支持。系統(tǒng)恢復(fù)過程中，缺乏應(yīng)急預(yù)案和準(zhǔn)備，長時(shí)間無法實(shí)施有效處置，導(dǎo)致業(yè)務(wù)恢復(fù)緩慢，對銀行產(chǎn)生較為嚴(yán)重的影響。
　　前述城商行電子銀行部負(fù)責(zé)人表示，按監(jiān)管部門的要求，大型銀行的要建立“兩地三中心”的災(zāi)備設(shè)施。要求銀行的核心系統(tǒng)，既要有同城的災(zāi)備中心，也要有異地的。
　　有業(yè)內(nèi)人士向21世紀(jì)經(jīng)濟(jì)報(bào)道透露，災(zāi)備中心的投入巨大，年運(yùn)營和維保費(fèi)用一般都是幾千萬元。
　　上述電子銀行部人士也表示，“通常情況，銀行數(shù)據(jù)庫系統(tǒng)的延長維保費(fèi)用每年約為購買費(fèi)用的20%，核心的數(shù)據(jù)庫都會(huì)購買維保服務(wù)，這是最重要的，這是不能省的錢�！�
　　寧夏銀行此前還表示，該行大膽采用了新技術(shù)——持續(xù)數(shù)據(jù)保護(hù)技術(shù)（CDP），并從2010年2月開始實(shí)施新核心主機(jī)的升級方案和業(yè)務(wù)系統(tǒng)升級方案，進(jìn)行CDP災(zāi)備設(shè)備的部署。
　　寧夏銀行信息技術(shù)部負(fù)責(zé)人王春也曾表示，“不可能拋開股東回報(bào)和經(jīng)營業(yè)績?nèi)ソㄔO(shè)一個(gè)非常昂貴的系統(tǒng)，成本因素是中小銀行建設(shè)災(zāi)備系統(tǒng)時(shí)特別需要考慮的問題，也是寧夏銀行災(zāi)備系統(tǒng)建設(shè)的著眼點(diǎn)之一�！�
　　至于什么產(chǎn)品能降低成本呢？王春認(rèn)為，“就是選擇開放式技術(shù)的產(chǎn)品，我們現(xiàn)在用的設(shè)備自己的工程師基本上能夠獨(dú)立操作，遇到處理不了的故障還可以找國內(nèi)的廠家，能夠提供技術(shù)服務(wù)的公司不止一家，這就避免了壟斷廠家對服務(wù)費(fèi)漫天要價(jià)的情況�！�
　　前述城商行電子銀行部負(fù)責(zé)人也表示，CDP就是把數(shù)據(jù)的變化傳到本地和異地，也可以還原到某個(gè)時(shí)點(diǎn)，很多銀行都在用這種系統(tǒng)。開放性產(chǎn)品的確是更能節(jié)約成本，不過這次寧夏銀行系統(tǒng)故障應(yīng)該和開放式、封閉式系統(tǒng)沒有關(guān)系。目前有相當(dāng)多的銀行采用封閉式系統(tǒng)，更多是取決于銀行自身的應(yīng)用環(huán)境，這就好比安卓和蘋果系統(tǒng)，無法比較優(yōu)劣。

從上面得到：
1.數(shù)據(jù)庫宕機(jī)的原因：
稱經(jīng)初步分析，在季末結(jié)算業(yè)務(wù)量較大的情況下，因備份系統(tǒng)異常導(dǎo)致備份存儲(chǔ)磁盤讀寫處理嚴(yán)重延時(shí)，備份與主存儲(chǔ)數(shù)據(jù)不一致，在采取中斷數(shù)據(jù)備份錄像操作后，造成生產(chǎn)數(shù)據(jù)庫損壞并宕機(jī)。
如此就宕機(jī)了，您怎么看？ 存儲(chǔ)問題？還是數(shù)據(jù)庫問題？
2.寧夏銀行曾經(jīng)恢復(fù)演練：
僅一小時(shí)恢復(fù)正常，為什么核心業(yè)務(wù)中斷達(dá)37小時(shí)之久？ 如此，要這容災(zāi)系統(tǒng)何用！
如此演練，您怎么看？
3.寧夏銀行7年不請乙方DBA，讓我們這些乙方DBA們情何以堪啊。
7年不請維保商， 您怎么看？ 人生有幾個(gè)7年，7年=37小時(shí)嗎？ “真值！”
4.最后，談?wù)勀�的看法，DBA們?nèi)绾尾拍鼙ＷC您的關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫不宕機(jī)，即使宕機(jī)，恢復(fù)的時(shí)間也在SLA之內(nèi)。

jackson198574

確實(shí)是好話題呀，涉及的東西真的很多。
1.不管是存儲(chǔ)性能問題也好，還是數(shù)據(jù)庫問題也好，我覺得平時(shí)得關(guān)注一下高峰期的性能狀態(tài)吧，如果長期有問題，應(yīng)該事先調(diào)整一下。表面上是技術(shù)問題，實(shí)際上是態(tài)度問題吧。
2.可能在系統(tǒng)正常狀態(tài)下演練是理想化的，真正發(fā)生了問題的話，確實(shí)有可能有意料之外的難題，這都是正常的。感覺最好是容災(zāi)+全庫備份方式都用，思路上沒問題。
3.有果就有因，專業(yè)的人干專業(yè)的事，術(shù)業(yè)有專攻，省錢不省心，省心不省錢。
4.多學(xué)習(xí)，多做實(shí)驗(yàn)，多監(jiān)控系統(tǒng)和容災(zāi)、備份的健康狀態(tài)，密切關(guān)注系統(tǒng)相關(guān)的各方面指標(biāo)，多來論壇交流、討論，看看別人遇到的奇怪的案例和變態(tài)的場景，一個(gè)人能遇到的問題不如一群人遇到的問題多，一個(gè)人的思路不如一群人的思路開闊。

1298812

吐槽一句，在論壇里混的甲方，都是從來不請乙方DBA的，不然誰還來逛論壇��？！

ah6605

值了 呵呵

hanyu

1.數(shù)據(jù)庫宕機(jī)的原因：
稱經(jīng)初步分析，在季末結(jié)算業(yè)務(wù)量較大的情況下，因備份系統(tǒng)異常導(dǎo)致備份存儲(chǔ)磁盤讀寫處理嚴(yán)重延時(shí)，備份與主存儲(chǔ)數(shù)據(jù)不一致，在采取中斷數(shù)據(jù)備份錄像操作后，造成生產(chǎn)數(shù)據(jù)庫損壞并宕機(jī)。
如此就宕機(jī)了，您怎么看？ 存儲(chǔ)問題？還是數(shù)據(jù)庫問題？

業(yè)務(wù)遇到高峰，數(shù)據(jù)庫變慢，cdp方式，如果I/O壓力太大，是不是會(huì)影響到源系統(tǒng)？
CDP中斷數(shù)據(jù)備份錄像操作，如果是高峰期停掉lvm的鏡像，是否會(huì)風(fēng)險(xiǎn)很大？
是數(shù)據(jù)庫損壞并宕機(jī)，還是宕機(jī)后損壞了數(shù)據(jù)庫？
informix生產(chǎn)有每天全備份和歸檔日志備份沒？

zhaopingzi

說明產(chǎn)品亂透了

hbsycw

全球第一大行 工行，前段時(shí)間不也出問題導(dǎo)致核心業(yè)務(wù)系統(tǒng)停擺嗎？請問，又能說明神馬問題？