千萬別用MongoDB？真的嗎？！

wang290

某人發(fā)了一篇Don’t use MongoDB的血淚控訴，我把原文翻譯如下，你可以看看。不過，我想我們還要去看看10gen CTO的對此事的回復(fù)，我們還要去在Reddit上看看大家的說法，10gen CTO的對此事的回復(fù)后面也有一堆人在討論這個事，還有一些程序員開始去讀MongoDB的源碼了，呵呵�？礃幼樱�說MongoDB的這些事并不是真的。

　　10gen CTO 對此事的并不完全知道，其在回復(fù)，對些文中的每一條都做了回復(fù)。我把其回復(fù)的大體意思也放在原文中。不過，很有意思的是那些程序員的討論。建議大家看看。
　　正文

　　因為各種政治原因，我這段時間沒有說什么，但是現(xiàn)在我覺得因為要對社會負(fù)責(zé)，所以我要阻止大家不要把你們的業(yè)務(wù)放在MongoDB上。

　　我的團隊在一個有巨大用戶量（一個有千萬用戶級的大型的公司）系統(tǒng)上使用的MongoDB，這個系統(tǒng)上讓MongoDB有非常大的負(fù)載。早期，我們以為使用MongoDB會像10gen公司（MongoDB背后的公司）宣揚其在長期性能擴展有很多好處。但是，我們錯了，而這個rant(長篇抱怨)就是為了讓你不要相信那些所謂的成功經(jīng)驗而和我們一樣犯了大錯。如果有人能避免你上當(dāng)，那么就得我寫這么多。希望能警醒更多的人。

　　注意，對于和10gen打交道的經(jīng)歷來說，他們給予了我們充分了熱情和幫助，而且非常地好。但是這并不能成為我不告訴大家他們的產(chǎn)品失敗的理由。
　　為什么這么說？

　　數(shù)據(jù)庫應(yīng)該是正確的，或是僅可能的正確，因為數(shù)據(jù)庫的錯誤會比其它使用更大。不僅僅是因為其對運行，性能，開銷，和其價值影響巨大，還因為其連帶的東西。匆忙去去移植TB級的數(shù)據(jù)相比起去修改代碼中的一個邏輯錯誤來說是一個很巨大的工作。而在系統(tǒng)出問題后需要恢復(fù)TB級的數(shù)據(jù)，而你即被限制住了，你會有一種絕望的感覺。

　　數(shù)據(jù)庫是一個很復(fù)雜的系統(tǒng)，對于開發(fā)者來說就像一個黑盒一樣。你需要對你所采用的數(shù)據(jù)庫持絕對信任的態(tài)度，信任它會做正確的事，并盡會保持 一致笥和可用性。

　　為什么MongoDB會流行？

　　說句公道話，我們必需承認(rèn)MongoDB是流行的，因為下面這些原因讓其流行變得很合理：

    它非常容易地運行
    非常自由的Schema模型，而且可以很容易地和JSON類的數(shù)據(jù)結(jié)果映射起來，這對于程序員來于有很大的感染力（它完全符合程序員的邏輯思維），而且，程序員總是在項目可以做技術(shù)選型的人。
    成熟和分健壯，有記錄，被真實的Use Case測試過，等等。對于那些喜歡選擇成熟的技術(shù)的系統(tǒng)管理員和運營專業(yè)來說，這是一個很典型的選擇。
    它單系統(tǒng)，低讀并發(fā)的性能測試非常令人驚訝，而對于那些沒有經(jīng)驗的評估者來說，這基本上來說是最重要的。

　　現(xiàn)在，你可能正在開發(fā)一個隨便玩一玩的網(wǎng)站，或是一個原型，或是那種只考慮開發(fā)速度不考慮別的的項目。老實說，對于這種項止，無所謂你用什么樣的技術(shù)，只要搞定工作就行了。

　　但是，如果你想要在MongoDB上搞一個大規(guī)模的系統(tǒng)，在上面運行真實的業(yè)務(wù)，那么，請不要用MongoDB。
　　為什么不？

　　1）MongoDB為了贏得Benchmark測試而默認(rèn)使用了不安全的寫方式

　　如果你不調(diào)用getLastError()，MongoDB就不會在確認(rèn)數(shù)據(jù)庫寫操作完成就返回了，這會引入至少兩種問題：

    在并發(fā)的環(huán)境下（連接池，等），在一個讀操作“完成”后的連續(xù)地讀操作會出錯，MongoDB沒有“柵欄條件鎖”來知道什么時候完成寫。
    未知個數(shù)的保存操作會被丟棄，因為保存操作的隊列會在不同的地方。比如TCP緩存等。當(dāng)你和數(shù)據(jù)庫連接因為一些意味情況斷開的時候，這些東西就被丟棄了。

    10gen CTO 回復(fù)： 這和Benchmark沒有任何關(guān)系，并說這個就是API的設(shè)計，其交給用戶自己去選擇，因為寫的方式也有很多種。

　　2）MongoDB會以令人震驚的方式丟失數(shù)據(jù)

　　下面是一個我們所經(jīng)歷過的它丟數(shù)據(jù)的列表：

    數(shù)據(jù)就是丟了，原因未知
    從損壞的數(shù)據(jù)庫中恢復(fù)數(shù)據(jù)不成功，如事務(wù)日志。
    主從結(jié)點間的數(shù)據(jù)復(fù)制有缺口，導(dǎo)致從結(jié)點丟失主結(jié)點有的數(shù)據(jù)。是的，沒有CheckSum，并且是的，你還會看到數(shù)據(jù)復(fù)制過去了。
    數(shù)據(jù)復(fù)制有時會停了，沒有錯誤。你可以監(jiān)控你的復(fù)制狀態(tài)。

    10gen CTO 逐一回復(fù)：1）從來沒有一個數(shù)據(jù)丟失的BUG我們沒有馬上fix的事情。你能告訴我你報給我們的問題號嗎？我們至少要明的是怎么一回事。如果是我們的問題，我們會馬上fix的。2）從損壞了的數(shù)據(jù)庫中不能完全恢復(fù)數(shù)據(jù) ，這不挺正常的嗎？但是如果有主從服務(wù)器互為備份應(yīng)該會好一些。3）請告訴我你的問題號，我們從來沒有接到過這樣的錯誤報告。如果有，的確很嚴(yán)重。4）如果是說錯誤條件發(fā)生的時候沒有通知，這有可能。另外，你可以監(jiān)控數(shù)據(jù)復(fù)制的寫操作，你可以使用w=2 為getLastError的參數(shù)。

　　3）MongoDB 需要全局寫鎖來請求寫操作

　　在寫操作頻繁的時候，這等同于殺了你。如果你運行一個blog，你也許不會關(guān)心這個事，因為你的讀寫操作不高。

    10gen CTO 回復(fù)：讀寫鎖永遠(yuǎn)都是問題，但是2.0會好很多，2.2會解決得更好一些。

　　4）MongoDB 的Sharding(分區(qū)) 在高負(fù)載下會停止工作

　　在高負(fù)載下加一個shard是一場惡夢。Mongo要么會移動其數(shù)據(jù)塊太快而導(dǎo)致DOS攻擊產(chǎn)生很多流量占用帶寬，要么就完全地拒絕更多的數(shù)據(jù)塊。這會使一個高流量的網(wǎng)站承受著沉重地寫操作。

    10gen CTO 回復(fù)：如果系統(tǒng)已經(jīng)超過了其負(fù)載，那么移動數(shù)據(jù)當(dāng)然會變得很難。我每一次的演講都說得很清楚，不要在系統(tǒng)性能不行的時候才去加shard，這不行的。

　　5）Mongo 不可靠

　　Mongod/配置服務(wù)器/mongos的架構(gòu)確定合理且聰明。不幸的是，mongos完全就是垃圾。在有負(fù)載的情況下，它時不時就都會崩潰，有時幾個小時，有時幾天。進程重啟監(jiān)控有時也不管用，因為他會拋出一些斷言會偽造出一個關(guān)鍵線程，其導(dǎo)致進程還在運行。Double Fail。

　　最壞的是，唯一可行的方式是在一堆mongos實例前放一個HaProxy(一種負(fù)載均衡器)，運行一個作業(yè)其緩慢地輪著訪問這些mongos實例，并定期kill掉他們，以變可以重新啟動新的實例。我沒有在開玩笑。

    10gen CTO 回復(fù)：不可能有這種事，你能不能告訴我更多的細(xì)節(jié)？

　　6）MongoDB有一次甚至刪除了整個數(shù)據(jù)庫

　　MongoDB 1.6，在數(shù)據(jù)同步配置中，有時會配置了一個錯誤的結(jié)點（經(jīng)常是一個空結(jié)點）是一個最新的數(shù)據(jù)結(jié)點。于是其它同步數(shù)據(jù)的結(jié)果上的數(shù)據(jù)就這樣被干掉了（我說的是700GB的好數(shù)據(jù)），因為其把這個空結(jié)點的數(shù)據(jù)同步回有數(shù)據(jù)的結(jié)點上。數(shù)據(jù)庫永遠(yuǎn)永遠(yuǎn)都不應(yīng)該干這個。如果出現(xiàn)這種問題，數(shù)據(jù)庫應(yīng)該拋出一個錯誤而讓DBA來選擇合理的操作，或是強制使用正確的配置。而不應(yīng)該刪除所有的數(shù)據(jù)（那天太糟糕了）。

　　他們在1.8中修復(fù)了這個問題，偶滴神啊。

    10gen CTO 回復(fù)：找不到這樣的事，也找不到相應(yīng)提交的代碼，你能多給點信息嗎？

　　7）發(fā)布了一些不應(yīng)該發(fā)布東西

　　眾所周知，在穩(wěn)定版里能找到一些尷尬的bug其會導(dǎo)致數(shù)據(jù)問題——而我們總是在出了問題后他們才告訴我們這些問題，這是因為我們購買了10gen他們那超級詐騙的白金技術(shù)支持。他們回應(yīng)是，發(fā)給我們一個hot patch，他們內(nèi)部叫RC的玩意，然后讓這個hot patch運行在我們的數(shù)據(jù)上。

    10gen CTO 回復(fù)：關(guān)于白金的技術(shù)支持，我們所接手的所有問題都會公開，fix也會公開。沒有特定的情景，這種事很難討論。我們會根據(jù)不同的情況作出不同的反應(yīng)。我們希望我們的用戶的問題能盡快得到解決。

　　8）復(fù)制器在繁忙的服務(wù)器上黯然失色

　　復(fù)制器經(jīng)常性的向Master發(fā)起DOS攻擊，或是復(fù)制非常慢，花了巨長無比的時間，而oplog幾乎被耗盡（就算是50GB的oplog）。

　　我們有一個繁忙的，大的數(shù)據(jù)集我們不會復(fù)制他因為它是動態(tài)的。那是令人痛苦的一個月，或是我們需要在選擇不同的數(shù)據(jù)庫系統(tǒng)前交叉雙指（注：好運的手勢）

    10gen CTO 回復(fù)：這看起來像上服務(wù)器負(fù)載過重了。我前面提到過了。

　　但是最糟糕的問題是：

　　你可能會說，我這些問題都是過去式了；他們修復(fù)了所有這些問題或是他們會在下一版本中修復(fù)這些問題；X問題可以用Y實踐來減輕。等等，等等。

　　不幸的是，你說這些東西一點用也沒有。

　　真正的問題是，這么多的問題都是首要的問題。 數(shù)據(jù)庫開發(fā)者要能hold住比一般程序員更高的標(biāo)準(zhǔn)。也就是說，你的優(yōu)先級應(yīng)該像下面這個樣子：

    別搞丟數(shù)據(jù)，對數(shù)據(jù)要有完全的把握
    通過實踐保證可用性
    多結(jié)點的性能擴展性
    最小延遲應(yīng)該保持在99%和95%之間
    每個資源的每秒請求數(shù)

　　10gen的順序好像是 #5  為每一，其它項隨便，#1 并不在前3位。

    10gen CTO 回復(fù)：這明顯不是真的�？匆豢次覀兲峤坏拇�碼，看一看我們的fix。 我們從來不會在release版中隱藏一個bug。如果我們非常在乎性能的benchmark的話，我們會花精力解決那些鎖的問題，這樣一來，多線程并發(fā)會更快一些。

    MongoDB是一個新生的東西，還有很多東西需要打磨。如果你想來認(rèn)識一下我們，我們歡迎你來認(rèn)識一下我們。

　　這些失敗，還有那所暗示的公司的優(yōu)先級，指出了一個最基本的企業(yè)文化的問題，其會讓問題出現(xiàn)在任一發(fā)布版中：因為他們?nèi)狈ψ鹗乇匾�的�?shù)據(jù)庫系統(tǒng)的設(shè)計律條。

　　請慎重考慮這些警告。

pandorabag

用過一段時間的mongo  場景不合適 維護很麻煩

horizonhyg

別再用2012年的文章來評價現(xiàn)在的mongodb了，行不行自己試試就知道了。

renxiao2003

如果沒有熟悉的人盲目的使用那真是一件悲催的事情 。