MongoDB數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)

聽老歌

MongoDB數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)

有人在Quora上提問：MongoDB數(shù)據(jù)文件內(nèi)部的組織結(jié)構(gòu)是什么樣的。隨后10gen的工程師Jared Rosoff出來做了簡短的回答。

每一個數(shù)據(jù)庫都有自己獨立的文件。如果你開啟了directoryperdb選項，那你每個庫的文件會單獨放在一個文件夾里。

數(shù)據(jù)庫文件在內(nèi)部會被切分成單個的塊，每個塊只保存一個名字空間的數(shù)據(jù)。在MongoDB中，名字空間用于區(qū)分不同的存儲類別。比如每個collection有一個獨立的名字空間，每個索引也有自己的名字空間。

在一個塊中，會保存多條記錄，每條記錄是BSON格式的，記錄與記錄之間通過雙向鏈表進(jìn)行連接。

索引數(shù)據(jù)也存在數(shù)據(jù)文件中，不過索引是被組織成B-Tree結(jié)構(gòu)，而不是雙向鏈表。

對每個數(shù)據(jù)庫，有一個命名空間文件，用于保存每個名字空間對應(yīng)的元數(shù)據(jù)。我們通過查詢這些元數(shù)據(jù)來找到對應(yīng)的名字空間的存儲塊位置。

如果你開啟了jorunaling日志，那么還會有一些文件存儲著你所有的操作記錄。

下面圖片摘自10gen工程師Mathias Stearn在MongoSV2011大會上的發(fā)言稿，手繪的數(shù)據(jù)文件結(jié)構(gòu)。

1.每個數(shù)據(jù)庫有相應(yīng)的數(shù)據(jù)文件和命名空間文件


2.數(shù)據(jù)文件從16MB開始，新的數(shù)據(jù)文件比上一個文件大一倍，最大為2GB


3.文件使用MMAP進(jìn)行內(nèi)存映射，會將所有數(shù)據(jù)文件映射到內(nèi)存中，但是只是虛擬內(nèi)存，只有訪問到這塊數(shù)據(jù)時才會交換到物理內(nèi)存。




4.MongoDB的數(shù)據(jù)文件映射到內(nèi)存表中的位置




5.使用32位機器的話，內(nèi)存地址最大可以標(biāo)識4GB內(nèi)存




6.但是在32位機器上，4GB內(nèi)存會有1GB被內(nèi)核戰(zhàn)勝，大約0.5GB會用于mongod進(jìn)程的stack空間，只剩下大約2.5GB可用于映射數(shù)據(jù)文件。






7.在64位機器上則最多可以表示128TB的空間






8.每個數(shù)據(jù)文件會被分成一個一個的數(shù)據(jù)塊，塊與塊之間用雙向鏈表連接




9.在名字空間文件中，保存的是一個hash table，保存了每個名字空間的存儲信息元數(shù)據(jù)，包括其大小，塊數(shù)，第一塊位置，最后一塊位置，被刪除的塊的鏈表以及索引信息




10.這些位置通過DiskLoc數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲，存儲了數(shù)據(jù)文件編號和塊在文件中的位置








11.對每一個塊來說，其頭部包含了一些塊的元數(shù)據(jù)，比如自己的位置，上一個和下一個塊的位置以及塊中第一條和最后一條記錄的位置指針。剩下的部分用于存儲具體的數(shù)據(jù)，具體數(shù)據(jù)之間也是通過雙向鏈接來進(jìn)行連接。






12.下面是B-Tree的存儲結(jié)構(gòu)和工作原理

小忻黑夜

謝謝分享

cjfeii

沒有看到圖片，是怎么回事？

renxiao2003

謝謝分享，了解一個MongoDB結(jié)構(gòu)有幫助。