IBM破記錄 43分鐘狂掃100億份文件

dcas6454

本文摘要
IBM和Violin宣布了一項使用通用并行文件系統(tǒng)（GPFS）掃描文件的世界記錄：它用4個Violin的閃存陣列在43分鐘內(nèi)掃描了100億份文件。
IBM和Violin宣布了一項使用通用并行文件系統(tǒng)（GPFS）掃描文件的世界記錄：它用4個Violin的閃存陣列在43分鐘內(nèi)掃描了100億份文件。

這次的記錄是之前一次的37倍，上一次是在3個小時內(nèi)掃描了10億份文件。但那次是使用文件系統(tǒng)元數(shù)據(jù)來存儲的，就像是在磁盤驅(qū)動器上的文件數(shù)據(jù)一樣。

為什么要做掃描文件這種事情呢？IBM報道說，需要用GPFS去掃描文件系統(tǒng)才能夠?qū)⑺鼈冊诖鎯�層中移動或是歸檔等等。但這并不是一個研究成果，因此不得不在幕后進行。當(dāng)元數(shù)據(jù)存儲在硬盤上的時候，運行的速度就變得越來越慢，這是因為在GPFS系統(tǒng)中的文件越來越多。甚至可以想象得到，最后都沒有足夠的時間去處理這些數(shù)據(jù)。

因此IBM的研究機構(gòu)才試著去將元數(shù)據(jù)放入高速閃存陣列中，并觀察系統(tǒng)是否運轉(zhuǎn)變快。結(jié)果非常的給力，但這并不令人驚奇，畢竟它是一個在幕后研究的小項目，因為系統(tǒng)并未用它處理真正的數(shù)據(jù)。

在2月的時候，IBM在SONAS SPECsfs 2008的標準檢測中取得了每秒403,326次運算的結(jié)果，該測試使用的系統(tǒng)是一個單一的GPFS系統(tǒng)，系統(tǒng)使用了1975塊硬盤。

EMC使用flash-heavy VNX系統(tǒng)取得了每秒497,623次運算的結(jié)果，此系統(tǒng)使用了436塊200GB的SAS固態(tài)硬盤，另外此系統(tǒng)還包括8個文件系統(tǒng)。

SONAS是一個由El Reg 評定的基于GPFS的系統(tǒng)，重新運行IBM的SONAS SPECsfs2008看上去是可行的。但這次是使用幾個Violin Memory Arrays來處理SONAS數(shù)據(jù)，所以達到了每秒500000次的運算結(jié)果。我們詢問了IBM和Violin兩家公司關(guān)于這次的測試，但并不期待他們做出諸如“是的，我們在做這個呢”等類似的回復(fù)。

我們非常驚訝能夠收到IBM存儲系統(tǒng)主管Bruce Hillsberg的回復(fù)：“你們說對了，如果我們在SONAS系統(tǒng)上使用最新的技術(shù)重新運行SPECsfs的測試，將會有巨大的性能提升�！�