FastCFS實(shí)戰(zhàn)半年成長記

happy_fish100

    今年5月份A公司打算用FastCFS替換MooseFS，主要出于兩點(diǎn)考慮：1. 國產(chǎn)化替代；2. FastCFS不存在單點(diǎn)問題，并且有作者提供支持，用起來更加省事和放心。A公司主要使用MooseFS作為后端存儲跑qemu虛擬機(jī)，采用qcow2格式鏡像文件。


    A公司對FastCFS進(jìn)行了嚴(yán)格細(xì)致的測試，促進(jìn)了FastCFS在可靠性、穩(wěn)定性和性能方面的顯著提升。在可靠性和穩(wěn)定性提升方面，F(xiàn)astCFS發(fā)布了如下版本：
    6月15日 FastCFS V3.4 發(fā)布，引入選舉節(jié)點(diǎn)，支持雙活互備防腦裂，完全支持POSIX文件鎖；
    7月26日 FastCFS V3.5 發(fā)布，支持多數(shù)派數(shù)據(jù)復(fù)制，在極端情況下也嚴(yán)格保證數(shù)據(jù)一致性；
    8月16日 FastCFS V3.5.1發(fā)布，寫入數(shù)據(jù)過半數(shù)自適應(yīng)，使用兩副本也可以最大程度地保證數(shù)據(jù)一致性。


    FastCFS在性能方面和同類存儲軟件相比優(yōu)勢明顯，我們一直引以為傲：2021年6月份發(fā)布的FastCFS V2.2，性能明顯超越Ceph（使用SSD盤測試）：順序?qū)懯荂eph的6.x倍，順序讀是Ceph的2.x倍，隨機(jī)寫大約是Ceph的2倍。


    然而A公司在使用兩塊SATA盤的情況下，8月份做了FastCFS和MooseFS性能對比測試，顛覆了我們的認(rèn)知。FastCFS的性能跑不上去，使得MooseFS的性能全面碾壓FastCFS，我們引以為傲的順序?qū)懶阅芤膊恍�。這個測試結(jié)果激發(fā)了我們的斗志，歷時3周，9月8日發(fā)布了FastCFS V3.6，文件讀寫性能大幅提升，寫入性能明顯反超MooseFS，讀性能與MooseFS基本持平。改進(jìn)前的V3.5及改進(jìn)后的V3.6與MooseFS性能對比測試結(jié)果如下圖（根據(jù)A公司提供的測試數(shù)據(jù)整理）：

   在使用SATA盤的情況下，V3.6性能為何能做到如此巨幅的提升呢？下面就為你揭秘V3.6性能優(yōu)化所做的主要工作：
  1. fstore server優(yōu)化
    1）文件寫支持異步落盤，以充分發(fā)揮磁盤寫入能力；為了提升文件寫入性能，fstore增加了一個配置參數(shù) fsync_every_n_writes，默認(rèn)值為0，表示不顯式調(diào)用fsync。對于機(jī)械硬盤（如SATA盤），不調(diào)用fsync可以顯著提升寫入性能。
    2）文件讀默認(rèn)采用系統(tǒng)緩存，對于SATA盤或SAS盤可以顯著提升讀取性能。


  2. fuse client優(yōu)化
    1）支持fuse選項(xiàng)writeback_cache，告訴Linux kernel是否啟用合并寫。開啟這個選項(xiàng)，將迅猛提升連續(xù)寫入小塊數(shù)據(jù)（比如一次寫入4KB）的性能。
    2）fuse.conf增加配置項(xiàng)kernel_cache，表示是否使用Linux kernel的文件緩存。開啟這個選項(xiàng)，相當(dāng)于在fuse客戶端啟用了文件緩存，在某些情況下將大幅提升文件讀取性能。


    通過以上優(yōu)化，V3.6的性能相比Ceph進(jìn)一步拉開了距離，歡迎感興趣的朋友進(jìn)行對比測試。

    FastCFS當(dāng)前版本為V3.6.2，支持百億級文件的fdir存儲引擎插件可用于生產(chǎn)環(huán)境，歡迎大家測試和使用。