FastCFS v3.6發(fā)布，文件讀寫性能大幅提升

happy_fish100

  歷時3星期的研發(fā)，F(xiàn)astCFS v3.6發(fā)布了，文件讀寫性能提升明顯，尤其順序?qū)懴嘈艜�驚艷到大家，感興趣的朋友可以用 dd或scp等工具體驗一下飛一般的感覺。我們租用3臺阿里云本地SSD ECS 和 1臺普通ECS作為客戶端進(jìn)行壓測，2個fio并發(fā)線程即可把3gb網(wǎng)絡(luò)帶寬打滿（ 約351MB/s），而v2.2在4并發(fā)線程下只有126MB/s。

    v3.6性能優(yōu)化主要包括如下兩方面：
  1. fstore server優(yōu)化
    文件寫引入選項write_to_cache，默認(rèn)為true，表示異步寫盤，以充分發(fā)揮磁盤寫入能力。另外，通過內(nèi)存池動態(tài)分配數(shù)據(jù)buffer，從網(wǎng)絡(luò)上接收數(shù)據(jù)，然后把數(shù)據(jù)buffer直接傳遞給磁盤寫入線程和數(shù)據(jù)同步線程，避免內(nèi)存拷貝。

    文件讀引入配置項read_direct_io，表示是否采用direct io模式，默認(rèn)不采用（即使用系統(tǒng)緩存）。對于SATA或SAS普通硬盤，建議使用系統(tǒng)緩存；而SSD硬盤可以根據(jù)實際需要采用 direct io模式。

  2. fuse client優(yōu)化
  支持fuse選項writeback_cache，告訴Linux kernel是否啟用合并寫。開啟這個選項，將迅猛提升連續(xù)寫入小塊數(shù)據(jù)（比如一次寫入4KB）的性能。

  fuse.conf增加配置項kernel_cache，表示是否使用Linux kernel的文件緩存。開啟這個選項，相當(dāng)于在fuse客戶端啟用了文件緩存，在某些情況下將大幅提升文件讀取性能。對于多節(jié)點共享數(shù)據(jù)場景，最好不要啟用kernel_cache。

  使用這兩個fuse選項，程序內(nèi)部合理設(shè)置fuse相關(guān)參數(shù)，文件讀寫性能提升明顯。

  v3.6修復(fù)的bug列表：
  [fstore] bugfixed: MUST call set_binlog_indexes to set start_index
  [fuseclient] bugfixed: write_to_pid_file move before fcfs_api_start_ex
  bugfixed: base_path support relative path

  FastCFS v3.6的文件讀寫性能又上了一個臺階，歡迎大家測試和使用。附：FastCFS項目官網(wǎng)