FastCFS在eRDMA與傳統(tǒng)網(wǎng)絡(luò)環(huán)境下對(duì)比測(cè)試分享

happy_fish100

[color=rgb(18, 18, 1]FastCFS 是一款強(qiáng)一致性、高性能、高可用、支持百億級(jí)海量文件的通用分布式文件系統(tǒng)，可以作為MySQL、PostgresSQL、Oracle等數(shù)據(jù)庫(kù)，k8s，KVM，F(xiàn)TP，SMB和NFS等系統(tǒng)的后端存儲(chǔ)。

[color=rgb(18, 18, 1]數(shù)據(jù)庫(kù)作為IO密集型軟件，對(duì)磁盤(pán)IO和網(wǎng)絡(luò)IO性能要求比較高。把數(shù)據(jù)庫(kù)跑在分布式文件系統(tǒng)上，必然會(huì)碰到網(wǎng)絡(luò)IO這個(gè)性能瓶頸。使用RDMA是消除網(wǎng)絡(luò)IO瓶頸的有效方法，但使用原生libverbs進(jìn)行RDMA網(wǎng)絡(luò)編程，需要對(duì)使用socket的網(wǎng)絡(luò)應(yīng)用程序做大量改造和適配工作，門(mén)檻非常高。

[color=rgb(18, 18, 1]SMC-R（Shared Memory Communication over RDMA）是一種基于 RDMA 技術(shù)、兼容 socket 接口的內(nèi)核網(wǎng)絡(luò)協(xié)議，由 IBM 提出并在2017年捐獻(xiàn)給Linux內(nèi)核。SMC-R可以幫助TCP網(wǎng)絡(luò)應(yīng)用程序透明使用RDMA，在網(wǎng)絡(luò)通信上獲得高帶寬和低時(shí)延。

[color=rgb(18, 18, 1]2021年10月20日的杭州云棲大會(huì)上，阿里云發(fā)布第四代神龍架構(gòu)。第四代神龍架構(gòu)的網(wǎng)絡(luò)延遲降低80%，同時(shí)升級(jí)至全新的eRDMA網(wǎng)絡(luò)架構(gòu)，是業(yè)界首個(gè)大規(guī)模彈性RDMA加速能力。對(duì)于性能如此強(qiáng)悍的RDMA網(wǎng)絡(luò)，我一直期待有機(jī)會(huì)體驗(yàn)一下。

[color=rgb(18, 18, 1]我最近終于幸運(yùn)地獲得了第四代神龍架構(gòu)ECS的公測(cè)資格，租用了4臺(tái)最新的ecs.c8y.4xlarge實(shí)例（3副本服務(wù)器+1臺(tái)客戶端）通過(guò)fio測(cè)試FastCFS的讀性能，對(duì)是否啟用彈性RDMA進(jìn)行性能對(duì)比測(cè)試：bs=4KB和8并發(fā)情況下，隨機(jī)讀IOPS 111,572 vs. 85,693，提升30%；順序讀IOPS 182,861 vs. 145,752，提升25%。注：為了對(duì)比測(cè)試網(wǎng)絡(luò)性能，F(xiàn)astCFS服務(wù)端和客戶端全部使用內(nèi)存文件系統(tǒng) /dev/shm。

[color=rgb(18, 18, 1]只有一組3副本服務(wù)器的情況下，F(xiàn)astCFS 8并發(fā)隨機(jī)讀超過(guò)11萬(wàn)IOPS，達(dá)到了生產(chǎn)環(huán)境數(shù)據(jù)庫(kù)的磁盤(pán)IO性能要求。在配備NVMe SSD及RDMA網(wǎng)絡(luò)的情況下，F(xiàn)astCFS完全可以做到低延遲和高吞吐，滿足高性能場(chǎng)景下的文件讀寫(xiě)性能要求。

[color=rgb(18, 18, 1]啟用主網(wǎng)卡的彈性RDMA特性，碰到了一個(gè)坑，給大家分享一下。租用ECS的第2步“網(wǎng)絡(luò)和安全組”， 如果第一次租用當(dāng)前可用區(qū)的ECS（比如華北2的可用區(qū)I），上方的網(wǎng)絡(luò)交換機(jī)部分只能選擇默認(rèn)，此時(shí)下方的主網(wǎng)卡沒(méi)有“彈性RDMA接口”這個(gè)選項(xiàng)，這種情況下租用的ECS將沒(méi)有RDMA設(shè)備。解決方法：先租用一臺(tái)第四代神龍架構(gòu)ECS，阿里云后臺(tái)會(huì)自動(dòng)創(chuàng)建該可用區(qū)的交換機(jī)，隨即釋放這個(gè)ECS實(shí)例；再次租用時(shí)默認(rèn)就是該區(qū)的交換機(jī)，此時(shí)主網(wǎng)卡設(shè)置界面就有“彈性RDMA接口”選項(xiàng)了。

[color=rgb(18, 18, 1]本次測(cè)試的相關(guān)配置和文檔附錄：

[color=rgb(18, 18, 1]附1. ecs.c8y.4xlarge配置：16 vCPU（Yitian 710）、32G內(nèi)存、 最高16Gbps網(wǎng)絡(luò)帶寬

[color=rgb(18, 18, 1]服2. FastCFS運(yùn)維工具介紹：FastCFS運(yùn)維工具介紹

附3. 阿里云SMC-R說(shuō)明：SMC-R是什么,使用方法有哪些_云服務(wù)器 ECS-阿里云幫助中心