iSCSI傳輸速度是否受限于target磁盤的寫入速度？

maomaostyle

如題，我發(fā)現(xiàn)我在測試mpio的時(shí)候，無論是兩條鏈路還是四條鏈路，平均傳輸速度都是140MB/S每秒左右，期間我嘗試不同的jumbo packet（1500-4000-9000），網(wǎng)卡都是boardcom 1Gi的（支持TOE），拷貝的數(shù)據(jù)都是一些wim鏡像文件，總大小才6GB

請(qǐng)問為什么速度就只能沖到140MB/S呢？瓶頸是在哪里？我測試時(shí)拿一臺(tái)DELL2950做initiator，另一臺(tái)DELL R710 SAS300GB*6 RAID5做的target，系統(tǒng)是windows server 2008 R2

拷貝的時(shí)候觀察網(wǎng)卡占用率，如果是兩條鏈路，平均每條使用大概70%多；四條鏈路的時(shí)候每條只有35%左右。。。why why why~

yddll

maomaostyle

回復(fù) 2# yddll


    版主幫忙解答一下唄。。。

maomaostyle

誰幫我看看啊。。

冬瓜頭

目測可能有兩個(gè)地方有問題：
1、拷貝方式，估計(jì)是單線程同步IO，如果是這樣，底層路徑再多也無濟(jì)于事。
2、多路徑軟件均衡優(yōu)化不到位。

排障方法：同時(shí)拷貝多個(gè)文件，我是說拷貝一個(gè)，同時(shí)再拷貝一個(gè)，而不是一次選多個(gè)黏貼過去。這樣就是多個(gè)進(jìn)程去拷，看看此時(shí)帶寬上來沒有。 6盤sas 300G組raid5，最大理論帶寬少說也要400MB/s.

另外，建議看看大話存儲(chǔ)2，理解一下什么是同步IO，異步IO，單線程多線程IO，又各自都有什么影響。 這樣就不至于求著別人回答還得催了。

maomaostyle

回復(fù) 5# 冬瓜頭


    謝謝，請(qǐng)問你說的400MB/s是磁盤的內(nèi)部寫入速度么？我現(xiàn)在懷疑瓶頸可能是我從initiator向target拷貝，我的initiator端設(shè)備性能差，本身內(nèi)部磁盤讀速度可能就慢，頂多100多MB，我打算明天換一臺(tái)兩端一致的設(shè)備試試，我那個(gè)initiator是臺(tái)dell2950,SAS76G*2 RAID0。。。。而且緩存卡也沒電了，不過那倒不要緊，我打開force write without battery

冬瓜頭

那就先拷貝個(gè)小點(diǎn)的文件，讓他占滿ini端的緩存，然后再考一次，直接就從內(nèi)存里過去了，這樣就能看出tar端性能。我說的400MB是指tar端raid的性能。

maomaostyle

回復(fù) 7# 冬瓜頭


    好的,我按照你的建議試一下,另外這個(gè)tar端raid性能,可以理解成接口速度么?好比SAS 6GB/s?

    另外我打算買本你的大話2看看,之前沒有管住,沒想到能和作者本身進(jìn)行交流,非常有喜感,感謝指點(diǎn)!

冬瓜頭

tar端的速度不可理解為接口速度，實(shí)際速度遠(yuǎn)低于接口速度。
PS：我其實(shí)就是來賣書的：）

maomaostyle

回復(fù) 9# 冬瓜頭


情況1：2950作為target，R710為init，劃分一個(gè)40G的LUN，兩條千兆相連，從R710本機(jī)D盤向掛載的E盤拷貝若干*.wim鏡像文件，總大小在10G左右，初始速度可以在400MB+以上，然后速度逐漸降為平均170MB左右，此時(shí)觀察兩條鏈路的占用率，各只有40%左右，再以170MB/s的速度觀察拷貝進(jìn)度條完成后，網(wǎng)卡繼續(xù)以40%左右的占用率，直到逐漸將10G左右的數(shù)據(jù)拷貝至2950的磁盤上

情況2:R710為tar，2950為init，劃分100GB的LUN，還是兩條千兆口直連，從2950本機(jī)D盤拷貝同樣大小的數(shù)據(jù)到掛載的E盤，初始速度最高220MB左右，然后迅速下降穩(wěn)定在110MB左右，網(wǎng)卡使用率分別為60%左右，以110MB/s的速度完成進(jìn)度條后，觀察網(wǎng)絡(luò)占用率也馬上降為0，說明拷貝過程全部完成

對(duì)于以上兩種情況，我有些疑問，首先第一種情況，為什么拷貝速率只有170MB左右，而且進(jìn)度條完成后，網(wǎng)絡(luò)占用率依然要等很久才降回0，是說2950因?yàn)樾阅芴珷�，所以寫入速度很低，要慢慢的從R710的緩存區(qū)一點(diǎn)點(diǎn)寫完嘛？其次對(duì)于第二種情況，為什么以110MB/s左右的速度拷貝完成后，網(wǎng)絡(luò)使用率也馬上降為0？是說R710的寫入速率足夠多嗎？但是由于2950的讀速度依然很一般，所以網(wǎng)絡(luò)負(fù)載也沖不到百分百嘛？

接下來我只能換設(shè)備再測一下，保證兩端都是同等配置的R710，是否就可以達(dá)到理論性能了呢？換句話說，要怎么樣的情況下，我才可以達(dá)到線速，接一條千兆跑100多MB，接兩條跑200多，三條300多，以此類推呢？要注意哪些環(huán)節(jié)的瓶頸？？謝謝