關于lustre的幾個問題求助

eddawong

最近搭了一個Lustre 以太網(wǎng)互聯(lián)的測試環(huán)境，基本配置如下：

MDS：
DELL R900
CPU E7310*4
內(nèi)存 8GB



OSS1：和MDS合設
OSS2：
DELL R900

CPU E7310*4

內(nèi)存 8GB



OST1：DELL MD3000 4個sas盤組成的raid
OST2：DELL MD3000 4個sas盤組成的raid

OS版本 SLES10，使用lustre打過補丁的內(nèi)核rpm包安裝
Lustre Sever版本 1.8.0.1

Client1&2:
DELL R710
CPU E5504*2
內(nèi)存 4G

OS SLES10 ，內(nèi)核版本2.6.16.60-0.37_f594963d-bigsmp
Lustre Client版本，采用patchless client方式，版本也是1.8.0.1


客戶端和服務器通過一個千兆交換機互聯(lián)。

測試發(fā)現(xiàn)如下幾個問題：

• 服務端安裝lustre官方的內(nèi)核rpm包后，系統(tǒng)啟動后找不到usb鍵盤。用lsmod發(fā)現(xiàn)，相關模塊均未自動加載。但是自己手工加載ehci uhci等模塊后，鍵盤依然不可以用
• 服務端的網(wǎng)卡中斷全部被cpu0處理，沒有被負載均衡。google后發(fā)現(xiàn)一個可能的原因，irq_balance服務對部分使用msi方式的設備無法進行負載均衡。增加modprobe參數(shù) options bnx2 disable_msi=1后，問題的確可以解決。但R710上不加這個參數(shù)，網(wǎng)卡中斷也可以被負載均衡，這是怎么回事？它們的網(wǎng)卡驅(qū)動版本完全一致，都是1.7.6b。只是一個是四口網(wǎng)卡，另外一個是雙口。如果不對網(wǎng)絡中斷作負載均衡，對系統(tǒng)性能影響大么？
• 用iozone測試系統(tǒng)讀寫吞吐量。測試參數(shù)為iozone -i0 -i1 -t200 -r8k -s100m  -w。 從測試結(jié)果看，無論讀還是寫，均接近千兆網(wǎng)卡的線速。

       Children see throughput for 200 initial writers         =  119658.90 KB/sec
        Parent sees throughput for 200 initial writers  =  106254.22 KB/sec
        Min throughput per process                      =     579.27 KB/sec
        Max throughput per process                      =     667.91 KB/sec
        Avg throughput per process                      =     598.29 KB/sec
        Min xfer                                        =   88768.00 KB

        Children see throughput for 200 rewriters       =  120041.16 KB/sec
        Parent sees throughput for 200 rewriters        =  118814.74 KB/sec
        Min throughput per process                      =     584.39 KB/sec
        Max throughput per process                      =     662.33 KB/sec
        Avg throughput per process                      =     600.21 KB/sec
        Min xfer                                        =   90808.00 KB

        Children see throughput for 200 readers                 =  116384.36 KB/sec
        Parent sees throughput for 200 readers          =  112809.96 KB/sec
        Min throughput per process                      =     159.43 KB/sec
        Max throughput per process                      =     888.75 KB/sec
        Avg throughput per process                      =     581.92 KB/sec
        Min xfer                                        =   18432.00 KB

        Children see throughput for 200 re-readers      =  106250.04 KB/sec
        Parent sees throughput for 200 re-readers       =  103358.13 KB/sec
        Min throughput per process                      =     110.57 KB/sec
        Max throughput per process                      =    1054.21 KB/sec
        Avg throughput per process                      =     531.25 KB/sec
        Min xfer                                        =   10752.00 KB:w


客戶端進行并發(fā)寫時，CPU使用率還算正常，不到15%.但是并發(fā)讀時，客戶端的CPU使用率經(jīng)常為100%，其中CPU 在sys狀態(tài)下占50%左右
服務端的CPU使用率一直比較低，不到5%。
請問如何才能降低并發(fā)讀時，客戶端的CPU使用率？有哪些參數(shù)是可調(diào)的？

請各位大牛幫忙支持，多謝！

[ 本帖最后由 eddawong 于 2009-7-13 15:52 編輯 ]

kns1024wh

之前的測試也是發(fā)現(xiàn)過此類問題

molecar

我沒發(fā)現(xiàn)過CPU有那么搞的.內(nèi)存高屬于正常.CPU高.就不正常吧