關(guān)于nfs的測(cè)試

feixiang2966

關(guān)于測(cè)試
    最近花了一些時(shí)間對(duì)分布式文件系統(tǒng)進(jìn)行了測(cè)試，呵呵
對(duì)nfs進(jìn)行了一系列的測(cè)試
測(cè)試環(huán)境：
Intel(R) Pentium(R) D CPU 2.80GHz
1G 內(nèi)存
maxtor（邁拓）6L080M0 SATA 80g硬盤

首先是穩(wěn)定性
采取小文件無(wú)限讀寫的方法，強(qiáng)度大概是每秒200次操作（包括建立，刪除，讀，寫），持續(xù)一周
未發(fā)現(xiàn)異常

其次是性能
用postmark對(duì)文件系統(tǒng)進(jìn)行測(cè)試模擬1k到2k的小文件，生成文件數(shù)為5000個(gè)，進(jìn)行2000次
transaction（即建立/刪除和讀/寫 兩者分別去一個(gè)的組合）。
結(jié)果如下
[root@drbd1 home]# postmark
PostMark v1.11 : 4/8/98
pm>set size 1000 2000
pm>set number 5000
pm>set transactions 2000
pm>set localtion /var/nfs_mnt
Eh?
pm>set localtion "/var/nfs_mnt"
Eh?
pm>set location /var/nfs_mnt
pm>run
Creating files...Done
Performing transactions..........Done
Deleting files...Done
Time:
        46 seconds total
        11 seconds of transactions (181 per second)
Files:
        6012 created (130 per second)
                Creation alone: 5000 files (208 per second)
                Mixed with transactions: 1012 files (92 per second)
        966 read (87 per second)
        1031 appended (93 per second)
        6012 deleted (130 per second)
                Deletion alone: 5024 files (456 per second)
                Mixed with transactions: 988 files (89 per second)
Data:
        1.45 megabytes read (31.48 kilobytes per second)
        9.03 megabytes written (196.37 kilobytes per second)
下面的情況是在同一塊硬盤下的情況：
[root@v124 src]# postmark
PostMark v1.11 : 4/8/98
pm>set size 1000 2000
pm>set number 5000
pm>set transactions 2000
pm>set location /var
pm>show
Current configuration is:
Transactions: 2000
Files range between 1000 bytes and 1.95 kilobytes in size
Random number generator seed is 42
The base number of files is 5000
Working directory:
        /var (weight=1)
0 subdirectories will be used
Block sizes are: read=512 bytes, write=512 bytes
Biases are: read/append=5, create/delete=5
Using Unix buffered file I/O
pm>run
Creating files...Done
Performing transactions..........Done
Deleting files...Done
Time:
        4 seconds total
        1 seconds of transactions (2000 per second)
Files:
        6012 created (1503 per second)
                Creation alone: 5000 files (1666 per second)
                Mixed with transactions: 1012 files (1012 per second)
        966 read (966 per second)
        1031 appended (1031 per second)
        6012 deleted (1503 per second)
                Deletion alone: 5024 files (5024 per second)
                Mixed with transactions: 988 files (988 per second)
Data:
        1.45 megabytes read (362.04 kilobytes per second)
        9.03 megabytes written (2.26 megabytes per second)
根據(jù)數(shù)據(jù)可以看出在1k～2k小文件的操作上，有nfs和沒(méi)有使用nfs的機(jī)器相差一個(gè)數(shù)量級(jí)。這個(gè)原因后面會(huì)分析。
測(cè)試II
對(duì)大文件讀寫的測(cè)試：對(duì)同一文件分1024次每次寫入100k 測(cè)試大文件寫
結(jié)果如下：
drbd1與drbd2使用千兆網(wǎng)線互聯(lián)
[root@drbd1 nfs_mnt]# time dd if=/dev/zero of=test1 bs=1024 count=100k
102400+0 records in
102400+0 records out
real    0m3.964s
user    0m0.047s
sys     0m0.385s
[root@drbd2 nfs_test]# time dd if=/dev/zero of=test bs=1024 count=100K
102400+0 records in
102400+0 records out
real    0m0.878s
user    0m0.073s
sys     0m0.774s
測(cè)試III
由于圖片大小大約是在10k～100k之間，所以對(duì)這個(gè)大小的文件又進(jìn)行了一次postmark測(cè)試
[root@drbd1 ~]# postmark
PostMark v1.11 : 4/8/98
pm>set size 10000 100000
pm>set number 5000
pm>set location /var/nfs_mnt
pm>set transactions 2000
pm>run
Creating files...Done
Performing transactions..........Done
Deleting files...Done
Time:
        62 seconds total
        17 seconds of transactions (117 per second)
Files:
        5977 created (96 per second)
                Creation alone: 5000 files (147 per second)
                Mixed with transactions: 977 files (57 per second)
        981 read (57 per second)
        1019 appended (59 per second)
        5977 deleted (96 per second)
                Deletion alone: 4954 files (450 per second)
                Mixed with transactions: 1023 files (60 per second)
Data:
        27.07 megabytes read (436.65 kilobytes per second)
        170.04 megabytes written (2.74 megabytes per second)
[root@drbd1 ~]# postmark
PostMark v1.11 : 4/8/98
pm>set size 10000 100000
pm>set number 5000
pm>set location /var
pm>set transactions 2000
pm>run
Creating files...Done
Performing transactions..........Done
Deleting files...Done
Time:
        7 seconds total
        5 seconds of transactions (400 per second)
Files:
        5977 created (853 per second)
                Creation alone: 5000 files (5000 per second)
                Mixed with transactions: 977 files (195 per second)
        981 read (196 per second)
        1019 appended (203 per second)
        5977 deleted (853 per second)
                Deletion alone: 4954 files (2477 per second)
                Mixed with transactions: 1023 files (204 per second)
Data:
        27.07 megabytes read (3.87 megabytes per second)
        170.04 megabytes written (24.29 megabytes per second)
測(cè)試IV
多進(jìn)程測(cè)試
隨機(jī)生成30000個(gè)大小在10k到100k之間的文件，關(guān)掉swap，并且用內(nèi)存表將mysql的內(nèi)存撐到最大，減少cache，這樣盡量使讀寫都去硬盤上讀而不是直接讀內(nèi)存中的數(shù)據(jù)
#!/bin/perl
print "start ", scalar localtime(),"\n";
for(1..100){
    unless(fork){
    for(1..100){
    $k=int(rand(30000));
    $fl = "/var/nfs_mnt/$k";
    print $fl;
    system("cat $fl>/dev/null");
    }
    exit;
}
}
模擬100個(gè)進(jìn)程，每個(gè)進(jìn)程隨機(jī)讀寫100次
結(jié)果：需要1分零47秒
磁盤的需要1分35
測(cè)試5
響應(yīng)時(shí)間
策略
一個(gè)client每10毫秒讀一次 一個(gè)client每10毫秒寫一次
測(cè)試結(jié)論，
響應(yīng)時(shí)間平均為10毫秒級(jí)，毫秒級(jí)做不到實(shí)時(shí)。
這也是1k～2k小文件每秒讀寫限制在100次以內(nèi)的原因。
綜合上面的測(cè)試，nfs可以滿足多個(gè)小文件同時(shí)讀寫的情況。性能上比本機(jī)的文件略差，但也在可以承受的范圍之內(nèi)。推薦使用。


本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u2/62649/showart_489186.html