用VMWare 實(shí)現(xiàn)4節(jié)點(diǎn)的Lustre 并行文件系統(tǒng)集群

nntp

注:這是我附在某一個(gè)討論線(xiàn)索中作為回貼發(fā)出的，這幾天在整理本版帖子，發(fā)現(xiàn)還是有點(diǎn)用，為了便于大家查找，拖出來(lái)單獨(dú)成貼供大家參考。

用VMWare 實(shí)現(xiàn)4節(jié)點(diǎn)的Lustre 并行文件系統(tǒng)集群
作者:nntp   最后修改于2006/06/30
==========================================================================

簡(jiǎn)介: 本文介紹了通過(guò)2臺(tái)物理服務(wù)器和vmware系統(tǒng)，虛擬出4個(gè)獨(dú)立的linux服務(wù)器實(shí)現(xiàn)

環(huán)境配置: 2臺(tái)物理服務(wù)器, 4個(gè)虛擬節(jié)點(diǎn).

Server1: AMD64 ,  host OS SLES9SP3+errata x86-64 version, vmware server beta(latest build)

             vmware guestOS 1 :  RHEL4U3 x86-64 version     => mds
             vmware guestOS 2 :  RHEL4U3 x86-64 version     => client

             lustre的那些rpm包我裝的是X86-64的版本(版本1.4.6)

Server2: Intel dual core EM64T, host OS SLES9SP3+errara x86-64 version,vmware server beta(latest build)

            vmware guestOS 1: RHEL4U3 x86 version    => ost1
            vmware guestOS 1: RHEL4U3 x86 version    => ost1

            lustre的那些rpm包我裝的是X86的版本(版本1.4.6)

============================================================================
config.sh 文件內(nèi)容

#!/bin/sh

# config.sh

# Create nodes
rm -f config.xml
lmc -m config.xml --add net --node node-mds --nid n1 --nettype tcp
lmc -m config.xml --add net --node node-ost1 --nid n3 --nettype tcp
lmc -m config.xml --add net --node node-ost2 --nid n4 --nettype tcp
lmc -m config.xml --add net --node client --nid n2 --nettype tcp

# Cofigure MDS
lmc -m config.xml --add mds --node node-mds --mds mds-test --fstype ldiskfs --dev /tmp/mds-test --size 50000

# Configures OSTs
lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m config.xml --add ost --node node-ost1 --lov lov-test --ost ost1-test --fstype ldiskfs --dev /tmp/ost1-test --size 100000
lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ldiskfs --dev /tmp/ost2-test --size 100000

# Configure client (this is a 'generic' client used for all client mounts)
lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test

===============================================================================

所有4個(gè)node 的 /etc/hosts 文件內(nèi)容

[root@n1 ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost
192.168.0.31            n1
192.168.0.32            n2
192.168.0.33            n3
192.168.0.34            n4
===============================================================================
產(chǎn)生xml文件之后，分別scp到每個(gè)node的/root目錄
===============================================================================
啟動(dòng)OST
root 登陸到ost1,運(yùn)行 lconf --reformat --node node-ost1 config.xml
root 登陸到ost1,運(yùn)行 lconf --reformat --node node-ost2 config.xml
root 登陸到mds,運(yùn)行 lconf --reformat --node node-mds config.xml
root 登陸到client,運(yùn)行 lconf --node client config.xml

這個(gè)時(shí)候，在client node 上,用root運(yùn)行 df -hT 命令， 已經(jīng)看到 client node的 /mnt/lustre 被mount上了,  
===============================================================================
屏幕信息

啟動(dòng)OST1的時(shí)候的屏幕信息
[root@n3 ~]# lconf --reformat --node node-ost1 config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: lnet srcdir None devdir lnet
loading module: ksocklnd srcdir None devdir klnds/socklnd
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: ost srcdir None devdir ost
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
loading module: obdfilter srcdir None devdir obdfilter
NETWORK: NET_node-ost1_tcp NET_node-ost1_tcp_UUID tcp n3
OSD: ost1-test ost1-test_UUID obdfilter /tmp/ost1-test 100000 ldiskfs no 0 0
OST mount options: errors=remount-ro
[root@n3 ~]#

啟動(dòng)OST2的屏幕信息
[root@n4 ~]# lconf --reformat --node node-ost2 config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: lnet srcdir None devdir lnet
loading module: ksocklnd srcdir None devdir klnds/socklnd
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: ost srcdir None devdir ost
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
loading module: obdfilter srcdir None devdir obdfilter
NETWORK: NET_node-ost2_tcp NET_node-ost2_tcp_UUID tcp n4
OSD: ost2-test ost2-test_UUID obdfilter /tmp/ost2-test 100000 ldiskfs no 0 0
OST mount options: errors=remount-ro
[root@n4 ~]#


啟動(dòng)MDS的屏幕信息

[root@n1 ~]# lconf --reformat --node node-mds config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: lnet srcdir None devdir lnet
loading module: ksocklnd srcdir None devdir klnds/socklnd
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: mdc srcdir None devdir mdc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mds srcdir None devdir mds
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
NETWORK: NET_node-mds_tcp NET_node-mds_tcp_UUID tcp n1
MDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs no
recording clients for filesystem: FS_fsname_UUID
Recording log mds-test on mds-test
LOV: lov_mds-test 4f3bf_lov_mds-test_f34d7ba738 mds-test_UUID 0 1048576 0 0 [u'ost1-test_UUID', u'ost2-test_UUID'] mds-test
OSC: OSC_n1_ost1-test_mds-test 4f3bf_lov_mds-test_f34d7ba738 ost1-test_UUID
OSC: OSC_n1_ost2-test_mds-test 4f3bf_lov_mds-test_f34d7ba738 ost2-test_UUID
End recording log mds-test on mds-test
MDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs 50000 no
MDS mount options: errors=remount-ro
[root@n1 ~]#


啟動(dòng)client 的屏幕信息

[root@n2 ~]# lconf --node client config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: lnet srcdir None devdir lnet
loading module: ksocklnd srcdir None devdir klnds/socklnd
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mdc srcdir None devdir mdc
loading module: llite srcdir None devdir llite
NETWORK: NET_client_tcp NET_client_tcp_UUID tcp n2
LOV: lov-test e0002_lov-test_a77190f32b mds-test_UUID 0 1048576 0 0 [u'ost1-test_UUID', u'ost2-test_UUID'] mds-test
OSC: OSC_n2_ost1-test_MNT_client e0002_lov-test_a77190f32b ost1-test_UUID
OSC: OSC_n2_ost2-test_MNT_client e0002_lov-test_a77190f32b ost2-test_UUID
MDC: MDC_n2_mds-test_MNT_client 96c98_MNT_client_1567f4dc95 mds-test_UUID
MTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID


檢查 client node  文件系統(tǒng)加載情況

[root@n2 ~]# df -hT
Filesystem    Type    Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
              ext3    4.1G  3.0G  920M  77% /
/dev/sda1     ext3     99M   14M   80M  15% /boot
none         tmpfs    187M     0  187M   0% /dev/shm
config lustre_lite    190M  8.5M  171M   5% /mnt/lustre
[root@n2 ~]#

[ 本帖最后由 nntp 于 2006-7-1 00:21 編輯 ]

chinesecai

真是不錯(cuò)，要是圖文并茂就更好了。

linjie

找個(gè)時(shí)間試試~~.

nntp

原帖由 chinesecai 于 2006-7-1 11:50 發(fā)表
真是不錯(cuò)，要是圖文并茂就更好了。

你可以動(dòng)手做完后，把圖補(bǔ)上.

aries1998

作個(gè)記號(hào)，明天試試！

molecar

樓主裝的是哪個(gè)版本的lustre？1.4.6.1還是？？？
樓主有嘗試做failover么？

molecar

呵呵。很好噢。

luosfu

啊,就做4個(gè)節(jié)點(diǎn)了,俺兩個(gè)節(jié)點(diǎn)有點(diǎn)問(wèn)題,向牛人請(qǐng)教:
我安裝完oracle cluster軟件后的狀態(tài)
-bash-3.00$ ./crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora.db1.gsd    application    ONLINE    ONLINE    db1         
ora.db1.ons    application    ONLINE    ONLINE    db1         
ora.db1.vip    application    ONLINE    ONLINE    db1         
ora.db2.gsd    application    ONLINE    ONLINE    db2         
ora.db2.ons    application    ONLINE    ONLINE    db2         
ora.db2.vip    application    ONLINE    ONLINE    db2   


-bash-3.00$ olsnodes -n
db1     1
db2     2
-bash-3.00$ ls -l /etc/init.d/init.*
-r-xr-xr-x  1 root root  1951 Jul 23 22:09 /etc/init.d/init.crs*
-r-xr-xr-x  1 root root  4721 Jul 23 22:09 /etc/init.d/init.crsd*
-r-xr-xr-x  1 root root 35401 Jul 23 22:09 /etc/init.d/init.cssd*
-r-xr-xr-x  1 root root  3197 Jul 23 22:09 /etc/init.d/init.evmd*


完后安裝oracle 軟件無(wú)法選節(jié)點(diǎn),只能裝單機(jī),偶不是很明白,請(qǐng)賜教....

soway

樓上這個(gè)是啥意思？

另外,請(qǐng)問(wèn)nntp：
1,--dev /tmp/mds-test --size 50000  這個(gè)是什么意思？
2,lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
這句中的--stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0也沒(méi)看明白。
3,很明顯，這個(gè)例子并沒(méi)說(shuō)明它并行實(shí)際實(shí)現(xiàn)，只能算是一個(gè)練習(xí)。我想ost1和ost2應(yīng)該分區(qū)和為df －h(huán)看到的值，這個(gè)理解應(yīng)該是正確的吧？

我剛看完lustre howto，跟multiple nodes例子一樣，所以只能請(qǐng)教了。
我明天會(huì)去看看mannul，也許到時(shí)候可以得到釋疑。

lustre文件系統(tǒng)，我初步有了一些印象。
1.mds相當(dāng)于一個(gè) 調(diào)度器，為了實(shí)現(xiàn)冗余，應(yīng)該這里做雙機(jī)（HA），lustre肯定有實(shí)現(xiàn)。
2,ost相當(dāng)于GFS的GNDB servers，它是實(shí)際負(fù)責(zé)IO的服務(wù)器。

一個(gè)理想的結(jié)構(gòu)應(yīng)該如下：
         storage1        storage2
                   |                    |
                  ----fc switch---
                            |
             __________________
            |       |        |         |       |
           ost1  ost2 ost3    ost4  ost5
            |        |       |         |        |
            ___________________  
                              | ethernet Gb
                ------------------------
                  |                    |
                mds1  （HA)  mds2
                   |                    |
    -------------------------------------------------
    |        |          |           |         |                |
  client1 client2 client3 client4 client5 ....clientn

soway

ost  上面一層還應(yīng)可以考慮lvm2等實(shí)現(xiàn)動(dòng)態(tài)分區(qū)調(diào)整（也許在lustre文件層可以調(diào)整）。