GFS與RHCS

fei-tian

GFS與RHCS安裝記錄
操作系統(tǒng) ：RedHat AS 4
內(nèi)核版本 ：2.6.9-22.ELsmp
1. 到redhat 網(wǎng)站上下載相應(yīng)的Cluster Suite/GFS軟件。由于沒有注冊號，無法通過up2date升級，因此會比較麻煩。
到ftp: //ftp.redhat.com/pub/redhat/linux/updates/enterprise/4AS/en/下載相應(yīng)的RHCS和 RHGFS的src.rpm文件，在一個目錄下，往往有相同軟件的幾個版本存在。以下安裝筆記中所使用的軟件是以RHAS4 U2為準(zhǔn)。
   1.1 安裝cman-kernel-2.6.9-39.5.src.rpm
               rpm -iv cman-kernel-2.6.9-39.5.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba --nodeps cman-kernel.spec   #加--nodeps 的原因是提示，kernel-hugemem-devel = 2.6.9-22.EL is needed，嘗試解決未果，放棄。希望不會出現(xiàn)問題。
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh cman-ker*
   1.2  安裝magma-1.0.1-4.src.rpm
               rpm -iv magma-1.0.1-4.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba  magma.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh magma*
   1.3  安裝dlm-kernel-2.6.9-37.7.src.rpm
               rpm -iv dlm-kernel-2.6.9-37.7.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba --nodeps dlm-kernel.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh dlm-kern*
   1.4  安裝dlm-1.0.0-5.src.rpm
               rpm -iv dlm-1.0.0-5.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba dlm.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh --nodeps dlm-1.0.0-5.x86_64.rpm
               rpm -ivh dlm-debuginfo-1.0.0-5.x86_64.rpm
               rpm -ivh dlm-devel-1.0.0-5.x86_64.rpm
    1.5  安裝ccs-1.0.2-0.src.rpm
               rpm -iv ccs-1.0.2-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba ccs.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh ccs*
    1.6  安裝gulm-1.0.4-0.src.rpm
               rpm -iv gulm-1.0.4-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba gulm.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh gulm-*
    1.7  安裝magma-plugins-1.0.2-0.src.rpm
               rpm -iv magma-plugins-1.0.2-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba magma-plugins.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh magma-plugins*
     1.8  安裝cman-1.0.11-0.src.rpm
               rpm -iv cman-1.0.11-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba cman.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh cman-*
     1.9  安裝fence-1.32.10-0.src.rpm
               rpm -iv fence-1.32.10-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba fence.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh fence-*
     1.10  安裝iddev-2.0.0-3.src.rpm
               rpm -iv iddev-2.0.0-3.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba iddev.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh iddev-*
     1.11  安裝perl-Net-Telnet-3.03-1.2.el4.rf.src.rpm
               可從
http://ftp.belnet.be/packages/dr ... -1.2.el4.rf.src.rpm
下載
               rpm -iv perl-Net-Telnet-3.03-1.2.el4.rf.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba perl-Net-Telnet.spec
               cd /usr/src/redhat/RPMS/noarch/
               rpm -ivh perl-Net-Telnet-3.03-1.2.el4.rf.noarch.rpm
     1.13  安裝piranha-0.8.1-1.src.rpm
               rpm -iv piranha-0.8.1-1.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba piranha.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh piranha-* --nodeps
     1.14  安裝rgmanager-1.9.38-0.src.rpm
               rpm -iv rgmanager-1.9.38-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba rgmanager.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh rgmanager-*
     1.15  安裝system-config-cluster-1.0.16-1.0.src.rpm
               rpm -iv system-config-cluster-1.0.16-1.0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba system-config-cluster.spec
               cd /usr/src/redhat/RPMS/noarch/
               rpm -ivh system-config-cluster-1.0.16-1.0.noarch.rpm
     1.16  安裝GFS-kernel-2.6.9-42.1.src.rpm
               rpm -iv GFS-kernel-2.6.9-42.1.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba --nodeps GFS-kernel.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh GFS-kern*
     1.17  安裝GFS-6.1.2-0.src.rpm
               rpm -iv GFS-6.1.2-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba GFS.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh GFS-6.1.2-0.x86_64.rpm
               rpm -ivh GFS-debuginfo-6.1.2-0.x86_64.rpm
     1.18  安裝gnbd-kernel-2.6.9-9.12.src.rpm
               rpm -iv gnbd-kernel-2.6.9-9.12.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba --nodeps gnbd-kernel.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh gnbd-kern*
     1.19  安裝gnbd-1.0.1-1.src.rpm
               rpm -iv gnbd-1.0.1-1.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba gnbd.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh gnbd-1.0.1-1.x86_64.rpm
               rpm -ivh gnbd-debuginfo-1.0.1-1.x86_64.rpm
     1.20  安裝lvm2-cluster-2.01.14-1.0.RHEL4.src.rpm
               rpm -iv lvm2-cluster-2.01.14-1.0.RHEL4.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba lvm2-cluster.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh lvm2-cluster*
     1.21  安裝rgmanager-1.9.38-0.src.rpm
               rpm -iv rgmanager-1.9.38-0.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba rgmanager.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh rgmanager-*
     1.22  安裝ipvsadm-1.24-7.src.rpm
               rpm -iv ipvsadm-1.24-7.src.rpm
               cd /usr/src/redhat/SPECS
               rpmbuild -ba ipvsadm.spec
               cd /usr/src/redhat/RPMS/x86_64/
               rpm -ivh ipvsadm-*
安裝完畢
2. 完成GFS server的配置（該文章參考suran007 的GFS6.1 ON RHAS4 U2安裝文檔）
   2.1 確保相關(guān)設(shè)備的主機(jī)名和IP地址的對應(yīng)關(guān)系都在/etc/hosts中
   例：
   10.1.5.161    host1
   10.1.5.162    host2
   10.1.5.163    host3      #host3作為gnbd的server
    2.2 在host3上配置GFS通過gnbd進(jìn)行export
    啟動gnbd_serv進(jìn)程
    root@host3 # /sbin/gnbd_serv –v –n
    導(dǎo)出設(shè)備
    root@host3# gnbd_export -v -e gfs -d /dev/sdb1 –c
    查看export狀態(tài)信息
    root@host3# gnbd_export -v -l
完成GFS server，為了使實驗更順利，建議將防火墻停掉 service iptables stop
3. 使用system-config-cluster工具對node1和node2進(jìn)行配置
    在node1的命令格式下輸入：system-config-cluster,進(jìn)入配置界面
    3.1然后在系統(tǒng)中，第一次配置會提示是否要創(chuàng)建配置文件/etc/cluster/cluster.conf，點擊"create "
    3.2然后選擇 鎖機(jī)制，選擇dlm。
    3.3添加cluster nodes。
         點擊“add a cluster node",添加node1,quorum votes填1。
         點擊“add a cluster node",添加node2,quorum votes填1。
    3.4 添加fence設(shè)備
         在”fence device"中，選擇“add a fence device"，這里添加的是"manual Fencing"，名字任意，這里寫”web"。
         在"cluster Nodes->node1和node2”,中“manange fencing for this node"，選擇”add a fence level"。
    3.5 創(chuàng)建"failover domains"
         在“manager resource->failover domains"中，”create a failover domain"，名稱為web
         點擊“manager resource->failover domains->web","edit failover domain propertis"，在"available cluster node2"中，將node1和node2都添加進(jìn)取。
    3.6 創(chuàng)建”resource"
         "create a resource"，選擇IP address,地址為“10.1.5.169",后邊的monitor link要選中。
         "create a resource"，選擇script，name 為"httpd",script為"/etc/init.d/httpd"。
先保存，然后將cluster.conf傳到node2相同位置一份。下邊要配置gfs的一些resource，但是前提是cluster mananger的進(jìn)程需要啟動才能進(jìn)行設(shè)置。
4. 配置GFS參數(shù)
啟動cluster進(jìn)程順序：
      service ccsd start
      service cman start
      service fenced start
      service clvmd start
      service gfs start
      service rgmanager start
然后在node1上，首先
modprobe gnbd
將gfs通過gnbd倒入：gnbd_import -v -i node3
檢查加載狀態(tài)：gnbd_import  -v  -l
modeprobe  gfs
gfs_mkfs -p lock_dlm -t cluster1:gfs -j 2 /dev/gnbd/gfs 創(chuàng)建文件系統(tǒng)
在node2上重復(fù)此操作，只是不用再重做創(chuàng)建文件系統(tǒng)的操作
再打開system-config-cluster，
      接著創(chuàng)建"resource"
      "create a resource"，選擇GFS,name "web_content",mount point:"/gfs",device:"dev/gnbd/gfs"。
5.配置service
   由于是為了實現(xiàn)httpd的集群，因此需要對/etc/httpd/conf/httpd.conf一些內(nèi)容進(jìn)行修改，包括
   設(shè)置監(jiān)聽地址為floating ip：Listen 10.1.5.169:80
   修改DocumentRoot 為"/gfs/"
         
    同時chkconfig httpd off,將httpd 的自啟動關(guān)閉
    "service","create a service", name設(shè)為httpd。
    failover domain為 web。
    點”add a shared resource to this service" ,首先把ip address加入。
    選擇”10.1.5.169  ip address share",然后再“attach a shared resource to the selecetion",分別添加剛才設(shè)的script和gfs的resource。
   保存配置,并復(fù)制該文件到node2。
    分別重新啟動進(jìn)程：
    service rgmanager stop
    service gfs stop
    service clvmd stop
    service fenced stop
    service cman stop
    service ccsd stop
    service ccsd start
    service cman start
    service fenced start
    service clvmd start
    service gfs start
    service rgmanager start
        
6. 開啟service
     打開，system-config-cluster，如果剛才的管理進(jìn)程都正常的話，將會有cluster management的tab。
      在service 中，點擊httpd 按"enable"啟動。
debug技巧：如果無法正常啟動，嘗試著去掉一些resource，然后再看是否正常啟動，來定位故障。
如果要學(xué)習(xí)和試驗，建議按如下順序進(jìn)行前期的閱讀：
Data sharing with a GFS storage cluster :
http://www.redhat.com/magazine/006apr05/features/gfs/
  看一遍
Red Hat Cluster Suite Configuring and Managing a Cluster
http://www.redhat.com/docs/manuals/csgfs/pdf/rh-cs-en-4.pdf
看2遍
Red Hat GFS 6.1 Administrator's Guide
http://www.redhat.com/docs/manuals/csgfs/pdf/rh-gfs-en-6_1.pdf
看1遍
GFS6.1 ON RHAS4 U2安裝文檔
http://www.72891.cn/viewthr ... &extra=page%3D1
照著做一遍
現(xiàn)在能有一大概的認(rèn)識
看
http://unixnotebook.blogspot.com ... uster-4-how-to.html
一遍
做試驗。

本文來自ChinaUnix博客，如果查看原文請點：http://blog.chinaunix.net/u/22346/showart_1090844.html