RedHat GFS基于ISCSI的部署

kisee

一、描述：部署基于ISCSI方案的GFS。
涉及技術：
并發(fā)文件系統(tǒng)技術 --GFS2
基于IP協(xié)議的SAN技術 --ISCSI
RedHat 集群技術 --RHCS
二、環(huán)境：
一臺iscsi—target ：
采用centos 5.2 x64 的系統(tǒng)，采用PXE方式安裝8G系統(tǒng)硬盤，外加24G硬盤；
作為iscsi的target服務端，把本地硬盤上的分區(qū)通過iscsi共享給iscsi的initiator客戶端；
兩臺iscsi—initiator：
entos 5.2 x64 的系統(tǒng)，采用PXE方式安裝，各有一塊8G系統(tǒng)硬盤；
作為iscsi的initiator客戶端，連接iscsi-target服務端的硬盤，并在集群中規(guī)劃為GFS文件系統(tǒng)模式下的集群存儲池；
三、IP配置：
#iscsi—target：
IP：10.0.40.31
DNS：target.haoyuan-inc.com
#iscsi—initiator：
IP：10.0.70.51
DNS：rhcs1.haoyuan-inc.com
#iscsi—initiator：
IP：10.0.70.61
DNS：rhcs2.haoyuan-inc.com
/etc/hosts 文件配置
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        localhost.localdomain  localhost
::1             localhost6.localdomain6  localhost6
10.0.40.31 target.haoyuan-inc.com target
10.0.70.51 rhcs1.haoyuan-inc.com rhcs1
10.0.70.61 rhcs2.haoyuan-inc.com rhcs2
四、ISCSI—Target(10.0.40.31)配置步驟：
     
4.1 安裝iscsi軟件
#下載iSCSI Enterprise Target
wget http://nchc.dl.sourceforge.net/sourceforge/iscsitarget/iscsitarget-0.4.17.tar.gz
#解壓縮
tar -zxvf iscsitarget-0.4.17.tar.gz
cd iscsitarget-0.4.17
#編譯、安裝
make
make install
#或者使用yum安裝
Yum install -y scsi-target-utils
#安裝集群軟件包套件
yum groupinstall "Clustering" "Cluster Storage"
#配置服務
chkconfig --level 2345 tgtd on
service tdtd start
4.2掛載設備
#配置第一個iSCSI設備
            
    #系統(tǒng)另外掛了一個24G的硬盤，劃分出三個分區(qū)即：
[root@10_0_40_31 ~]# fdisk -l
Disk /dev/sda: 8589 MB, 8589934592 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1         521     4184901   83  Linux
/dev/sda2             522        1043     4192965   82  Linux swap / Solaris
Disk /dev/sdb: 25.7 GB, 25769803776 bytes
255 heads, 63 sectors/track, 3133 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        1045     8393931   83  Linux
/dev/sdb2            1046        2090     8393962+  83  Linux
/dev/sdb3            2091        3133     8377897+  83  Linux
#通過tgt服務器把這三個分區(qū)共享出來：
[root@10_0_40_31 ~]# chkconfig tgtd on
[root@10_0_40_31 ~]# service tgtd restart
Stopping SCSI target daemon: [  OK  ]
Starting SCSI target daemon: [  OK  ]
#使用tgtadm定義iscsi target的qualified的名字：
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2009-08.com.haoyuan-inc.disk1
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2009-08.com.haoyuan-inc.disk2
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op new --mode target --tid 3 -T iqn.2009-08.com.haoyuan-inc.disk3
#使用tgtadm為上一步創(chuàng)建的目標增加分區(qū)：
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sdb1
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 -b /dev/sdb2
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op new --mode logicalunit --tid 3 --lun 1 -b /dev/sdb3
#使用tgtadm允許客戶端訪問這三個目標邏輯卷：
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op bind --mode target --tid 2 -I ALL
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op bind --mode target --tid 3 -I ALL
#使用tatadm驗證所有的目標邏輯卷定義正確：
[root@10_0_40_31 ~]# tgtadm --lld iscsi --op show --mode target |grep Target
Target 1: iqn.2009-08.com.haoyuan-inc.disk1
Target 2: iqn.2009-08.com.haoyuan-inc.disk2
Target 3: iqn.2009-08.com.haoyuan-inc.disk3
#為使配置生效，將上述命令添加到/etc/rc.local,添加命令：
cat >> /etc/rc.local
# tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2009-08.com.haoyuan-inc.disk1
# tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2009-08.com.haoyuan-inc.disk2
# tgtadm --lld iscsi --op new --mode target --tid 3 -T iqn.2009-08.com.haoyuan-inc.disk3
# tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sdb1
# tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 -b /dev/sdb2
# tgtadm --lld iscsi --op new --mode logicalunit --tid 3 --lun 1 -b /dev/sdb3
# tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
# tgtadm --lld iscsi --op bind --mode target --tid 2 -I ALL
# tgtadm --lld iscsi --op bind --mode target --tid 3 -I ALL
EOF
五、ISCSI—Initiator(10.0.70.51&10.0.70.61)配置步驟：
5.1 rhcs1配置步驟：
#安裝iscsi-initiator軟件包
Yum install -y iscsi-initiator-utils
#安裝集群軟件包套件
yum groupinstall "Clustering" "Cluster Storage"
#啟動iscsifuw
[root@10_0_70_51 ~]# chkconfig iscsi on
[root@10_0_70_51 ~]# service iscsi start
iscsid is stopped
Turning off network shutdown. Starting iSCSI daemon: [  OK  ]
[  OK  ]
Setting up iSCSI targets: iscsiadm: No records found!
[  OK  ]
#運行下面命令，查看target上的邏輯卷
[root@10_0_70_51 ~]# iscsiadm -m discovery -t sendtargets -p 10.0.40.31
10.0.40.31:3260,1 iqn.2009-08.com.haoyuan-inc.disk1
10.0.40.31:3260,1 iqn.2009-08.com.haoyuan-inc.disk2
10.0.40.31:3260,1 iqn.2009-08.com.haoyuan-inc.disk3
#上述表示已經(jīng)掛載成功
#使用iscsiadmin登陸target：
[root@10_0_70_51 ~]# iscsiadm -m node -T iqn.2009-08.com.haoyuan-inc.disk1 -p 10.0.40.31 -l
Logging in to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk1, portal: 10.0.40.31,3260]
Login to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk1, portal: 10.0.40.31,3260]: successful
[root@10_0_70_51 ~]# iscsiadm -m node -T iqn.2009-08.com.haoyuan-inc.disk2 -p 10.0.40.31 -l
Logging in to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk2, portal: 10.0.40.31,3260]
Login to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk2, portal: 10.0.40.31,3260]: successful
[root@10_0_70_51 ~]# iscsiadm -m node -T iqn.2009-08.com.haoyuan-inc.disk3 -p 10.0.40.31 -l
Logging in to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk3, portal: 10.0.40.31,3260]
Login to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk3, portal: 10.0.40.31,3260]: successfu
#使用fdisk檢驗被識別的設備名：
[root@10_0_70_51 ~]# fdisk -l
Disk /dev/sda: 8589 MB, 8589934592 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1         521     4184901   83  Linux
/dev/sda2             522        1043     4192965   82  Linux swap / Solaris
Disk /dev/sdb: 8595 MB, 8595385344 bytes
64 heads, 32 sectors/track, 8197 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Disk /dev/sdb doesn't contain a valid partition table
Disk /dev/sdc: 8595 MB, 8595417600 bytes
64 heads, 32 sectors/track, 8197 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Disk /dev/sdc doesn't contain a valid partition table
Disk /dev/sdd: 8578 MB, 8578967040 bytes
64 heads, 32 sectors/track, 8181 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Disk /dev/sdd doesn't contain a valid partition table
#從上面看，iscsitarget上的邏輯卷，已經(jīng)被識別為 /dev/sdb  /dev/sdc  /dev/sdc三個本地硬盤
#在這三個硬盤上分別建立三個分區(qū)，下面為結果：
[root@10_0_70_51 ~]# fdisk -l
Disk /dev/sda: 8589 MB, 8589934592 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1         521     4184901   83  Linux
/dev/sda2             522        1043     4192965   82  Linux swap / Solaris
Disk /dev/sdb: 8595 MB, 8595385344 bytes
64 heads, 32 sectors/track, 8197 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        8197     8393712   83  Linux
Disk /dev/sdc: 8595 MB, 8595417600 bytes
64 heads, 32 sectors/track, 8197 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1        8197     8393712   83  Linux
Disk /dev/sdd: 8578 MB, 8578967040 bytes
64 heads, 32 sectors/track, 8181 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1        8181     8377328   83  Linux
5.2  rhcs2配置步驟：
#安裝iscsi-initiator軟件包
Yum install -y iscsi-initiator-utils
#安裝集群軟件包套件
yum groupinstall "Clustering" "Cluster Storage"
#啟動iscsifuw
[root@10_0_70_61 ~]# chkconfig iscsi on
[root@10_0_70_61 ~]# service iscsi start
iscsid is stopped
Turning off network shutdown. Starting iSCSI daemon: [  OK  ]
[  OK  ]
Setting up iSCSI targets: iscsiadm: No records found!
[  OK  ]
#運行下面命令，查看target上的邏輯卷
[root@10_0_70_61 ~]# iscsiadm -m discovery -t sendtargets -p 10.0.40.31
10.0.40.31:3260,1 iqn.2009-08.com.haoyuan-inc.disk1
10.0.40.31:3260,1 iqn.2009-08.com.haoyuan-inc.disk2
10.0.40.31:3260,1 iqn.2009-08.com.haoyuan-inc.disk3
#上述表示已經(jīng)掛載成功
#使用iscsiadmin登陸target：
[root@10_0_70_61 ~]# iscsiadm -m node -T iqn.2009-08.com.haoyuan-inc.disk1 -p 10.0.40.31 -l
Logging in to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk1, portal: 10.0.40.31,3260]
Login to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk1, portal: 10.0.40.31,3260]: successful
[root@10_0_70_61 ~]# iscsiadm -m node -T iqn.2009-08.com.haoyuan-inc.disk2 -p 10.0.40.31 -l
Logging in to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk2, portal: 10.0.40.31,3260]
Login to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk2, portal: 10.0.40.31,3260]: successful
[root@10_0_70_61 ~]# iscsiadm -m node -T iqn.2009-08.com.haoyuan-inc.disk3 -p 10.0.40.31 -l
Logging in to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk3, portal: 10.0.40.31,3260]
Login to [iface: default, target: iqn.2009-08.com.haoyuan-inc.disk3, portal: 10.0.40.31,3260]: successful
#掃描本地硬盤:
[root@10_0_70_61 ~]# fdisk -l
Disk /dev/sda: 8589 MB, 8589934592 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1         521     4184901   83  Linux
/dev/sda2             522        1043     4192965   82  Linux swap / Solaris
Disk /dev/sdb: 8595 MB, 8595385344 bytes
64 heads, 32 sectors/track, 8197 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        8197     8393712   83  Linux
Disk /dev/sdc: 8595 MB, 8595417600 bytes
64 heads, 32 sectors/track, 8197 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1        8197     8393712   83  Linux
Disk /dev/sdd: 8578 MB, 8578967040 bytes
64 heads, 32 sectors/track, 8181 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1        8181     8377328   83  Linux
六、配置rhcs1和rhcs2分別enable基于集群的lvm-clvm：
#開啟集群
Lvmconf --enable-cluster
#添加開機啟動
Chkconfig clvmd on
啟動clvmd服務
Server clvmd start
[root@10_0_70_51 ~]# lvmconf --enable-cluster
[root@10_0_70_51 ~]# chkconfig clvmd on
[root@10_0_70_51 ~]# service clvmd start
[root@10_0_70_61 ~]# lvmconf --enable-cluster
[root@10_0_70_61 ~]# chkconfig clvmd on
[root@10_0_70_61 ~]# service clvmd start
七、配置GFS和CLUSTER
7.1 基本設置
#初始化luci：
Luci_admin init
#添加開機啟動
Chkconfig clvmd on
#重啟動 luci服務
Service luci restart
[root@10_0_40_31 ~]# luci_admin init
Initializing the luci server
Creating the 'admin' user
Enter password:
Confirm password:
Please wait...
The admin password has been successfully set.
Generating SSL certificates...
The luci server has been successfully initialized
You must restart the luci server for changes to take effect.
Run "service luci restart" to do so
[root@10_0_40_31 ~]# chkconfig clvmd on
[root@10_0_40_31 ~]# service luci restart
Shutting down luci: [  OK  ]
Starting luci: Generating https SSL certificates...  done
[  OK  ]
Point your web browser to https://10_0_40_31:8084 to access luci
#登陸luci ，如圖：

#如出現(xiàn)Site Error 這樣可以解決：
IE中的設置,點擊IE菜單欄中的"工具"--"Internet 首選項"---"常規(guī)"點擊語言按鈕,添加英語,將將設為最優(yōu)先.
7.2 創(chuàng)建hy0-cluster基本框架
#添加機器到集群，如圖：

#提交后結果，如圖：

#在經(jīng)過install-reboot-configure-join四個過程后，hy0-cluster基本形成，如圖：

#查看hy0-cluster的狀態(tài)：

#綠色表示正常
#查看運行的服務,cman&rgmanager

7.3 設置共享存儲
#點擊storage-system-list-rhcs1-haoyuan-inc.com,如圖：

#點擊Volume Groups 點擊New Volume Group 輸入名稱：HyVol，選擇 /dev/sdb  /dev/sdc  /dev/sdc 點擊create ，如圖：

#點擊New Logical Volume按鈕，創(chuàng)建邏輯卷,如圖：

Name：HyVol
Content：gfs2
GFS name：Hy-lv
Mountpoint：/lv
Number:3
創(chuàng)建完畢后，結果如下：

#查看
[root@10_0_70_61 mapper]# df -lh
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             3.9G  3.2G  531M  86% /
tmpfs                1006M     0 1006M   0% /dev/shm
/dev/shm             1006M     0 1006M   0% /tmp
/dev/mapper/HyVol-hy_lv
                       24G   67M   24G   1% /lv
#/etc/fstab
..........
/dev/mapper/HyVol-hy_lv /lv gfs2 defaults 0 0
八、補充說明
以上為luci方式配置的集群，這種方法最為方便，其他方式有向?qū)Ш兔�令方式，向�(qū)Х绞胶蚻uci方式大致相同暫略，下面為命令行方式配置步驟：
　　#基本環(huán)境：
　　#iscsi—target：
　　IP：10.0.40.31
　　DNS：target.haoyuan-inc.com
　　#iscsi—initiator：
　　IP：10.0.70.51
　　DNS：rhcs1.haoyuan-inc.com
　　#iscsi—initiator：
　　IP：10.0.70.61
　　DNS：rhcs2.haoyuan-inc.com
　　#安裝軟件包
　　[rhcs1 and rhcs2] yum install -y cman gfs-utils kmod-gfs kmod-dlm modcluster ricci cluster-snmp iscsi-initiator-utils lvm2-cluster openais oddjob rgmanager
　　#配置iscsi-initiator
　　[rhcs1 and rhcs2] echo -e "node.startup = automatic\nnode.session.auth.username = ISCSI_USER\nnode.session.auth.password = ISCSI_PASS\ndiscovery.sendtargets.auth.username = ISCSI_USER\ndiscovery.sendtargets.auth.password = ISCSI_PASS\nnode.session.timeo.replacement_timeout = 120\nnode.conn[0].timeo.login_timeout = 15\nnode.conn[0].timeo.logout_timeout = 15\nnode.conn[0].timeo.noop_out_interval = 10\nnode.conn[0].timeo.noop_out_timeout = 15\nnode.session.iscsi.InitialR2T = No\nnode.session.iscsi.ImmediateData = Yes\nnode.session.iscsi.FirstBurstLength = 262144\nnode.session.iscsi.MaxBurstLength = 16776192\nnode.conn[0].iscsi.MaxRecvDataSegmentLength = 65536">/etc/iscsi/iscsid.Conf
　　#ISCSI_USER 更改為你的用戶名
　　#ISCSI_PASS 更改為你的密碼
　　#啟動iscsi服務
　　[rhcs1 and rhcs2] service iscsi start
　　#查看iscsi-target端列表
　　[rhcs1 and rhcs2] iscsiadm -m discovery -t sendtargets -p 10.0.40.31
　　#重啟iscsi服務
　　[rhcs1 and rhcs2] service iscsi restart
　　#查看結果
　　[rhcs1 and rhcs2] disk -l
　　/dev/sdb
/dev/sdc
/dev/sdd
　　#已經(jīng)成功掛載iscsi 設備
　　#配置/etc/hosts文件
　　[rhcs1 and rhcs2 and iscsi-server] vi /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1        localhost.localdomain  localhost
::1             localhost6.localdomain6  localhost6
10.0.40.31 target.haoyuan-inc.com target
10.0.70.51 rhcs1.haoyuan-inc.com rhcs1
10.0.70.61 rhcs2.haoyuan-inc.com rhcs2
　　#配置節(jié)點
　　[rhcs1 and rhcs2]
　　ccs_tool create MyGFSCluster
　　ccs_tool addfence -C node1_ipmi fence_ipmilan ipaddr=192.168.255.1 login=root passwd=密碼
　　ccs_tool addfence -C node2_ipmi fence_ipmilan ipaddr=192.168.255.2 login=root passwd=密碼
　　ccs_tool addnode -C rhcs1 -n 1 -v 1 -f node1_ipmi
　　ccs_tool addnode -C rhcs2 -n 2 -v 1 -f node2_ipmi
　　service cman start
　　cman_tool nodes
　　Node Sts   Inc   Joined               Name
　　1   M      4                        rhcs1
　　2   M     16                        rhcs2
　　#啟動GFS服務
　　service gfs start ;
　　service gfs2 start ;
　　#啟動clvmd服務
　　service clvmd start
　　#開啟cluster
　　lvmconf --enable-cluster
　　#裝機GFS文件系統(tǒng)
　　[rhcs1]
　　pvcreate /dev/sda
　　vgcreate vg_test /dev/sda
　　lvcreate -n GFStest -L 9G vg_test
　　gfs_mkfs -j 4 -p lock_dlm -t MyGFSCluster:FirstGFSVolume /dev/vg_test/GFStest
　　#啟動相關服務
　　[rhcs1 and rhcs2]
　　chkconfig gfs on
　　chkconfig gfs2 on
　　chkconfig clvmd on
　　chkconfig cman on
　　chkconfig iscsi on
　　chkconfig acpid off
　　#掛載邏輯卷
　　echo "/dev/vg_test/GFStest /mnt gfs defaults 0 0" >>/etc/fstab
　　mount /mnt
　　#驗證配置結果
　　[rhcs1]
　　Filesystem    Type    Size Used Avail Use% Mounted on
　　/dev/hda1     ext3    8.8G 695M 7.6G   9% /
　　tmpfs        tmpfs    506M     0 506M   0% /dev/shm
　　/dev/mapper/gfstest-lvgfstest
　　gfs     19G   11M   19G   1% /mnt
　　[rhcs2]
　　Filesystem    Type    Size Used Avail Use% Mounted on
　　/dev/hda1     ext3    8.8G 695M 7.6G   9% /
　　tmpfs        tmpfs    506M     0 506M   0% /dev/shm
　　/dev/mapper/gfstest-lvgfstest
　　gfs     19G   11M   19G   1% /mnt


本文來自ChinaUnix博客，如果查看原文請點：http://blog.chinaunix.net/u3/109111/showart_2134677.html