HDS+HP9000數據遷移,重做MC/SG

zlg88

HDS+HP9000數據遷移,重做MC/SG


    客戶新購HDS USP存儲和Brocade 48000交換機,需要把原HP XP512和HP VA7410上的業(yè)務和數據遷移到新存儲上.原環(huán)境有兩套MC/SG群集,分別是兩臺RP8420的群集1,兩臺RP7410和一臺Superdome的三機群集2.

方案分幾步走,第一天把群集1的備機和群集2的一臺Rp7410備機拆到HDS USP上,接下來數據復制到HDS USP上.原系統(tǒng)仍提供服務.
第二天停業(yè)務把增量數據復制到HDS USP上,遷移應用系統(tǒng),由兩臺連新存儲的主機提供服務.
接下來的幾天做測試,如果測試失敗則回退到原來環(huán)境.
測試階段完成后再把群集1里剩下的一臺RP8420和群集2里的Superdome移到新存儲上來.然后新環(huán)境重新做兩套群集.原群集2里剩下那臺RP7410單機跑次要業(yè)務.


第一天,兩臺機器cmhaltnode后把HBA卡的光纖連到Brocade 48000交換機上,HDS工程師從USP上做MAP.然后ioscan,insf認出日立的盤后安裝HDLM,配多路徑,按要求重啟系統(tǒng).
這樣就可以用/usr/DynamicLinkManager/bin/dlnkmgr view -lu命令看到LDEV和盤符的關系了.注意在群集里不同的主機上生成的盤符可能不同,只要對應相同的LDEV,那就是同一個LUN.而且HDLM做出來的盤符與HPUX缺省的cXtYdZ不同了,是chXtYdZ在做MC/SG時與傳統(tǒng)的方法不同了.完成后客戶自已復制數據.

第二天停業(yè)務后客戶把增量數據復制到HDS USP上,遷移應用系統(tǒng),用兩臺連新存儲的主機提供服務.工程師在現場整個晚上就建了幾個VG,等了一個通宵.

過了幾天遷另一臺RP8420和Superdome遇到的麻煩就多啦.
由于第二臺RP8420需要同時連VA7410和USP,HDS工程師做HDLM多路徑時沒把VA7410的LUN全部排除掉,引起宕機半夜把HP原廠工程師也叫了過來,排除故障都已經快臨晨4點了.Superdome的HPUX 11.11版本又太老,沒升級補丁,新版HDLM裝不上,生產系統(tǒng)又不能隨意打補丁.又搞了好長時間,好不容易找到一套老版HDLM裝上.客戶申請的停機時間也到了,只能停下來恢復成第二天的狀態(tài),兩套群集只能配一下不能啟了.下面是配群集的過程

先做節(jié)點間的信任關系,/.rhosts和/etc/hosts文件,然后用ping,nslookup,rlogin,arp,netstat一一測試通過.
在新節(jié)點上做
mkdir /dev/applyvg
mknod /dev/applyvg/group c 64 0x020000
注意這里的0x020000最好與主節(jié)點一致.
在已經提供服務的主機上做
vgexport -v -p -m /tmp/applyvg.map -f /tmp/applyvg.out applyvg
注意這里沒有-s參數了,-f參數導出盤符.然后把MAP和OUT文件rcp到另一節(jié)點上,先在兩個節(jié)點上分別執(zhí)行
/usr/DynamicLinkManager/bin/dlnkmgr view -lu
確認新節(jié)點的LDEV對應的chXtYdZ盤符,以此對applyvg.out進行改動.完成后執(zhí)行
vgimport -v -m /tmp/applyvg.map -f /tmp/applyvg.out /dev/applyvg
建鎖盤,鎖盤雖然也在USP上,但不做HDLM多路徑,盤符仍是原來的cXtYdZ.兩個節(jié)點上分別執(zhí)行
mkdir /dev/vglock
mkmod /dev/vglock/group c 64 0x030000
在任一節(jié)點上執(zhí)行
pvcreate /dev/rdsk/c33t6d0
vgcreate /dev/vglock /dev/dsk/c33t6d0 /dev/dsk/c43t6d0
這里要把兩條路徑都加入VG
vgexport -v -p -s -m /tmp/vglock.map vglock
把MAP文rcp到另一節(jié)點上執(zhí)行
vgimport -v -s -m /tmp/vglock.map /dev/vglock


配置Cluster
先在一臺RP8420上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n app1 -n app2
返回網絡權限錯誤,用ping,nslookup,rlogin,arp,netstat測試找不到原因.兩臺RP8420的群集就做不下去了.

在Superdome上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n db1 -n db2
成功生成/etc/cmcluster/cluster.conf文件,按實際環(huán)境改了后做
cmcheckconf -v -k -C /etc/cmcluster/cluster.conf
居然返回原來三機群集的Check信息.估計原配置信息沒刪除干凈,但又找不到在哪里,Superdome和RP7410的群集也做不下去了.

想到用cmdeleteconf來刪除Superdome上的原配置信息,但環(huán)境已經改變,連hostname都更改了.估計不能解決問題,也沒敢這樣做.Google上也搜不到相關資料.第二天打HP800電話問了才知道配置信息是保存在群集每個節(jié)點上,刪除時必需每個節(jié)點都要刪干凈,我只清空了一個節(jié)點的/etc/cmcluster.不管做cmquerycl還是cmcheckconf都會到其它節(jié)點上去找原配置的二進制文件.所以這里的故障現象雖然完全不同,原因卻是相同的.

接下來第二天晚上做就太順利了
在兩臺RP8420上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n app1 -n app2
成功生成/etc/cmcluster/cluster.conf文件,按實際環(huán)境改了后做
cmcheckconf -v -k -C /etc/cmcluster/cluster.conf
沒有錯誤后執(zhí)行
vgchange -a y vglock
cmapplyconf -v -C /etc/cmcluster/cluster.conf
vgchange -a n vglock
cmruncl-v
確認后執(zhí)行
cmhaltcl -f -v
在RP7410和Superdome上清空/etc/cmcluster然后執(zhí)行
cmquerycl -v -C /etc/cmcluster/cluster.conf -n db1 -n db2
成功生成/etc/cmcluster/cluster.conf文件,按實際環(huán)境改了后做
cmcheckconf -v -k -C /etc/cmcluster/cluster.conf
沒有錯誤后執(zhí)行
vgchange -a y vglock
cmapplyconf -v -C /etc/cmcluster/cluster.conf
vgchange -a n vglock
cmruncl-v
確認后執(zhí)行
cmhaltcl -f -v

配置PKG
兩套群集命令都相同
cmmakepkg -p /etc/cmcluster/pkgname/pkgname.ascii
vi /etc/cmcluster/pkgname/pkgname.ascii
cmmakepkg -s /etc/cmcluster/pkgname/pkgname_control.sh
vi /etc/cmcluster/pkgname/pkgname_control.sh
把控制文件pkgname_control.sh通過rcp到其它節(jié)點
cmcheckconf -v -P /etc/cmcluster/pkgname/pkgname.ascii
沒有錯誤后執(zhí)行
vgchange -c n vglock
vgchange -a y vglock
cmapplyconf -v -P /etc/cmcluster/pkgname/pkgname.ascii
cmruncl -v
測試應用.

總結:
1,做了HDLM多路徑后生成chXtYdZ盤符,在做導出時去掉-s參數,加上-f參數
vgexport -v -p -m /tmp/applyvg.map -f /tmp/applyvg.out applyvg
導入時按本節(jié)點的LDEV對應盤符情況更改out文件,LDEV對應盤符用下面命令確認
/usr/DynamicLinkManager/bin/dlnkmgr view -lu
導入時也得用下面的命令
vgimport -v -m /tmp/applyvg.map -f /tmp/applyvg.out /dev/applyvg
2,刪除原來群集信息時一定要在所有節(jié)點上清空/etc/cmcluster,否則會出現奇奇怪怪的錯誤.




本文來自ChinaUnix博客，如果查看原文請點：http://blog.chinaunix.net/u/4005/showart_473614.html