solaris 10, oracle 10g rac, iscsi，sun cluster 3.2u1配置細(xì)節(jié)探討

syslog

最近裝了幾套suncluster 3.2u1 + oracle 10g rac，一點(diǎn)看法與各位分享。本人水平菜鳥級(jí)的，說錯(cuò)了請(qǐng)指出來。實(shí)際上安裝的主要工作在系統(tǒng)環(huán)境的準(zhǔn)備上，下面的步驟著重描述準(zhǔn)備工作。下面的內(nèi)容供參考，如果根據(jù)下面的描述進(jìn)行工作出現(xiàn)問題，本人概不負(fù)責(zé)。版權(quán)沒有，轉(zhuǎn)載注明出處即可。

1、安裝系統(tǒng)時(shí)盡量少分區(qū)，EIS要求不分/var。分區(qū)少臨時(shí)dump備份就省力，slice號(hào)也夠，像/usr完全沒有必要分出來，看到分/usr分區(qū)的基本都玩IBM出身的。安裝程序和腳本不要跟os占用的文件系統(tǒng)攪和到一起，可以單獨(dú)劃到/export/home下。

2、主機(jī)名盡量按照下面原則選�。簾o大寫字母，無下劃線，無連接符，第一個(gè)為字母。

3、劃分共享磁盤可以按照下面的原則進(jìn)行，如果確定控制器號(hào)/磁盤號(hào)在兩個(gè)節(jié)點(diǎn)上一致，可以將oracle crs要用到的OCR/VOTE單獨(dú)劃分出來，因?yàn)閛racle crs要求兩端磁盤號(hào)一致，如果確定不一致則只好后期用SVM來封裝了，能不封裝就不封裝。

oracle推薦使用2ocr/3vote來保證可用，當(dāng)然是用外部冗余各一份也是可以的。很多人推薦ocr劃100MB，vote劃20MB，這里推薦劃分3個(gè)1G的小盤來做OCR/VOTE，在上面劃分2個(gè)單獨(dú)的slice，例如slice6、slice7，ocr分256MB~512MB，vote 128MB，同時(shí)記得修改slice權(quán)限，查看權(quán)限使用ls -lL；使用format劃分的時(shí)候?qū)�slice0和slice1各劃分16MB，這樣能保存0c上的vtoc，并在slice1上有一個(gè)備份vtoc，如果將所有sector都分給OCR/vote裸磁盤會(huì)導(dǎo)致oracle CRS格式化OCR/VOTE時(shí)覆蓋vtoc導(dǎo)致無法進(jìn)行CRS初始化并報(bào)錯(cuò)。當(dāng)然是用svm/did來封裝后不存在該問題，但我認(rèn)為沒有封裝更有利，如果有一個(gè)ocr/vote磁盤臨時(shí)丟失可能導(dǎo)致CRS離線，因?yàn)閙etaset上的metadb也臨時(shí)丟失，當(dāng)有3個(gè)盤的時(shí)候則可以一定程度這個(gè)問題，另外封裝后需要跟rac framework打交道，個(gè)人認(rèn)為還是直接從系統(tǒng)級(jí)磁盤劃分更合適。當(dāng)然你也可以劃分5個(gè)小盤，那樣ocr/vote盤都分離了。

注意oracle crs的vote跟suncluster的quorom概念不太相同，不要搞混了。

避免ocr/vote盤跟數(shù)據(jù)磁盤攪到一起，使用svm/OBAN時(shí)數(shù)據(jù)metaset如果要clear一個(gè)metadevice，并且繼續(xù)利用該metadevice號(hào)時(shí)，需要metaset -s set -w釋放metaset，這樣才能繼續(xù)使用該metadevice號(hào)。（如果不對(duì)請(qǐng)指出）

后期在數(shù)據(jù)磁盤上劃分軟分區(qū)，如果沒有使用did設(shè)備做svm raid，建議使用did設(shè)備直接劃分軟分區(qū)，比如metainit -s oraset d0 -p /dev/did/dsk/d9s0 4g，如果使用了svm raid，則只好從已經(jīng)存在的metadevice上劃分軟分區(qū)

4、心跳線的選擇，oracle crs如果沒有suncluster配合，則public可以用ipmp機(jī)制，private建議使用一條心跳，按照下面文章的觀點(diǎn)，只用oracle crs時(shí)如果采用多條心跳可能有問題；一旦使用suncluster后，suncluster會(huì)創(chuàng)建一個(gè)clprivnet0的虛擬網(wǎng)卡，具有負(fù)載均衡和動(dòng)態(tài)切換的能力，強(qiáng)烈建議在安裝crs時(shí)選擇網(wǎng)卡使用方法時(shí)將心跳選擇為clprivnet0，而ipmp則選擇suncluster默認(rèn)的public ipmp組即可
[url]http://www.sun.com/software/whitepapers/solaris10/solaris_cluster.pdf[/url]

5、網(wǎng)卡鏈路聚合可以用在suncluster上，但在普通交換機(jī)上似乎無法跨交換機(jī)做聚合，仍然會(huì)造成交換機(jī)掉電導(dǎo)致的單點(diǎn)故障。

6、當(dāng)使用iscsi磁盤時(shí)可以使用solaris10自帶的iscsi initiator軟件，當(dāng)使用第三方軟件的時(shí)候注意啟動(dòng)initiator服務(wù)的時(shí)間順序。使用iscsi磁盤時(shí)，oracle推薦ocr/vote使用2/3個(gè)來保證冗余。另外，使用iscsi盤而沒有iscsi hba卡，而使用普通網(wǎng)卡+軟件時(shí)，最好將iscsi存儲(chǔ)網(wǎng)絡(luò)和公網(wǎng)通信網(wǎng)絡(luò)放在一個(gè)網(wǎng)內(nèi)，否則存儲(chǔ)網(wǎng)絡(luò)似乎不方便使用ipmp，也就不能避免存儲(chǔ)網(wǎng)絡(luò)單點(diǎn)故障；因?yàn)橛袃山M網(wǎng)關(guān)，一個(gè)是公網(wǎng)網(wǎng)關(guān)，另一個(gè)是存儲(chǔ)網(wǎng)關(guān)，聽說可以關(guān)掉ipmp對(duì)網(wǎng)關(guān)的探測來實(shí)現(xiàn)單網(wǎng)關(guān)。多個(gè)網(wǎng)關(guān)在suncluster上是不支持的，默認(rèn)創(chuàng)建的/etc/notrouter阻止in.routed啟動(dòng)。
不知各位有何妙計(jì)。

7、據(jù)我的觀察，OUI只在啟動(dòng)時(shí)讀取hosts表，故請(qǐng)先設(shè)置好ipmp，hosts表，包括private/heartbeart ip名，有suncluster時(shí)如果使用默認(rèn)心跳，將clprivnet0的兩個(gè)ip設(shè)置為CRS心跳ip通過的網(wǎng)卡。不需要的網(wǎng)卡一律not use。

8、當(dāng)執(zhí)行root.sh等腳本時(shí)，雖然使用root權(quán)限，最好cd到oracle用戶的home目錄下，否則有時(shí)候會(huì)報(bào)警告。
執(zhí)行root.sh時(shí)要等第一個(gè)節(jié)點(diǎn)完成后才能繼續(xù)，不能同時(shí)執(zhí)行，執(zhí)行完成后繼續(xù)，可能需要執(zhí)行vipca。如果vipca不能順利啟動(dòng)gsd，不用管它，繼續(xù)retry 配置向?qū)�，�?dāng)都配置完成后重新啟動(dòng)機(jī)器即可啟動(dòng)crs，使用crs_stat -t看一眼。

9、裝操作系統(tǒng)后建議在每次裝完大量軟件后使用df -k, svcs -x, svcs -a|wc, svcs |wc, ls -l /var/sadm/pkg|wc, ls -l /var/sadm/patch|wc來保證兩端安裝得比較接近，不能差得太離譜，兩個(gè)節(jié)點(diǎn)硬件不同除外。注意cacao軟件包在sol10u5和suncluster 3.2u1下是2.1版，裝好后打上補(bǔ)丁，在下次重啟或者手動(dòng)啟動(dòng)后查看狀態(tài)，該軟件是java運(yùn)行時(shí)框架，聽說如果沒正確運(yùn)行有時(shí)候會(huì)導(dǎo)致故障。配置rac-framework-rg前先裝上ORCLudlm包，該軟件包位于clusterware的racpatch下，手動(dòng)裝；裝完后可以改一下udlm.conf里面的lock資源大小，不改也行。注冊(cè)rac-framework-rg可以使用scsetup等命令向?qū)�完成，也可以按照EIS-checklist描述手動(dòng)注冊(cè)，默認(rèn)注冊(cè)通信端口會(huì)占用6000，而該端口為ssh X11 forwarding默認(rèn)端口，故手動(dòng)注冊(cè)可以選擇為7000，或者向?qū)ё��?cè)好后用scconf來修改，也可以用scsetup向?qū)�修改�?br />
10、如果suncluster的quorum選擇ocr/vote盤上，要特別注意ocr/vote格式化后是不是將quorum信息清掉了，查看命令可以用
#scstat -q
#clquorum show
#pgre -c pgre_inkeys -d /dev/did/rdsk/d9s2 (默認(rèn)是scsi2磁盤)
#scsi -c inkeys -d /dev/did/rdsk/d9s2 (當(dāng)強(qiáng)制為prefer3或當(dāng)前磁盤強(qiáng)制為scsi3時(shí))
#pgre -c pgre_inresv -d /dev/did/rdsk/d9s2 可以查看當(dāng)前quorum被誰占有
如果確實(shí)被清掉了，可以將quorum信息找回來，下面的命令有可能導(dǎo)致節(jié)點(diǎn)問題，謹(jǐn)慎使用
#pgre -c pgre_scrub -d /dev/did/rdsk/d9s2 (兩個(gè)節(jié)點(diǎn)執(zhí)行)
#clquorum disable d9
#clquorum enable d9

還有一些東西想不起來了，想起來了加上去吧。

jjqing

這么好的貼，竟然沒人頂！

guopy007

LZ夠謙虛的 這么都還菜鳥呢。。。。。學(xué)習(xí)了

twinklezcf

考慮的角度不同,能了解原理對(duì)闡述問題會(huì)更有幫助,好貼...

放飛藍(lán)色夢想

不錯(cuò)的帖子，贊一個(gè)

zhmzhouming

嗯，也是好貼，既然翻出來了，我頂。

easybegin

太長了，先mark一下

dskedou

終于找到這方面的內(nèi)容了，謝謝。

zyl555

留個(gè)名，不錯(cuò)的東西