centos下建立高可用集群

wanghuan03301

于 CentOS 5.2 的RHCS 的高可用性解決方案
作者：liheng
本文所參考的資源：
史應(yīng)生《紅帽集群高可用性配置管理和維護(hù)之最強(qiáng)版》、《基于紅帽RHEL5U2 GFS2+ISCSI+XEN+Cluster 的高可性解決方案-最新技術(shù)版》
鳥(niǎo)哥Linux 私房菜：
http://linux.vbird.org/
網(wǎng)友分享區(qū)的 《 MySQL on RHCS 》
RedHat doc:
http://www.redhat.com/docs

《 Cluster_Suite_Overview5.2 》、《 Cluster_Administration5.2 》
        感謝以上IT Pro的無(wú)私奉獻(xiàn)，沒(méi)有你們，我想我不可能體驗(yàn)到RHCS ！
簡(jiǎn)介：
不間斷的無(wú)故障的業(yè)務(wù)運(yùn)行環(huán)境是每一個(gè)企業(yè)IT系統(tǒng)部署要求的重中之重。任何一個(gè)發(fā)生在關(guān)鍵服務(wù)上的停頓故障都會(huì)導(dǎo)致直接和間接的企業(yè)經(jīng)濟(jì)損失以及客戶的
滿意度下降。雖然Linux操作系統(tǒng)已經(jīng)提供高度的容錯(cuò)能力，但是關(guān)鍵業(yè)務(wù)系統(tǒng)仍舊需要成熟的技術(shù)來(lái)實(shí)現(xiàn)服務(wù)的高可用性，盡可能減少和縮短服務(wù)停頓的次數(shù)
和時(shí)間。傳統(tǒng)的通過(guò)冗余和復(fù)制硬件設(shè)備的解決方式既昂貴且局限性大，用戶只能通過(guò)這樣的方式解決企業(yè)中最關(guān)鍵的業(yè)務(wù)應(yīng)用對(duì)于可用性的要求。
因此很多企業(yè)內(nèi)部的重要應(yīng)用由于缺乏高性價(jià)比的方案而失去保護(hù)，面臨著災(zāi)難后的長(zhǎng)時(shí)間恢復(fù)和數(shù)據(jù)的丟失。
同樣的情況下，當(dāng)企業(yè)的IT部門(mén)需要對(duì)關(guān)鍵應(yīng)用所處軟硬件環(huán)境進(jìn)行調(diào)整，或僅僅是作系統(tǒng)維護(hù)的時(shí)候，這種計(jì)劃內(nèi)的停機(jī)也會(huì)造成應(yīng)用重新上線前的長(zhǎng)時(shí)間服務(wù)
停止以及潛在的數(shù)據(jù)丟失。
計(jì)算機(jī)集群作為一種技術(shù)近兩年也越來(lái)越受到大家的關(guān)注，這也是因?yàn)楹Ａ啃畔⒌牟粩鄰S商要求計(jì)算機(jī)提升自己的性能，在不能有效的更換硬件設(shè)備的情況下，就要通過(guò)網(wǎng)絡(luò)手段，將多臺(tái)服務(wù)器通過(guò)高速的局域網(wǎng)連接，實(shí)現(xiàn)統(tǒng)一管理，分布式運(yùn)算，提高整體系統(tǒng)的性能。
商業(yè)的 Unix 市場(chǎng)中，高可用性 ( High Availability ) 是銷(xiāo)售Unix 服務(wù)器解決方案的關(guān)鍵。事實(shí)上每個(gè) Unix
供貨商都有他們自己的高可用性軟件解決方案，例如IBM 的高可用性叢集軟件解決方案，就是 AIX 上的HACMP ( High
Availability Cluster Multi-Processing ） 。其它主要的 Unix 供貨商像 HP，Sun，DEC
和其它的供貨商有許多類(lèi)似的軟件解決方案可用。High Availability 是現(xiàn)今銷(xiāo)售Unix
給許多企業(yè)的關(guān)鍵。特別對(duì)于需要web-based 和其它必須一整年，每周七天，每天 24
小時(shí)可用的服務(wù)器。至于新竄起的網(wǎng)格運(yùn)算市場(chǎng)而言更是如此。
Red Hat 公司在2007年發(fā)布Red Hat Enterprise Linux 5
時(shí)，就將原本是作為獨(dú)立軟件發(fā)售的用于構(gòu)建企業(yè)級(jí)集群的集群套件redhat cluster
suite(RHCS,紅帽集群套件)集成到了操作系統(tǒng)中一同發(fā)布，將RHCS集成到系統(tǒng)中，這意味著將是RHEL產(chǎn)品在集群功能方面的提升。而且
RHCS的安裝與管理也將會(huì)變得更容易掌握。
紅帽的企業(yè)集群解決方案(RHCS)是全球領(lǐng)先的高可用性解決方案，專為紅帽企業(yè)Linux量身定做，是全球企業(yè)Linux廠商中唯一提供原生集群解決方
案的廠商。RHCS集群經(jīng)過(guò)紅帽公司全球研發(fā)團(tuán)隊(duì)以及廣大開(kāi)發(fā)者社區(qū)的多年打造，已經(jīng)成為企業(yè)級(jí)Linux平臺(tái)上頂尖的高可用解決方案。
紅帽RHCS集群采用了業(yè)界成熟的技術(shù)和主流國(guó)際標(biāo)準(zhǔn)，遵循高度安全和可靠的苛刻要求，被廣泛的部署在電信，金融，政府，軍隊(duì)，制造，醫(yī)療，商貿(mào)，教育等各行業(yè)。
         
通過(guò)長(zhǎng)年于主流硬件制造商及軟件制造商的研發(fā)協(xié)作與合作，紅帽RHCS集群已經(jīng)在幾乎所有主流硬件平臺(tái)上運(yùn)行，并且高度支持主流的數(shù)據(jù)庫(kù)及中間件應(yīng)用，針
對(duì)絕大多數(shù)網(wǎng)站/網(wǎng)絡(luò)所必須的應(yīng)用服務(wù)也提供了完整的支持。
紅帽RHCS集群方案已經(jīng)預(yù)置了對(duì)主要網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)服務(wù)的支持，用戶可通過(guò)紅帽全球?qū)＜曳��?wù)(GlobalProfessional
Service)完成對(duì)特殊服務(wù)和應(yīng)用的集群定制部署。
        以上花了如此一大篇的篇幅介紹集群技術(shù)與Red Hat Cluster Suite ,那么集群究竟是怎么一回事？那么Red
Hat Cluster Suite 又憑什么能夠成為L(zhǎng)inux 平臺(tái)上頂尖的高可用解決方案呢？下面就以這兩個(gè)問(wèn)題展開(kāi)討論：
一、什么是集群？
一個(gè)集群是由兩臺(tái)或更多臺(tái)計(jì)算機(jī)（也可以稱為節(jié)能或成員）同時(shí)工作來(lái)執(zhí)行一個(gè)任務(wù)。群集一般可以分為存儲(chǔ)、高可用群集、高性能群集、負(fù)載均衡群集四大類(lèi)。下面分別對(duì)這四類(lèi)集群進(jìn)行簡(jiǎn)單說(shuō)明，以及介紹在紅帽群集套件是通過(guò)哪一部分功能來(lái)實(shí)現(xiàn)這一系列功能。
存儲(chǔ)集群在一個(gè)集群中為服務(wù)提供一個(gè)一致的文件系統(tǒng)映像，允許服務(wù)同時(shí)去讀寫(xiě)一個(gè)單一的共享文件系統(tǒng)。存儲(chǔ)集群通過(guò)將數(shù)據(jù)放到一個(gè)共享文件系統(tǒng)中從而消除
了在應(yīng)用程序間拷貝數(shù)據(jù)的麻煩，并提供一個(gè)單一的備份和故障恢復(fù)點(diǎn)。Red Hat Cluster Suite通過(guò)Red Hat
GFS提供一個(gè)存儲(chǔ)集群。
Red Hat Cluster
Suit高可用性集群通過(guò)消除單一故障點(diǎn)和節(jié)點(diǎn)故障轉(zhuǎn)移功能（當(dāng)一個(gè)集群節(jié)點(diǎn)失敗后將服務(wù)轉(zhuǎn)移到其他節(jié)點(diǎn)上）來(lái)提供高可用性。節(jié)點(diǎn)故障轉(zhuǎn)移功能對(duì)客戶端是
透明的，當(dāng)節(jié)點(diǎn)失敗后客戶端并不會(huì)看到節(jié)點(diǎn)之間的服務(wù)轉(zhuǎn)移。Red Hat Cluster
Suite通過(guò)高可用性服務(wù)管理組件來(lái)提供一個(gè)高可用性集群。
負(fù)載均衡集群將服務(wù)請(qǐng)求調(diào)度到集群中的多個(gè)節(jié)點(diǎn)上。負(fù)載均衡是一個(gè)低成本、高可用性的集群，因?yàn)槟憧梢愿鶕?jù)負(fù)載情況靈活的添加和刪除節(jié)點(diǎn)。在負(fù)載均衡集群
中當(dāng)一個(gè)節(jié)點(diǎn)失敗后，調(diào)度器會(huì)發(fā)現(xiàn)這個(gè)失敗并停止向此節(jié)點(diǎn)發(fā)送請(qǐng)求。節(jié)點(diǎn)的失敗對(duì)于客戶端是透明的。Red Hat Cluster Suite
通過(guò)LVS（Linux Virtual Server）來(lái)提供負(fù)載均衡集群。
高性能集群在節(jié)點(diǎn)上執(zhí)行并行計(jì)算。高性能集群允許應(yīng)用程序并行計(jì)算從而提高應(yīng)用程序性能。
NOTE：紅帽群集套件暫不支持高性能群集的應(yīng)用。
二、什么是 RHCS ?
RHCS即 RedHat Cluster Suite ，中文意思即紅帽集群套件。紅帽集群套件（RedHat Cluter Suite,
RHCS）是一套綜合的軟件組件，可以通過(guò)在部署時(shí)采用不同的配置，以滿足你的對(duì)高可用性，負(fù)載均衡，可擴(kuò)展性，文件共享和節(jié)約成本的需要。
對(duì)于需要最大正常運(yùn)行時(shí)間的應(yīng)用來(lái)說(shuō)，帶有紅帽集群套件（Red Hat Cluster Suite）的紅帽企業(yè) Linux 集群是最佳的選擇。紅帽集群套件專為紅帽企業(yè) Linux 量身設(shè)計(jì)，它提供有如下兩種不同類(lèi)型的集群：
1、應(yīng)用/服務(wù)故障切換－通過(guò)創(chuàng)建n個(gè)節(jié)點(diǎn)的服務(wù)器集群來(lái)實(shí)現(xiàn)關(guān)鍵應(yīng)用和服務(wù)的故障切換
2、IP 負(fù)載均衡－對(duì)一群服務(wù)器上收到的 IP 網(wǎng)絡(luò)請(qǐng)求進(jìn)行負(fù)載均衡
利用紅帽集群套件，可以以高可用性配置來(lái)部署應(yīng)用，從而使其總是處于運(yùn)行狀態(tài)－這賦予了企業(yè)向外擴(kuò)展（scale-out）Linux
部署的能力。對(duì)于網(wǎng)絡(luò)文件系統(tǒng)（NFS）、Samba 和Apache
等大量應(yīng)用的開(kāi)源應(yīng)用來(lái)說(shuō)，紅帽集群套件提供了一個(gè)隨時(shí)可用的全面故障切換解決方案。而對(duì)于其它大多數(shù)應(yīng)用來(lái)說(shuō)，客戶可以使用紅帽集群套件提供的模板來(lái)創(chuàng)
建自定義的故障切換腳本。如果需要，還可以采用紅帽專業(yè)服務(wù)（Red Hat Professional
Services），由專業(yè)人員提供量身定制的紅帽集群套件部署服務(wù)。
技術(shù)要點(diǎn) ：
1、最多支持128個(gè)節(jié)點(diǎn)（紅帽企業(yè)Linux 3 和紅帽企業(yè)Linux 4 支持 16 個(gè)節(jié)點(diǎn)）。
2、可同時(shí)為多個(gè)應(yīng)用提供高可用性。
3、NFS/CIFS 故障切換：支持 Unix 和 Windows 環(huán)境下使用的高可用性文件。
4、完全共享的存儲(chǔ)子系統(tǒng)：所有集群成員都可以訪問(wèn)同一個(gè)存儲(chǔ)子系統(tǒng)。
5、綜合數(shù)據(jù)完整性：使用最新的 I/O 屏障（barrier）技術(shù)，如可編程的嵌入式和外部電源開(kāi)關(guān)裝置（power switches）。
6、服務(wù)故障切換：紅帽集群套件可以確保及時(shí)發(fā)現(xiàn)硬件停止運(yùn)行或故障的發(fā)生并自動(dòng)恢復(fù)系統(tǒng)，同時(shí)，它還可以通過(guò)監(jiān)控應(yīng)用來(lái)確保應(yīng)用的正確運(yùn)行并在其發(fā)生故障時(shí)進(jìn)行自動(dòng)重啟。
紅帽集群套件可與 x86、AMD64/EM64T 和 Itanium 計(jì)算機(jī)上運(yùn)行的紅帽企業(yè) Linux AS 和紅帽企業(yè) Linux ES 共同使用。像所有紅帽解決方案一樣，它也是以年度訂閱的方式通過(guò)紅帽網(wǎng)絡(luò)提供 。
三、RHCS有哪幾部分組成？
通過(guò)前面的介紹，大家知道RHCS是一套綜合的軟件組件包，那么RHCS是由哪幾部分組成的呢？RHCS主要有下面部分組成：
集群架構(gòu)—提供一個(gè)基本功能使節(jié)點(diǎn)作為集群工作在一起：配置文件管理，成員關(guān)系管理，鎖管理和柵設(shè)備。
高可用性服務(wù)管理--提供節(jié)點(diǎn)失敗轉(zhuǎn)移服務(wù)，當(dāng)一個(gè)節(jié)點(diǎn)失敗后將服務(wù)轉(zhuǎn)移到另一個(gè)節(jié)點(diǎn)上。
集群管理工具—通過(guò)配置和管理工具來(lái)配置和管理Red Hat集群。
Linux Virtual Server (LVS)—LVS提供一個(gè)基于IP的負(fù)載均衡功能，通過(guò)LVS可以將客戶請(qǐng)求均勻的分配到集群節(jié)點(diǎn)上。
你可以通過(guò)下面的組件補(bǔ)充Red Hat集群：
Red Hat GFS (Global File System)--GFS為Red Hat Cluster Suite提供一個(gè)集群文件系統(tǒng)，CFS允許多個(gè)節(jié)點(diǎn)在塊級(jí)別上共享存儲(chǔ)。
Red Hat Cluster Suit
   * Cluster Logical Volume Manager (CLVM)--提供邏輯卷管理集群存儲(chǔ)。
   * Global Network Block Device (GNBD)--GFS的一個(gè)補(bǔ)充組件用于將存儲(chǔ)在塊級(jí)別導(dǎo)出到以太網(wǎng)上。
在上面介紹了如此多的與集群、RHCS相關(guān)的內(nèi)容，現(xiàn)在就言歸真?zhèn)髁�，講一些真正實(shí)用的，與本文密切相關(guān)的內(nèi)容，如讀者對(duì)其他相關(guān)的內(nèi)容感興趣，可以自己
去找找。因?yàn)楸疚闹饕�是針�?duì)于如何使用RHCS構(gòu)建一個(gè)高可用的集群環(huán)境，故本文只會(huì)針對(duì)于RHCS中的高可用集群相關(guān)的內(nèi)容進(jìn)行介紹，其他的內(nèi)容就不作
介紹啦（如果介紹下去，我想那不是一兩篇文檔的事啦）。
首先，先來(lái)熟悉一下本文需要掌握的與RHCS相關(guān)的知識(shí)點(diǎn)：
1、集群節(jié)點(diǎn)（Cluster Node）
集群節(jié)點(diǎn)也稱為集群成員，說(shuō)白了就是一臺(tái)運(yùn)行著的服務(wù)器。
2、故障切換域 (Failover domain)
故障切換域是多個(gè)群集節(jié)點(diǎn)的一個(gè)子集，用來(lái)執(zhí)行特定的群集服務(wù)。
Note：故障切換域是不需要操作的。
為了維護(hù)數(shù)據(jù)的完整性，一個(gè)群集服務(wù)可以在同一個(gè)時(shí)間里只運(yùn)行在一個(gè)群集節(jié)點(diǎn)上。在一個(gè)故障切換域里可以指定個(gè)容錯(cuò)優(yōu)先級(jí)。特定的故障切換優(yōu)先級(jí)包含分配
一個(gè)故障切換優(yōu)先級(jí)別到故障切換域里的每一個(gè)節(jié)點(diǎn)。故障切換優(yōu)先級(jí)別用來(lái)決定故障轉(zhuǎn)移次序-----決定哪一個(gè)節(jié)點(diǎn)上運(yùn)行的群集服務(wù)應(yīng)該進(jìn)行故障切換。如
果沒(méi)有指定故障切換優(yōu)先級(jí)，一個(gè)群集服務(wù)可以故障切換到故障切換域里的任何節(jié)點(diǎn)上。同樣，如果你要限制一個(gè)群集服務(wù)只是運(yùn)行在與它自己相關(guān)聯(lián)的故障切換域
的一個(gè)指定的節(jié)點(diǎn)上，你也可以對(duì)它進(jìn)行指定（當(dāng)同一個(gè)無(wú)限制的故障切換域相關(guān)聯(lián)的時(shí)候，在一個(gè)故障切換域里沒(méi)有任何成員是可用的事件中，群集服務(wù)可以在任
何節(jié)點(diǎn)啟動(dòng)）。


在上圖中，故障切換域1（Failover Domain
1）是配置在它自己的域里進(jìn)行可限制的故障切換的，因?yàn)�，群集服�?wù)X只能在節(jié)點(diǎn)A與節(jié)點(diǎn)B之間進(jìn)行故障切換。故障切換2（Failover
Domain
2）同樣也是配置在它們自己的域里進(jìn)行可限制的故障切換。另外，它還進(jìn)行了故障切換優(yōu)先級(jí)的配置。在故障切換域2中的優(yōu)先級(jí)配置中，節(jié)點(diǎn)C的故障轉(zhuǎn)移優(yōu)先
級(jí)別是1，節(jié)點(diǎn)B的優(yōu)先級(jí)別是2，節(jié)點(diǎn)D的優(yōu)先級(jí)別是3。如果節(jié)點(diǎn)C出現(xiàn)故障，群集服務(wù)Y將故障切換到節(jié)點(diǎn)B，如果不能故障切換到節(jié)點(diǎn)B，那么將嘗試故障
切換到節(jié)點(diǎn)D。故障切換3（Failover Domain
3）是配置成沒(méi)有優(yōu)先級(jí)和限制性的。如果節(jié)點(diǎn)上的群集服務(wù)Z運(yùn)行出錯(cuò)的話，群集服務(wù)Z嘗試故障切換到故障切換域3里的任意一個(gè)節(jié)點(diǎn)上。如果這些節(jié)點(diǎn)都是不
可用的，群集服務(wù)Z將故障切換到集群中的任何一個(gè)節(jié)點(diǎn)。


上圖顯示的是一個(gè)高可用的群集的實(shí)例，在這個(gè)實(shí)例中一個(gè)WEB服務(wù)器命名為“Content-Webserver”，它運(yùn)行集群節(jié)點(diǎn)B上，并且集群節(jié)點(diǎn)B
是在一個(gè)故障切換域里，在這個(gè)故障切換域里包含節(jié)點(diǎn)A、B、D。另外，故障轉(zhuǎn)移域是配置具有一個(gè)故障轉(zhuǎn)移優(yōu)先級(jí)的，這個(gè)故障轉(zhuǎn)移的順序是：B-D-A。并
且故障轉(zhuǎn)移只能在這個(gè)故障轉(zhuǎn)移域的節(jié)點(diǎn)內(nèi)進(jìn)行。群集服務(wù)包含如下集群資源：
IP Address resource-------IP Address 10.10.10.201
一個(gè)應(yīng)用程序資源命名為“httpd-content”-----一個(gè)WEB服務(wù)器應(yīng)用程序的初始腳本“/etc/init.d/httpd(指定的httpd)”
一個(gè)文件系統(tǒng)資源-------- RedHat GFS 命名為“gfs-content-webserver”
客戶端訪問(wèn)群集服務(wù)是通過(guò) IP 地址10.10.10.201。WEB 服務(wù)器應(yīng)用程序 httpd-content
開(kāi)始互動(dòng)操作。httpd-content 應(yīng)用程序使用 gfs-content-webserver
文件系統(tǒng)。如果節(jié)點(diǎn)B出錯(cuò)，content-webserver群集服務(wù)將故障切換到節(jié)點(diǎn)D，如果節(jié)點(diǎn)D是不可用的或者同樣也出錯(cuò)，服務(wù)將故障切換到節(jié)點(diǎn)
A。故障轉(zhuǎn)移將會(huì)造成不會(huì)顯示任何錯(cuò)誤信息給客戶端。群集服務(wù)將通過(guò)一個(gè)相同的IP地址可以從另一個(gè)集群節(jié)點(diǎn)上實(shí)現(xiàn)可訪問(wèn)，因?yàn)樗�是故障切換前的。
故障切換域是可以在一個(gè)發(fā)生故障的節(jié)點(diǎn)中，用來(lái)選擇子組成員有資格來(lái)運(yùn)行群集服務(wù)。故障切換域的特性可以在域創(chuàng)建或域創(chuàng)建之后的時(shí)候指定，他們是：
無(wú)限制的（盡管一個(gè)成員子集是首選的，群集服務(wù)分配到這個(gè)域任何可用的成員上運(yùn)行）
受限制的（限制成員運(yùn)行一個(gè)指定的群集服務(wù)，如果在一個(gè)受限制的故障切換域里沒(méi)有任何一個(gè)成員是可以的，服務(wù)將不能啟動(dòng)）
無(wú)序的（運(yùn)行群集服務(wù)的成員是從可用的故障切換域成員中選擇的，而不是通過(guò)優(yōu)先權(quán)排序）
有序的（在一個(gè)故障切換域中指定一個(gè)首選成員序列表）
默認(rèn)，故障切換域是無(wú)限制和無(wú)序列的。
在群集具有幾個(gè)成員時(shí)，使用一個(gè)受限制的故障切換域可以最小化設(shè)置群集來(lái)運(yùn)行一群集服務(wù)（如 httpd，）的工作量。這就需要你在所有運(yùn)行群集服務(wù)的成員上設(shè)置配置相等性，而不是建立在整個(gè)集群運(yùn)行群集服務(wù)。在受限制的故障切換域里必須設(shè)置唯一的成員與群集服務(wù)相關(guān)聯(lián)。
3、資源（Resource）
有許多集群資源類(lèi)型是可以配置的，以下的三個(gè)資源類(lèi)型將用來(lái)定義提供一個(gè)高可用的WEB服務(wù)功能。
腳本（Script）
IP address
File system
3.1腳本(Script）
腳本資源基本上是參考一個(gè)腳本的執(zhí)行，這個(gè)腳本可以是預(yù)先存在的或出于一個(gè)指定目標(biāo)撰寫(xiě)的。
3.2IP address
這個(gè)資源地址可以用于任何需要資源地址的群集服務(wù)，在同一個(gè)群集服務(wù)相關(guān)聯(lián)后，如果認(rèn)為它是必需的，可以通過(guò)一個(gè)群集成員重新設(shè)置，或者通過(guò)一個(gè)GUI接
口（luci）或命令行。如果任何群集成員提供的服務(wù)變得不可用（如硬件或軟件錯(cuò)誤，網(wǎng)絡(luò)/連通性錯(cuò)誤），服務(wù)IP將自動(dòng)遷移到一個(gè)有資格的成員上。通
常，一部分地址是為不同的群集服務(wù)所保留的。
必須定義一個(gè)地址給WEB服務(wù)用來(lái)發(fā)布HTML內(nèi)容。
4、服務(wù)（Service）
        在這里，這個(gè)服務(wù)（Service）與我們平時(shí)所接觸到的 /etc/init.d/httpd
等應(yīng)用程序是不同的。在RHCS高可用性集群中，服務(wù)(Service)實(shí)際上指的是一系列資源（Resource）的集合。為什么這么說(shuō)呢？大家想一
想，在一個(gè)WEB服務(wù)器應(yīng)用的集群中，如果集群中的主WEB服務(wù)器宕機(jī)啦，另一臺(tái)備用的服務(wù)器開(kāi)始接管WWW服務(wù)，只需要啟動(dòng)
/etc/init.d/httpd
就行了嗎？在一個(gè)高可用性集群中，這樣是不行的，備份服務(wù)器需要全部接管主WEB服務(wù)器所有與集群相關(guān)的資源，包括集群使用的IP地址、網(wǎng)頁(yè)文件存放的目
錄（存放在 sharedisk
上）等，在備份服務(wù)器接管主服務(wù)器的資源時(shí)，首先接管IP地址，之后是網(wǎng)頁(yè)文件存放目錄（Sharedisk），最后才是啟動(dòng)
/etc/init.d/httpd start 命令。
5、Fence Device
通過(guò)柵設(shè)備可以從集群共享存儲(chǔ)中斷開(kāi)一個(gè)節(jié)點(diǎn)。柵設(shè)備從共享存儲(chǔ)切斷I/O以保證數(shù)據(jù)的完整性。當(dāng)CMAN確定一個(gè)節(jié)點(diǎn)失敗后，它在集群結(jié)構(gòu)中通告這個(gè)失敗的節(jié)點(diǎn)，fenced進(jìn)程將失敗的節(jié)點(diǎn)隔離，以保證失敗節(jié)點(diǎn)不破壞共享數(shù)據(jù)。Fenced運(yùn)行在每個(gè)節(jié)點(diǎn)上。
Red Hat Cluster Suite提供下面集中隔離方式：
   * 電源柵設(shè)備
   * 光線通道柵設(shè)備
   * GNBD柵
   * 其他柵設(shè)備
柵設(shè)備實(shí)例
當(dāng)A上的柵進(jìn)程發(fā)現(xiàn)D節(jié)點(diǎn)失效時(shí)，它通過(guò)柵代理通知電源控制器將D節(jié)點(diǎn)隔離。

電源柵設(shè)備實(shí)例
當(dāng)A上的柵進(jìn)程發(fā)現(xiàn)D節(jié)點(diǎn)失效時(shí)，它通過(guò)柵代理通知光纖通道交換設(shè)備將D節(jié)點(diǎn)隔離


光纖通道交換柵設(shè)備實(shí)例
那么為什么RHCS需要使用 Fencing device
呢？在現(xiàn)實(shí)生活中，服務(wù)器有時(shí)都會(huì)出現(xiàn)負(fù)載過(guò)重，尤其是像數(shù)據(jù)庫(kù)服務(wù)器，在服務(wù)器負(fù)載過(guò)重時(shí)，負(fù)載過(guò)重會(huì)使到服務(wù)器完全處理不過(guò)來(lái)手上的工作，甚至連
Heartbeat 也無(wú)法傳遞，但此時(shí)服務(wù)器實(shí)際上并沒(méi)有宕機(jī)，在經(jīng)過(guò)一段時(shí)間后，負(fù)載沒(méi)有那么重啦，服務(wù)器又重新開(kāi)始正常工作，Heartbeat
也可以正常傳遞啦。這里面就有一個(gè)問(wèn)題啦，在RHCS的機(jī)制里，主服務(wù)器與備用服務(wù)器是通過(guò)
Heartbeat  來(lái)進(jìn)行集群信息傳遞的，在一個(gè)規(guī)定的時(shí)間里，備份服務(wù)器都會(huì)通過(guò)  Heartbeat
與主服務(wù)器取得聯(lián)系，以確定主服務(wù)器是否是工作正常。當(dāng)備用服務(wù)器發(fā)現(xiàn)與主服務(wù)器的 Heartbeat
不通時(shí)，沒(méi)有產(chǎn)生響應(yīng)時(shí)，備用服務(wù)器就會(huì)判斷主服務(wù)器已經(jīng)宕機(jī)啦，那么備用服務(wù)器就會(huì)開(kāi)始接管主服務(wù)器上的集群服務(wù)。但是正如上面所描述的，如果主服務(wù)器
是由于負(fù)載過(guò)重，而無(wú)法響應(yīng)備用服務(wù)器的 Heartbeat ，但過(guò)了一段時(shí)間主服務(wù)器又開(kāi)始恢復(fù)工作啦，集群服務(wù)中包含有File
System資源，這時(shí)就有可能會(huì)造成兩臺(tái)服務(wù)器同時(shí)掛載文件系統(tǒng)，就會(huì)造成文件系統(tǒng)數(shù)據(jù)不一致，嚴(yán)重的情況可能會(huì)損壞整個(gè)文件系統(tǒng)。
                RHCS為了避免這種情況，就使用了 Fencing Device 。當(dāng)RHCS發(fā)現(xiàn)主服務(wù)器的Heartbeat
不通時(shí)，第一件事不是先接管 Service ，而是利用 Fencing Device
將主服務(wù)器重開(kāi)機(jī)(poweroff)，然后備用服務(wù)器再開(kāi)始接管Service ，這樣就不會(huì)發(fā)生兩臺(tái)服務(wù)器同時(shí)掛載文件系統(tǒng)資源的情況啦。
6、Conga
                Conga 是一個(gè)綜合的軟件組件集，用來(lái)提供紅帽集群和存儲(chǔ)的集中控制和配置管理。Conga 主要提供以下功能：
（1）用于管理紅帽集群和存儲(chǔ)的WEB圖形化接口
（2）集群數(shù)據(jù)和支持包的自動(dòng)部署
（3）易于整合現(xiàn)有的集群
（4）不需要重新驗(yàn)證
（5）集群狀態(tài)和日記的集成
（6）細(xì)粒度用戶權(quán)限控制
在Conga 里主要的組件是 luci 和 ricci ，它們都是單獨(dú)安裝的。luci
是一個(gè)服務(wù)器(server)組件，它運(yùn)行在一臺(tái)計(jì)算機(jī)上，通過(guò) ricci 可以同多個(gè)集群和計(jì)算機(jī)聯(lián)系。ricci
是一個(gè)代理（agent）組件，運(yùn)行在每一臺(tái)通過(guò) Conga進(jìn)行管理的計(jì)算機(jī)上。
第二，再來(lái)介紹一下本次所使用到的技術(shù)：
1、共享存儲(chǔ)使用了基于ISCSI的IP-SAN技術(shù)。iSCSI集SCSI、以太網(wǎng)和TCP/IP等技術(shù)于一身，支持iSCSI技術(shù)的服務(wù)器和存儲(chǔ)設(shè)備
能夠直接連接到現(xiàn)有的IP交換機(jī)和路由器上，具有低廉、開(kāi)放、大容量、傳輸速度高、安全等諸多優(yōu)點(diǎn)，最適合需要在網(wǎng)絡(luò)上存儲(chǔ)和傳輸大量數(shù)據(jù)的應(yīng)用環(huán)境，比
如廣電視頻制作和媒資系統(tǒng)，視頻監(jiān)控系統(tǒng)，IPTV系統(tǒng)，數(shù)據(jù)備份系統(tǒng)，以及許多的對(duì)IOPS和帶寬性能要求不是還很高的數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)、大容量文件存儲(chǔ)
系統(tǒng)。
2、基于Cenos5.2 的RHCS高可用集群的實(shí)現(xiàn)，真正避免單點(diǎn)故障，保證服務(wù)的不間斷運(yùn)行 。CentOS（Community
ENTerprise Operating System）是Linux發(fā)行版之一，它是來(lái)自于Red Hat Enterprise
Linux依照開(kāi)放源代碼規(guī)定釋出的源代碼所編譯而成。由于出自同樣的源代碼，因此有些要求高度穩(wěn)定性的服務(wù)器以CentOS替代商業(yè)版的Red
Hat Enterprise Linux使用。兩者的不同，在于CentOS并不包含封閉源代碼軟件。本次所有服務(wù)器上運(yùn)行的操作系統(tǒng)都為
CentOS 5.2
最后，我們來(lái)首先一下本次試驗(yàn)的環(huán)境：
3、本次環(huán)境的網(wǎng)絡(luò)拓?fù)洌?br />

4、各個(gè)服務(wù)器IP的地址規(guī)劃
服務(wù)器主機(jī)名        IP地址        承擔(dān)的角色
Iscsitarget.cqh.com        192.16898.240        IscsiTarget Server ，luci server
Rs-01.cqh.com        192.168.98.231        Iscsi ininiator，ricci agent ,Cluster node
Rs-02.cqh.com        192.168.98.232        Iscsi ininiator，ricci agent ,Cluster node
系統(tǒng)安裝：
語(yǔ)言選擇：簡(jiǎn)體中文
鍵盤(pán)布局：U.S.English
硬盤(pán)分區(qū)：
服務(wù)器主機(jī)名        IP地址        硬盤(pán)分區(qū)（8G）
Iscsitarget.cqh.com        192.16898.240        /dev/sda1 /boot 100M
/dev/sda2 /swap 512M
/dev/sda3 /     5G
/dev/sda5      500M  
/dev/sda6      500M
/dev/sda7      500M
Rs-01.cqh.com        192.168.98.231        /dev/sda1 /boot 100M
/dev/sda2 /swap 512M
/dev/sda3 /     7.4G
Rs-02.cqh.com        192.168.98.232        /dev/sda1 /boot 100M
/dev/sda2 /swap 512M
/dev/sda3 /     7.4G
注：iscsitarget.cqh.com 中的 /dev/sda5、/dev/sda6、/dev/sda7 用于 iscsi 共享使用，可以暫不用劃分分區(qū)，系統(tǒng)安裝完成后，再進(jìn)行分區(qū)。
主機(jī)名與網(wǎng)絡(luò)設(shè)置：按IP地址與主機(jī)名規(guī)劃表進(jìn)行設(shè)置
時(shí)區(qū)：Asia/ShangHai
Root password:
包安裝選擇：clustering、 storage clustering，開(kāi)發(fā)工具包全選、服務(wù)器中選擇 web 服務(wù)器與windows文件服務(wù)器
系統(tǒng)安裝完成后，進(jìn)入系統(tǒng)，使用ntsysv 命令，設(shè)置開(kāi)機(jī)自啟動(dòng)項(xiàng)，將以下啟動(dòng)項(xiàng)禁用：
NetworkManager
NetworkManagerDispatcher
Acpid
Apmd
Atd
Auditd
Avahi-daemon
Avah-dnsconfd
Bluetooth
Cpuspeed
Cups
Gpm
Hidd
Ip6tables
Iptables
Irqbalance
Isdn
Lvm2-monitor
Mcstrans
Mdmonitor
Netfs
Nfslock
Pcscd
Readahead_early
Restorecond
Rpcgssd
Rpcidmapd
Sendmail
Smartd
Xend
Xendomains
Xfs
Yum-updatesd
禁用 SELINUX
［root @iscsitarget root］# vi /etc/selinux/conifg
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#       enforcing - SELinux security policy is enforced.
#       permissive - SELinux prints warnings instead of enforcing.
#       disabled - SELinux is fully disabled.
將 SELINUX=enforcing
改成
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
#       targeted - Only targeted network daemons are protected.
#       strict - Full SELinux protection.
SELINUXTYPE=targeted
[ 本帖最后由 liheng 于 2009-5-13 14:04 編輯 ]
本帖最近評(píng)分記錄
luo118
  2009-5-10 22:24  可用積分  +2
  精品文章
您對(duì)本貼的看法：
鮮花[0]
  
臭蛋[0]
__________________________________
子曾經(jīng)曰過(guò)：君子敏于行而訥于言

IBM System x嘉年華驚喜多多
|  
《開(kāi)源時(shí)代》雜志頻道開(kāi)張！郵件訂閱開(kāi)通！
|  
2009年首屆中國(guó)云計(jì)算大會(huì)誠(chéng)邀您的參與!

liheng
精靈


CU編號(hào)：
536814
注冊(cè)：2007-3-14
最后登錄：
2009-05-22
帖子：
236
精華：
2
可用積分：398
(白手起家)
信譽(yù)積分：100
專家積分：0 (本版:0)
空間積分：0
推廣積分：0
狀態(tài)：[color="#999999"]...離線...
[
資料
]  
[
站內(nèi)短信
]
[
Blog
]
[
推廣獲積分
]

[引用]

[報(bào)告]
[回復(fù)]

2樓
發(fā)表于 2009-4-30 18:19




在iscitarget server 上掛載Centos5.2 的第4張光盤(pán)到電腦上，找到 scsi-target-untils-0.0-0.20070620snap.el5.i386.rpm
[root @ iscsitarget ~] # rpm -ivh scsi-target-untils-0.0-0.20070620snap.el5.i386.rpm
用 fdisk 在本地硬盤(pán)上增加三個(gè)分區(qū)/dev/sda5、/dev/sda6、/dev/sda7（分區(qū)的結(jié)果與下圖相同），不用格式化。作為rs-01與rs-02 的共享磁盤(pán)。


重新啟動(dòng)電腦，以使剛新增的分區(qū)表生效
[root @ iscsitarget ~] # reboot
啟動(dòng)tgt (Linux target framework )服務(wù)
[root @ iscsitarget ~] # service tgtd start
Tips:
Linux target framework (tgt) aims to simplify various SCSI target
driver (iSCSI, Fibre Channel, SRP, etc) creation and maintenance. The
key goals are the clean integration into the scsi-mid layer and
implementing a great portion of tgt in user space.
設(shè)置 tgtd 服務(wù)開(kāi)機(jī)自啟動(dòng)
[root @ iscsitarget ~] # chkconfig —level 35 tgtd on
新增 target device ，使用 tgtadm 定義 iscsi target 的 qualified 名字
[root @ iscsitarget ~] # tgtadm —lld iscsi —op new —mode target —tid 1 -T iqn.2008-12.com.cqh.rhcs-storage
[root @ iscsitarget ~] # tgtadm —lld iscsi —op new —mode target —tid 2 -T iqn.2008-12.com.cqh.rhcs-storage-2
[root @ iscsitarget ~] # tgtadm —lld iscsi —op new —mode target —tid 3 -T iqn.2008-12.com.cqh.rhcs-storage-3


使用 tgtadm 將上一步新建的target device 加入分區(qū)
[root @ iscsitarget ~] # tgtadm —lld iscsi —op new —mode logicalunit —tid 1 —lun 1 -b /dev/sda5
[root @ iscsitarget ~] # tgtadm —lld iscsi —op new —mode logicalunit —tid 2 —lun 1 -b /dev/sda6
[root @ iscsitarget ~] # tgtadm —lld iscsi —op new —mode logicalunit —tid 3 —lun 1-b /dev/sda7


利用下面的指令查看 target device 的內(nèi)容
[root @ iscsitarget ~] # tgtadm —lld iscsi —op show —mode target
Target 1: iqn.2008-12.com.cqh.rhcs-storage
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
       LUN: 0
            Type: controller
            SCSI ID: deadbeaf1:0
            SCSI SN: beaf10
            Size: 0
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: deadbeaf1:1
            SCSI SN: beaf11
            Size: 525M
            Backing store: /dev/sda5
    Account information:
    ACL information:
Target 2: iqn.2008-12.com.cqh.rhcs-storage-2
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf2:0
            SCSI SN: beaf20
            Size: 0
            Backing store: No backing store
        LUN: 1
            Type: disk
            SCSI ID: deadbeaf2:1
            SCSI SN: beaf21
            Size: 517M
            Backing store: /dev/sda6
    Account information:
    ACL information:
Target 3: iqn.2008-12.com.cqh.rhcs-storage-3
    System information:
        Driver: iscsi
        Status: running
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: deadbeaf3:0
            SCSI SN: beaf30
            Size: 0
            Backing store: No backing store
        LUN: 1
           Type: disk
            SCSI ID: deadbeaf3:1
            SCSI SN: beaf31
            Size: 533M
            Backing store: /dev/sda7
    Account information:
    ACL information:






使用 tgtadm 允許客戶端訪問(wèn)這三個(gè)目標(biāo)邏輯卷
[root @iscsitarget ~] # tgtadm —lld iscsi —op bind —mode target —tid 1 -I ALL
[root @iscsitarget ~] # tgtadm —lld iscsi —op bind —mode target —tid 2 -I ALL
[root @iscsitarget ~] # tgtadm —lld iscsi —op bind —mode target —tid 3 -I ALL


也可以只指定某一臺(tái)主機(jī)可以訪問(wèn)這三個(gè)邏輯卷，如果只想讓192.168.98.231可以訪問(wèn)共享存儲(chǔ)，就可以用以下指令可以實(shí)現(xiàn)
[root @iscsitarget ~] # tgtadm —lld iscsi —op bind —mode target —tid 1 -I 192.168.98.231
使用 tgtadm 驗(yàn)證所有的目標(biāo)邏輯卷是否定義正確
[root @iscsitartget ~] # tgtadm —lld iscsi —op show —mode target | grep Target


本帖最近評(píng)分記錄
luo118
  2009-5-10 22:24  可用積分  +2
  精品文章
您對(duì)本貼的看法：
鮮花[0]
  
臭蛋[0]
__________________________________
子曾經(jīng)曰過(guò)：君子敏于行而訥于言

IBM System x嘉年華驚喜多多
|  
《開(kāi)源時(shí)代》雜志頻道開(kāi)張！郵件訂閱開(kāi)通！
|  
2009年首屆中國(guó)云計(jì)算大會(huì)誠(chéng)邀您的參與!

liheng
精靈


CU編號(hào)：
536814
注冊(cè)：2007-3-14
最后登錄：
2009-05-22
帖子：
236
精華：
2
可用積分：398
(白手起家)
信譽(yù)積分：100
專家積分：0 (本版:0)
空間積分：0
推廣積分：0
狀態(tài)：[color="#999999"]...離線...
[
資料
]  
[
站內(nèi)短信
]
[
Blog
]
[
推廣獲積分
]

[引用]

[報(bào)告]
[回復(fù)]

3樓
發(fā)表于 2009-4-30 18:21
因?yàn)樯厦娴闹噶钤O(shè)定結(jié)果，重新開(kāi)機(jī)后便會(huì)消失，而且現(xiàn)版本的
target server, Red Hat 尚未修改成 System V
服務(wù)，所以如果需要讓上述設(shè)定在重新開(kāi)機(jī)后依然有效。就需要將上述設(shè)定指定全部寫(xiě)進(jìn) /etc/rc.local
文件中，讓系統(tǒng)在重新開(kāi)機(jī)時(shí)，再自動(dòng)執(zhí)行一次
[root @iscsitartget ~] #  vi /etc/rc.local#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local
tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2008-12.com.cqh.rhcs-storage
tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2008-12.com.cqh.rhcs-storage-2
tgtadm --lld iscsi --op new --mode target --tid 3 -T iqn.2008-12.com.cqh.rhcs-storage-3
tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sda5
tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 -b /dev/sda6
tgtadm --lld iscsi --op new --mode logicalunit --tid 3 --lun 1 -b /dev/sda7
tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
tgtadm --lld iscsi --op bind --mode target --tid 2 -I ALL
tgtadm --lld iscsi --op bind --mode target --tid 3 -I ALL


安裝配置 Iscsi-initiator 客戶端 rs-01.cqh.com
掛載CentOS5.2安裝盤(pán)的第一張安裝盤(pán)到電腦上，找到 iscsi-initiator-utils-6.2.0.868-0.7.el5.i386.rpm
[root @ rs-01 Centos] # rpm -ivh iscsi-initiator-utils-6.2.0.868-0.7.el5.i386.rpm


啟動(dòng) Iscsi 服務(wù)
[root @ rs-01 Centos] # service iscsi start
設(shè)置 iscsi 服務(wù)開(kāi)機(jī)自啟動(dòng)
[root @ rs-01 Centos] # chkconfig —level 35 iscsi on


運(yùn)行下面的命令，discorery iscsitarget 上的邏輯卷：
[root @ rs-01 Centos] # iscsiadm -m discovery -t sendtargets -p 192.168.98.240
192.168.98.240:3260,1 iqn.2008-12.com.cqh.rhcs-storage
192.168.98.240:3260,1 iqn.2008-12.com.cqh.rhcs-storage-2
192.168.98.240:3260,1 iqn.2008-12.com.cqh.rhcs-storage-3


出現(xiàn)這樣的結(jié)果，說(shuō)明了 iscsitarget 上的邏輯卷已經(jīng)被成功發(fā)現(xiàn)。
使用 iscsiadm 登錄 target
[root @ rs-01 Centos] # iscsiadm -m node -T iqn.2008-12.com.cqh.rhcs-storage -p 192.168.98.240 -l


017.jpg
  (34.01 KB) 2009-4-30 18:21


您對(duì)本貼的看法：
鮮花[0]
  
臭蛋[0]
__________________________________
子曾經(jīng)曰過(guò)：君子敏于行而訥于言

IBM System x嘉年華驚喜多多
|  
《開(kāi)源時(shí)代》雜志頻道開(kāi)張！郵件訂閱開(kāi)通！
|  
2009年首屆中國(guó)云計(jì)算大會(huì)誠(chéng)邀您的參與!

liheng
精靈


CU編號(hào)：
536814
注冊(cè)：2007-3-14
最后登錄：
2009-05-22
帖子：
236
精華：
2
可用積分：398
(白手起家)
信譽(yù)積分：100
專家積分：0 (本版:0)
空間積分：0
推廣積分：0
狀態(tài)：[color="#999999"]...離線...
[
資料
]  
[
站內(nèi)短信
]
[
Blog
]
[
推廣獲積分
]

[引用]

[報(bào)告]
[回復(fù)]

4樓
發(fā)表于 2009-4-30 18:24
因?yàn)樯厦娴闹噶钤O(shè)定結(jié)果，重新開(kāi)機(jī)后便會(huì)消失，而且現(xiàn)版本的
target server, Red Hat 尚未修改成 System V
服務(wù)，所以如果需要讓上述設(shè)定在重新開(kāi)機(jī)后依然有效。就需要將上述設(shè)定指定全部寫(xiě)進(jìn) /etc/rc.local
文件中，讓系統(tǒng)在重新開(kāi)機(jī)時(shí)，再自動(dòng)執(zhí)行一次
[root @iscsitartget ~] #  vi /etc/rc.local#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local
tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.2008-12.com.cqh.rhcs-storage
tgtadm --lld iscsi --op new --mode target --tid 2 -T iqn.2008-12.com.cqh.rhcs-storage-2
tgtadm --lld iscsi --op new --mode target --tid 3 -T iqn.2008-12.com.cqh.rhcs-storage-3
tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /dev/sda5
tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 -b /dev/sda6
tgtadm --lld iscsi --op new --mode logicalunit --tid 3 --lun 1 -b /dev/sda7
tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
tgtadm --lld iscsi --op bind --mode target --tid 2 -I ALL
tgtadm --lld iscsi --op bind --mode target --tid 3 -I ALL


安裝配置 Iscsi-initiator 客戶端 rs-01.cqh.com
掛載CentOS5.2安裝盤(pán)的第一張安裝盤(pán)到電腦上，找到 iscsi-initiator-utils-6.2.0.868-0.7.el5.i386.rpm
[root @ rs-01 Centos] # rpm -ivh iscsi-initiator-utils-6.2.0.868-0.7.el5.i386.rpm


啟動(dòng) Iscsi 服務(wù)
[root @ rs-01 Centos] # service iscsi start
設(shè)置 iscsi 服務(wù)開(kāi)機(jī)自啟動(dòng)
[root @ rs-01 Centos] # chkconfig —level 35 iscsi on


運(yùn)行下面的命令，discorery iscsitarget 上的邏輯卷：
[root @ rs-01 Centos] # iscsiadm -m discovery -t sendtargets -p 192.168.98.240
192.168.98.240:3260,1 iqn.2008-12.com.cqh.rhcs-storage
192.168.98.240:3260,1 iqn.2008-12.com.cqh.rhcs-storage-2
192.168.98.240:3260,1 iqn.2008-12.com.cqh.rhcs-storage-3


出現(xiàn)這樣的結(jié)果，說(shuō)明了 iscsitarget 上的邏輯卷已經(jīng)被成功發(fā)現(xiàn)。
使用 iscsiadm 登錄 target
[root @ rs-01 Centos] # iscsiadm -m node -T iqn.2008-12.com.cqh.rhcs-storage -p 192.168.98.240 -l


[root @ rs-01 Centos] # iscsiadm -m node -T iqn.2008-12.com.cqh.rhcs-storage-2 -p 192.168.98.240 -l


[root @ rs-01 Centos] # iscsiadm -m node -T iqn.2008-12.com.cqh.rhcs-storage-3 -p 192.168.98.240 -l


使用 fdisk -l 檢驗(yàn)被識(shí)別的設(shè)備名
[root @ rs-01 Centos] # fdisk -l


圖中的 /dev/sdb、/dev/sdc、/dev/sdd 都是 iscsitarget 上的邏輯卷，分別被識(shí)別成了本地的/dev/sdb、/dev/sdc、/dev/sdd 。
在這三個(gè)磁盤(pán)上，分別建立一個(gè)分區(qū)，建立成功后結(jié)果就為下圖所示：
[root @ rs-01 Centos] # fdisk -l
Disk /dev/sda: 8589 MB, 8589934592 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14         778     6144862+  83  Linux
/dev/sda3             779         843      522112+  82  Linux swap / Solaris
Disk /dev/sdb: 551 MB, 551061504 bytes
17 heads, 62 sectors/track, 1021 cylinders
Units = cylinders of 1054 * 512 = 539648 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        1021      538036   83  Linux
Disk /dev/sdc: 542 MB, 542836224 bytes
17 heads, 61 sectors/track, 1022 cylinders
Units = cylinders of 1037 * 512 = 530944 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1        1022      529876+  83  Linux
Disk /dev/sdd: 559 MB, 559286784 bytes
18 heads, 60 sectors/track, 1011 cylinders
Units = cylinders of 1080 * 512 = 552960 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1        1011      545910   83  Linux


在 rs-01.cqh.com 或 rs-02.cqh.com 上將 /dev/sdb1、/dev/sdc1、/dev/sdd1格式化成ext3文件系統(tǒng)。
在 iscsi target 上配置 luci
初始化 luci
[root @iscsitarget ~] # luci_admin init


您對(duì)本貼的看法：
鮮花[0]
  
臭蛋[0]
__________________________________
子曾經(jīng)曰過(guò)：君子敏于行而訥于言

IBM System x嘉年華驚喜多多
|  
《開(kāi)源時(shí)代》雜志頻道開(kāi)張！郵件訂閱開(kāi)通！
|  
2009年首屆中國(guó)云計(jì)算大會(huì)誠(chéng)邀您的參與!

liheng
精靈


CU編號(hào)：
536814
注冊(cè)：2007-3-14
最后登錄：
2009-05-22
帖子：
236
精華：
2
可用積分：398
(白手起家)
信譽(yù)積分：100
專家積分：0 (本版:0)
空間積分：0
推廣積分：0
狀態(tài)：[color="#999999"]...離線...
[
資料
]  
[
站內(nèi)短信
]
[
Blog
]
[
推廣獲積分
]

[引用]

[報(bào)告]
[回復(fù)]

5樓
發(fā)表于 2009-4-30 18:29
設(shè)置 luci 服務(wù)開(kāi)機(jī)自啟動(dòng)
[root @iscsitarget ~] # chkconfig —level 35 luci on
[root @iscsitarget ~] # service luci start
打開(kāi)Firefox,在地址欄中鍵入 https://luciserver:8084，進(jìn)入conga 的登錄界面，輸入登錄的用戶名admin 和初始化 luci 時(shí)設(shè)置的密碼，點(diǎn)擊登錄


首先新建一個(gè) cluster，點(diǎn)擊頂端 cluster，點(diǎn)擊左側(cè) clusters 欄中的 Create a New cluster 項(xiàng)，顯示 Create a new cluster 編輯頁(yè)面，如下：


輸入項(xiàng)說(shuō)明：
Cluster Name：創(chuàng)建的新集群的名稱，集群名稱不能超過(guò)15個(gè)字符
Node Hostname：要加入集群中的節(jié)點(diǎn)主機(jī)名稱
Root Password：加入集群節(jié)點(diǎn)主機(jī)的 root 用戶密碼
Download packages：從Luci服務(wù)器下載集群軟件包
Use locally installed packages：節(jié)點(diǎn)使用本地集群安裝包
Enable Shared storage suupport：?jiǎn)⒂霉蚕泶鎯?chǔ)支持，如果需要使用共享存儲(chǔ)的話，勾選此項(xiàng)。
Reboot nodes bdfore joining cluster ：在加入集群之前重啟節(jié)點(diǎn)計(jì)算機(jī)
Check if node passwords are indentical:檢查節(jié)點(diǎn)的root 密碼是不是相同的。
按輸入項(xiàng)要求輸入內(nèi)容后，點(diǎn)擊 view SSL_cert fingerprints 顯示每臺(tái)節(jié)點(diǎn)服務(wù)器的SSL驗(yàn)證信息，如果驗(yàn)證成功，會(huì)顯示如 status messages 中的信息。確認(rèn)無(wú)誤后，點(diǎn)擊 submit 按鈕提交，正在創(chuàng)建集群


在經(jīng)過(guò)對(duì)添加的兩個(gè)節(jié)點(diǎn)的進(jìn)行：Install----Reboot----Configure----Join.在經(jīng)過(guò)這一番動(dòng)作后，如果沒(méi)有出錯(cuò)的
話，集群就創(chuàng)建成功啦。顯示新建集群 Cluster-001
的全局集群屬性列表，內(nèi)容包括：General、Fence、Multicast、Quorum partition。


General                -----                顯示集群名稱、集群配置的版本號(hào)、高級(jí)集群屬性。
Fence                  -----                提供配置 Fence daemon 屬性參數(shù)的接口。
Multicast         ----                提供配置多播配置屬性的接口，這些屬性包括：讓集群選擇默認(rèn)多播
地址與手工指定多播地址
Quorum Partition ----        提供配置集群仲裁分區(qū)屬性的接口
Fence 列表內(nèi)容：


Multicast 列表內(nèi)容：


仲裁分區(qū)列表內(nèi)容：


點(diǎn)擊 Clusters 欄中的 cluster list ，然后點(diǎn)擊集群名稱 cluster-001,在左邊欄里顯示 cluster-001 的配置欄，點(diǎn)擊配置功能下節(jié)點(diǎn)名稱：rs-01.cqh.com 顯示節(jié)點(diǎn)名稱：rs-01.cqh.com的狀態(tài)：


點(diǎn)擊節(jié)點(diǎn)：rs-02.cqh.com 顯示其狀態(tài)信息


狀態(tài)信息顯示，當(dāng)前的狀態(tài)為 cluster member ，閉幕式顯示 cman、rgmanager 當(dāng)前正在運(yùn)行 ，并在集群?jiǎn)��?dòng)時(shí)自動(dòng)啟用，如果這兩個(gè)程序沒(méi)有運(yùn)行可以手工在節(jié)點(diǎn)上運(yùn)行啟動(dòng)。
下面開(kāi)始創(chuàng)建集群的步驟，這里創(chuàng)建的流程步驟如下：Failover domain → cluster resource→ service → Fence device 。
創(chuàng)建 failover domain，點(diǎn)擊頂端的 cluster ,在Cluster list 中點(diǎn)擊集群：cluster-001，在左下端的
cluster-001 欄中點(diǎn)擊 Failover domain | Add a Failover domain ,顯示新增 Failover
domain 編輯頁(yè)面：


[ 本帖最后由 liheng 于 2009-4-30 18:33 編輯 ]
您對(duì)本貼的看法：
鮮花[0]
  
臭蛋[0]
__________________________________
子曾經(jīng)曰過(guò)：君子敏于行而訥于言

IBM System x嘉年華驚喜多多
|  
《開(kāi)源時(shí)代》雜志頻道開(kāi)張！郵件訂閱開(kāi)通！
|  
2009年首屆中國(guó)云計(jì)算大會(huì)誠(chéng)邀您的參與!

liheng
精靈


CU編號(hào)：
536814
注冊(cè)：2007-3-14
最后登錄：
2009-05-22
帖子：
236
精華：
2
可用積分：398
(白手起家)
信譽(yù)積分：100
專家積分：0 (本版:0)
空間積分：0
推廣積分：0
狀態(tài)：[color="#999999"]...離線...
[
資料
]  
[
站內(nèi)短信
]
[
Blog
]
[
推廣獲積分
]

[引用]

[報(bào)告]
[回復(fù)]

6樓
發(fā)表于 2009-4-30 18:38
參數(shù)解析：
Failover domain name ：Failover domain 名稱，建議使用一個(gè)易記有代表性的的詞語(yǔ)。
Prioritized ：在 Failover domain 中啟用域中成員優(yōu)先級(jí)設(shè)置
Restrict Failover to this domain’s member ：在 Failover domain 中啟用服務(wù)故障切換限制在這個(gè)域中的成員。
Do not fail back services in this domain ：在這個(gè)域中不使用故障回復(fù)服務(wù)
在Failover domain member 區(qū)域勾選 member 處的復(fù)選項(xiàng)框，將節(jié)點(diǎn)加入 Failover domain，在 priority 處設(shè)置成員的優(yōu)先級(jí)別，優(yōu)先級(jí)1的優(yōu)先級(jí)別最高。
點(diǎn)擊 submit  按鈕提交確定，新增 Failover domain 成功。
創(chuàng)建 resource
在左下端的 cluster-001 欄中點(diǎn)擊 Resource | Add a Resource ，顯示新增資源頁(yè)面，在選擇資源類(lèi)型下拉框中選擇一個(gè)資源類(lèi)型，這里根據(jù)實(shí)際情況，選擇 IP Address、Scripts\File Systerm


選擇IP地址


創(chuàng)建 File System resource


創(chuàng)建 scripts resource


創(chuàng)建 service
在左下端的 cluster-001 欄中點(diǎn)擊 Service | Add a Service ，顯示新增服務(wù)編輯頁(yè)面，在 service
name 處輸入服務(wù)的名稱，啟用 automatically start this serivce 選項(xiàng)，在Failover domain
中選擇Failover domain ,Recovery policy 處選擇 Relocate ，分別將IP
Address、Scripts、File system 資源添加進(jìn)服務(wù)里面。




添加 Fence Device
在左下端的 cluster-001 欄中點(diǎn)擊 Shared Fence Device | Add a Fence Device 顯示新增
Fence Device 頁(yè)面，在 Select a shared fence device 下拉框選擇一下Fence Device
，這里由于是使用 vmware workstation 進(jìn)行，所以選擇 Vir


這里由于是使用 vmware workstation 進(jìn)行，所以選擇 Virtual machine Fencing




應(yīng)用 Fence Device






點(diǎn)擊Update main fence properties
您對(duì)本貼的看法：
鮮花[0]
  
臭蛋[0]
__________________________________
子曾經(jīng)曰過(guò)：君子敏于行而訥于言

IBM System x嘉年華驚喜多多
|  
《開(kāi)源時(shí)代》雜志頻道開(kāi)張！郵件訂閱開(kāi)通！
|  
2009年首屆中國(guó)云計(jì)算大會(huì)誠(chéng)邀您的參與!

liheng
精靈


CU編號(hào)：
536814
注冊(cè)：2007-3-14
最后登錄：
2009-05-22
帖子：
236
精華：
2
可用積分：398
(白手起家)
信譽(yù)積分：100
專家積分：0 (本版:0)
空間積分：0
推廣積分：0
狀態(tài)：[color="#999999"]...離線...
[
資料
]  
[
站內(nèi)短信
]
[
Blog
]
[
推廣獲積分
]

[引用]

[報(bào)告]
[回復(fù)]

7樓
發(fā)表于 2009-4-30 18:43
點(diǎn)擊Update main fence properties
至此集群的相關(guān)設(shè)置就算是完了。現(xiàn)在可以到 rs-01.cqh.com 上去檢查一下集群設(shè)置是否成功：
使用 clustat 命令檢查集群是否在運(yùn)行：


使用 df -h 檢查共享盤(pán)是否正常掛載


檢查 httpd 服務(wù)是否正常運(yùn)行：


檢查集群IP地址是否在運(yùn)行：


編輯 web 頁(yè)面的 index.html 文件


打開(kāi)瀏覽器，在地址欄中輸入
http://192.168.98.244


成功。
測(cè)試將rs-01.cqh.com 電腦關(guān)機(jī)，看集群服務(wù)會(huì)否會(huì)自動(dòng)轉(zhuǎn)到 rs-02.cqh.com 電腦上。


在rs-02.cqh.com 主機(jī)上查看集群狀態(tài)


顯示的狀是 online，但 rs-01.cqh.com 的服務(wù)已停止，繼續(xù)使用 clustat 命令查看


過(guò)了40秒鐘后，雖然  rs-01.cqh.com 的狀態(tài)依然是 online ，但服務(wù)卻已經(jīng)故障轉(zhuǎn)移到rs-02.cqh.com 啦，集群的故障轉(zhuǎn)移功能生效。繼續(xù)使用 clustat 命令查看集群狀態(tài)


Rs-01.cqh.com 服務(wù)器的狀態(tài)已經(jīng)是離線啦。故障切換成功,高可用群集生效
               
               
               

本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u1/35392/showart_1936310.html