DRBD技術(shù)研究資料

coffee_45

                                               


DRBD研究資料

作者：沈小然
翻譯：沈小然
msn ：victorboy45@hotmail.com
   公司：北京方標(biāo)訊業(yè)科技有限公司
   日期：2007年9月12日

目  錄
 TOC \o "1-3" \h \z \u
[/url]
1        
DRBD是什么？
DRBD 是Linux 操作系統(tǒng)的一個(gè)分布式遠(yuǎn)程塊設(shè)備。它允許您在遠(yuǎn)程機(jī)器上通過(guò)一個(gè)專用網(wǎng)絡(luò)建立一個(gè)本地塊設(shè)備的實(shí)時(shí)鏡像，你看它就像一個(gè)網(wǎng)絡(luò)上的raid-1。與雙機(jī)軟件結(jié)合使用。
DRBD接管數(shù)據(jù)流把它們寫進(jìn)本地磁盤并且發(fā)送到其他的主機(jī)上。
一個(gè)集群服務(wù)需要的另外一些成員就是heartbeat和工作在同一個(gè)塊設(shè)備上的某類應(yīng)用程序。這類成員例如：
A filesystem & fsck. （文件系統(tǒng)或者fsck）
A journaling FS. （日志型文件系統(tǒng)）
A database with recovery
capabilities. （帶有恢復(fù)能力的數(shù)據(jù)庫(kù)）
2        
DRBD如何工作？
每個(gè)設(shè)備（DRBD提供一個(gè)以上的這些設(shè)備）都有一個(gè)身份，被稱為主或從設(shè)備。主設(shè)備節(jié)點(diǎn)被映射為邏輯設(shè)備/dev/drbdX。每次寫操作都發(fā)送到本地的下級(jí)塊設(shè)備，以及從設(shè)備節(jié)點(diǎn)。從設(shè)備簡(jiǎn)單地寫入數(shù)據(jù)給它的下級(jí)塊設(shè)備。讀操作總是在本地完成。
如果主節(jié)點(diǎn)失敗，heatbeat開(kāi)始切換從設(shè)備轉(zhuǎn)變?yōu)橹髟O(shè)備身份，并開(kāi)啟應(yīng)用服務(wù)程序。（如果你使用的是一個(gè)非日志文件系統(tǒng)，這就涉及到運(yùn)行fsck）
如果失敗的節(jié)點(diǎn)再次恢復(fù)，它就成為一個(gè)新的從設(shè)備節(jié)點(diǎn)并且與主設(shè)備連接做同步。當(dāng)然這些將在后臺(tái)運(yùn)行不會(huì)中斷服務(wù)。
并且，當(dāng)然我們僅僅再次同步那些實(shí)際上發(fā)生過(guò)改變的數(shù)據(jù)。如果可能DRBD總是會(huì)執(zhí)行智能同步。開(kāi)啟DRBD－0.7系列產(chǎn)品的服務(wù)后，你能夠在必設(shè)大小尺寸里定義一個(gè)“活動(dòng)配置”，這個(gè)配置使DRBD有可能有一個(gè)控制在1－3秒內(nèi)的總同步時(shí)間，不必?fù)?dān)心設(shè)備的容量大小（當(dāng)前支持4TB以上），甚至是一個(gè)有物理?yè)p壞的活動(dòng)節(jié)點(diǎn)。
3        
DRBD如何與當(dāng)前的HA集群連系起來(lái)？
根據(jù)我對(duì)大多數(shù)HA集群（例如HP，Compaq，……）的了解它們都是使用共享存儲(chǔ)磁盤，因此磁盤設(shè)備被連接給多個(gè)節(jié)點(diǎn)（連接可以由SCSI總線或光線通道做到）。
DRBD提供給你一個(gè)大約原理類似的共享設(shè)備，但是它不需要任何稀奇古怪的硬件設(shè)備做支撐。它運(yùn)行在IP網(wǎng)絡(luò)基礎(chǔ)之上，在我的印象中要比那些特殊的存儲(chǔ)網(wǎng)絡(luò)廉價(jià)得多。
4        
DRBD和集群文件系統(tǒng)
你可以任意運(yùn)行DRBD設(shè)置一個(gè)節(jié)點(diǎn)作為主設(shè)備角色同時(shí)設(shè)置一個(gè)節(jié)點(diǎn)作為從設(shè)備角色。這種做法是正統(tǒng)的故障切換集群。你應(yīng)該在你使用一個(gè)普通日志文件系統(tǒng)（例如ext2，ext3，XFS，JFS，reiserFS……）時(shí)運(yùn)用DRBD技術(shù)，而且DRBD技術(shù)必須在上面的文件系統(tǒng)下運(yùn)行。
自從DRBD-8.0.0版本以來(lái)，你能夠同時(shí)設(shè)置兩個(gè)節(jié)點(diǎn)都作為主設(shè)備角色，授權(quán)掛載一個(gè)集群文件系統(tǒng)（一個(gè)物理并行文件系統(tǒng)）到兼容的兩個(gè)節(jié)點(diǎn)之一上。例如像OCFS2和GFS這樣的文件系統(tǒng)。
5        
DRBD安裝概述
5.1       DRBD支持的操作系統(tǒng)：
Suse,Debian,Redhat
5.2       安裝前提條件
gcc,make,etc
5.3       DRBD 協(xié)議說(shuō)明
A 數(shù)據(jù)一旦寫入磁盤并發(fā)送到網(wǎng)絡(luò)中就認(rèn)為完成了寫入操作。
B 收到接收確認(rèn)就認(rèn)為完成了寫入操作。
C 收到寫入確認(rèn)就認(rèn)為完成了寫入操作。
您還可以附加其它參數(shù)來(lái)將數(shù)據(jù)傳輸給磁盤和網(wǎng)絡(luò)選項(xiàng)。更多詳情，請(qǐng)參見(jiàn)drbdsetup
手冊(cè)頁(yè)。
5.4       安裝系統(tǒng)環(huán)境
主設(shè)備角色：192.168.0.247，hostname：cluster
Red Hat
Enterprise Linux AS release 4-up3，內(nèi)核版本：2.6.9-34.EL
從設(shè)備角色：192.168.0.245，hostname：test
Red Hat
Enterprise Linux AS release 4-up3，內(nèi)核版本：2.6.9-34.EL
5.4.1      
安裝主設(shè)備角色
5.4.1.1        
解包編譯安裝
# tar zxvf drbd-8.0.6.tar.gz
# cd drbd-8.0.6
# make
# make install
安裝成功后將在/sbin/下生成命令文件：drbdadm    drbdmeta  
drbdsetup。
配置文件：/etc/drbd.conf，啟動(dòng)腳本/etc/init.d/drbd。
源碼文件：/lib/modules/2.6.9-34.EL/kernel/drivers/block/drbd.ko。
注：源碼包里scripts/drbd.conf文件是安裝前的源文件，如果/etc/drbd.conf損壞可以用這個(gè)替換。
5.4.1.2        
以模塊方式掛載drbd模塊
# cd /usr/src/drbd-8.0.6/drbd        進(jìn)入安裝包drbd目錄
# insmod drbd.ko
# lsmod
Module   Size        Used by
Drbd       222948  0
出現(xiàn)上面信息說(shuō)明掛載成功，一切順利。
5.4.1.3        
配置drbd.conf文件
（1）主設(shè)備分區(qū)表cluster：
Filesystem           
Size  Used Avail Use% Mounted on
/dev/hda6             8.0G
2.8G  4.9G  36% /
/dev/hda1              97M
8.4M   84M  10% /boot
/dev/hda5             9.7G
913M  8.3G  10% /data
none                  189M   
0  189M   0%
/dev/shm
/dev/hda2             9.9G
965M  8.5G  11% /home
/dev/hda3             8.7G
350M  7.9G   5% /opt
從設(shè)備分區(qū)表test：
Filesystem           
Size  Used Avail Use% Mounted on
/dev/hda6             7.7G
2.2G  5.2G  30% /
/dev/hda1              99M
8.4M   86M   9% /boot
/dev/hda5             9.7G  
55M  9.1G   1% /data
none                  252M   
0  252M   0%
/dev/shm
/dev/hda8             3.5G  
39M  3.2G   2% /home
/dev/hda7             4.9G  
42M  4.6G   1% /opt
/dev/hda3             9.7G
118M  9.1G   2% /var
（2）配置/etc/hosts文件，將主從機(jī)的主機(jī)名各自添加進(jìn)對(duì)方的文件里。
（3）vi /etc/drbd.conf
resource mail {
        protocol B;
        startup { wfc-timeout
0; degr-wfc-timeout 120; }
        disk { on-io-error
detach; }
        syncer {
                rate 10M;
        }
        on cluster {
                device      /dev/drbd0;
                disk        /dev/hda5;
                address     192.168.0.247:7788;
                meta-disk   internal;
        }
        on test {
                device      /dev/drbd0;
                disk        /dev/hda5;
                address     192.168.0.152:7788;
                meta-disk   internal;
        }
}
注意：這個(gè)配置文件必須是主機(jī)從機(jī)完全相同才行，否則服務(wù)啟動(dòng)不了。
5.4.1.5        
啟動(dòng)drbd服務(wù)
# /etc/init.d/drbd start
5.4.1.6        
檢查服務(wù)狀態(tài)，和查看日志
# netstat –an|more
tcp  0      0 192.168.0.152:800           192.168.0.247:33293         ESTABLISHED
# cat /proc/drbd     查看同步信息的狀態(tài)
version: 8.0.6 (api:86/proto:86)
SVN Revision: 3048 build by root@cluster, 2007-09-25 10:39:33
0: cs:SyncSource
st:Primary/Secondary ds:UpToDate/Inconsistent B r---
    ns:1098668 nr:0 dw:0 dr:1106240
al:0 bm:67 lo:0 pe:5 ua:237 ap:0
      
[==>.................] sync'ed: 10.8% (8927/9999)M
        finish: 2:32:21 speed:
936 (920) K/sec
        resync: used:1/31
hits:68831 misses:68 starving:0 dirty:0 changed:68
        act_log: used:0/257
hits:0 misses:0 starving:0 dirty:0 changed:0
5.4.2      
安裝從設(shè)備角色
與上面安裝主設(shè)備步驟相同。略
5.4.3      
掛接文件系統(tǒng)
兩個(gè)節(jié)點(diǎn)同時(shí)只能有一個(gè)是primary，另外的是secondary狀態(tài)，處于secondary狀態(tài)的服務(wù)器不能掛載drbd設(shè)備。
主機(jī)從機(jī)的掛載磁盤最好是同等大小，否則以小容量的為準(zhǔn)。
# sfdisk –s      這里必須用sfdisk（fdisk –l無(wú)法顯示出來(lái)）。
/dev/hda:  39082680
/dev/hda1:    102280
/dev/drbd0:  10239888
# mkfs.ext2 /dev/hda5    格式化物理磁盤
# mkdir /data         創(chuàng)建一個(gè)掛載點(diǎn)
# mount /dev/drbd0 /data      主機(jī)掛接順利
# mount /dev/drbd0 /data      從機(jī)無(wú)法掛接，/dev/drbd0被設(shè)置為只讀模式
mount: block device /dev/drbd0 is write-protected, mounting
read-only
mount: Wrong medium type
5.4.4      
測(cè)試磁盤數(shù)據(jù)同步
1．在主設(shè)備192.168.0.247，hostname：cluster上
# touch 123.txt /data      創(chuàng)建一個(gè)文件在/data分區(qū)上
# ls /data        查看/data分區(qū)上的數(shù)據(jù)，呆會(huì)對(duì)比下從機(jī)數(shù)據(jù)是否與主機(jī)的相同。
123.txt  lost+found  mss
userdb  userdb_front
# umount /data              卸載/data分區(qū)
# drbdadm secondary mail       切換角色為從設(shè)備
2．在從設(shè)備192.168.0.152，hostname：test上
# drbdadm primary mail              切換角色為主設(shè)備，這樣才能掛接drbd0。
# mount /dev/drbd0 /data      掛載順利
# ls /data        查看/data分區(qū)上的數(shù)據(jù)，掛接上后數(shù)據(jù)就已經(jīng)全在了。
123.txt  lost+found  mss
userdb  userdb_front
5.4.5      
DRBD支持雙機(jī)的配置
詳見(jiàn)我的Linux_HA技術(shù)文檔
另外，我已經(jīng)把這項(xiàng)技術(shù)與公司郵件系統(tǒng)結(jié)合起來(lái)，可以實(shí)現(xiàn)無(wú)須存儲(chǔ)設(shè)備數(shù)據(jù)實(shí)時(shí)同步的雙機(jī)熱備份技術(shù)方案。
7        
附件1：DRBDHowto參考翻譯文檔
[url=http://www.slackworks.com/%7Edkrovich/DRBD/index.html]http://www.slackworks.com/~dkrovich/DRBD/index.html
翻譯后的參考文檔稍后發(fā)表

               
               
               
               
               
               

本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u/8516/showart_390476.html