亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 利用inotify+rsync實(shí)現(xiàn)linux文件批量更新 [打印本頁(yè)]

作者: may0505 時(shí)間: 2013-05-22 09:09
標(biāo)題: 利用inotify+rsync實(shí)現(xiàn)linux文件批量更新
批量同步、批量更新，這應(yīng)該是做運(yùn)維的朋友們經(jīng)常做的工作，rsync是linux下一款非常強(qiáng)大的同步工具，采用差異同步的方法，只上傳文件/文件夾的不同部分，同時(shí)可以對(duì)上傳部分先進(jìn)行壓縮，所以rsync的傳輸效率是很高的但rsync也有缺點(diǎn)，最大的問(wèn)題就是每次執(zhí)行rsync命令都會(huì)遍歷目標(biāo)目錄，當(dāng)文件不多時(shí)，這沒(méi)什么問(wèn)題，一旦文件數(shù)到了一定規(guī)模，那么每次遍歷都會(huì)消耗很多資源，如果只對(duì)經(jīng)常改動(dòng)的目錄進(jìn)行同步，也可以忽略這個(gè)問(wèn)題，如果每次改動(dòng)的目錄多較大，那么就要用到inotify了，Inotify是一種強(qiáng)大的、細(xì)粒度的、異步的文件系統(tǒng)事件監(jiān)控機(jī)制，Linux內(nèi)核從2.6.13起，加入了對(duì)Inotify的支持，通過(guò)Inotify可以監(jiān)控文件系統(tǒng)中的添加、刪除、修改、移動(dòng)等各種事件，但inotify只提供了C語(yǔ)言接口，不方便調(diào)用，所以我們需要先安裝inotify-tools

一、系統(tǒng)環(huán)境：
CentOS_5.7-x86_64
更新源服務(wù)器：192.168.9.227
目的服務(wù)器：192.168.9.226  192.168.9.228  ... ...

二、目的服務(wù)器配置:192.168.9.226 192.168.9.228（rsync服務(wù)端）：
1、檢查rsync是否安裝

rpm -qa|grep rsync

如果沒(méi)有發(fā)裝，執(zhí)以下命令進(jìn)行安裝

yum -y install rsync

2、定義rsync配置文件/etc/rsyncd.conf
192.168.9.226:

cat >> /etc/rsyncd.conf << EOF
uid = nobody
gid = nobody
use chroot = no
max connections = 100
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[web1]
path = /data/www1/
ignore errors
read only = no
list = no
hosts allow = 192.168.9.0/255.255.255.0
auth users = www1
secrets file = /etc/www1.pwd
EOF

192.168.9.228:

cat >> /etc/rsyncd.conf << EOF
uid = nobody
gid = nobody
use chroot = no
max connections = 100
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[web2]
path = /data/www2/
ignore errors
read only = no
list = no
hosts allow = 192.168.9.0/255.255.255.0
auth users = www2
secrets file = /etc/www2.pwd
EOF

3、rsyncd.conf配置文件詳解
uid = nobody    //運(yùn)行RSYNC守護(hù)進(jìn)程的用戶
gid = nobody    //運(yùn)行RSYNC守護(hù)進(jìn)程的組
use chroot = 0 //不使用chroot
max connections = 0 // 最大連接數(shù),0為不限制
port = 873  //默認(rèn)端口873

下面這些文件是安裝完RSYNC服務(wù)后自動(dòng)生成的文件
pid file = /var/run/rsyncd.pid //pid文件的存放位置
lock file = /var/run/rsync.lock //鎖文件的存放位置.指定支持max connections參數(shù)的鎖文件,默認(rèn)值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日志記錄文件的存放位置

Timeout = 300
通過(guò)該選項(xiàng)可以覆蓋客戶指定的IP超時(shí)時(shí)間.通過(guò)該選項(xiàng)可以確保rsync服務(wù)器不會(huì)永遠(yuǎn)等待一個(gè)崩潰的客戶端.超時(shí)單位為秒鐘,0表示沒(méi)有超時(shí)定義,這也是默認(rèn)值.對(duì)于匿名rsync服務(wù)器來(lái)說(shuō),一個(gè)理想的數(shù)字是600.

Log format = %t %a %m %f %b
通過(guò)該選項(xiàng)用戶在使用transfer logging可以自己定制日志文件的字段.其格式是一個(gè)包含格式定義符的字符串,可以使用的格式定義符如下所示：
%h 遠(yuǎn)程主機(jī)名
%a 遠(yuǎn)程IP地址
%l 文件長(zhǎng)度字符數(shù)
%p 該次rsync會(huì)話的進(jìn)程id
%o 操作類型：" send" 或" recv"
%f 文件名
%P 模塊路徑
%m 模塊名
%t 當(dāng)前時(shí)間
%u 認(rèn)證的用戶名(匿名時(shí)是null)
%b 實(shí)際傳輸?shù)淖止?jié)數(shù)
%c 當(dāng)發(fā)送文件時(shí),該字段記錄該文件的校驗(yàn)碼
默認(rèn)log格式為：" %o %h [%a] %m (%u) %f %l" ,一般來(lái)說(shuō),在每行的頭上會(huì)添加" %t [%p] " .在源代碼中同時(shí)發(fā)布有一個(gè)叫rsyncstats的perl腳本程序來(lái)統(tǒng)計(jì)這種格式的日志文件.

#transfer logging = yes
使rsync服務(wù)器使用ftp格式的文件來(lái)記錄下載和上載操作在自己?jiǎn)为?dú)的日志中.

syslog facility = local3
指定rsync發(fā)送日志消息給syslog時(shí)的消息級(jí)別,常見的消息級(jí)別是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默認(rèn)值是daemon.

模塊參數(shù)
[web1] //這里是認(rèn)證的模塊名,在client端需要指定
path = /data/www1/  //需要做鏡像的目錄,不可缺少！
comment = backup web  //這個(gè)模塊的注釋信息
ignore errors //可以忽略一些無(wú)關(guān)的IO錯(cuò)誤
read only = yes  //該選項(xiàng)設(shè)定是否允許客戶上載文件.如果為true那么任何上載請(qǐng)求都會(huì)失敗,如果為false并且服務(wù)器目錄讀寫權(quán)限允許那么上載是允許的.默認(rèn)值為true.
list = no       //不允許列文件
auth users = bak //認(rèn)證的用戶名,如果沒(méi)有這行則表明是匿名,此用戶與系統(tǒng)無(wú)關(guān)
該選項(xiàng)指定由空格或逗號(hào)分隔的用戶名列表,只有這些用戶才允許連接該模塊.這里的用戶和系統(tǒng)用戶沒(méi)有任何關(guān)系.如果" auth users" 被設(shè)置,那么客戶端發(fā)出對(duì)該模塊的連接請(qǐng)求以后會(huì)被rsync請(qǐng)求challenged進(jìn)行驗(yàn)證身份這里使用的challenge/response認(rèn)證協(xié)議.用戶的名和密碼以明文方式存放在" secrets file" 選項(xiàng)指定的文件中.默認(rèn)情況下無(wú)需密碼就可以連接模塊(也就是匿名方式).

secrets file = /etc/www1.pwd    //密碼和用戶名對(duì)比表,密碼文件自己生成
該選項(xiàng)指定一個(gè)包含定義用戶名:密碼對(duì)的文件.只有在" auth users" 被定義時(shí),該文件才有作用.文件每行包含一個(gè)username:passwd對(duì).一般來(lái)說(shuō)密碼最好不要超過(guò)8個(gè)字符.沒(méi)有默認(rèn)的secures file名,需要限式指定一個(gè)(例如：/etc/www1.pwd).注意：該文件的權(quán)限一定要是600,否則客戶端將不能連接服務(wù)器.

hosts allow = 192.168.9.0/255.255.255.0  //允許主機(jī)或網(wǎng)段
該選項(xiàng)指定哪些IP的客戶允許連接該模塊.客戶模式定義可以是以下形式：
單個(gè)IP地址,例如：192.168.9.227
整個(gè)網(wǎng)段,例如：192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多個(gè)IP或網(wǎng)段需要用空格隔開,“*”則表示所有,默認(rèn)是允許所有主機(jī)連接.

hosts deny = 0.0.0.0/0  //禁止主機(jī)

4、建立認(rèn)證文件/etc/www1.pwd ,此文件須與配置文件中指定文件名保持一致
此處格式為：username:password,安全問(wèn)題,并不建議實(shí)際使用中使用root用戶
192.168.9.226:

echo "www1:741852" >> /etc/www1.pwd

192.168.9.228:

echo "www2:951753" >> /etc/www2.pwd

并且我們需要設(shè)置此文件的權(quán)限為600

chmod 600 /etc/www1.pwd
chmod 600 /etc/www2.pwd
chmod 600 /etc/rsyncd.conf

5、建立motd文件（可有可無(wú)）
rsyncd.motd記錄了rsync服務(wù)的歡迎信息,你可以在其中輸入任何文本信息,如：

echo "Welcome to use the rsync services!" >> /var/rsyncd.motd

6、啟動(dòng)rsync

/usr/bin/rsync --daemon

echo "/usr/bin/rsync --daemon" >> /etc/rc.local

三、更新源服務(wù)器配置:192.168.9.227 （rsync客戶端）
1、inotify 可以監(jiān)視的文件系統(tǒng)事件包括：
IN_ACCESS，即文件被訪問(wèn)
IN_MODIFY，文件被 write
IN_ATTRIB，文件屬性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE，可寫文件被 close
IN_CLOSE_NOWRITE，不可寫文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM，文件被移走,如 mv
IN_MOVED_TO，文件被移來(lái)，如 mv、cp
IN_CREATE，創(chuàng)建新文件
IN_DELETE，文件被刪除，如 rm
IN_DELETE_SELF，自刪除，即一個(gè)可執(zhí)行文件在執(zhí)行時(shí)刪除自己
IN_MOVE_SELF，自移動(dòng)，即一個(gè)可執(zhí)行文件在執(zhí)行時(shí)移動(dòng)自己
IN_UNMOUNT，宿主文件系統(tǒng)被 umount
IN_CLOSE，文件被關(guān)閉，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE，文件被移動(dòng)，等同于(IN_MOVED_FROM | IN_MOVED_TO)
注：上面所說(shuō)的文件也包括目錄。

2、安裝inotify-tools
在安裝inotify-tools前請(qǐng)先確認(rèn)你的linux內(nèi)核是否打到了2.6.13，并且在編譯時(shí)開啟了CONFIG_INOTIFY選項(xiàng)，也可以通過(guò)以下命令檢測(cè)

ls /proc/sys/fs/inotify

如果有 max_queued_events，max_user_instances，max_user_watches 三項(xiàng)就說(shuō)明支持

wget http://cloud.github.com/download ... y-tools-3.14.tar.gz
tar xvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure
make;make install

3、編寫rsync監(jiān)控腳本

vi /root/rsync.sh

-m，即--monitor，表示始終保持事件監(jiān)聽狀態(tài)。

#!/bin/bash
host1=192.168.9.226
host2=192.168.9.228
src=/data/www/
des1=web1
des2=web2
user1=www1
user2=www2
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
-e modify,delete,create,attrib \
${src} \
| while read file
do
rsync -vzrtopg --delete --progress ${src} ${user1}@${host1}:

{des1} --password-file=/etc/www1.pwd &&
rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}:

{des2} --password-file=/etc/www2.pwd &&
echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
echo "---------------------------------------------------------------------------"
done

-r，即--recursive，表示遞歸查詢目錄。
-q，即--quiet，表示打印出監(jiān)控事件。
-e，即--event，通過(guò)此參數(shù)可以指定要監(jiān)控的事件，常見的事件有modify、delete、create、attrib等
--timefmt：指定時(shí)間的輸出格式
--format：指定變化文件的詳細(xì)信息

建立認(rèn)證文件  (rsync客戶端認(rèn)證文件只用加入密碼)

echo "741852" >> /etc/www1.pwd
echo "951753" >> /etc/www2.pwd
chmod 600 /etc/www1.pwd
chmod 600 /etc/www2.pwd

/bin/sh -n /root/rsync.sh  //語(yǔ)法檢查
chmod +x /root/rsync.sh
nohup sh /root/rsync.sh &
echo "nohup sh /root/rsync.sh &" >> /etc/rc.local

四、同步測(cè)試
在更新源服務(wù)器上新建一個(gè)文件，運(yùn)行以下的命令，看文件是否可以正常同步，看有無(wú)報(bào)錯(cuò)信息

rsync -vzrtopg --delete --progress /data/www1/ www1@192.168.9.226::web1 --password-file=/etc/www1.pwd

將要更新的文件提交到更新源服務(wù)器中，這樣就通過(guò)inotify+rsync批量的將更新文件同步到所有的目的服務(wù)器中，相當(dāng)方便快捷

http://kerry.blog.51cto.com/172631/734087/

作者: osapub 時(shí)間: 2013-05-22 13:41
代碼中間有表情噢。。。

作者: 尚風(fēng) 時(shí)間: 2013-05-24 09:47
沒(méi)有用過(guò)，看起來(lái)不錯(cuò)，改一下表情吧。

作者: chenyx 時(shí)間: 2013-05-31 19:02
這個(gè)不錯(cuò),收藏備用

作者: may0505 時(shí)間: 2013-06-03 08:52

chenyx 發(fā)表于 2013-05-31 19:02
這個(gè)不錯(cuò),收藏備用

謝謝版主支持

歡迎光臨 Chinaunix (http://www.72891.cn/)