rsync同步200GB2000萬個文件如何實現(xiàn)比較好？

首天

備份需求：
1，實現(xiàn)增量備份；
2，備份間隔時間越短越好，如30分鐘；
3，后臺運行；
4，不能影響系統(tǒng)正常運行；

備份的文件：
1，大小約200GB；
2，文件數(shù)量約2000萬個，約6000個一級目錄；
3，每天更新或者添加的文件數(shù)量在10萬左右；

目前的備份方法：
1，以一級目錄為單位進行tgz壓縮，存儲到備份服務(wù)器上，如果壓縮為一個tgz則耗時太長，且影響系統(tǒng)運行；
2，每隔4小時檢測一次一級目錄下面文件是否有更新或者新增，如有則更新tgz；

不足之處：
1，每次新增或者更新都需要更新整個tgz；
2，備份時對系統(tǒng)會有影響，目前是每次壓縮完一個就暫停3秒執(zhí)行下一次任務(wù)；
3，由于按一級目錄進行分開壓縮，恢復文件的時候不是很方便；

鑒于以上原因，一時沒有找到好的備份方法，最好是實時備份，看到rsync實現(xiàn)增量備份很不錯，就準備測試一下，誰知道第一次整理文件列表1個小時過去了還才150萬，2000萬那得多少時間啊，盼高手指點此類需求如何實踐比較好，謝謝

turn999

這個200G太大了，幫頂一下，期待高手解答:wink:
易發(fā)國際 http://www.yifa8.org

loveradmin

sersync 試試這個！ 觸發(fā)文件式的同步

首天

sersync 試試這個！ 觸發(fā)文件式的同步
loveradmin 發(fā)表于 2011-09-09 15:22

謝謝，google了一下，sersync也要依靠rsync程序