重復(fù)數(shù)據(jù)刪除的前世今生

nssjcc5753

重復(fù)數(shù)據(jù)刪除并不是新興的技術(shù)，在Exchange Server中，文件級(jí)重復(fù)數(shù)據(jù)刪除SIS就已經(jīng)成為一項(xiàng)標(biāo)配。只不過，用戶對(duì)它的實(shí)現(xiàn)方法和可靠性仍抱觀望態(tài)度。
【CNW.com.cn 專稿】Data De-duplication，目前慣用的中文譯法即重復(fù)數(shù)據(jù)刪除，更為準(zhǔn)確的表達(dá)是去除數(shù)據(jù)副本。在Gartner中國(guó)存儲(chǔ)分析師張瑾看來(lái)，這個(gè)詞并不是英文原意，但從技術(shù)角度比較真實(shí)地復(fù)原了需要表達(dá)的內(nèi)涵。
前世：SIS成為一項(xiàng)標(biāo)配
重復(fù)數(shù)據(jù)刪除看似從2007年才開始提出，事實(shí)上，它并不是一個(gè)新興技術(shù)�；蛟S有細(xì)心的用戶在微軟Exchange Server的附件功能中就看到它的影子了。從Windows Storage Server2003 R2開始，單一實(shí)例存儲(chǔ)（Single Instance Storage，SIS）就已經(jīng)成為一項(xiàng)標(biāo)配。而SIS，我們完全可以把它看作是文件級(jí)的重復(fù)數(shù)據(jù)刪除技術(shù)。
目前，Symantec（VERITAS）、CA以及CommVault所使用的重復(fù)數(shù)據(jù)刪除技術(shù)，更多的是從SIS演化而來(lái)，不同的只是各家廠商已經(jīng)意識(shí)到，僅僅停留在文件級(jí)別已經(jīng)不能滿足用戶對(duì)于節(jié)約存儲(chǔ)空間，甚至節(jié)能的需求。
企業(yè)為了保護(hù)數(shù)據(jù)必須定期執(zhí)行數(shù)據(jù)備份，雖然磁盤備份快速吃掉了存儲(chǔ)空間，但企業(yè)也絕不會(huì)因此而減少備份的次數(shù)，因?yàn)檫@會(huì)犧牲數(shù)據(jù)保護(hù)的可靠度，增長(zhǎng)備份周期換取存儲(chǔ)空間只是個(gè)舍本逐末的作法。事實(shí)上，不只是數(shù)據(jù)備份，每個(gè)企業(yè)都希望保存自身營(yíng)運(yùn)的歷史記錄，藉此作為企業(yè)決策分析的依據(jù)，因此，未來(lái)數(shù)據(jù)累積的速度絕對(duì)是不斷提高的。
重復(fù)數(shù)據(jù)刪除由此誕生了。對(duì)于解決上述問題而言，重復(fù)數(shù)據(jù)刪除是目前看來(lái)最為行之有效的手段。以重復(fù)性最高的數(shù)據(jù)備份來(lái)說，如果每個(gè)備份檔的差異只有30%，也就是說有70%的空間白白浪費(fèi)掉。反言之，使用技術(shù)手段解決的話，用戶就能憑空多出70%的存儲(chǔ)空間，這無(wú)疑是用戶樂于見到的情形。
就筆者了解到的，雖然各家宣傳的壓縮比不一，主要還是因?yàn)楦黝悢?shù)據(jù)壓縮效果，以及不同環(huán)境導(dǎo)致的原因。事實(shí)上，平均壓縮率達(dá)10倍是被眾多廠商所認(rèn)可的。即平均情況下，用戶能用原來(lái)十分之一的空間來(lái)保存現(xiàn)有的數(shù)據(jù)資源。
今生：實(shí)現(xiàn)和可靠性須觀望
好處如此明顯，但在市場(chǎng)上用戶的接受度卻并不高。按照一些分析師的看法，就是用戶在“持幣觀望”。對(duì)這種態(tài)度進(jìn)行簡(jiǎn)單的分析，不難發(fā)現(xiàn)，主要原因就在于重復(fù)數(shù)據(jù)刪除技術(shù)的實(shí)現(xiàn)手段和可靠性。
第一，重復(fù)數(shù)據(jù)刪除技術(shù)實(shí)現(xiàn)方法不一。目前，實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除技術(shù)的方法分為兩種，In-line和Post-processing。In-line顧名思義，即在線處理，備份之前就進(jìn)行重復(fù)數(shù)據(jù)的刪除。以Data Domain和Diligent為代表。Post-processing是指?jìng)浞莸酱鎯?chǔ)設(shè)備之后再進(jìn)行重復(fù)數(shù)據(jù)的刪除工作。FalconStor和Sepaton是這個(gè)陣營(yíng)的忠實(shí)擁護(hù)者。
In-line由于在備份之前就進(jìn)行重復(fù)數(shù)據(jù)的檢查刪除工作，無(wú)疑能幫助用戶大大降低末端存儲(chǔ)設(shè)備的占用率。但有消息也表明，In-line對(duì)CPU及網(wǎng)絡(luò)資源的占用非常大。而Post-processing顯著的特點(diǎn)，就是對(duì)后端存儲(chǔ)設(shè)備的容量占用較多。就目前而言，筆者并不能說兩種技術(shù)究竟哪種更為先進(jìn)、今后誰(shuí)會(huì)成為重復(fù)數(shù)據(jù)刪除技術(shù)的主要支柱。
第二則是用戶普遍關(guān)心的可靠性。目前，所有的重復(fù)數(shù)據(jù)刪除產(chǎn)品都不是基于主存儲(chǔ)設(shè)備，當(dāng)然已經(jīng)有存儲(chǔ)廠商宣布推出支持重復(fù)數(shù)據(jù)刪除的主存儲(chǔ)設(shè)備，但我們尚未看到應(yīng)用實(shí)例。對(duì)于重復(fù)數(shù)據(jù)刪除技術(shù)而言，重要的一點(diǎn)就是對(duì)壓縮數(shù)據(jù)的指針指向。眾多廠商都對(duì)這些指針有多重保護(hù)措施。筆者所熟悉的一家廠商甚至專門設(shè)立了一個(gè)指針存儲(chǔ)端。但問題在于，如果保存壓縮數(shù)據(jù)的存儲(chǔ)設(shè)備損壞了，即使是指針完好無(wú)損，對(duì)于用戶來(lái)說，也無(wú)法恢復(fù)數(shù)據(jù)。
由于SIS的局限性，就目前看來(lái)，重復(fù)數(shù)據(jù)刪除是未來(lái)一段時(shí)間內(nèi)刪除冗余數(shù)據(jù)的最好實(shí)現(xiàn)方式。就筆者和眾多廠商的交流看來(lái)，幾乎別無(wú)他選。但影響其在用戶層面被廣泛接受的因素還需要存儲(chǔ)廠商們好好去思考。在今天，用戶已經(jīng)不會(huì)被一些形式化的宣傳所誘惑。對(duì)于用戶來(lái)說，萬(wàn)無(wú)一失的數(shù)據(jù)保護(hù)才是他們真正想要看到的。
重復(fù)數(shù)據(jù)刪除技術(shù)實(shí)現(xiàn)方法對(duì)比
名稱
優(yōu)勢(shì)
劣勢(shì)
In-line
幫助用戶降低后端存儲(chǔ)設(shè)備的占用率
對(duì)CPU及網(wǎng)絡(luò)資源的占用非常大
Post-processing
備份數(shù)據(jù)接近完整，降低失真概率
對(duì)后端存儲(chǔ)設(shè)備的容量占用較多


本文來(lái)自ChinaUnix博客，如果查看原文請(qǐng)點(diǎn)：http://blog.chinaunix.net/u2/72340/showart_1019488.html