1，到底什么是“重復(fù)數(shù)據(jù)刪除(Deduplication)”技術(shù)
簡單地說，就是在通過網(wǎng)絡(luò)傳輸或存儲數(shù)據(jù)時，不傳送或存儲多份相同 數(shù)據(jù)，以減少對網(wǎng)絡(luò)帶寬和存儲空間的占用。實(shí)際上以前的SIS（單實(shí)例存儲）就是一種Dedu技術(shù)，但是它去重的單位是文件。現(xiàn)在流行的Deduplication技術(shù)通過是以數(shù)據(jù)塊為單位的，去重效果會更好，實(shí)現(xiàn)起來復(fù)雜程度也更高一些。這些技術(shù)用在數(shù)據(jù)備份領(lǐng)域效果最好，因?yàn)槎啻稳珎?份產(chǎn)生的數(shù)據(jù)中包含大量的重復(fù)數(shù)據(jù)。增量備份可以在一定程度上減少重復(fù)備份，但是它的單位是文件，顆粒度不好，而且長期采用增量備份也不實(shí)際，因?yàn)檫€原時 會非常復(fù)雜。如果通過合成備份來解決這一問題，合成作業(yè)又會產(chǎn)生額外的開銷。
2，去重技術(shù)如何應(yīng)用于備份或數(shù)據(jù)復(fù)制
去 重技術(shù)主要應(yīng)用于在低帶寬的情況下實(shí)施數(shù)據(jù)備份，復(fù)制。例如分支機(jī)構(gòu)的數(shù)據(jù)保護(hù)和窄帶容災(zāi)。原理基本相同，在傳送一個文件之前，會先計(jì)算該文件的指紋，如 果與之前傳送過的文件相同，則只傳送文件屬性和指針，不傳送實(shí)際的數(shù)據(jù)。如果文件指紋與之前傳送過的文件不同，則將文件拆分為更小的數(shù)據(jù)段，對每個段做指 紋，重復(fù)的段只傳送指針。由此可見，實(shí)際傳送的數(shù)據(jù)量決定于備份或復(fù)制間隔內(nèi)所產(chǎn)生的數(shù)據(jù)變化量。
3，去重適用于什么類型的數(shù)據(jù)，不適用于什么類型的數(shù)據(jù)？
去重適用于任何類型的數(shù)據(jù)，比如辦公文檔，數(shù)據(jù)庫，多媒體文件，虛擬機(jī)等。雖然有些數(shù)據(jù)由于其自身的特點(diǎn)決定，第一次備份時去重效果不是特別明顯，但是在后續(xù)的備份中，去重技術(shù)的優(yōu)勢就顯現(xiàn)出來了。備份的次數(shù)越多，間隔越短，重復(fù)數(shù)據(jù)刪除比就越高。
4，怎么才能知道去重技術(shù)對我的數(shù)據(jù)是否有效？
去重效果主要決定于以下幾個方面：A，有多少數(shù)據(jù)改變，數(shù)據(jù)變化量越少，去重效果越明顯；B，數(shù)據(jù)是否可以被有效壓縮，壓縮技術(shù)通常與去重技術(shù)一起使用，壓 縮率高的數(shù)據(jù)，即使去重率不高，通過壓縮，也可以明顯在節(jié)省帶寬和存儲；C，你所采用的備份方式（全備，差備，增備），對全備最明顯，對增備也同樣有效， 例如，一個50M的文件，只有一個128K的數(shù)據(jù)塊發(fā)生了變化，增量備份要備整個50M文件，去重技術(shù)則只備份變化的數(shù)據(jù)塊；D，數(shù)據(jù)要保留多久，數(shù)據(jù)保 留周期越長，去重技術(shù)的優(yōu)勢越突出，因?yàn)樗梢詷O大地節(jié)省你的存儲空間。
5，去重技術(shù)到底有什么益處？
前面介紹過了，可以節(jié)省你的存儲空間和網(wǎng)絡(luò)寬帶。這樣你就可以通過高速磁盤存儲保留更多的備份數(shù)據(jù)了，將更多的備份數(shù)據(jù)存儲于有限的磁盤空間，減少對磁帶的使用，節(jié)省成本，也提高了恢復(fù)數(shù)據(jù)時的效率。節(jié)省帶寬這一優(yōu)勢可用于分支機(jī)構(gòu)的數(shù)據(jù)保護(hù)和實(shí)現(xiàn)低成本的窄帶數(shù)據(jù)容災(zāi)。
6，什么是定長塊去重，什么是可變長塊去重？
數(shù) 據(jù)的變化是沒有規(guī)律的，如果采用定長的數(shù)據(jù)塊，則不管數(shù)據(jù)變化量是多少，也不管發(fā)生數(shù)據(jù)變化的比特位在數(shù)據(jù)塊的什么位置，都要備份整個數(shù)據(jù)塊。這樣分塊大 時，傳輸?shù)臄?shù)據(jù)量較大，數(shù)據(jù)塊小時，管理信息會有較大的增加。采用可變長塊可以有效解決上述問題，去重的效果會比定長塊方案要好，但是，變長塊也同樣增加 了數(shù)據(jù)管理的復(fù)雜度。
7，采用去重技術(shù)來存儲和備份數(shù)據(jù)，安全性如何？會不會出現(xiàn)不能恢復(fù)的情況？
去重技術(shù)是成熟技 術(shù)，非常安全，十個相同文件，采用去重技術(shù)存儲，數(shù)據(jù)只會保留一份，但是這十個文件的屬性會分別保存，并有指針指向與它們對應(yīng)的數(shù)據(jù)塊。去重技術(shù)采用文件 或數(shù)據(jù)塊的指紋（MD5,SHA或CRC等）來判斷重復(fù)性，可能會產(chǎn)生“碰撞”，也就是不同的文件或數(shù)據(jù)塊計(jì)算出相同的指紋，從而導(dǎo)致數(shù)據(jù)丟失。但是這種 可能性非常小，而且成熟產(chǎn)品會采用多種指紋技術(shù)來進(jìn)一步降低“碰撞”的可能。
8，什么是前去重，什么是后去重？
前去 重是指我們用備份服務(wù)器備份某一臺計(jì)算機(jī)上的數(shù)據(jù)時，去重的操作發(fā)生在被保護(hù)的計(jì)算機(jī)上，這樣的話，從該計(jì)算機(jī)到備份服務(wù)器之間也不會有重復(fù)數(shù)據(jù)出現(xiàn)，節(jié) 省這一段網(wǎng)絡(luò)帶寬，但是會增加被保護(hù)計(jì)算機(jī)的負(fù)擔(dān)。后去重則是數(shù)據(jù)傳送到備份服務(wù)器之后再刪除掉重復(fù)數(shù)據(jù)，可以存儲在磁盤上，也可以進(jìn)一步通過網(wǎng)絡(luò)傳遞。 這樣方案不會增加被保護(hù)主機(jī)的負(fù)擔(dān)。通常對于大一點(diǎn)兒的站點(diǎn)，我們會采用這種方案，把去重的任務(wù)交由該站點(diǎn)內(nèi)的專用服務(wù)器來完成。
9，去重技術(shù)支持備份到磁帶嗎？
磁 帶不支持隨機(jī)訪問，所以在磁帶上實(shí)現(xiàn)去重技術(shù)難度較大，且效率不高，磁帶相對于磁盤來說，成本也較低。所以目前的去重解決方案主要是應(yīng)用于磁盤存儲。如果 用備份軟件將磁盤上的去重?cái)?shù)據(jù)復(fù)制到磁帶上時，被去重的數(shù)據(jù)往往被還原為非去重狀態(tài)。這樣也可以在一定程度上降低去重為數(shù)據(jù)的可用性所帶來的風(fēng)險（重復(fù)數(shù) 據(jù)只保存一份，這就意味著，這一份數(shù)據(jù)受損，將導(dǎo)致一組文件無法正常使用）。
10，實(shí)現(xiàn)去重方案要花多少錢？
目前提供這一方案的廠家很多，相關(guān)解決方案的價格會有一些差別。總的來講，在這一部分的投入，很快會通過對網(wǎng)絡(luò)帶寬和存儲空間的節(jié)省而得到回報(bào)。所以目前這一技術(shù)是主流的數(shù)據(jù)保護(hù)技術(shù)，比較受用戶歡迎。特別是那些數(shù)據(jù)量較大的用戶。
原文地址：
http://blog.csdn.net/liuben/article/details/5058538