【原創(chuàng)】討論帖：web2.0網(wǎng)站對(duì)存儲(chǔ)的需求和解決思路

qqeyes

web2.0網(wǎng)站對(duì)存儲(chǔ)的需求和解決思路
author：qqeyes
2008-12


= web2.0網(wǎng)站對(duì)存儲(chǔ)的需求和問(wèn)題 =

這里我們討論的是一個(gè)有海量數(shù)據(jù)的web2.0網(wǎng)站如何設(shè)計(jì)他的存儲(chǔ)架構(gòu)的。首先定一個(gè)海量，什么是海量，海量就是說(shuō)這個(gè)網(wǎng)站有上億個(gè)甚至十幾個(gè)億的數(shù)據(jù)，每天的訪問(wèn)量也有好幾億的pv。web2.0反映了這個(gè)網(wǎng)站的數(shù)據(jù)類型，可能有很多的圖片，小文件，或者是視頻。在高達(dá)數(shù)十T的情況下，如何存放和管理這些數(shù)據(jù)恐怕是這類網(wǎng)站管理人員每天都要考慮的問(wèn)題了。
本文將從圖片和視頻兩個(gè)角度來(lái)分析這類網(wǎng)站的存儲(chǔ)設(shè)計(jì)。這兩個(gè)類型是目前網(wǎng)絡(luò)上存在數(shù)量最高的數(shù)據(jù)類型，也是web2.0網(wǎng)站的主要數(shù)據(jù)類型之一。

== 圖片的存儲(chǔ) ==

- 圖片的大小

沒(méi)錯(cuò)，圖片的大小是個(gè)很重要的因素，平均大小幾百k的圖片甚至更大的圖片是和平均大小幾k的圖片管理是兩種完全不同的概念。如果是較大的圖片，你完全可以把他當(dāng)做普通的文件甚至是小視頻來(lái)對(duì)待，但是幾k的圖片，就面臨到很多的問(wèn)題了。

- 圖片的數(shù)量

請(qǐng)相信我，當(dāng)你管理的圖片超過(guò)十億個(gè)的時(shí)候，你就非常頭痛了。

- 圖片的更新

圖片的更新就是說(shuō)這些圖片是否需要在同一個(gè)名字下改變他的內(nèi)容，這會(huì)增加很大的成本，降低很多的效率。

- 究竟是采用普通的文件系統(tǒng)還是分布式文件系統(tǒng)

分布式文件系統(tǒng)的確是是現(xiàn)在最熱門的最能體現(xiàn)未來(lái)的文件系統(tǒng)，但是目前仍然沒(méi)能大規(guī)模商業(yè)化，不是每一家公司都能夠像google一樣站在浪尖上。

- 究竟是采用昂貴的專業(yè)存儲(chǔ)還是廉價(jià)的pc服務(wù)器

網(wǎng)站剛開始的時(shí)候大家都是使用廉價(jià)的服務(wù)器，后來(lái)有錢了，訪問(wèn)量大了，可靠性要求高了，開始用專業(yè)存儲(chǔ)，但是專業(yè)存儲(chǔ)用多了，又想回到的廉價(jià)的“山寨存儲(chǔ)”--pc上。

- 究竟采用什么樣的備份和恢復(fù)方式

面對(duì)如此多的文件，你要怎么考慮備份恢復(fù)的問(wèn)題，尤其是面對(duì)無(wú)法控制的誤操作和程序bug。

- 如何面對(duì)復(fù)制

這么多的文件，想做一份copy真的很難，這意味著你很難做遷移。


== 視頻或大文件 ==

- 只做少量修改

只做少量的修改意味著原來(lái)的文件中大部分?jǐn)?shù)據(jù)都不會(huì)改變，甚至連文件名都不曾改變。所有的操作可能僅僅是在末尾添加某幾個(gè)字節(jié)的改變。但是從文件上看下去，這個(gè)文件被徹底的改變了。

- 空間又不夠了

無(wú)論你規(guī)劃了多少空間，監(jiān)控中心總是在告訴你，空間不夠了。

- 容災(zāi)

這么大的數(shù)據(jù)量，可能是幾十T，需要做容災(zāi)么？

- 用戶總是抱怨訪問(wèn)太慢了

為什么用戶總是抱怨訪問(wèn)這些文件的速度無(wú)法接受。這可能會(huì)影響網(wǎng)站的訪問(wèn)甚至聲譽(yù)。



= 我們現(xiàn)在的架構(gòu)是什么樣的 =

: 方案1 集中NAS存儲(chǔ)

目前很多的網(wǎng)站都是采用linux/unix平臺(tái)作為web服務(wù)器，前面掛一個(gè)負(fù)載均衡，后端就是NAS存儲(chǔ)。而這個(gè)存儲(chǔ)基本上存放著web平臺(tái)請(qǐng)求的一切數(shù)據(jù)。無(wú)論是讀寫，對(duì)數(shù)據(jù)的操作均在NAS上完成。優(yōu)點(diǎn)是非常明顯的的，首先你的數(shù)據(jù)都只存放在一點(diǎn)上，對(duì)應(yīng)用來(lái)說(shuō)非常簡(jiǎn)單，我可能只需要知道向某個(gè)目錄（mount point）上讀寫數(shù)據(jù)，其他都不用操心了。對(duì)于存儲(chǔ)管理員也簡(jiǎn)單了。我只要管理這一個(gè)機(jī)器就好了，只要他能保證可靠性，能夠方便的進(jìn)行對(duì)web服務(wù)器的支持，能夠讓我方便的備份和恢復(fù)，有良好的高性能的快照，防止誤操作。能夠使用更多的元數(shù)據(jù)信息（文件創(chuàng)建時(shí)間、修改時(shí)間等等）。這就可以了！

為什么使用了NAS，因?yàn)樽鳛橐粋�(gè)網(wǎng)站，這種集中存儲(chǔ)方式對(duì)多服務(wù)器的共享支持最好，能夠很容易的部署，成本相對(duì)較低，性能基本也足夠。

: 方案2 本地磁盤

不要被嚇到，使用本地磁盤的服務(wù)器不在少數(shù)，甚至?xí)�高過(guò)使用集中存儲(chǔ)的網(wǎng)站，他的優(yōu)點(diǎn)也是很明顯的，成本低，易于管理。容量上也不吃虧，一個(gè)4u的服務(wù)器現(xiàn)在已經(jīng)可以支持到48T的裸容量了，并且越來(lái)越多的廠商加入到高磁盤密度服務(wù)器的開發(fā)當(dāng)中。說(shuō)明這是一個(gè)很有未來(lái)的方向。

: 方案3 分布式文件系統(tǒng)

可以說(shuō)，正是因?yàn)?/font>google的成功，才讓分布式文件系統(tǒng)如此的火爆。盡管在他的之前，許多的企業(yè)和大學(xué)花了很多心血在上面，但是知名度最高，應(yīng)用最廣泛的還是google。他的優(yōu)點(diǎn)和他的名聲一樣大，海量存放，高速訪問(wèn)，近乎100%的可靠性。不過(guò)這個(gè)東西在國(guó)內(nèi)的應(yīng)用相對(duì)較少，雖然有一些比較大的門戶在嘗試，但是沒(méi)有那一家能全面使用。



= 現(xiàn)在架構(gòu)出什么問(wèn)題了 我們是怎么解決的 =

: 集中NAS存儲(chǔ)

忽然有一天開始，存儲(chǔ)管理員天天都在面臨存儲(chǔ)空間不夠，NAS性能不好。但是他無(wú)能為力，因?yàn)樗�已�?jīng)買了預(yù)算以內(nèi)最好的NAS產(chǎn)品，做了最全面的優(yōu)化�？墒撬�同時(shí)發(fā)現(xiàn)，面對(duì)爆炸性的數(shù)據(jù)增長(zhǎng)，這些東西已經(jīng)無(wú)能為力。

最容易想到的方法是，讓一個(gè)NAS變成多個(gè)。怎么變呢？第一個(gè)辦法：NAS虛擬化，這是個(gè)新東西，很多企業(yè)級(jí)的應(yīng)用都是不敢用的。畢竟新的東西一來(lái)成本很高，二來(lái)大家也不放心。所以最常見的辦法是從應(yīng)用層上下手，比如nfs的mount點(diǎn)變成多個(gè)，讓程序通過(guò)一定的手段，比如hash，來(lái)實(shí)現(xiàn)利用多個(gè)NAS共同服務(wù)；或者是開發(fā)一個(gè)接口，放在應(yīng)用層和存儲(chǔ)之間，當(dāng)應(yīng)用層讀寫存儲(chǔ)的時(shí)候，首先經(jīng)過(guò)的是接口，然后才到存儲(chǔ)，讓接口去完成之前應(yīng)用層的改造。這樣方式的好處是可以避免單一NAS存儲(chǔ)的瓶頸，并且可以先行擴(kuò)展，滿足未來(lái)的需要。

: 本地磁盤

無(wú)論機(jī)器的硬盤有多少，總是有個(gè)限制的。硬盤太多，運(yùn)算和內(nèi)存單元的瓶頸又顯露出來(lái)。這兩者之間是矛盾的。不可能僅僅用大硬盤就可以解決。
除了大容量服務(wù)器之外，iscsi已經(jīng)獲得了相當(dāng)?shù)恼J(rèn)可，很多基于iscsi的方案在探索中不斷成長(zhǎng)。在高io和吞吐量的測(cè)試上體現(xiàn)了很大的優(yōu)勢(shì)。開源軟件+iscsi變得更加靈活。你可以使用一個(gè)集群化的機(jī)器提供iscsi的方式供給空間，不僅僅解決了運(yùn)算段的問(wèn)題，而且不在受限于本地磁盤的限制。

: 分級(jí)存儲(chǔ)

所有的數(shù)據(jù)都放在一個(gè)籠子里，你可能會(huì)發(fā)現(xiàn)很多的數(shù)據(jù)根本沒(méi)有人去訪問(wèn)，或者訪問(wèn)很少。這些數(shù)據(jù)甚至占到的了總數(shù)的80%，但是卻和那些熱點(diǎn)的數(shù)據(jù)占據(jù)相同的成本，提供相同的訪問(wèn)級(jí)別。
因此，根據(jù)不同的訪問(wèn)頻率和需求，文件按照一定的級(jí)別分布，在高性能高成本的地方存放最需要可靠性和速度的數(shù)據(jù)，那些相對(duì)于訪問(wèn)頻率較低的，則可以放在性能較弱的二級(jí)存儲(chǔ)上這個(gè)特別適合于熱點(diǎn)表現(xiàn)非常鮮明的在線視頻和大文件的存放。

: 緩慢的備份

那些數(shù)量眾多的文件，特別是文件大小僅僅有幾k的小文件，備份一次是相當(dāng)?shù)耐纯��？赡苄枰獋浞菰O(shè)備沒(méi)日沒(méi)夜的備份好幾天才能備份完畢。
這個(gè)可能比較麻煩的，目前沒(méi)有特別有效的辦法。也希望大家多多思考這方面的方法。



= 我們的未來(lái) =

最好的存儲(chǔ)方式就是最簡(jiǎn)單的。我們只需要考慮選擇多大空間的存儲(chǔ)，多高的io和吞吐量，設(shè)定管理的調(diào)度規(guī)則，然后可以去睡覺(jué)了。


= 后記 =

這篇文章敘述的相對(duì)簡(jiǎn)單，很多具體的內(nèi)容和操作步驟都沒(méi)有涉及到，希望大家能留言或來(lái)信積極討論。