
平臺(tái) 論壇博客文庫

› 論壇 › 數(shù)據(jù)庫技術(shù) › NoSQL技術(shù) › hadoop框架的初次探索--沈巖組

[Hadoop&HBase] hadoop框架的初次探索--沈巖組 [復(fù)制鏈接]

xuyuanchao_cnu

白手起家

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報(bào)告]

發(fā)表于 2011-12-23 02:39 |只看該作者 |倒序?yàn)g覽

<DIV>
<DIV class=Section0 style="LAYOUT-GRID: 15.6pt none">
數(shù)據(jù)海嘯的出現(xiàn)使得傳統(tǒng)的oracle數(shù)據(jù)庫及其它商業(yè)數(shù)據(jù)庫收到了相應(yīng)的沖擊。由于google技術(shù)上的需要，他們自主研發(fā)的MapReduce并行計(jì)算框架應(yīng)運(yùn)而生，而由于google的該項(xiàng)目并不開源，所以Hadoop誕生了。Hadoop是google的云計(jì)算的開源的實(shí)現(xiàn)，是Apache開源組織的一個(gè)分布式框架，本文以hadoop中的HDFS及HBase的相關(guān)技術(shù)來剖析hadoop的實(shí)現(xiàn)。
Hadoop的使用環(huán)境：
1) 硬件錯(cuò)誤是常態(tài)而不是異常態(tài)。云計(jì)算環(huán)境有成千上萬個(gè)server節(jié)點(diǎn)，大多數(shù)的硬件可能出錯(cuò)的概率較高，所以如何進(jìn)行錯(cuò)誤恢復(fù)和檢測(cè)是hadoop文件系統(tǒng)的技術(shù)核心。
2) 訪問文件與其他的應(yīng)用不同，因?yàn)槠胀ǖ奈募L問追求低延遲，而在hadoop中訪問文件時(shí)，hadoop系統(tǒng)追求的是高吞吐量。
3) HDFS以支持大數(shù)據(jù)集合為目標(biāo)，一個(gè)存儲(chǔ)在上面的典型文件大小一般都在千兆至T字節(jié)，一個(gè)單一HDFS實(shí)例應(yīng)該能支撐數(shù)以千萬計(jì)的文件。 
4) 移動(dòng)計(jì)算的代價(jià)比之移動(dòng)數(shù)據(jù)的代價(jià)低。一個(gè)應(yīng)用請(qǐng)求的計(jì)算，離它操作的數(shù)據(jù)越近就越高效，這在數(shù)據(jù)達(dá)到海量級(jí)別的時(shí)候更是如此。將計(jì)算移動(dòng)到數(shù)據(jù)附近，比之將數(shù)據(jù)移動(dòng)到應(yīng)用所在顯然更好，HDFS提供給應(yīng)用這樣的接口。 
（http://hadoop.apache.org/core/docs/current/hdfs_design.html ）

HDFS結(jié)構(gòu)
    HDFS采用master/slave架構(gòu)。一個(gè)HDFS集群是有一個(gè)Namenode和一定數(shù)目的Datanode組成。
    Namenode是一個(gè)中心服 務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對(duì)文件的訪問。Datanode在集群中分布在各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)管理節(jié)點(diǎn)上它們附帶的存儲(chǔ)。在內(nèi) 部，一個(gè)文件其實(shí)分成一個(gè)或多個(gè)block，每個(gè)塊一般在內(nèi)存當(dāng)中是128M，所以如果文件中出現(xiàn)了很多的細(xì)小的文件的時(shí)候，會(huì)侵蝕大量的內(nèi)存空間，這對(duì)HDFS非常不利，但是hadoop采用了har歸檔文件的方式將這些文件放在一個(gè)歸檔文件當(dāng)中，有效的解決了這個(gè)問題，這些block存儲(chǔ)在Datanode集合里。
Namenode執(zhí)行文件系統(tǒng)的namespace操作，例如 打開、關(guān)閉、重命名文件和目錄，同時(shí)決定block到具體Datanode節(jié)點(diǎn)的映射。Datanode在Namenode的指揮下進(jìn)行block的創(chuàng) 建、刪除和復(fù)制。Namenode和Datanode都是設(shè)計(jì)成可以跑在普通的廉價(jià)的運(yùn)行linux的機(jī)器上。HDFS采用java語言開發(fā)，因此可以部 署在很大范圍的機(jī)器上。一個(gè)典型的部署場(chǎng)景是一臺(tái)機(jī)器跑一個(gè)單獨(dú)的Namenode節(jié)點(diǎn)，集群中的其他機(jī)器各跑一個(gè)Datanode實(shí)例。這個(gè)架構(gòu)并不排 除一臺(tái)機(jī)器上跑多個(gè)Datanode，不過這比較少見<IMG height=435 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-12022.png" width=508> 
   圖表 1    HDFS的結(jié)構(gòu)示意圖
HDFS保證可靠性的相關(guān)措施
1）冗余備份，為了容錯(cuò)，文件的所有數(shù)據(jù)塊都會(huì)有副本（副本數(shù)量就是備份因子）。HDFS都是一次性寫入的，保證任何時(shí)候都有一個(gè)寫者。Datanode使用本地文件系統(tǒng)存儲(chǔ)HDFS中的數(shù)據(jù)，他對(duì)HDFS一無所知，只用一個(gè)一個(gè)的文件存儲(chǔ)HDFS中的數(shù)據(jù)塊，當(dāng)Datanode啟動(dòng)的時(shí)候，他會(huì)遍歷HDFS，產(chǎn)生一份HDFS數(shù)據(jù)塊與本地文件的對(duì)應(yīng)關(guān)系的報(bào)告。并把這個(gè)報(bào)告給namenode節(jié)點(diǎn)，塊報(bào)告中包含了所有的datanode節(jié)點(diǎn)的所有塊的列表。
2）副本存放，當(dāng)復(fù)制因子是3的時(shí)候，hadoop會(huì)采用機(jī)架感知的策略，將一個(gè)副本放在本地的機(jī)架里，一個(gè)副本放在同一個(gè)機(jī)架里，一個(gè)副本放在不同的機(jī)架里。
<IMG height=104 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-2272.png" width=184><IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-7131.png" width=65><IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-2035.png" width=65><IMG height=104 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-32515.png" width=184>
<IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-10363.png" width=65><IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-32271.png" width=65>

  


圖表 2  機(jī)架感知的策略
3）心跳檢測(cè)
Namenode周期性的從datanode接受心跳包和塊報(bào)告，收到心跳包說明datanode工作正常。Namenode會(huì)標(biāo)記最近沒有心跳的datanode為死機(jī)，namenode會(huì)不斷的檢測(cè)這些需要復(fù)制的數(shù)據(jù)塊，并在需要的時(shí)候重新復(fù)制。原因主要是由于datanode上的節(jié)點(diǎn)不可用，數(shù)據(jù)副本損壞，datanode節(jié)點(diǎn)磁盤錯(cuò)誤或復(fù)制因子增大等等。

分布式結(jié)構(gòu)化數(shù)據(jù)表Hbase
傳統(tǒng)的SQL與Hbase的區(qū)別
Hadoop是一個(gè)處理數(shù)據(jù)的框架，比關(guān)系型數(shù)據(jù)庫要好很多。
1）Hbase目標(biāo)是處理大量的非結(jié)構(gòu)化數(shù)據(jù)，而SQL是處理大量的結(jié)構(gòu)化數(shù)據(jù)。
2）商業(yè)的關(guān)系型數(shù)據(jù)庫是非常昂貴的。他們的設(shè)計(jì)更趨向于擴(kuò)大規(guī)模。為了運(yùn)行一個(gè)更大的數(shù)據(jù)庫，商家不得不為支持一個(gè)更大更強(qiáng)健的數(shù)據(jù)庫而購買一個(gè)更大的、處理速度更快的服務(wù)器。然而，隨著數(shù)據(jù)集合的不斷的擴(kuò)大，高端的服務(wù)器已經(jīng)不能滿足數(shù)據(jù)規(guī)模的擴(kuò)大了，而且在本地磁盤上的查詢速度主要與尋道的時(shí)間相關(guān)，當(dāng)硬盤容量增加時(shí)，尋道時(shí)間是制約查詢速度的瓶頸，而hadoop是一個(gè)具有向外延伸特性的框架結(jié)構(gòu)，如果需要更多的資源，只需要向這個(gè)集群里增加更多的廉價(jià)的PC機(jī)器就可以了。
3）從電力成本的角度上來說，分布式系統(tǒng)的節(jié)能能力要高于SQL系統(tǒng)的節(jié)能能力。一臺(tái)這樣的高性能高配置的電腦比四臺(tái)低端配置的PC機(jī)的能耗要多，這說明昂貴的硬件開銷仍然不能夠滿足實(shí)際的需要。
4）關(guān)系型數(shù)據(jù)庫是處理數(shù)據(jù)之間存在依賴關(guān)系的數(shù)據(jù)，而大量的數(shù)據(jù)類型是相對(duì)無關(guān)的，比如圖片，xml，文本文檔一些實(shí)例，大量的數(shù)據(jù)是無組織的，無結(jié)構(gòu)化的數(shù)據(jù)。Hadoop用 key/value的方式，這種方式處理大量的無結(jié)構(gòu)化的數(shù)據(jù)時(shí)就變得很靈活了。
5）查詢方式不同。SQL語言是利用查詢語句來對(duì)內(nèi)容進(jìn)行檢索的，而hadoop是通過編程和腳本來實(shí)現(xiàn)對(duì)數(shù)據(jù)的查詢與檢索的，很多的SQL使用者不習(xí)慣hadoop的編程模式，但是hadoop給用戶提供了接口，可以使用類似SQL語言的pig語言來實(shí)現(xiàn)相關(guān)的內(nèi)容檢索，讓其自動(dòng)的轉(zhuǎn)換為mapreduce程序。
6）hadoop適合于對(duì)于大量數(shù)據(jù)的脫機(jī)處理，而不是對(duì)大量數(shù)據(jù)的在線的交易。Hadoop不適合于隨機(jī)讀寫，實(shí)時(shí)性能不太好。但是他適合于一次寫入，多次讀取的數(shù)據(jù)存儲(chǔ)類型。
</DIV></DIV>

文庫|博客

redis源碼閱讀補(bǔ)充說明以及SDS的一點(diǎn)補(bǔ)充
mysql動(dòng)態(tài)sql批量刪除數(shù)據(jù)
redis源碼閱讀之a(chǎn)e_evport

返回列表

Chinaunix › 論壇 › 數(shù)據(jù)庫技術(shù) › NoSQL技術(shù) › hadoop框架的初次探索--沈巖組

積分 0, 距離下一級(jí)還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

[Hadoop&HBase] hadoop框架的初次探索--沈巖組 [復(fù)制鏈接]