亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標題: hadoop中的實現(xiàn)細節(jié) [打印本頁]

作者: xuyuanchao_cnu 時間: 2011-12-23 02:39
標題: hadoop中的實現(xiàn)細節(jié)
<DIV>
<DIV class=Section0 style="LAYOUT-GRID: 15.6pt none">
淺談hadoop云計算模型
沈巖（首都師范大學(xué)信息工程學(xué)院 北京 100048）

摘要：隨著人們的需求的不斷增加，傳統(tǒng)的互聯(lián)網(wǎng)技術(shù)已經(jīng)不能夠滿足人們的需要。為了有效的解決數(shù)據(jù)海嘯問題，國內(nèi)外提出了很多不同的模型，但是以google的MapReduce并行模型被廣泛的采用。
關(guān)鍵詞：HBase 并行計算 MapReduce模型 hadoop 云計算
1  引言
    數(shù)據(jù)海嘯的出現(xiàn)使得傳統(tǒng)的oracle數(shù)據(jù)庫及其它商業(yè)數(shù)據(jù)庫收到了相應(yīng)的沖擊。由于google技術(shù)上的需要，他們自主研發(fā)的MapReduce并行計算框架應(yīng)運而生，而由于google的該項目并不開源，所以Hadoop誕生了�，F(xiàn)在hadoop幾乎成為了云計算的代名詞。利用hadoop可以對集群進行控制，同時也可以更加便捷的構(gòu)建企業(yè)級的應(yīng)用。Hadoop是google的云計算的開源的實現(xiàn)，是Apache開源組織的一個分布式框架，本文以hadoop中的HDFS及HBase的相關(guān)技術(shù)來剖析hadoop的實現(xiàn)。
hadoop的優(yōu)點
hadoop的開源特性給hadoop增加了很多的優(yōu)勢，很多的開發(fā)者可以利用hadoop研發(fā)自己的產(chǎn)品，而且能夠真正的解決大規(guī)模的相對無關(guān)的數(shù)據(jù)。Hadoop的開發(fā)者當初的目標就是實現(xiàn)google的三大核心技術(shù)，并將其推廣到大眾。并且在批處理作業(yè)的大規(guī)模分布式計算上有很卓越的成就。
Hadoop的缺點
Hadoop的缺點也是不容小覷的。沒有一種編程模型是適合所有情況的，hadoop自身實現(xiàn)非常的簡單并沒有實現(xiàn)太多的復(fù)雜的技術(shù)。當數(shù)據(jù)之間關(guān)聯(lián)度比較大的時候，Hadoop的MapReduce編程模型的效果就會大大折扣。而且MapReduce的執(zhí)行效果對于批處理作業(yè)有很好的效果，但是對于實時性較強的應(yīng)用來說就不合適。
Hadoop的使用環(huán)境：
1) 硬件錯誤是常態(tài)而不是異常態(tài)。云計算環(huán)境有成千上萬個server節(jié)點，大多數(shù)的硬件可能出錯的概率較高，所以如何進行錯誤恢復(fù)和檢測是hadoop文件系統(tǒng)的技術(shù)核心。
2) 訪問文件與其他的應(yīng)用不同，因為普通的文件訪問追求低延遲，而在hadoop中訪問文件時，hadoop系統(tǒng)追求的是高吞吐量。
3) HDFS以支持大數(shù)據(jù)集合為目標，一個存儲在上面的典型文件大小一般都在千兆至T字節(jié)，一個單一HDFS實例應(yīng)該能支撐數(shù)以千萬計的文件。 
4) 移動計算的代價比之移動數(shù)據(jù)的代價低。一個應(yīng)用請求的計算，離它操作的數(shù)據(jù)越近就越高效，這在數(shù)據(jù)達到海量級別的時候更是如此。將計算移動到數(shù)據(jù)附近，比之將數(shù)據(jù)移動到應(yīng)用所在顯然更好，HDFS提供給應(yīng)用這樣的接口。【2】
Hadoop結(jié)構(gòu)
Hadoop采用master/slave架構(gòu)。一個HDFS集群是有一個Namenode和一定數(shù)目的Datanode組成。在namenode上同時有jobtracker任務(wù)在運行負責將任務(wù)分發(fā)到不同的節(jié)點上。在下圖中可以看到在偽分布式系統(tǒng)中namenode節(jié)點和datanode節(jié)點的輸出信息的不同。
<IMG height=95 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-31.png" width=494>
圖表 1 hadoop偽分布式系統(tǒng)的節(jié)點信息
Namenode是一個中心服 務(wù)器，負責管理文件系統(tǒng)的namespace和客戶端對文件的訪問。Datanode在集群中分布在各個節(jié)點上，負責管理節(jié)點上它們附帶的存儲。在內(nèi) 部，一個文件其實分成一個或多個block，每個塊一般在內(nèi)存當中是128M，所以如果文件中出現(xiàn)了很多的細小的文件的時候，會侵蝕大量的內(nèi)存空間，這對HDFS非常不利，但是hadoop采用了har歸檔文件的方式將這些文件放在一個歸檔文件當中，有效的解決了這個問題，這些block存儲在Datanode集合里。在HDFS文件中的操作是類似于本地文件的操作下面的例子是列出當前目錄里面的所有的文件的內(nèi)容。
<IMG height=229 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-325.png" width=554>
圖表 2 HDFS 文件操作
Namenode執(zhí)行文件系統(tǒng)的namespace操作，例如 打開、關(guān)閉、重命名文件和目錄，同時決定block到具體Datanode節(jié)點的映射。Datanode在Namenode的指揮下進行block的創(chuàng) 建、刪除和復(fù)制。Namenode和Datanode都是設(shè)計成可以跑在普通的廉價的運行linux的機器上。HDFS采用java語言開發(fā)，因此可以部 署在很大范圍的機器上。一個典型的部署場景是一臺機器跑一個單獨的Namenode節(jié)點，集群中的其他機器各跑一個Datanode實例。這個架構(gòu)并不排 除一臺機器上跑多個Datanode，不過這比較少見
<IMG height=435 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-4296.png" width=508> 
   圖表 3    HDFS的結(jié)構(gòu)示意圖
HDFS保證可靠性的相關(guān)措施
1）冗余備份，為了容錯，文件的所有數(shù)據(jù)塊都會有副本（副本數(shù)量就是備份因子）。HDFS都是一次性寫入的，保證任何時候都有一個寫者。Datanode使用本地文件系統(tǒng)存儲HDFS中的數(shù)據(jù)，他對HDFS一無所知，只用一個一個的文件存儲HDFS中的數(shù)據(jù)塊，當Datanode啟動的時候，他會遍歷HDFS，產(chǎn)生一份HDFS數(shù)據(jù)塊與本地文件的對應(yīng)關(guān)系的報告。并把這個報告給namenode節(jié)點，塊報告中包含了所有的datanode節(jié)點的所有塊的列表。
2）副本存放，當復(fù)制因子是3的時候，hadoop會采用機架感知的策略，將一個副本放在本地的機架里，一個副本放在同一個機架里，一個副本放在不同的機架里。

<IMG height=104 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-27087.png" width=184><IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-18106.png" width=65><IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-15337.png" width=65><IMG height=104 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-11453.png" width=184>
<IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-19593.png" width=65><IMG height=69 src="file:///C:/DOCUME~1/shenyan/LOCALS~1/Temp/ksohtml/wps_clip_image-11258.png" width=65>

  


圖表 4  機架感知的策略
3）心跳檢測
Namenode周期性的從datanode接受心跳包和塊報告，收到心跳包說明datanode工作正常。Namenode會標記最近沒有心跳的datanode為死機，namenode會不斷的檢測這些需要復(fù)制的數(shù)據(jù)塊，并在需要的時候重新復(fù)制。原因主要是由于datanode上的節(jié)點不可用，數(shù)據(jù)副本損壞，datanode節(jié)點磁盤錯誤或復(fù)制因子增大等等。
剖析MapReduce工作機制
1.客戶端：提交MapReduce作業(yè)
2.Jobtracker負責協(xié)調(diào)作業(yè)運行 類：JobTracker
3.Tasktracker 運行劃分后的作業(yè)任務(wù) 類：TaskTracker
4.分布式文件系統(tǒng)，用來在其他的實體間共享作業(yè)文件。
    Runjob提交作業(yè)后，第一步.runjob并周期性的輪詢作業(yè)的進度，如果發(fā)現(xiàn)上次與這次的報告有變化，將進度報告給控制臺。第二步Jobclient向jobtracker申請一個新的作業(yè)ID。第三步.將運行作業(yè)需要的資源(包括作業(yè)jar文件、配置文件、輸入分片等)復(fù)制到一個以作業(yè)ID命名的jobtracker的文件系統(tǒng)中。作業(yè)jar的副本較多（由mapred.submit.replication屬性控制）第四步.告知jobtracker作業(yè)準備執(zhí)行（通過submitjob方法實現(xiàn)）。
作業(yè)的初始化
    當jobtracker接收到對其submitjob方法的調(diào)用后，交由作業(yè)調(diào)度器進行調(diào)度，并對其進行初始化。為了創(chuàng)建任務(wù)運行列表，作業(yè)調(diào)度器從共享文件系統(tǒng)中獲取jobclient已經(jīng)算好的輸入分片信息。然后將每個分片分配到map任務(wù)。創(chuàng)建的reduce任務(wù)的數(shù)量由jobconf的mapred.reduce.task屬性決定，然后調(diào)度器創(chuàng)建相應(yīng)的數(shù)量的要運行的reduce任務(wù)，任務(wù)在此時被指定ID。
任務(wù)的分配
    Tasktracker運行一個簡單的循環(huán)來定期發(fā)送“心跳”給jobtracker。對于map任務(wù)和reduce任務(wù)，tasktracker有固定數(shù)量的任務(wù)槽。例如，一個tasktracker可能可以同時運行兩個或多個map任務(wù)和reduce任務(wù)。準確的數(shù)量由tasktracker核的數(shù)量和內(nèi)存的大小來決定。如果tasktracker至少有一個空閑的map任務(wù)槽，jobtracker會為它選擇一個map任務(wù)，否則選擇一個reduce任務(wù)。為選擇一個reduce任務(wù)，jobtracker簡單地從待運行的reduce任務(wù)列表中選取下一個執(zhí)行，用不著考慮數(shù)據(jù)的本地化。然而對于map任務(wù)，jobtracker會考慮tasktracker的網(wǎng)絡(luò)位置，并選擇一個距離其輸入分片文件最近的tasktracker。在最理想的情況下，任務(wù)是數(shù)據(jù)本地化的。同樣也可能是機架本地化的。【3】
分布式結(jié)構(gòu)化數(shù)據(jù)表Hbase
傳統(tǒng)的SQL與Hbase的區(qū)別【1】
Hadoop是一個處理數(shù)據(jù)的框架，比關(guān)系型數(shù)據(jù)庫要好很多。
1）Hbase目標是處理大量的非結(jié)構(gòu)化數(shù)據(jù)，而SQL是處理大量的結(jié)構(gòu)化數(shù)據(jù)。
2）商業(yè)的關(guān)系型數(shù)據(jù)庫是非常昂貴的。他們的設(shè)計更趨向于擴大規(guī)模。為了運行一個更大的數(shù)據(jù)庫，商家不得不為支持一個更大更強健的數(shù)據(jù)庫而購買一個更大的、處理速度更快的服務(wù)器。然而，隨著數(shù)據(jù)集合的不斷的擴大，高端的服務(wù)器已經(jīng)不能滿足數(shù)據(jù)規(guī)模的擴大了，而且在本地磁盤上的查詢速度主要與尋道的時間相關(guān)，當硬盤容量增加時，尋道時間是制約查詢速度的瓶頸，而hadoop是一個具有向外延伸特性的框架結(jié)構(gòu)，如果需要更多的資源，只需要向這個集群里增加更多的廉價的PC機器就可以了。
3）從電力成本的角度上來說，分布式系統(tǒng)的節(jié)能能力要高于SQL系統(tǒng)的節(jié)能能力。一臺這樣的高性能高配置的電腦比四臺低端配置的PC機的能耗要多，這說明昂貴的硬件開銷仍然不能夠滿足實際的需要。
4）關(guān)系型數(shù)據(jù)庫是處理數(shù)據(jù)之間存在依賴關(guān)系的數(shù)據(jù)，而大量的數(shù)據(jù)類型是相對無關(guān)的，比如圖片，xml，文本文檔一些實例，大量的數(shù)據(jù)是無組織的，無結(jié)構(gòu)化的數(shù)據(jù)。Hadoop用 key/value的方式，這種方式處理大量的無結(jié)構(gòu)化的數(shù)據(jù)時就變得很靈活了。
5）查詢方式不同。SQL語言是利用查詢語句來對內(nèi)容進行檢索的，而hadoop是通過編程和腳本來實現(xiàn)對數(shù)據(jù)的查詢與檢索的，很多的SQL使用者不習(xí)慣hadoop的編程模式，但是hadoop給用戶提供了接口，可以使用類似SQL語言的pig語言來實現(xiàn)相關(guān)的內(nèi)容檢索，讓其自動的轉(zhuǎn)換為mapreduce程序。
6）hadoop適合于對于大量數(shù)據(jù)的脫機處理，而不是對大量數(shù)據(jù)的在線的交易。Hadoop不適合于隨機讀寫，實時性能不太好。但是他適合于一次寫入，多次讀取的數(shù)據(jù)存儲類型。
4 總結(jié)
    目前基本上hadoop成為了人們眼中的云計算的代名詞。對于PB級別的海量數(shù)據(jù)處理，hadoop起著無法替代的作用，中國移動出產(chǎn)了大云計劃。通過修改和改裝hadoop平臺實現(xiàn)了對hadoop的海量數(shù)據(jù)的處理。
參考文獻
[1]Chunk Lam.Hadoop in action 2010
[2]http://hadoop.apache.org/core/docs/current/hdfs_design.html 
[3]Tom White. hadoop the definitive guide 2011
</DIV></DIV>

歡迎光臨 Chinaunix (http://www.72891.cn/)