
平臺(tái) 論壇博客文庫(kù)

› 論壇 › IT運(yùn)維 › Hadoop和大數(shù)據(jù)技術(shù) › hbase分析--沈巖組10.24

最近訪問(wèn)板塊

查看: 2105 | 回復(fù): 0

[HBase] hbase分析--沈巖組10.24 [復(fù)制鏈接]

xuyuanchao_cnu

白手起家

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報(bào)告]

發(fā)表于 2011-12-23 02:32 |只看該作者 |倒序?yàn)g覽

它介于nosql和RDBMS之間，僅能通過(guò)主鍵(row key)和主鍵的range來(lái)檢索數(shù)據(jù)，僅支持單行事務(wù)(可通過(guò)hive支持來(lái)實(shí)現(xiàn)多表join等復(fù)雜操作)。主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。Hbase在行的方向?qū)⒈矸殖闪硕鄠€(gè)Region，每個(gè)Region包含了一定范圍內(nèi)的數(shù)據(jù)。Region在行的方向?qū)⒈矸殖闪硕鄠€(gè)Region，每個(gè)表最初只有一個(gè)Region，隨著表中的記錄數(shù)不斷的增加，當(dāng)超過(guò)某個(gè)閾值的時(shí)候，Region就會(huì)被分割形成兩個(gè)新的Region。Region是HBase中分布式存儲(chǔ)和調(diào)度的最小單位。<img width="554" height="67" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-2210.png">目錄表信息包含兩個(gè)目錄表：-ROOT-和.META..用戶(hù)表信息給出了HBase中的表信息及相關(guān)的屬性。Region服務(wù)器信息給出了所有Region服務(wù)器的地址。用戶(hù)表頁(yè)面通過(guò)master頁(yè)面中用戶(hù)表信息提供的鏈接進(jìn)入用戶(hù)表頁(yè)面Hbase中的表一般的特點(diǎn)：1.大 含有上億的列2.面向列：面向列的存儲(chǔ)和權(quán)限控制，列獨(dú)立檢索。3.稀疏：對(duì)于空列，并不占用空間，因此表可以設(shè)計(jì)的很稀疏下面的這個(gè)圖是一個(gè)對(duì)Hadoop系統(tǒng)的一個(gè)很綜述性的描述<img width="415" height="261" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-25014.png"><img width="554" height="343" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-17025.png">Region按大小分割的，當(dāng)region不斷的增加，Hregion就會(huì)等分成兩個(gè)新的Hregion。Hregion是Hbase中的負(fù)載均衡的最小單元。最小單元是表示不同的Hregion分布在不同的Hregion server上。<img width="554" height="309" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-6274.png"><img width="595" height="417" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-14340.png"><img width="381" height="208" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-5338.png">Region是由多個(gè)Store組成的。每個(gè)store保存了一個(gè)列族的所有數(shù)據(jù)。 每個(gè)store包含了一個(gè)memstore 和0~n個(gè)storefile組成。主服務(wù)器HBase每個(gè)時(shí)刻只有一個(gè)HMaster在運(yùn)行，HMaster協(xié)調(diào)Region服務(wù)器的負(fù)載情況。HMaster不會(huì)對(duì)外提供數(shù)據(jù)服務(wù)。而是由Regin服務(wù)器來(lái)提供所有的Regions的讀寫(xiě)請(qǐng)求，當(dāng)HRegionServer發(fā)生故障的時(shí)候，HMaster通過(guò)Zookeeper感知到，并處理相應(yīng)的log文件。HMaster只維護(hù)表和元數(shù)據(jù)，當(dāng)HMaster節(jié)點(diǎn)失效以后，僅會(huì)導(dǎo)致所有的數(shù)據(jù)無(wú)法被修改，但是正常的讀寫(xiě)是可以的。元數(shù)據(jù)表Regions的元數(shù)據(jù)被存放到.META.表中，隨著Region的增加，多個(gè).META.表中的數(shù)據(jù)也會(huì)增大。逐漸變大后回分裂成多個(gè)Region.為了定位.META.中的各個(gè)Region的位置，把.META.表中的所有Regions的元數(shù)據(jù)保存在-ROOT-當(dāng)中，最后由ZooKeeper記錄-ROOT-表的位置信息。所以客戶(hù)端訪問(wèn)用戶(hù)數(shù)據(jù)前會(huì)訪問(wèn)ZooKeeper中的內(nèi)容，然后訪問(wèn)-ROOT-來(lái)獲得.META.表中的信息確定用戶(hù)數(shù)據(jù)存放的位置。.META.表的Regions全部存放在內(nèi)存當(dāng)中。>>Create  'test','data'創(chuàng)建了一個(gè)名為data的列 表的名字為test在HBase中有一個(gè)特點(diǎn)就是當(dāng)重新向表中寫(xiě)的時(shí)候，系統(tǒng)不會(huì)報(bào)錯(cuò)，而是直接替換相關(guān)的內(nèi)容。默認(rèn)的端口號(hào)http://Localhost:60010/master.jsp，里面顯示了master的相關(guān)的概要型的信息<img width="554" height="288" src="file:///C:.DOCUME~1.shenyan.LOCALS~1.Temp.ksohtml.wps_clip_image-11386.png">先運(yùn)行hadoop環(huán)境，然后再運(yùn)行start-hbase腳本，可以看到相應(yīng)的信息，以下是hbase啟動(dòng)后的java進(jìn)程的情況。

返回列表

Chinaunix › 論壇 › IT運(yùn)維 › Hadoop和大數(shù)據(jù)技術(shù) › hbase分析--沈巖組10.24

積分 0, 距離下一級(jí)還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

[HBase] hbase分析--沈巖組10.24 [復(fù)制鏈接]