不得不說(shuō)：你并不知道Hadoop的12個(gè)事實(shí)

patagonia

Hadoop是由多個(gè)產(chǎn)品組成的

　 現(xiàn)如今，Apache Hadoop已經(jīng)無(wú)人不知無(wú)人不曉。當(dāng)年雅虎搜索工程師Doug Cutting開(kāi)發(fā)出這個(gè)用以創(chuàng)建分布式計(jì)算機(jī)環(huán)境的開(kāi)源軟件庫(kù)，并以自己兒子的大象玩偶為其命名的時(shí)候，誰(shuí)能想到它有一天會(huì)占據(jù)“大數(shù)據(jù)”技術(shù)的頭把交椅呢。

　　雖然Hadoop伴隨大數(shù)據(jù)一同火爆起來(lái)，但相信還是有許多用戶對(duì)于它不甚了解。在上周名的TDWI解決方案峰會(huì)中， TDWI研究主任兼行業(yè)分析師Philip Russom發(fā)表了“關(guān)于Hadoop的12點(diǎn)事實(shí)”的主題演講，TechTarget編輯在本文中將對(duì)其精華內(nèi)容進(jìn)行總結(jié)，希望對(duì)您進(jìn)一步了解 Hadoop有所幫助。

　　事實(shí)1：Hadoop是由多個(gè)產(chǎn)品組成的。

　　人們?cè)谡務(wù)揌adoop的時(shí)候，常常把它當(dāng)做單一產(chǎn)品來(lái)看待，但事實(shí)上它由多個(gè)不同的產(chǎn)品共同組成。

　　Russom說(shuō)：“Hadoop是一系列開(kāi)源產(chǎn)品的組合，這些產(chǎn)品都是Apache軟件基金會(huì)的項(xiàng)目�！�

　　一提到Hadoop，人們往往將其與MapReduce放在一起，但其實(shí)HDFS和MapReduce一樣，也是Hadoop的基礎(chǔ)。

　　事實(shí)2：Apache Hadoop是開(kāi)源技術(shù)，但專有廠商也提供Hadoop產(chǎn)品。

　　由于Hadoop屬于開(kāi)源技術(shù)，可免費(fèi)下載，所以IBM、Cloudera和EMC Greenplum等廠商都可以推出他們各自的Hadoop特別發(fā)行版本。

　　這些特別發(fā)行版本一般都會(huì)有一些附加特性，比如高級(jí)管理工具及相關(guān)的支持維護(hù)服務(wù)。有人可能對(duì)此嗤之以鼻：既然開(kāi)源社區(qū)是免費(fèi)的，那么我們?yōu)槭裁催�要為它的服務(wù)付費(fèi)？Russom解釋道，這些版本的HDFS對(duì)一些IT部門更合適，特別是企業(yè)IT系統(tǒng)已經(jīng)相對(duì)成熟的用戶。

　　事實(shí)3：Hadoop是一個(gè)生態(tài)系統(tǒng)，而非一個(gè)產(chǎn)品。

　　Hadoop是由開(kāi)源社區(qū)和各個(gè)廠商共同開(kāi)發(fā)和推動(dòng)的。具體說(shuō)來(lái)，廠商的Hadoop的產(chǎn)品其結(jié)構(gòu)化和關(guān)系性更強(qiáng)一些。

　　Russom說(shuō)：“一直以來(lái)報(bào)表平臺(tái)、數(shù)據(jù)集成平臺(tái)在為更新的平臺(tái)提供各種各樣的接口，Hadoop當(dāng)然也不例外�！�

　　事實(shí)4：HDFS是文件系統(tǒng)，而不是數(shù)據(jù)庫(kù)管理系統(tǒng)。

　　Russom最無(wú)法忍受的，就是人們常常把二者混為一談。能夠?qū)��?shù)據(jù)集進(jìn)行管理是數(shù)據(jù)管理系統(tǒng)很重要的特性之一，這一點(diǎn)HDFS是不具備的。

　　數(shù)據(jù)庫(kù)管理系統(tǒng)中，我們通過(guò)查詢索引可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的隨機(jī)訪問(wèn)，它往往處理的是結(jié)構(gòu)化的數(shù)據(jù)，而在Hadoop中不會(huì)處理這樣的數(shù)據(jù)類型。
回到頂部閱讀
Hive與SQL類似

　　事實(shí)5：Hive與SQL類似，卻非標(biāo)準(zhǔn)SQL。

　　傳統(tǒng)獲取數(shù)據(jù)的業(yè)務(wù)工具大多都是基于SQL的，這比較讓人頭疼，因?yàn)镠adoop使用的是一種類似SQL但不是SQL的語(yǔ)言——Apache Hive和HiveQL。

　　Russom說(shuō)：“我常聽(tīng)到別人說(shuō)，‘Hive學(xué)起來(lái)非常簡(jiǎn)單，直接學(xué)Hive就行�！�但這并不能解決與SQL工具兼容的根本問(wèn)題�！�

　　Russom認(rèn)為兼容性只是一個(gè)短時(shí)間問(wèn)題，但卻阻礙了Hadoop的普及。

　　事實(shí)6：Hadoop與MapReduce相互關(guān)聯(lián)，但不相互依賴。

　　MapReduce早在HDFS出現(xiàn)以前就由Google開(kāi)發(fā)推出。除此之外，諸如MapR一類的廠商一直在宣傳MapReduce功能的多樣性，無(wú)需HDFS支持。

　　盡管如此，Russom卻認(rèn)為它們具有很好的互補(bǔ)性。HDFS的大部分價(jià)值都體現(xiàn)在可層疊到分布式文件系統(tǒng)的工具上。

　　事實(shí)7：MapReduce提供的是對(duì)分析的控制，而不是分析本身。

　　MapReduce是一種通用執(zhí)行驅(qū)動(dòng)引擎，可協(xié)助大數(shù)據(jù)分析。它能讀取手寫代碼數(shù)據(jù)，對(duì)其進(jìn)行并行自動(dòng)處理，并將結(jié)果映射到單一集合中。然而我們需要明確一點(diǎn)，MapReduce自身并不進(jìn)行分析工作。

　　Russom說(shuō)：“MapReduce可以看作是升級(jí)版的MPP架構(gòu)。你無(wú)論怎樣編寫代碼，它都可以把它們并行化，非常強(qiáng)大�！�

　　事實(shí)8：Hadoop的意義不僅僅在于數(shù)據(jù)量，更在于數(shù)據(jù)的多樣化。

　　有人把Hadoop歸類為海量數(shù)據(jù)處理技術(shù)，但是Hadoop真正的價(jià)值卻是對(duì)多樣化數(shù)據(jù)處理的能力。

　　Russom說(shuō)：“Hadoop的處理范圍為大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)所不及，比如針對(duì)半結(jié)構(gòu)化與完全非結(jié)構(gòu)化的數(shù)據(jù)�！�
回到頂部閱讀
Hadoop不僅僅是Web分析

　　事實(shí)9：Hadoop是數(shù)據(jù)倉(cāng)庫(kù)的補(bǔ)充，不是數(shù)據(jù)倉(cāng)庫(kù)的替代品。

　　Hadoop對(duì)多樣化數(shù)據(jù)類型進(jìn)行管理的能力使得“數(shù)據(jù)倉(cāng)庫(kù)將死”的言論四起，然而Russom卻進(jìn)行了反駁。

　　他反問(wèn)道：“在IT領(lǐng)域，人們多久替換一項(xiàng)技術(shù)？幾乎從來(lái)沒(méi)有過(guò)�！�

　　數(shù)據(jù)倉(cāng)庫(kù)在其領(lǐng)域中的性能仍然出色，Hadoop可起到對(duì)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)進(jìn)行補(bǔ)充的作用。數(shù)據(jù)倉(cāng)庫(kù)和其他系統(tǒng)的架構(gòu)越來(lái)越多地開(kāi)始向分布式靠攏，Hadoop在這里將發(fā)揮其作用。

　　事實(shí)10：Hadoop不僅僅是Web分析。

　　Hadoop在互聯(lián)網(wǎng)中的運(yùn)用非常普遍，Russom認(rèn)為Hadoop普及趨勢(shì)的部分原因是因?yàn)樗�可以處理更多類型的分析�?br />
　　Russom舉了鐵路公司、機(jī)器人和零售業(yè)的例子。鐵路公司可使用傳感器對(duì)異常高溫的軌道車輛進(jìn)行探測(cè)，以阻止事故的發(fā)生。

　　Russom盡管十分看好Hadoop的前景，但同時(shí)認(rèn)為它的普及還需要數(shù)年時(shí)間。

　　事實(shí)11：大數(shù)據(jù)不一定非Hadoop不可。

　　別看現(xiàn)在大數(shù)據(jù)和Hadoop已經(jīng)密不可分，Russom卻認(rèn)為Hadoop并不是大數(shù)據(jù)的“唯一”。他提到了許多其他廠商的產(chǎn)品，如Teradata、Sybase IQ(被SAP收購(gòu))和Vertica(被HP收購(gòu))等。

　　除此之外，在Hadoop沒(méi)有誕生之時(shí)，一些企業(yè)就已經(jīng)開(kāi)始研究大數(shù)據(jù)了。例如，電信行業(yè)多年以前就有呼叫明細(xì)記錄。

　　事實(shí)12：Hadoop不是“免費(fèi)午餐”。

　　雖然Hadoop屬于開(kāi)源技術(shù)，但是軟件的安裝部署是需要花錢的。Russom稱，由于Hadoop在管理工具與支持服務(wù)方面的不足，企業(yè)在使用過(guò) 程中很容易產(chǎn)生額外費(fèi)用。另外，由于它沒(méi)有優(yōu)化程序，我們只能請(qǐng)專業(yè)人士在運(yùn)行環(huán)境中手寫輸入代碼，而這些專業(yè)人士的薪酬價(jià)碼都不菲。

　　更不用提部署Hadoop集群的硬件和相關(guān)配置的成本。

　　他說(shuō)：“千萬(wàn)別以為Hadoop是免費(fèi)的或者很便宜，它背后的隱性開(kāi)銷你是一下子看不到的�！�

openspace

一個(gè)非常龐大的生態(tài)系統(tǒng)

zhaopingzi

確實(shí)如此。一大堆BUG讓你防不勝防

patagonia

zhaopingzi 發(fā)表于 2013-12-12 08:50
確實(shí)如此。一大堆BUG讓你防不勝防

您也在用啊，反正坑爹的很

zhaopingzi

關(guān)鍵是還在上面滋生出一大堆，別的玩意。HIVE HBASE MAHTOUT,pig等等

大家看看，我這個(gè)HIVE為什么這么慢啊，就一條記錄的表，查出來(lái)耗時(shí)50多秒啊，坑爹呢

1. 
   
2. hive> select * from hbase_table_2;
   
3. OK
   
4. 100     www.360buy.com
   
5. Time taken: 50.543 seconds, Fetched: 1 row(s)
   

復(fù)制代碼

cjfeii

樓主總結(jié)的很棒，學(xué)習(xí)了