hadoop與storm的一點(diǎn)區(qū)別

wang290

hadoop是實(shí)現(xiàn)了mapreduce的思想，將數(shù)據(jù)切片計(jì)算來(lái)處理大量的離線數(shù)據(jù)數(shù)據(jù)。hadoop處理的數(shù)據(jù)必須是已經(jīng)存放在hdfs上或者類似hbase的數(shù)據(jù)庫(kù)中，所以hadoop實(shí)現(xiàn)的時(shí)候是通過(guò)移動(dòng)計(jì)算到這些存放數(shù)據(jù)的機(jī)器上來(lái)提高效率

而storm不同，storm是一個(gè)流計(jì)算框架，處理的數(shù)據(jù)是實(shí)時(shí)消息隊(duì)列中的，所以需要我們寫(xiě)好一個(gè)topology邏輯放在那，接收進(jìn)來(lái)的數(shù)據(jù)來(lái)處理，所以是通過(guò)移動(dòng)數(shù)據(jù)平均分配到機(jī)器資源來(lái)獲得高效率。


總的來(lái)說(shuō)

hadoop的優(yōu)點(diǎn)是處理數(shù)據(jù)量大（瓶頸是硬盤和namenode，網(wǎng)絡(luò)等），分析靈活，可以通過(guò)實(shí)現(xiàn)dsl，mdx等拼接hadoop命令或者直接使用hive（超爛。。），pig等來(lái)靈活分析數(shù)據(jù)。適應(yīng)對(duì)大量維度進(jìn)行組合分析

ps:相較與hive，pig建議自己實(shí)現(xiàn)mdx，即靈活又高效

缺點(diǎn)就是慢：每次執(zhí)行前要分發(fā)jar包，hadoop每次map數(shù)據(jù)超出闕值后會(huì)將數(shù)據(jù)寫(xiě)入本地文件系統(tǒng)，然后在reduce的時(shí)候再讀進(jìn)來(lái)


storm的優(yōu)點(diǎn)是全內(nèi)存計(jì)算，因?yàn)閮?nèi)存尋址速度是硬盤的百萬(wàn)倍以上，所以storm的速度相比較hadoop非�？欤ㄆ款i是內(nèi)存，cpu）

缺點(diǎn)就是不夠靈活：必須要先寫(xiě)好topology結(jié)構(gòu)來(lái)等數(shù)據(jù)進(jìn)來(lái)分析，如果我們需要對(duì)幾百個(gè)維度進(jìn)行組合分析，那么。。。


另外推薦storm的DRPC實(shí)在太有用了，以至于這個(gè)本來(lái)要分理出來(lái)的項(xiàng)目，被并入storm^^

本文由larrylgq編寫(xiě)，轉(zhuǎn)載請(qǐng)注明出處：http://blog.csdn.net/larrylgq/article/details/7326058

作者:呂桂強(qiáng)

郵箱：larry.lv.word@gmail.com

wenhq

不錯(cuò)，學(xué)習(xí)了。謝謝LZ�。。�

wang290

wenhq 發(fā)表于 2013-05-20 16:05
不錯(cuò)，學(xué)習(xí)了。謝謝LZ！��！

客氣了，在csdn看到的，剛好游泳就轉(zhuǎn)過(guò)來(lái)了

wenhq

接收進(jìn)來(lái)的數(shù)據(jù)來(lái)處理，所以是通過(guò)移動(dòng)數(shù)據(jù)平均分配到機(jī)器資源來(lái)獲得高效率。

如何實(shí)現(xiàn)？

其實(shí)我比較疑惑這個(gè)。