hadoop與storm的一點區(qū)別

wang290

hadoop是實現(xiàn)了mapreduce的思想，將數(shù)據(jù)切片計算來處理大量的離線數(shù)據(jù)數(shù)據(jù)。hadoop處理的數(shù)據(jù)必須是已經(jīng)存放在hdfs上或者類似hbase的數(shù)據(jù)庫中，所以hadoop實現(xiàn)的時候是通過移動計算到這些存放數(shù)據(jù)的機(jī)器上來提高效率

而storm不同，storm是一個流計算框架，處理的數(shù)據(jù)是實時消息隊列中的，所以需要我們寫好一個topology邏輯放在那，接收進(jìn)來的數(shù)據(jù)來處理，所以是通過移動數(shù)據(jù)平均分配到機(jī)器資源來獲得高效率。


總的來說

hadoop的優(yōu)點是處理數(shù)據(jù)量大（瓶頸是硬盤和namenode，網(wǎng)絡(luò)等），分析靈活，可以通過實現(xiàn)dsl，mdx等拼接hadoop命令或者直接使用hive（超爛。。），pig等來靈活分析數(shù)據(jù)。適應(yīng)對大量維度進(jìn)行組合分析

ps:相較與hive，pig建議自己實現(xiàn)mdx，即靈活又高效

缺點就是慢：每次執(zhí)行前要分發(fā)jar包，hadoop每次map數(shù)據(jù)超出闕值后會將數(shù)據(jù)寫入本地文件系統(tǒng)，然后在reduce的時候再讀進(jìn)來


storm的優(yōu)點是全內(nèi)存計算，因為內(nèi)存尋址速度是硬盤的百萬倍以上，所以storm的速度相比較hadoop非�？欤ㄆ款i是內(nèi)存，cpu）

缺點就是不夠靈活：必須要先寫好topology結(jié)構(gòu)來等數(shù)據(jù)進(jìn)來分析，如果我們需要對幾百個維度進(jìn)行組合分析，那么。。。


另外推薦storm的DRPC實在太有用了，以至于這個本來要分理出來的項目，被并入storm^^

本文由larrylgq編寫，轉(zhuǎn)載請注明出處：http://blog.csdn.net/larrylgq/article/details/7326058

作者:呂桂強(qiáng)

郵箱：larry.lv.word@gmail.com

wenhq

不錯，學(xué)習(xí)了。謝謝LZ�。�！

wang290

wenhq 發(fā)表于 2013-05-20 16:05
不錯，學(xué)習(xí)了。謝謝LZ�。�！

客氣了，在csdn看到的，剛好游泳就轉(zhuǎn)過來了

wenhq

接收進(jìn)來的數(shù)據(jù)來處理，所以是通過移動數(shù)據(jù)平均分配到機(jī)器資源來獲得高效率。

如何實現(xiàn)？

其實我比較疑惑這個。