你不知道的Spark，將來會替代Hadoop？

zymh_zy

新技術概念太多了，好多都不認識了。。

caozs

新的平臺固然很好，但最煩這種動不動就拿出一套新語言的，什么scalar，有必要么？

yybmsrs

用到的概念接近就直接拿來開發(fā)了，scala方便點吧

craaazy123

這兩個問題基本可以去看看spark官方的faq和history／changelog。
這些文檔都是最適合初學者迅速了解spark，其中changelog比較適合有經(jīng)驗的開發(fā)者跟進項目，對新的feature能夠有個快速了解。
spark.apache.org/faq.html

1. 有人說Spark就是內存版的MapReduce，對此你怎么看？
Spark is:
1). fast／快速
2). a general processing engine／處理引擎
3). compatible with hadoop data／與hadoop格式數(shù)據(jù)兼容，也就是說兼容hadoop生態(tài)系統(tǒng)的產(chǎn)品，如hive，hbase等
4). designed to perform both batch processing（similar to mapreduce） and new workloads(streaming, interactive queries and machine learning)／批處理（與mapreduce相似），流處理，交互式查詢和機器學習。
以上從faq中第一個答案中抽出來的，大致就可以了解spark是個什么玩意，可以做些什么事情了。

再往下看你就能看到，用scala編寫，提供python，java api，和一些學習資源。
值得注意的是streaming中的micro-batching，比較新哈，接著答案對這個新詞進行了一番解釋，應用場景及原理。

好了，說正題：
hadoop要解決的問題，簡單說就是數(shù)據(jù)大得單臺機器沒辦法存儲，沒辦法處理。而hadoop的思想就是把計算進行傳輸，數(shù)據(jù)不動，因為數(shù)據(jù)很大，計算程序很小，網(wǎng)絡開銷自然小。mapreduce框架能并行處理數(shù)據(jù)，只有少數(shù)數(shù)據(jù)在網(wǎng)絡中傳輸，所以能提高數(shù)據(jù)處理效率和速度。

關于Spark這里有篇論文，3w.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf (發(fā)不了鏈接，把3w換成www)
看到Introduction第二段第一、二句：
Although current frameworks provide numerous abstractions for accessing a cluster’s computational resources, they lack abstractions for leveraging distributed memory. This makes them inefficient for an important class of emerging applications: those that reuse intermediate
results across multiple computations.
隨便翻譯一下，中文組織能力不是很強，見笑
盡管當前框架提供了大量訪問集群計算資源的抽象層（接口），但卻缺乏利用分布式內存的抽象層（接口）。對于某些類型的應用卻不是那么高效，這些應用需要重復利用分布式計算的中間值。
可見spark解決hadoop的痛點是，hadoop的計算數(shù)據(jù)都是要存hdfs中的，也就是要寫到硬盤中，而有些應用要重復利用這些數(shù)據(jù)，那么要重復從硬盤讀取速度自然會比較慢。spark數(shù)據(jù)模型時rdd,論文中將得非常詳細，這里就不瞎扯了。

我個人也覺得內存計算是今后的趨勢，也很推崇。記得年初的時候特別欣賞sap的hana內存數(shù)據(jù)庫，還投了sap的簡歷，把自己對內存數(shù)據(jù)庫的一些想法和面試官聊了，順利的通過了幾輪面試，不過最后一輪還是敗下陣了。

2. 有人說Spark將來會替代Hadoop，你又怎么看？
技術領域里，永遠都會有極端分子，什么語言是最好的，什么框架是最好的。
我覺得Spark和Hadoop就像docker和openstack，各有各的優(yōu)勢，各有各的應用場景和市場。
也許有一天，又會有人出來說xxx將會替代spark。

xpk

1. 有人說Spark就是內存版的MapReduce，對此你怎么看？
這個我贊同，因為spark屬于那種內存計算型的架構，是對mapreduce不足的改進。
2. 有人說Spark將來會替代Hadoop，你又怎么看？
首先 誰去誰一直是一個偽命題；沒有哪個技術方案特別顯著可以替代另一個；就目前Spark 和Hadoop的差距而言，他們的繼續(xù)在相應的合適的技術方案在使用。
Spark框架的底層存儲可以選用HDFS，也可以用其他的。但是Spark 運行的模式里有Standalone，Yarn，Mesos。 其中Yarn也是Hadoop的組件。
而且Hadoop組件很多。不是那么隨便可以替代的。

另：樓主 我很喜歡這本書 請考慮下； 另 我參加過多次這種活動 ，從沒拿到過書。
   

快樂的土豆

1. 有人說Spark就是內存版的MapReduce，對此你怎么看？
==========================================
不太準確，M/R本來是一種計算模式（及其實現(xiàn)），Spark走的是DAG的路子，模擬/實現(xiàn) M/R不成問題，但是它擁有比M/R更豐富的計算模式支持。
或者，說spark是m/r內存威力加強版更合適一些。



2. 有人說Spark將來會替代Hadoop，你又怎么看？
========================================
畢竟spark比hadoop快很多方便很多，大家正在嘗試Spark來彌補Hadoop的一些劣勢，這個趨勢是顯而易見的，但是Hadoop已經(jīng)是一個很成熟有眾多工業(yè)范例在那里的成熟社區(qū)，Spark還需要發(fā)展壯大 ， 也許，很有可能，過兩年有一個新的工具取代Spark而替代了Hadoop也說不定，技術日新月異，誰知道呢？

heguangwu

CU在新技術方面討論不怎么活躍啊，感覺有關大數(shù)據(jù)、分布式系統(tǒng)之類的都少有人討論，或許都在專門的論壇上討論了
像Spark之類的其實都已經(jīng)不算很新，而是比較流行的技術在CU討論都不算多

cnlnzz01

看來回貼的不是很踴躍啊

zsszss0000

這本書好啊

benjamindu_1234

感謝學姐學長的書籍，我一定好好學習，天天向上