SACC 2014現(xiàn)場(chǎng)報(bào)道:Spark生態(tài)系統(tǒng)與內(nèi)核剖析

4nianyici

　2014年9月17日，第六屆中國(guó)系統(tǒng)架構(gòu)師大會(huì)SACC 2014在北京五洲皇冠國(guó)際酒店隆重召開(kāi)。本次大會(huì)以“發(fā)現(xiàn)架構(gòu)之美”為主題，大會(huì)三天來(lái)自百度、騰訊、阿里巴巴、京東、淘寶、天貓、網(wǎng)易、58同城、奇虎360、愛(ài)奇藝、美團(tuán)、唯品會(huì)、滴滴、銀行等知名互聯(lián)網(wǎng)企業(yè)與初創(chuàng)企業(yè)的資深架構(gòu)師與IT大牛將在悉數(shù)到場(chǎng)，探討最具前瞻性的行業(yè)趨勢(shì)與技術(shù)熱點(diǎn)，分享架構(gòu)在企業(yè)中的最佳實(shí)踐，共同領(lǐng)略架構(gòu)之美。

　　9月17日下午專場(chǎng)3，來(lái)自皮皮網(wǎng)數(shù)據(jù)平臺(tái)經(jīng)理陳超為我們發(fā)表了主題為《Spark生態(tài)系統(tǒng)與內(nèi)核剖析》的精彩演講。Spark是UC Berkeley AMP lab所開(kāi)源的類Hadoop MapReduce的通用的并行計(jì)算框架，Spark基于map reduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn);但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map reduce的算法。

本文詳細(xì)報(bào)道，請(qǐng)進(jìn)入>> http://tech.it168.com/a2014/0917/1667/000001667170.shtml