SACC 2014現(xiàn)場報(bào)道:Spark生態(tài)系統(tǒng)與內(nèi)核剖析

4nianyici

　2014年9月17日，第六屆中國系統(tǒng)架構(gòu)師大會SACC 2014在北京五洲皇冠國際酒店隆重召開。本次大會以“發(fā)現(xiàn)架構(gòu)之美”為主題，大會三天來自百度、騰訊、阿里巴巴、京東、淘寶、天貓、網(wǎng)易、58同城、奇虎360、愛奇藝、美團(tuán)、唯品會、滴滴、銀行等知名互聯(lián)網(wǎng)企業(yè)與初創(chuàng)企業(yè)的資深架構(gòu)師與IT大牛將在悉數(shù)到場，探討最具前瞻性的行業(yè)趨勢與技術(shù)熱點(diǎn)，分享架構(gòu)在企業(yè)中的最佳實(shí)踐，共同領(lǐng)略架構(gòu)之美。

　　9月17日下午專場3，來自皮皮網(wǎng)數(shù)據(jù)平臺經(jīng)理陳超為我們發(fā)表了主題為《Spark生態(tài)系統(tǒng)與內(nèi)核剖析》的精彩演講。Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計(jì)算框架，Spark基于map reduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn);但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的map reduce的算法。

本文詳細(xì)報(bào)道，請進(jìn)入>> http://tech.it168.com/a2014/0917/1667/000001667170.shtml