【討論】海量數(shù)據(jù)分析之Hadoop（獲獎(jiǎng)名單已公布-2012-5-28）

Gray1982

獲獎(jiǎng)名單已公布，詳情請(qǐng)看：http://www.72891.cn/thread-3748443-1-1.html   

一般情況下數(shù)據(jù)日志是每天從生產(chǎn)數(shù)據(jù)庫(kù)導(dǎo)出到數(shù)據(jù)服務(wù)器，再通過(guò)一個(gè)腳本分析這些日志并存入數(shù)據(jù)庫(kù)中，這種方式在數(shù)據(jù)量不大的情況下還是不錯(cuò)的方式。但如果數(shù)據(jù)量增大，所需的時(shí)間就是幾何的增長(zhǎng)。為了減少每天log分析的時(shí)間以及數(shù)據(jù)的穩(wěn)定性，我們需要搭建一個(gè)穩(wěn)定的高效處理的平臺(tái)來(lái)，使用并行的方式處理這些log。

本次討論話題：

1，Hadoop所應(yīng)用的環(huán)境
2，Hadoop所在平臺(tái)級(jí)優(yōu)化
3，Hadoop配置參數(shù)優(yōu)化
4，Hadoop代碼級(jí)優(yōu)化
5，Hadoop的MR其它語(yǔ)言編寫（Python等）

活動(dòng)要求：針對(duì)以上任意話題進(jìn)行分享和討論。

邀請(qǐng)嘉賓：

crazyhadoop  linux環(huán)境編程斑竹，Linux 愛好者。

newfishwa     《高可用性的HDFS—Hadoop分布式文件系統(tǒng)深度實(shí)踐》作者

活動(dòng)有獎(jiǎng)：我們?yōu)榇蠹覝?zhǔn)備《高可用性的HDFS—Hadoop分布式文件系統(tǒng)深度實(shí)踐》一書7本，獎(jiǎng)勵(lì)給積極參與討論的網(wǎng)友。歡迎大家積極分享，討論！

Gray1982

先占位，說(shuō)個(gè)最簡(jiǎn)單的
一：加noatime
二：改硬盤和網(wǎng)卡的緩存

小版主殺手

好話題 :wink:

chenyx

支持樓主.目前還沒用過(guò)hadoop,強(qiáng)勢(shì)圍觀.

yanyangtian4502

又來(lái)遲了 被搶了

dengbao2001

學(xué)習(xí)了，等大家分享下

hbsycw

開始討論Hadoop了，CU社區(qū)的力量果然強(qiáng)大啊，必須支持~

hbsycw

目前也在初步的學(xué)習(xí)使用中，就簡(jiǎn)單講一下對(duì)Hadoop的入門理解和認(rèn)識(shí)：

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using a simple programming model. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage.

以上是Hadoop官方文檔給出的Hadoop描述定義，簡(jiǎn)單的講: Hadoop是一個(gè)設(shè)計(jì)用來(lái)處理大數(shù)據(jù)的分布式計(jì)算框架，特點(diǎn)是能夠使用一種簡(jiǎn)單的編程模式來(lái)進(jìn)行集群計(jì)算（Cluster Computing), 它的設(shè)計(jì)目標(biāo)是每個(gè)計(jì)算節(jié)點(diǎn)都能提供本地的計(jì)算和存儲(chǔ)，而且計(jì)算節(jié)點(diǎn)能夠很好的進(jìn)行水平擴(kuò)展（Scale up ）。而HDFS(Hadoop Distributed File System)是Hadoop分布式計(jì)算框架實(shí)施的基礎(chǔ)。

Hadoop所應(yīng)用的場(chǎng)景是海量數(shù)據(jù)分析和計(jì)算。比如上面講的Log日志分析以及BI項(xiàng)目應(yīng)用。

shang2010

目前還沒用過(guò)hadoop,強(qiáng)勢(shì)圍觀.

renxiao2003

zhichi.