foursquare 的數(shù)據(jù)分析系統(tǒng)（Hadoop+Hive+Redis+MongoDB）

凝望長(zhǎng)空

foursquare 的數(shù)據(jù)分析系統(tǒng)（Hadoop+Hive+Redis+MongoDB）
作者：nosqlfan on 星期三, 三月 16, 2011 · 評(píng)論本文 【閱讀：2,928 次】

foursquare 作為當(dāng)下最火熱的LBS應(yīng)用，其checkin數(shù)據(jù)在去年已經(jīng)達(dá)到了4億次，面對(duì)龐大的數(shù)據(jù)，他們搭建了一套數(shù)據(jù)分析系統(tǒng)。本文就是對(duì)此系統(tǒng)的一個(gè)介紹。

原文鏈接：http://goo.gl/lfwlg

先上高清大圖：



分析系統(tǒng)利用Hadoop 的Map/Reduce 功能來(lái)進(jìn)行數(shù)據(jù)分析，多臺(tái)機(jī)器組成集群進(jìn)行并行計(jì)算。
在Hadoop上層用Hive 完成數(shù)據(jù)接口轉(zhuǎn)換功能。Hive 是一個(gè)將Hadoop封閉成類似于SQL數(shù)據(jù)庫(kù)的中間層組件。
在用戶與數(shù)據(jù)分析中間，是一個(gè)由Redis，MongoDB 和 Rails 組成的數(shù)據(jù)服務(wù)器，它充當(dāng)獲取數(shù)據(jù)的中間角色，讓數(shù)據(jù)分析系統(tǒng)與用戶完全分離。

清風(fēng)鳥(niǎo)兒

謝謝分享