Druid：一個用于大數(shù)據(jù)實時處理的開源分布式系統(tǒng)

Patagonia

　　
Druid
是一個用于大數(shù)據(jù)實時查詢和分析的高容錯、高性能開源分布式系統(tǒng)，旨在快速處理大規(guī)模的數(shù)據(jù)，并能夠?qū)崿F(xiàn)快速查詢和分析。尤其是當發(fā)生代碼部署、機器故障以及其他產(chǎn)品系統(tǒng)遇到宕機等情況時，Druid仍能夠保持100%正常運行。創(chuàng)建Druid的最初意圖主要是為了解決查詢延遲問題，當時試圖使用Hadoop來實現(xiàn)交互式查詢分析，但是很難滿足實時分析的需要。而Druid提供了以交互方式訪問數(shù)據(jù)的能力，并權(quán)衡了查詢的靈活性和性能而采取了特殊的存儲格式。
Druid功能介于
PowerDrill
和
Dremel
之間，它幾乎實現(xiàn)了Dremel的所有功能，并且從PowerDrill吸收一些有趣的數(shù)據(jù)格式。Druid允許以類似Dremel和PowerDrill的方式進行單表查詢，同時還增加了一些新特性，如為局部嵌套數(shù)據(jù)結(jié)構(gòu)提供列式存儲格式、為快速過濾做索引、實時攝取和查詢、高容錯的分布式體系架構(gòu)等。從官方得知，Druid的具有以下主要特征：

   
• 為分析而設(shè)計——Druid是為
  OLAP
  工作流的探索性分析而構(gòu)建，它支持各種過濾、聚合和查詢等類；
     
• 快速的交互式查詢——Druid的低延遲數(shù)據(jù)攝取架構(gòu)允許事件在它們創(chuàng)建后毫秒內(nèi)可被查詢到；
     
• 高可用性——Druid的數(shù)據(jù)在系統(tǒng)更新時依然可用，規(guī)模的擴大和縮小都不會造成數(shù)據(jù)丟失；
     
• 可擴展——Druid已實現(xiàn)每天能夠處理數(shù)十億事件和TB級數(shù)據(jù)。
  

Druid應用最多的是類似于廣告分析創(chuàng)業(yè)公司
Metamarkets
中的應用場景，如廣告分析、互聯(lián)網(wǎng)廣告系統(tǒng)監(jiān)控以及網(wǎng)絡(luò)監(jiān)控等。當業(yè)務中出現(xiàn)以下情況時，Druid是一個很好的技術(shù)方案選擇：

   
• 需要交互式聚合和快速探究大量數(shù)據(jù)時；
     
• 需要實時查詢分析時；
     
• 具有大量數(shù)據(jù)時，如每天數(shù)億事件的新增、每天數(shù)10T數(shù)據(jù)的增加；
     
• 對數(shù)據(jù)尤其是大數(shù)據(jù)進行實時分析時；
     
• 需要一個高可用、高容錯、高性能數(shù)據(jù)庫時。
  

一個Druid集群有各種類型的節(jié)點（Node）組成，每個節(jié)點都可以很好的處理一些的事情，這些節(jié)點包括對非實時數(shù)據(jù)進行處理存儲和查詢的
Historical節(jié)點
、實時攝取數(shù)據(jù)、監(jiān)聽輸入數(shù)據(jù)流的
Realtime節(jié)
、監(jiān)控Historical節(jié)點的
Coordinator節(jié)點
、接收來自外部客戶端的查詢和將查詢轉(zhuǎn)發(fā)到Realtime和Historical節(jié)點的
Broker節(jié)點
、負責索引服務的
Indexer節(jié)點
。
查詢操作中數(shù)據(jù)流和各個節(jié)點的關(guān)系如下圖所示：

如下圖是Druid集群的管理層架構(gòu)，該圖展示了相關(guān)節(jié)點和集群管理所依賴的其他組件（如負責服務發(fā)現(xiàn)的
ZooKeeper集群
）的關(guān)系：

Druid已基于
Apache License 2.0
協(xié)議開源，代碼托管在
GitHub
，其當前最新穩(wěn)定版本是
0.7.1.1
。當前，Druid已有63個代碼貢獻者和將近2000個關(guān)注。Druid的主要貢獻者包括廣告分析創(chuàng)業(yè)公司Metamarkets、電影流媒體網(wǎng)站
Netflix
、Yahoo等公司。Druid官方還對Druid同
Shark
、
Vertica
、
Cassandra
、
Hadoop
、
Spark
、
Elasticsearch
等在容錯能力、靈活性、查詢性能等方便進行了對比說明。更多關(guān)于Druid的信息，大家還可以參考官方提供的
入門教程
、
白皮書
、
設(shè)計文檔
等。
轉(zhuǎn)自
http://www.infoq.com/cn/news/2015/04/druid-data?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global
                       
                               
                    
                               
                       
                       
                       
                                時間:2015-04-25 21:34
來源:Infoq
  作者:李小兵
  
原文鏈接

本文來自ChinaUnix新聞頻道，如果查看原文請點：http://news.chinaunix.net/opensource/2015/0426/3243750.shtml