
平臺論壇博客文庫

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報告]

發(fā)表于 2011-12-23 02:39 |只看該作者 |倒序?yàn)g覽

<DIV style="TEXT-ALIGN: center">
<DIV style="TEXT-ALIGN: center"><A href="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934395Y66Y.jpg" target=_blank></A><A href="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934678MHf0.jpg" target=_blank></A>基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬虎組-第一次報告 </DIV> 有關(guān)云計算相關(guān)核心技術(shù)的初步學(xué)習(xí) 
<DIV style="TEXT-ALIGN: left"> 組長：萬虎 成員：萬虎、牛慶亞、宋思夢、文滔、胡海砷 本次提交：牛慶亞 寫在前面： 本次報告將介紹我們小組在這個項(xiàng)目中的前期進(jìn)展，有關(guān)云計算涉及到的相關(guān)核心技術(shù)（傳統(tǒng)）的學(xué)習(xí)情況。設(shè)計的內(nèi)容是傳統(tǒng)的技術(shù)，下面的內(nèi)容僅是粗略的介紹，會在后期將有關(guān)的實(shí)現(xiàn)實(shí)例等陸續(xù)進(jìn)行介紹，以便我們能夠更加深入的理解云計算的（技術(shù)）基礎(chǔ)。 在云計算初期，“云計算”有炒作概念的嫌疑，但是時間過去這么久了，各大商業(yè)公司的實(shí)際行動證明云計算并不是“虛”的，這些在云計算背后的技術(shù)基礎(chǔ)上面也可以體現(xiàn)出來�！霸朴嬎恪辈⒉皇且粋€全新的技術(shù)，我感覺它其實(shí)就是一種概念的整合，一種商業(yè)上的實(shí)現(xiàn)。</DIV>
<DIV style="TEXT-ALIGN: left"> </DIV>
<DIV style="TEXT-ALIGN: left"> </DIV>
<DIV style="TEXT-ALIGN: left"><A href="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934395Y66Y.jpg" target=_blank></A><A href="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934678MHf0.jpg" target=_blank><IMG border=0 src="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934678MHf0.jpg" ; .load="imgResize(this, 650);"></A> </DIV>
虛擬技術(shù)
    虛擬化技術(shù)是指計算任務(wù)在虛擬的基礎(chǔ)上而不是真實(shí)的硬件基礎(chǔ)上運(yùn)行。虛擬化技術(shù)可以擴(kuò)大硬件的
容量，簡化軟件的重新配置過程。CPU的虛擬化技術(shù)可以單CPU模擬多CPU并行，允許一個平臺同時運(yùn)行多個
操作系統(tǒng)，并且應(yīng)用程序都可以在相互獨(dú)立的空間內(nèi)運(yùn)行而互不影響，從而顯著提高計算機(jī)的工作效率。
完全虛擬化：
    使用名為hypervisor的一種軟件，在虛擬服務(wù)器和底層硬件之間建立一個抽象層。VMware和微軟的
Virtual PC是代表該方法的兩個商用產(chǎn)品，而基于核心的虛擬機(jī)（KVM）是面向Linux系統(tǒng)的開源產(chǎn)品。
準(zhǔn)虛擬化：
    完全虛擬化是處理密集型技術(shù)，因?yàn)樗骽ypervisor管理各個虛擬服務(wù)器，并讓它們彼此獨(dú)立。減
輕這種負(fù)擔(dān)的一種方法就是，改動客戶操作系統(tǒng)，讓它以為自己運(yùn)行在虛擬環(huán)境下，能夠與hypervisor協(xié)
同工作。這種方法就叫準(zhǔn)虛擬化（para-virtualization）。
    Xen是開源虛擬化技術(shù)的一個例子。操作系統(tǒng)作為虛擬服務(wù)器在Xen hypervisor上運(yùn)行之前，它必須在核心層面進(jìn)行某些改變。因此，Xen適用于BSD、Linux、Solaris及其他開源操作系統(tǒng)，但不適合對 像Windows這些專有的操作系統(tǒng)進(jìn)行虛擬化處理，因?yàn)樗鼈儫o法改動。
分布式技術(shù)
分布式計算：
分布式計算是一種把需要進(jìn)行大量計算的工程數(shù)據(jù)分割成小塊，由多臺計算機(jī)分別計算，在上傳運(yùn)算結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學(xué)。分布式計算的概念和內(nèi)涵上與集群技術(shù)有重疊，可參見集群相關(guān)技術(shù)內(nèi)容。
分布式數(shù)據(jù)庫：
分布式數(shù)據(jù)庫是用計算機(jī)網(wǎng)絡(luò)將物理上分散的多個數(shù)據(jù)庫單元連接起來組成的一個邏輯上統(tǒng)一的數(shù)據(jù)庫。每個被連接起來的數(shù)據(jù)庫單元稱為站點(diǎn)或結(jié)點(diǎn)。分布式數(shù)據(jù)庫有一個統(tǒng)一的數(shù)據(jù)庫管理系統(tǒng)來進(jìn)行管理，稱為分布式數(shù)據(jù)庫管理系統(tǒng)。
分布式數(shù)據(jù)庫的基本特點(diǎn)包括：物理分布性、邏輯整體性和站點(diǎn)自治性。從這三個基本特點(diǎn)還可以導(dǎo)出的其它特點(diǎn)有：數(shù)據(jù)分布透明性、集中與自治相結(jié)合的控制機(jī)制、適當(dāng)?shù)臄?shù)據(jù)冗余度和事務(wù)管理的分布性。
分布式文件系統(tǒng)（ Distributed File System ）：
    分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)的設(shè)計應(yīng)滿足透明性、并發(fā)控制、可伸縮性、容錯以及安全需求等。目前活躍的分布式文件系統(tǒng)項(xiàng)目有：Hadoop，GFS，DFS等。
集群技術(shù)
它通過一組松散集成的計算機(jī)軟件和/或硬件連 接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們可以被看作是一臺計算機(jī)。集群系統(tǒng)中的單個計算機(jī)通常稱為節(jié)點(diǎn)，通常通過局域網(wǎng)連接，但也有其它的可能連接方式。集群計算機(jī)通常用來改進(jìn)單個計算機(jī)的計算速度和/或可靠性。一般情況下集群計算機(jī)比單個計算機(jī)，比如工作站或超級計算機(jī)性能價格比要高得多。
高可用性集群：
    一般是指當(dāng)集群中有某個節(jié)點(diǎn)失效的情況下，其上的任務(wù)會自動轉(zhuǎn)移到其他正常的節(jié)點(diǎn)上。還指可以將集群中的某節(jié)點(diǎn)進(jìn)行離線維護(hù)再上線，該過程并不影響整個集群的運(yùn)行。這類集群典型的軟件是著名的Heartbeat項(xiàng)目。
負(fù)載均衡集群：
     負(fù)載均衡集群運(yùn)行時，一般通過一個或者多個前端負(fù)載均衡器，將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到整個系統(tǒng)的高性能和高可用性。這樣的計算機(jī)集群有時也被稱為服務(wù)器群（Server Farm）。 一般高可用性集群和負(fù)載均衡集群會使用類似的技術(shù)，或同時具有高可用性與負(fù)載均衡的特點(diǎn)。
     Linux虛擬服務(wù)器（LVS）項(xiàng)目在Linux操作系統(tǒng)上提供了最常用的負(fù)載均衡軟件。
高性能計算/并行計算       高性能計算集群采用將計算任務(wù)分配到集群的不同計算節(jié)點(diǎn)提高計算能力，因而主要應(yīng)用在科學(xué)計算領(lǐng)域。比較流行的HPC采用Linux操作系統(tǒng)和其它一些免費(fèi)軟件來完成并行運(yùn)算。這一集群配置通常被稱為Beowulf集群。這類集群通常運(yùn)行特定的程序以發(fā)揮HPC cluster的并行能力。這類程序一般應(yīng)用特定的運(yùn)行庫, 比如專為科學(xué)計算設(shè)計的MPI庫。
    HPC集群特別適合于在計算中各計算節(jié)點(diǎn)之間發(fā)生大量數(shù)據(jù)通訊的計算作業(yè)，比如一個節(jié)點(diǎn)的中間結(jié)果或影響到其它節(jié)點(diǎn)計算結(jié)果的情況。
網(wǎng)格計算
    網(wǎng)格計算或網(wǎng)格集群是一種與集群計算非常相關(guān)的技術(shù)。網(wǎng)格與傳統(tǒng)集群的主要差別是網(wǎng)格是連接一組相關(guān)并不信任的計算機(jī)，它的運(yùn)作更像一個計算公共設(shè)施而不是一個獨(dú)立的計算機(jī)。還有，網(wǎng)格通常比集群支持更多不同類型的計算機(jī)集合。
    網(wǎng)格計算是針對有許多獨(dú)立作業(yè)的工作任務(wù)作優(yōu)化，在計算過程中作業(yè)間無需共享數(shù)據(jù)。網(wǎng)格主要服務(wù)于管理在獨(dú)立執(zhí)行工作的計算機(jī)間的作業(yè)分配。資源如存儲可以被所有結(jié)點(diǎn)共享，但作業(yè)的中間結(jié)果不會影響在其他網(wǎng)格結(jié)點(diǎn)上作業(yè)的進(jìn)展。
 
   除此之外，因?yàn)樵朴嬎闶且环N新型的超級計算方式，以數(shù)據(jù)位中心，我們在學(xué)習(xí)的過程中，也應(yīng)該以學(xué)習(xí)它的數(shù)據(jù)存儲、數(shù)據(jù)管理、編程模式為主。
數(shù)據(jù)存儲
    為保證高可用、高可靠、和經(jīng)濟(jì)性，云計算采用分布式存儲的方式來存儲數(shù)據(jù)，采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲多個副本。另外，云計算系統(tǒng)需同時滿足大量永和的需求，它的數(shù)據(jù)存儲技術(shù)必須具有較高的吞吐率和傳輸率的特點(diǎn)�；谶@些要求，主要的數(shù)據(jù)存儲技術(shù)有谷歌的非開源的GFS（Google File System)和Hadoop 開發(fā)團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS（Hadoop Distributed File System）。
數(shù)據(jù)管理技術(shù)
    鑒于其數(shù)據(jù)量的巨大，數(shù)據(jù)管理技術(shù)必須能夠高效地管理大量數(shù)據(jù)。其次，如何在海量數(shù)據(jù)中找到特定數(shù)據(jù)也是云計算數(shù)據(jù)管理技術(shù)所必須剞劂的問題。由于對數(shù)據(jù)的讀操作的頻率遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)的更新操作的頻率，所以，云系統(tǒng)采用的是數(shù)據(jù)庫領(lǐng)域中列存儲的數(shù)據(jù)管理模式。將表按列劃分后存儲。最著名的技術(shù)是谷歌提出的BingTable數(shù)據(jù)管理技術(shù)。
編程模式
    云計算大部分采用Map-Reduce的編程模式。程序員在map函數(shù)中指定對各分塊數(shù)據(jù)的處理過程，在Reduce函數(shù)中指定如何對分塊數(shù)據(jù)處理的中間結(jié)果進(jìn)行歸約。用戶只需指定map和reduce函數(shù)來編寫分布式的并行程序。當(dāng)在集群上運(yùn)行Map-reduce程序是，程序員不需要關(guān)心如何將輸入的數(shù)據(jù)分塊、分配和調(diào)度，同時系統(tǒng)還將處理集群內(nèi)節(jié)點(diǎn)失敗以及節(jié)點(diǎn)間通信的管理等。如下圖
<A href="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934395Y66Y.jpg" target=_blank><IMG border=0 src="http://blog.chinaunix.nethttp://blog.chinaunix.net/attachment/201109/25/24677087_1316934395Y66Y.jpg" ; .load="imgResize(this, 650);"></A>

 下次報告預(yù)告  第二次報告會繼續(xù)按照第零次報告中的規(guī)劃，繼續(xù)介紹云計算背后的基礎(chǔ)技術(shù)。然后會正式轉(zhuǎn)入Hadoop的學(xué)習(xí)實(shí)踐。敬請期待。 參考資料： 

<DIV style="TEXT-ALIGN: left">
<OL>
<LI><A href="http://blog.china.com/u/101019/430683/201010/7082579.html" target=_blank>http://blog.china.com/u/101019/430683/201010/7082579.html</A></LI>
<LI><A href="http://www.cnblogs.com/turingbooks/archive/2011/04/22/2024862.html" target=_blank>http://www.cnblogs.com/turingbooks/archive/2011/04/22/2024862.html</A></LI>
<LI><A href="http://wenku.baidu.com/view/570561a5f524ccbff1218425.html" target=_blank>http://wenku.baidu.com/view/570561a5f524ccbff1218425.html</A>《云計算及其關(guān)鍵技術(shù)》陳全、鄧倩妮</LI></OL></DIV>由于本次參考的內(nèi)容比較零亂，未能一一整理。請見諒，會在后期陸續(xù)補(bǔ)上。 </DIV>

文庫|博客

redis源碼閱讀補(bǔ)充說明以及SDS的一點(diǎn)補(bǔ)充
mysql動態(tài)sql批量刪除數(shù)據(jù)
redis源碼閱讀之a(chǎn)e_evport

返回列表

Chinaunix › 論壇 › 數(shù)據(jù)庫技術(shù) › NoSQL技術(shù) › 基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬虎組-第一次報告

積分 0, 距離下一級還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

[Hadoop&HBase] 基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬虎組-第一次報告 [復(fù)制鏈接]