亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

Chinaunix

標(biāo)題: 基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬(wàn)虎組-第二次報(bào)告 [打印本頁(yè)]

作者: xuyuanchao_cnu 時(shí)間: 2011-12-23 02:39
標(biāo)題: 基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬(wàn)虎組-第二次報(bào)告
<DIV>
<SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; FONT-SIZE: 14pt; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma">進(jìn)一步了解云計(jì)算
<SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">組長(zhǎng)：<SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">萬(wàn)虎 <SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">成員：<SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">萬(wàn)虎、牛慶亞、宋思?jí)�、文滔、胡海�?lt;/SPAN>
 
一  云計(jì)算架構(gòu)服務(wù)層
 
盡管在互聯(lián)網(wǎng)的第一次革命中三層 (或 n 層) 模型作為一般架構(gòu)出現(xiàn)，但虛擬化在云中的應(yīng)用創(chuàng)造出一組新層：應(yīng)用程序、服務(wù)和基礎(chǔ)設(shè)施。這些層不只封裝按需提供的資源，而且還定義了一個(gè)新的應(yīng)用程序開(kāi)發(fā)模式。同時(shí)在每個(gè)抽象層中，存在定義根據(jù)使用情況提供的服務(wù)的無(wú)數(shù)商業(yè)機(jī)會(huì)。
1、把軟件當(dāng)作服務(wù) (SaaS)
SaaS 是最高層，其特色是包含一個(gè)通過(guò)多重租用 (Multitenancy) 根據(jù)需要作為一項(xiàng)服務(wù)提供的完整應(yīng)用程序。所謂“多重租用”是指單個(gè)軟件實(shí)例運(yùn)行于提供商的基礎(chǔ)設(shè)施，并為多個(gè)客戶機(jī)構(gòu)提供服務(wù)。
最為人所知的 SaaS 示例是 Salesforce.com，不過(guò)現(xiàn)在有了許多其他示例，其中包括Google Apps，提供基本商業(yè)服務(wù)，如電子郵件。當(dāng)然，Salesforce.com 的多重租用應(yīng)用程序領(lǐng)先于云計(jì)算的定義好幾年時(shí)間。另一方面，就像云計(jì)算中的許多其他層一樣，Salesforce.com 現(xiàn)在的 Force.com 版本不只在一個(gè)云層工作，Force.com 是一個(gè)輔助性應(yīng)用程序開(kāi)發(fā)環(huán)境，或當(dāng)作服務(wù)的平臺(tái)。
2、把平臺(tái)當(dāng)作服務(wù) (PaaS)
中間層 (或 PaaS) 是對(duì)開(kāi)發(fā)環(huán)境抽象的封裝和對(duì)有效服務(wù)負(fù)載的封裝。原形有效負(fù)載是一個(gè) Xen 映像 (Amazon Web 服務(wù)的組成部分)，該映像包含一個(gè)基本 Web 棧(例如，一個(gè) Linux 發(fā)行套件、一個(gè) Web 服務(wù)器，以及一個(gè)編程環(huán)境，如 Pearl 或 Ruby)。PaaS 產(chǎn)品可執(zhí)行各個(gè)階段的軟件開(kāi)發(fā)和測(cè)試，也可以專用于某個(gè)領(lǐng)域，例如，內(nèi)容管理。商業(yè)示例包括 Google App Engine，它在 Google 的基礎(chǔ)設(shè)施上提供應(yīng)用程序服務(wù)。上述PaaS 服務(wù)可以提供極大的靈活性，但可能會(huì)受到通過(guò)供應(yīng)商提供的能力的制約。
3、把基礎(chǔ)設(shè)施當(dāng)作服務(wù) (IaaS)
把基礎(chǔ)設(shè)施當(dāng)作服務(wù) (IaaS) 處于最低層級(jí)，而且是一種作為標(biāo)準(zhǔn)化服務(wù)在網(wǎng)上提供基本存儲(chǔ)和計(jì)算能力的手段。服務(wù)器、存儲(chǔ)系統(tǒng)、交換機(jī)、路由器和其他系統(tǒng)協(xié)作 (例如，通過(guò)虛擬化技術(shù)) 處理特定類型的工作負(fù)載 — 從批處理到峰值負(fù)載期間的服務(wù)器/存儲(chǔ)擴(kuò)大。
最著名的商業(yè)示例是 Amazon Web 服務(wù) (AWS)，其 EC2 和 S3 服務(wù)分別提供基本計(jì)算和存儲(chǔ)服務(wù)。另一個(gè)示例是 Joyent，其主要產(chǎn)品是一系列虛擬化服務(wù)器，這些服務(wù)器提供運(yùn)行網(wǎng)站的高度可擴(kuò)展的隨需應(yīng)變基礎(chǔ)設(shè)施，包括用 Ruby on Rails、PHP、Python和 Java 編寫的豐富 Web 應(yīng)用程序。
 
 
<SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; FONT-SIZE: 12pt; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma">二  <SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; FONT-SIZE: 12pt; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma">云計(jì)算的一種實(shí)現(xiàn)形式Hadoop
 
Hadoop<SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma; mso-bidi-font-size: 10.5pt">作為云計(jì)算的重要實(shí)現(xiàn)形式，在此簡(jiǎn)單介紹一下。
Hadoop框架中最核心的設(shè)計(jì)就是：MapReduce 和HDFS。MapReduce 的思想是由Google的一篇論文所提及而被廣為流傳的，簡(jiǎn)單的一句話解釋MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。HDFS 是Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）的縮寫，為分布式計(jì)算存儲(chǔ)提供了底層支持。
MapReduce從它名字上來(lái)看就大致可以看出個(gè)緣由，兩個(gè)動(dòng)詞Map和Reduce，“Map（展開(kāi)）”就是將一個(gè)任務(wù)分解成為多個(gè)任務(wù)，“Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來(lái)，得出最后的分析結(jié)果。這不是什么新思想，其實(shí)在前面提到的多線程，多任務(wù)的設(shè)計(jì)就可以找到這種思想的影子。不論是現(xiàn)實(shí)社會(huì)，還是在程序設(shè)計(jì)中，一項(xiàng)工作往往可以被拆分成為多個(gè)任務(wù)，任務(wù)之間的關(guān)系可以分為兩種：一種是不相關(guān)的任務(wù)，可以并行執(zhí)行；另一種是任務(wù)之間有相互的依賴，先后順序不能夠顛倒，這類任務(wù)是無(wú)法并行處理的�；氐酱髮W(xué)時(shí)期，教授上課時(shí)讓大家去分析關(guān)鍵路徑，無(wú)非就是找最省時(shí)的任務(wù)分解執(zhí)行方式。在分布式系統(tǒng)中，機(jī)器集群就可以看作硬件資源池，將并行的任務(wù)拆分，然后交由每一個(gè)空閑機(jī)器資源去處理，能夠極大地提高計(jì)算效率，同時(shí)這種資源無(wú)關(guān)性，對(duì)于計(jì)算集群的擴(kuò)展無(wú)疑提供了最好的設(shè)計(jì)保證。任務(wù)分解處理以后，那就需要將處理以后的結(jié)果再匯總起來(lái)，這就是Reduce要做的工作。

<TABLE cellSpacing=0 cellPadding=0 width="100%">
<TBODY>
<TR>
<TD style="BORDER-BOTTOM-COLOR: #ece9d8; BACKGROUND-COLOR: transparent; BORDER-TOP-COLOR: #ece9d8; BORDER-RIGHT-COLOR: #ece9d8; BORDER-LEFT-COLOR: #ece9d8">
<DIV>
</DIV></TD></TR></TBODY></TABLE>
<DIV> <IMG src="file:///C:/Documents%20and%20Settings/Administrator/Application%20Data/Tencent/Users/953672236/QQ/WinTemp/RichOle/K2DDFM~M%25V1IR932)9HKJXL.jpg"></DIV>
                                                        MapReduce結(jié)構(gòu)示意圖
 
上圖就是MapReduce 大致的結(jié)構(gòu)圖，在Map前還可能會(huì)對(duì)輸入的數(shù)據(jù)有Split（分割）的過(guò)程，保證任務(wù)并行效率，在Map之后還會(huì)有Shuffle（混合）的過(guò)程，對(duì)于提高Reduce的效率以及減小數(shù)據(jù)傳輸?shù)膲毫τ泻艽蟮膸椭：竺鏁?huì)具體提及這些部分的細(xì)節(jié)。HDFS 是分布式計(jì)算的存儲(chǔ)基石，Hadoop的分布式文件系統(tǒng)和其他分布式文件系統(tǒng)有很多類似的特質(zhì)。分布式文件系統(tǒng)基本的幾個(gè)特點(diǎn)：
1. 對(duì)于整個(gè)集群有單一的命名空間。
2. 數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在文件沒(méi)有被成功創(chuàng)建之前無(wú)法看到文件存在。
3. 文件會(huì)被分割成多個(gè)文件塊，每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，而且根據(jù)配置會(huì)由復(fù)制文件塊來(lái)保證數(shù)據(jù)的安全性。</DIV>

歡迎光臨 Chinaunix (http://www.72891.cn/)