
平臺論壇博客文庫

論壇徽章:: 0

電梯直達(dá)

1樓 [收藏(0)] [報告]

發(fā)表于 2011-12-23 02:39 |只看該作者 |倒序瀏覽

<DIV>
<SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; FONT-SIZE: 14pt; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma">進(jìn)一步了解云計算
<SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">組長：<SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">萬虎 <SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">成員：<SPAN style="FONT-FAMILY: 宋體; mso-hansi-font-family: Calibri; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Calibri; mso-ascii-theme-font: minor-latin; mso-hansi-theme-font: minor-latin; mso-bidi-font-size: 10.5pt">萬虎、牛慶亞、宋思夢、文滔、胡海砷
 
一  云計算架構(gòu)服務(wù)層
 
盡管在互聯(lián)網(wǎng)的第一次革命中三層 (或 n 層) 模型作為一般架構(gòu)出現(xiàn)，但虛擬化在云中的應(yīng)用創(chuàng)造出一組新層：應(yīng)用程序、服務(wù)和基礎(chǔ)設(shè)施。這些層不只封裝按需提供的資源，而且還定義了一個新的應(yīng)用程序開發(fā)模式。同時在每個抽象層中，存在定義根據(jù)使用情況提供的服務(wù)的無數(shù)商業(yè)機會。
1、把軟件當(dāng)作服務(wù) (SaaS)
SaaS 是最高層，其特色是包含一個通過多重租用 (Multitenancy) 根據(jù)需要作為一項服務(wù)提供的完整應(yīng)用程序。所謂“多重租用”是指單個軟件實例運行于提供商的基礎(chǔ)設(shè)施，并為多個客戶機構(gòu)提供服務(wù)。
最為人所知的 SaaS 示例是 Salesforce.com，不過現(xiàn)在有了許多其他示例，其中包括Google Apps，提供基本商業(yè)服務(wù)，如電子郵件。當(dāng)然，Salesforce.com 的多重租用應(yīng)用程序領(lǐng)先于云計算的定義好幾年時間。另一方面，就像云計算中的許多其他層一樣，Salesforce.com 現(xiàn)在的 Force.com 版本不只在一個云層工作，Force.com 是一個輔助性應(yīng)用程序開發(fā)環(huán)境，或當(dāng)作服務(wù)的平臺。
2、把平臺當(dāng)作服務(wù) (PaaS)
中間層 (或 PaaS) 是對開發(fā)環(huán)境抽象的封裝和對有效服務(wù)負(fù)載的封裝。原形有效負(fù)載是一個 Xen 映像 (Amazon Web 服務(wù)的組成部分)，該映像包含一個基本 Web 棧(例如，一個 Linux 發(fā)行套件、一個 Web 服務(wù)器，以及一個編程環(huán)境，如 Pearl 或 Ruby)。PaaS 產(chǎn)品可執(zhí)行各個階段的軟件開發(fā)和測試，也可以專用于某個領(lǐng)域，例如，內(nèi)容管理。商業(yè)示例包括 Google App Engine，它在 Google 的基礎(chǔ)設(shè)施上提供應(yīng)用程序服務(wù)。上述PaaS 服務(wù)可以提供極大的靈活性，但可能會受到通過供應(yīng)商提供的能力的制約。
3、把基礎(chǔ)設(shè)施當(dāng)作服務(wù) (IaaS)
把基礎(chǔ)設(shè)施當(dāng)作服務(wù) (IaaS) 處于最低層級，而且是一種作為標(biāo)準(zhǔn)化服務(wù)在網(wǎng)上提供基本存儲和計算能力的手段。服務(wù)器、存儲系統(tǒng)、交換機、路由器和其他系統(tǒng)協(xié)作 (例如，通過虛擬化技術(shù)) 處理特定類型的工作負(fù)載 — 從批處理到峰值負(fù)載期間的服務(wù)器/存儲擴大。
最著名的商業(yè)示例是 Amazon Web 服務(wù) (AWS)，其 EC2 和 S3 服務(wù)分別提供基本計算和存儲服務(wù)。另一個示例是 Joyent，其主要產(chǎn)品是一系列虛擬化服務(wù)器，這些服務(wù)器提供運行網(wǎng)站的高度可擴展的隨需應(yīng)變基礎(chǔ)設(shè)施，包括用 Ruby on Rails、PHP、Python和 Java 編寫的豐富 Web 應(yīng)用程序。
 
 
<SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; FONT-SIZE: 12pt; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma">二  <SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; FONT-SIZE: 12pt; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma">云計算的一種實現(xiàn)形式Hadoop
 
Hadoop<SPAN style="FONT-FAMILY: 宋體; COLOR: #333333; mso-bidi-font-family: Tahoma; mso-hansi-font-family: Tahoma; mso-font-kerning: 0pt; mso-fareast-font-family: 宋體; mso-fareast-theme-font: minor-fareast; mso-ascii-font-family: Tahoma; mso-bidi-font-size: 10.5pt">作為云計算的重要實現(xiàn)形式，在此簡單介紹一下。
Hadoop框架中最核心的設(shè)計就是：MapReduce 和HDFS。MapReduce 的思想是由Google的一篇論文所提及而被廣為流傳的，簡單的一句話解釋MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。HDFS 是Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）的縮寫，為分布式計算存儲提供了底層支持。
MapReduce從它名字上來看就大致可以看出個緣由，兩個動詞Map和Reduce，“Map（展開）”就是將一個任務(wù)分解成為多個任務(wù)，“Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來，得出最后的分析結(jié)果。這不是什么新思想，其實在前面提到的多線程，多任務(wù)的設(shè)計就可以找到這種思想的影子。不論是現(xiàn)實社會，還是在程序設(shè)計中，一項工作往往可以被拆分成為多個任務(wù)，任務(wù)之間的關(guān)系可以分為兩種：一種是不相關(guān)的任務(wù)，可以并行執(zhí)行；另一種是任務(wù)之間有相互的依賴，先后順序不能夠顛倒，這類任務(wù)是無法并行處理的�；氐酱髮W(xué)時期，教授上課時讓大家去分析關(guān)鍵路徑，無非就是找最省時的任務(wù)分解執(zhí)行方式。在分布式系統(tǒng)中，機器集群就可以看作硬件資源池，將并行的任務(wù)拆分，然后交由每一個空閑機器資源去處理，能夠極大地提高計算效率，同時這種資源無關(guān)性，對于計算集群的擴展無疑提供了最好的設(shè)計保證。任務(wù)分解處理以后，那就需要將處理以后的結(jié)果再匯總起來，這就是Reduce要做的工作。

<TABLE cellSpacing=0 cellPadding=0 width="100%">
<TBODY>
<TR>
<TD style="BORDER-BOTTOM-COLOR: #ece9d8; BACKGROUND-COLOR: transparent; BORDER-TOP-COLOR: #ece9d8; BORDER-RIGHT-COLOR: #ece9d8; BORDER-LEFT-COLOR: #ece9d8">
<DIV>
</DIV></TD></TR></TBODY></TABLE>
<DIV> <IMG src="file:///C:/Documents%20and%20Settings/Administrator/Application%20Data/Tencent/Users/953672236/QQ/WinTemp/RichOle/K2DDFM~M%25V1IR932)9HKJXL.jpg"></DIV>
                                                        MapReduce結(jié)構(gòu)示意圖
 
上圖就是MapReduce 大致的結(jié)構(gòu)圖，在Map前還可能會對輸入的數(shù)據(jù)有Split（分割）的過程，保證任務(wù)并行效率，在Map之后還會有Shuffle（混合）的過程，對于提高Reduce的效率以及減小數(shù)據(jù)傳輸?shù)膲毫τ泻艽蟮膸椭�。后面會具體提及這些部分的細(xì)節(jié)。HDFS 是分布式計算的存儲基石，Hadoop的分布式文件系統(tǒng)和其他分布式文件系統(tǒng)有很多類似的特質(zhì)。分布式文件系統(tǒng)基本的幾個特點：
1. 對于整個集群有單一的命名空間。
2. 數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在文件沒有被成功創(chuàng)建之前無法看到文件存在。
3. 文件會被分割成多個文件塊，每個文件塊被分配存儲到數(shù)據(jù)節(jié)點上，而且根據(jù)配置會由復(fù)制文件塊來保證數(shù)據(jù)的安全性。</DIV>

文庫|博客

redis源碼閱讀補充說明以及SDS的一點補充
mysql動態(tài)sql批量刪除數(shù)據(jù)
redis源碼閱讀之a(chǎn)e_evport

返回列表

Chinaunix › 論壇 › 數(shù)據(jù)庫技術(shù) › NoSQL技術(shù) › 基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬虎組-第二次報告

積分 0, 距離下一級還需積分

亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

[Hadoop&HBase] 基于hadoop大規(guī)模數(shù)據(jù)排序算法-萬虎組-第二次報告 [復(fù)制鏈接]