架構(gòu)師之旅之---設(shè)計大型分布式網(wǎng)站可能遇到的問題（獲獎名單已公布-2014-10-24）

send_linux

獲獎名單已公布，詳情請看：http://www.72891.cn/thread-4158433-1-1.html

系統(tǒng)架構(gòu)師是一個既需要掌控整體又需要洞悉局部瓶頸并依據(jù)具體的業(yè)務(wù)場景給出解決方案的人。具體來說是一個確認(rèn)和評估系統(tǒng)需求，給出開發(fā)規(guī)范，搭建系統(tǒng)實現(xiàn)的核心構(gòu)架，并澄清技術(shù)細(xì)節(jié)、掃清主要難點的技術(shù)人員。主要著眼于系統(tǒng)的“技術(shù)實現(xiàn)”。
而對于大型網(wǎng)站來說，這些問題具體來說就是：千萬級的注冊用戶，千萬級的帖子，nTB級的附件，還有巨大的日訪問量，大型網(wǎng)站采用什么系統(tǒng)架構(gòu)保證性能和穩(wěn)定性？
這些大型的互聯(lián)網(wǎng)應(yīng)用是設(shè)計出來的？還是演化出來的？在設(shè)計的過程中需要考慮哪些因素？演化過程中都會面臨哪些問題，哪些挑戰(zhàn)？

本期話題：
1．如何實現(xiàn)基于HTTP協(xié)議和TCP協(xié)議的RPC調(diào)用，它們之間有何差別？
2．常見的分布式系統(tǒng)存儲解決方案有哪些？
3．常見的Web攻擊手段和防御方法？
4．如何進(jìn)行集群的監(jiān)控？
5.  說說您讀完試讀樣章后的啟發(fā)

活動規(guī)則：
閱讀我們提供的圖書試讀章節(jié)來參加活動，寫試讀心得或根據(jù)提供的話題參與討論！

本期嘉賓：ChinaUnix架構(gòu)設(shè)計版資深版主 duanjigang

活動時間：2014-9-23~10-23

本期獎品：活動結(jié)束后將會抽取5名會員贈送《大型分布式網(wǎng)站架構(gòu)設(shè)計與實踐》一本

圖書試讀：http://wenku.it168.com/d_001532056.shtml

獎品簡介：
大型分布式網(wǎng)站架構(gòu)設(shè)計與實踐             購買鏈接

作者： 陳康賢   
出版社：電子工業(yè)出版社
ISBN：9787121238857
上架時間：2014-8-26
出版日期：2014 年9月
開本：16開
頁碼：460

renxiao2003

沙發(fā)先坐上。

chenyx

板凳支持,稍后讀完再寫

BlueSky_Yu84

我是來學(xué)習(xí)的，望大大們踴躍發(fā)言

forgaoqiang

看上去挺像是原來的一本書的

niao5929

參加一下，支持起來

Shell_HAT

1. 如何實現(xiàn)基于HTTP協(xié)議和TCP協(xié)議的RPC調(diào)用，它們之間有何差別？
http工作在OSI模型的上層；tcp工作在OSI模型的下層，需要自己控制連接。

2．常見的分布式系統(tǒng)存儲解決方案有哪些？
（1）分布式文件系統(tǒng)：淘寶的TFS，谷歌的GFS，亞馬遜的EBS
（2）分布式鍵值系統(tǒng)：一般用作緩存，比如Memcach和淘寶的Tair
（3）分布式表格系統(tǒng)：谷歌的Bigtable，微軟的Azure Table，亞馬遜的DynamoDB
（4）分布式數(shù)據(jù)庫：MySQL數(shù)據(jù)庫分片集群，亞馬遜的RDS，Microsoft SQL Azure

3．常見的Web攻擊手段和防御方法？

（1）服務(wù)拒絕攻擊

死亡之ping （ping of death）

防御：現(xiàn)在所有的標(biāo)準(zhǔn)TCP/IP實現(xiàn)都已實現(xiàn)對付超大尺寸的包，并且大多數(shù)防火墻能夠自動過濾這些攻擊，包括：從windows98之后的windows,NT(service pack 3之后)，linux、Solaris、和Mac OS都具有抵抗一般ping ofdeath攻擊的能力。此外，對防火墻進(jìn)行配置，阻斷ICMP以及任何未知協(xié)議，都講防止此類攻擊。

淚滴（teardrop）
防御：服務(wù)器應(yīng)用最新的服務(wù)包，或者在設(shè)置防火墻時對分段進(jìn)行重組，而不是轉(zhuǎn)發(fā)它們。

UDP洪水（UDP flood）
防御：關(guān)掉不必要的TCP/IP服務(wù)，或者對防火墻進(jìn)行配置阻斷來自Internet的請求這些服務(wù)的UDP請求。

SYN洪水（SYN flood）
防御：打最新的補丁，或者在防火墻進(jìn)行配置，將那些在外部接口上入站的含有內(nèi)部源地址濾掉。（包括10域、127域、192.168域、172.16到172.31域）

Smurf攻擊
防御：為了防止黑客利用你的網(wǎng)絡(luò)攻擊他人，關(guān)閉外部路由器或防火墻的廣播地址特性。為防止被攻擊，在防火墻上設(shè)置規(guī)則，丟棄掉ICMP包。

Fraggle攻擊
防御：在防火墻上過濾掉UDP應(yīng)答消息

電子郵件炸彈
防御：對郵件地址進(jìn)行配置，自動刪除來自同一主機的過量或重復(fù)的消息。

畸形消息攻擊
防御：打最新的服務(wù)補丁。

（2）利用型攻擊

口令猜測
防御：要選用難以猜測的口令，比如詞和標(biāo)點符號的組合。確保像NFS、NetBIOS和Telnet這樣可利用的服務(wù)不暴露在公共范圍。如果該服務(wù)支持鎖定策略，就進(jìn)行鎖定。

特洛伊木馬
防御：避免下載可疑程序并拒絕執(zhí)行，運用網(wǎng)絡(luò)掃描軟件定期監(jiān)視內(nèi)部主機上的監(jiān)聽TCP服務(wù)。

緩沖區(qū)溢出
防御：利用SafeLib、tripwire這樣的程序保護系統(tǒng)，或者瀏覽最新的安全公告不斷更新操作系統(tǒng)。

（3）信息收集型攻擊

掃描技術(shù)
防御：在防火墻上過濾掉ICMP應(yīng)答消息。

端口掃描
防御：許多防火墻能檢測到是否被掃描，并自動阻斷掃描企圖。

反響映射
防御：NAT和非路由代理服務(wù)器能夠自動抵御此類攻擊，也可以在防火墻上過濾“hostunreachable”ICMP應(yīng)答。

慢速掃描
防御：通過引誘服務(wù)來對慢速掃描進(jìn)行偵測。

體系結(jié)構(gòu)探測
防御：去掉或修改各種Banner，包括操作系統(tǒng)和各種應(yīng)用服務(wù)的，阻斷用于識別的端口擾亂對方的攻擊計劃。

DNS域轉(zhuǎn)換
防御：在防火墻處過濾掉域轉(zhuǎn)換請求。

Finger服務(wù)
防御：關(guān)閉finger服務(wù)并記錄嘗試連接該服務(wù)的對方IP地址，或者在防火墻上進(jìn)行過濾。

LDAP服務(wù)
防御：對于刺探內(nèi)部網(wǎng)絡(luò)的LDAP進(jìn)行阻斷并記錄，如果在公共機器上提供LDAP服務(wù)，那么應(yīng)把LDAP服務(wù)器放入DMZ。

（4）假消息攻擊

DNS高速緩存污染
防御：在防火墻上過濾入站的DNS更新，外部DNS服務(wù)器不應(yīng)能更改你的內(nèi)部服務(wù)器對內(nèi)部機器的認(rèn)識。

偽造電子郵件
防御：使用PGP等安全工具并安裝電子郵件證書

4．如何進(jìn)行集群的監(jiān)控？
Ganglia, Nagios, Cacti, Zabbix
我感覺吧，只有工具還不夠。熟悉各種腳本（Linux/Windows）的話會更好，可以根據(jù)項目的實際情況定制化監(jiān)控插件，配合工具一起搞定各種奇葩的環(huán)境。

5. 說說您讀完試讀樣章后的啟發(fā)
最近想多學(xué)習(xí)一些負(fù)載均衡的知識，這本書涉及到的不多，我要繼續(xù)找其它資料。
另外，書里面提到的這些方案，如果能對應(yīng)的介紹一下淘寶的哪些系統(tǒng)使用了某方案之后能夠頂住多大的并發(fā)之類的，讀者可能更加有 try 1 try 的沖動

bulletmarquis

感興趣卻又不懂，搬小板凳來聽課

send_linux

Shell_HAT 發(fā)表于 2014-09-24 08:28
學(xué)習(xí)一下

hat哥多分享噢

lxylxy888666

湊個數(shù)
1.如何實現(xiàn)基于HTTP協(xié)議和TCP協(xié)議的RPC調(diào)用，它們之間有何差別？
http協(xié)議是應(yīng)用層協(xié)議：建立連接、發(fā)送請求信息、發(fā)送響應(yīng)信息、關(guān)閉
RPC客戶機/服務(wù)器模式：調(diào)用信息和答復(fù)信息，表現(xiàn)為本地過程調(diào)用

2．常見的分布式系統(tǒng)存儲解決方案有哪些？
文件：fastdfs, NFS , MooseFS
緩存：memcache, redis,
搜索：sphinx, solr
數(shù)據(jù)庫：mysql分片，mongodb分片（劃分存儲，介于緩存）

3．常見的Web攻擊手段和防御方法？
1.利用多臺機器狂攻，syn,肉雞,udp等
防火墻
2.程序漏洞，注入
優(yōu)化程序
3.利用功能漏洞
比如利用某個點不限制，狂刷接口; 利用驗證碼不防暴力破解
優(yōu)化程序

4．如何進(jìn)行集群的監(jiān)控？
了解cacti，都是根據(jù)需求開發(fā)管理工具，shell腳本

5. 說說您讀完試讀樣章后的啟發(fā)
樣章講的一些安裝東西，mysql集群,redis,solr等介紹或技術(shù)點介紹
期望看到實際運用的分享呀，比如某個場景的數(shù)據(jù)庫為什么分片，多大數(shù)據(jù)量，QPS，達(dá)到什么樣的效果，需要‘干貨’。
要深入運用還是需要自己去學(xué)習(xí)研究，嘗試，有點淺。