【大話IT】云計算環(huán)境下的系統(tǒng)性能分析優(yōu)化

crazyhadoop

獲獎公布：GB_juno  fenyun689  鋼筆布萊恩特  aloki   shenlanyouyu  


請以上5位獲獎人員在8月30日前將姓名、電話、郵箱、公司、職務(wù)、快遞地址站短給  yejia80550708 ，以便盡快給大家發(fā)放禮品。




話題背景：

如今IT技術(shù) 正在飛快的發(fā)展，尤其是云計算的興起，很多人對系統(tǒng)細(xì)節(jié)不再了解。但是為了性能的調(diào)優(yōu)，仍需要理解系統(tǒng)內(nèi)部的架構(gòu)。

IT架構(gòu)雖然朝著黑盒化的方向發(fā)展，工程人員仍要在理解結(jié)構(gòu)的基礎(chǔ)上對性能進(jìn)行優(yōu)化。

那么現(xiàn)在要如何對系統(tǒng)性能進(jìn)行分析呢？ 大家可以不限于下列幾點為起點，談?wù)勛约含F(xiàn)在的體會。


本期討論問題：
1. 什么是必要的性能信息，如何測量呢？有沒有套路？
2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享


活動時間：2017年7月4日—8月4日


活動獎勵：
活動結(jié)束后，我們將選取5位討論精彩的同學(xué)，送技術(shù)圖書《深入理解Android內(nèi)核設(shè)計思想（第2版）》

作者： 林學(xué)森   
出版社：人民郵電出版社
ISBN：9787115452634
上架時間：2017-6-27
出版日期：2017 年6月
開本：16開
頁碼：996
版次：2-1
所屬分類：計算機 > 軟件與程序設(shè)計 > 移動開發(fā) > Android

購書鏈接：https://item.jd.com/12212640.html

內(nèi)容簡介：全書從操作系統(tǒng)的基礎(chǔ)知識入手，全面剖析進(jìn)程/線程、內(nèi)存管理、Binder機制、GUI顯示系統(tǒng)、多媒體管理、輸入系統(tǒng)、虛擬機等核心技術(shù)在Android中的實現(xiàn)原理。書中講述的知識點大部分來源于工程項目研發(fā)，因而具有較強的實用性，希望可以讓讀者“知其然，更知其所以然”。本書分為編譯篇、系統(tǒng)原理篇、應(yīng)用原理篇、系統(tǒng)工具篇，共4篇25章，基本涵蓋了參與Android開發(fā)所需具備的知識，并通過大量圖片與實例來引導(dǎo)讀者學(xué)習(xí)，以求盡量在源碼分析外為讀者提供更易于理解的思維方式。

樣章試讀： 深入理解Android內(nèi)核設(shè)計思想（第2版）（上下冊）.pdf (7.55 MB, 下載次數(shù): 0)

2017-07-04 17:24 上傳

點擊文件名下載附件

GB_juno

1. 什么是必要的性能信息，如何測量呢？有沒有套路？
硬件性能信息是各個資源的使用率、使用情況，一般的監(jiān)控軟件都可以做到并且詳細(xì)記錄。
軟件的性能信息，常用的軟件功能都有監(jiān)控的api、接口之類的結(jié)合使用。即使以黑盒方式調(diào)用，也可以針對調(diào)用該黑盒功能的情況進(jìn)行應(yīng)的統(tǒng)計(例如處理次數(shù)，處理時間，錯誤率)，對使用情況進(jìn)行充分的測量(如市面上的apm工具)。另外，更深一些的是對整個鏈路請求的分析和跟蹤，但這一步相對而言比較困難（可以參考谷歌的dapper)。最能摸清軟件的性能情況，最主要就是模擬各種常見對其進(jìn)行持久的壓力測試，一般有常用工具，再不濟也可以寫腳本測試跑。在這些數(shù)據(jù)的支撐下，就可以比較好獲得出軟件的性能信息。

2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
在對系統(tǒng)有大概的了解前，就對某個模塊進(jìn)行分析是沒有意義的。先理順關(guān)系，簡單測試后找到關(guān)鍵點進(jìn)行解決，而不是浪費力量做一些無關(guān)的事情。高手通常聽到描述就能夠知道大概什么位置出現(xiàn)問題，要做些什么，這些都是要靠積累。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
找到問題導(dǎo)致的原因，在不影響軟件其他性能的情況下，再進(jìn)行參數(shù)修改或者優(yōu)化。有些時候修改某個參數(shù)或者功能必然會影響到其他方面（例如數(shù)據(jù)庫），我們只能夠在現(xiàn)實情況進(jìn)行妥協(xié)，類似設(shè)計一樣，顧及到各方面。有些時候沒有辦法做，該要的資源還是要。

王楠w_n

回復(fù) 1# crazyhadoop

支持

fenyun689

1. 什么是必要的性能信息，如何測量呢？有沒有套路？
CPU，內(nèi)存，磁盤讀取是必要的性能信息，通過命令或者工具讀取。

2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
通過查看監(jiān)控，日志。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
和有經(jīng)驗的溝通。

shenlanyouyu

回復(fù) 3# 王楠w_n

楠姐，論壇的圖書目錄很久沒有更新了。

王楠w_n

回復(fù) 5# shenlanyouyu

我讓@yejia80520708  幫忙更新下

http://www.72891.cn/thread-4074217-1-2.html

王楠w_n

回復(fù) 5# shenlanyouyu

哈嘍，最近新書已經(jīng)更新完了，多謝提醒

鋼筆布萊恩特

1. 什么是必要的性能信息，如何測量呢？有沒有套路？
性能測試與優(yōu)化是一項復(fù)雜、富有挑戰(zhàn)性的工作，對于一個專業(yè)的測試人員而言，性能優(yōu)化技術(shù)的學(xué)習(xí)和研究有利于性能測試工作的順利、深入開展，
通過某種特定的方式對被測試系統(tǒng)按照一定的測試策略進(jìn)行施壓，獲取該系統(tǒng)的響應(yīng)時間、運行效率、資源利用情況等各項性能指標(biāo)，來評價系統(tǒng)是否滿足用戶性能需求的過程，
作為研發(fā)人員，他們會更關(guān)注軟件系統(tǒng)架構(gòu)設(shè)計的合理性、數(shù)據(jù)庫的設(shè)計是否存在問題、代碼是否存在性能方面問題、內(nèi)存使用方式是否正確、線程同步方式是否合理、是否存在不合理的資源競爭等。
2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
  硬件上的性能瓶頸：
  一般指的是CPU、內(nèi)存、磁盤I/O 方面的問題，分為服務(wù)器硬件瓶頸、網(wǎng)絡(luò)瓶頸（對局域網(wǎng)可以不考慮）、服務(wù)器操作系統(tǒng)瓶頸（參數(shù)配置）、中間件瓶頸（參數(shù)配置、數(shù)據(jù)庫、web服務(wù)器等）、應(yīng)用瓶頸（SQL 語句、數(shù)據(jù)庫設(shè)計、業(yè)務(wù)邏輯、算法等）。
應(yīng)用軟件上的性能瓶頸：

應(yīng)用軟件上的性能瓶頸：
一般指的是應(yīng)用服務(wù)器、web 服務(wù)器等應(yīng)用軟件，還包括數(shù)據(jù)庫系統(tǒng)。
例如：中間件weblogic 平臺上配置的JDBC連接池的參數(shù)設(shè)置不合理，造成的瓶頸。

應(yīng)用程序上的性能瓶頸：
一般指的是開發(fā)人員新開發(fā)出來的應(yīng)用程序。
例如，程序架構(gòu)規(guī)劃不合理，程序本身設(shè)計有問題（串行處理、請求的處理線程不夠），造成系統(tǒng)在大量用戶方位時性能低下而造成的瓶頸。

操作系統(tǒng)上的性能瓶頸：
一般指的是windows、UNIX、Linux等操作系統(tǒng)。
例如，在進(jìn)行性能測試，出現(xiàn)物理內(nèi)存不足時，虛擬內(nèi)存設(shè)置也不合理，虛擬內(nèi)存的交換效率就會大大降低，從而導(dǎo)致行為的響應(yīng)時間大大增加，這時認(rèn)為操作系統(tǒng)上出現(xiàn)性能瓶頸。

網(wǎng)絡(luò)設(shè)備上的性能瓶頸：

一般指的是防火墻、動態(tài)負(fù)載均衡器、交換機等設(shè)備。
例如，在動態(tài)負(fù)載均衡器上設(shè)置了動態(tài)分發(fā)負(fù)載的機制，當(dāng)發(fā)現(xiàn)某個應(yīng)用服務(wù)器上的硬件資源已經(jīng)到達(dá)極限時，動態(tài)負(fù)載均衡器將后續(xù)的交易請求發(fā)送到其他負(fù)載較輕的應(yīng)用服務(wù)器上。在測試時發(fā)現(xiàn)，動態(tài)負(fù)載均衡器沒有起到相應(yīng)的作用，這時可以認(rèn)為網(wǎng)絡(luò)瓶頸。

　　性能測試出現(xiàn)的原因及其定位十分復(fù)雜，這里只是簡單介紹常見的幾種瓶頸類型和特征，而性能測試所需要做的就是根據(jù)各種情況因素綜合考慮，然后協(xié)助開發(fā)人員\DBA\運維人員一起定位性能瓶頸。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
　再說性能調(diào)優(yōu)之前，我們有必要再提一下進(jìn)行測試的目的，或者我們進(jìn)行性能測試的初衷是什么？
能力驗證：驗證某系統(tǒng)在一定條件具有什么樣的能力。
能力規(guī)劃：如何使系統(tǒng)達(dá)到我們要求的性能能力。
應(yīng)用程序診斷：比如內(nèi)存泄漏，通過功能測試很難發(fā)現(xiàn)，但通過性能測試卻很容易發(fā)現(xiàn)。
性能調(diào)優(yōu)：滿足用戶需求，進(jìn)一步進(jìn)行系統(tǒng)分析找出瓶頸，優(yōu)化瓶頸，提高系統(tǒng)整體性能。

aloki

1. 什么是必要的性能信息，如何測量呢？有沒有套路？
資源指標(biāo)：CPU 使用率、內(nèi)存利用率、磁盤 I/O、網(wǎng)絡(luò)帶寬
系統(tǒng)指標(biāo)：并發(fā)用戶數(shù)、平均響應(yīng)時間、超時錯誤率
資源指標(biāo)要通過服務(wù)器上監(jiān)控工具獲得，基于 Linux Server 的比如 top、sar、iostat 等；而系統(tǒng)指標(biāo)則是在測試執(zhí)行過程中由測試工具收集而來。

2. 如何著手性能分析，初學(xué)者容易趟的坑是什么
首先要從系統(tǒng)架構(gòu)入手分析該云計算系統(tǒng)的結(jié)構(gòu)特點，把該平臺的相關(guān)組件以及組件間的組合架構(gòu)和分布式協(xié)同工作原理解析清楚，制定有針對性的性能測試流程和方案。
初學(xué)者容易趟的坑是“盲目”地下載些所謂的測試程序，去虛擬機上跑個分，然后不分青紅皂白就下定論（純看CPU、內(nèi)存、磁盤I/O分?jǐn)?shù)高低）。其實不然，實際使用情況會很不一樣。性能分析不僅僅看這個產(chǎn)品一瞬間（短期內(nèi)）的性能表現(xiàn)，而是要看這個產(chǎn)品能否在長時間一直保持好成績，還是會時好時壞、忽高忽低，不管是幾小時還是幾分鐘或幾秒鐘的抖動。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
(1)設(shè)定既不能太粗也不能太細(xì)，要剛剛好
(2)調(diào)優(yōu)要循序漸進(jìn)。先解決大問題，然后解決剩余問題中的大問題。在解決了大問題后，通常隱藏在它背后的問題也會暴露出來。也就是說，解決了前面的瓶頸后，下一個瓶頸就顯現(xiàn)出來了。
(3)通過重復(fù)使用來提速
(4)匯總處理。這個策略適用于花費時間與次數(shù)成正比的情況。特別是對于那些多次執(zhí)行會導(dǎo)致系統(tǒng)開銷很大的處理，這一策略是很有效果的。
(5)提高速度與實現(xiàn)并行。天下武功為快不可破，提高速度幾乎是一個萬能的解決方案，而實現(xiàn)并行則需要視情況而定。
(6)縱向擴展與橫向擴展。這兩個都是以服務(wù)器為單位的提升性能的方式。提升同一臺服務(wù)器的性能就是“縱向擴展”。添加 CPU、提高時鐘頻率等都屬于縱向擴展。而“橫向擴展”則是通過添加其他服務(wù)器來提升性能的方式。

shenlanyouyu

1. 什么是必要的性能信息，如何測量呢？有沒有套路？
從計算機的體系結(jié)構(gòu)來分析什么是必要的性能信息。典型的計算機系統(tǒng)結(jié)構(gòu)包括硬件、操作系統(tǒng)和應(yīng)用程序。
硬件包括：CPU、內(nèi)存、磁盤、網(wǎng)卡等。
操作系統(tǒng)包括 進(jìn)程、虛擬內(nèi)存、文件系統(tǒng)、網(wǎng)絡(luò)等
應(yīng)用程序包括Apache、MySQL、Nginx、Memcahed等。
其實，性能調(diào)優(yōu)就是調(diào)節(jié)硬件、操作系統(tǒng)和應(yīng)用程序。

2. 如何著手性能分析，初學(xué)者容易趟的坑是是什么
借助性能分析工具。性能測試調(diào)優(yōu)需要先發(fā)現(xiàn)瓶頸，包括以下內(nèi)容:
硬件上的性能瓶頸 ：例如CPU 、內(nèi)存、磁盤 I/O  方面。
應(yīng)用軟件上的性能瓶頸 :例如應(yīng)用服務(wù)器、web  服務(wù)器等應(yīng)用軟件，還包括數(shù)據(jù)庫系統(tǒng)。
操作系統(tǒng)上的性能瓶頸 :Windows 、 UNIX 、 Linux 等操作系統(tǒng)方面的限制。

3. 性能調(diào)優(yōu)的準(zhǔn)則是什么？或者有啥常用技巧可以分享
性能調(diào)優(yōu)就是對計算機硬件、操作系統(tǒng)和應(yīng)用有相當(dāng)深入的了解，調(diào)節(jié)三者之間的關(guān)系，實現(xiàn)整個系統(tǒng)(包括硬件、操作系統(tǒng)、應(yīng)用)的性能最大化，并能不斷的滿足現(xiàn)有的業(yè)務(wù)需求。
性能調(diào)優(yōu)的準(zhǔn)則是:首先確定調(diào)優(yōu)目標(biāo)，進(jìn)行具體調(diào)優(yōu)步驟，最后檢測調(diào)優(yōu)結(jié)果。

我是做Android開發(fā)的，從Android開發(fā)的場景出發(fā)，需要模擬典型的使用場景及狀態(tài)，啟動時長，電量，流量，CPU，內(nèi)存。其次，借助性能測試工具，事半功倍。Android有大量的性能測試工具，可以測量不同場景下的性能。