亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費注冊 查看新帖 |

Chinaunix

  平臺 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 4346 | 回復(fù): 8
打印 上一主題 下一主題

[proxy] ATS內(nèi)存管理優(yōu)化已經(jīng)提交社區(qū)主干分支 [復(fù)制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1 [收藏(0)] [報告]
發(fā)表于 2013-02-05 00:37 |只看該作者 |倒序瀏覽
本帖最后由 aaaaaa 于 2013-02-05 18:33 編輯

我們已經(jīng)將內(nèi)存優(yōu)化的代碼提交到社區(qū)的master分支,即這個優(yōu)化將會出現(xiàn)在下次發(fā)布的開發(fā)版本里:3.3.1里。這個改進主要目的是解決內(nèi)存分配中的不釋放問題,使用的是一個內(nèi)存回收功能,相關(guān)的參數(shù)有:


* proxy.config.allocator.enable_reclaim
  是否啟用內(nèi)存回收功能。這個參數(shù)的主要目的是讓內(nèi)存回收成為可以配置的功能,主要為讓社區(qū)的老人們覺得新功能不是推翻重來的。代碼默認目前是1,即啟用回收。配置文件默認是0,即關(guān)閉回收。如是用git/master里的代碼新裝的配置文件會生效,即不啟用。如果是從其他版本升級上來,由于records.config升級安裝不會覆蓋,代碼默認配置會生效,即啟用。這個一定要理解哦,我有可能后面再改這些默認值的。

* proxy.config.allocator.reclaim_factor
  是控制回收的閾值的,0.0-1.0的浮點數(shù),默認0.3。越高越主動回收。

* proxy.config.allocator.max_overage
  定義超過閾值幾次才回收,也是一個用來控制收縮算法啟動的一個小開關(guān),代碼默認10。實測3效果比較好,新配置默認是3。

還有一個參數(shù)是debug用的,一般用不到
* proxy.config.allocator.debug_filter
  Dump debug information according bit mask of debug_filter, if a bit is set
  in the mask, then debug information of the corresponding action are dumped:
   bit 0: reclaim memory in ink_freelist_new
   bit 1: allocate memory from partial-free Chunks(if exist) or OS


如果要啟用內(nèi)存回收,請使用最新的git版本,從官方clone出來,帶--enable-reclaimable-freelist編譯,請設(shè)置proxy.config.allocator.enable_reclaim為1,并調(diào)節(jié)reclaim_facotr和max_overage到符合你的業(yè)務(wù)場景的數(shù)值。當(dāng)然默認的參數(shù)也是能行的,是一個比較中庸的值。

論壇徽章:
0
2 [報告]
發(fā)表于 2013-02-05 09:56 |只看該作者
本帖最后由 llzqq 于 2013-02-05 10:05 編輯

恩,這個今天早上git時發(fā)現(xiàn)了,對TS來說是個重大好消息啊!

目前還不知道這個補丁的效率怎么樣,能否把TS的內(nèi)存使用嚴格限制在設(shè)定值內(nèi),還是說比原來的內(nèi)存管理有較大改善呢?

論壇徽章:
0
3 [報告]
發(fā)表于 2013-02-05 16:31 |只看該作者
從我們測試結(jié)果和社區(qū)其他人反饋看,這個patch將會控制住內(nèi)存使用程度。因為TS的內(nèi)存主要有幾個方面:
1,ram cache固定數(shù)量占用。
2,跟連接數(shù)和transaction數(shù)關(guān)聯(lián)的內(nèi)部結(jié)構(gòu)數(shù)據(jù)占用
這兩個都可以因為目前的patch在高峰占用過后,能回收回來。

FYI

論壇徽章:
4
2015年辭舊歲徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT運維版塊每日發(fā)帖之星
日期:2016-08-11 06:20:00IT運維版塊每日發(fā)帖之星
日期:2016-08-15 06:20:00
4 [報告]
發(fā)表于 2013-02-05 17:49 |只看該作者
cool!

論壇徽章:
0
5 [報告]
發(fā)表于 2013-03-20 16:27 |只看該作者
最近在測試這個主干分支。但只是1個小時左右ATS就重啟了。報如下錯誤,老大幫忙看一下,是不是這個內(nèi)存回收方面的問題?
[TrafficServer] using root directory '/usr'
/usr/bin/traffic_server - STACK TRACE:
/lib/libtsutil.so.3[0x40031255]
/lib/libtsutil.so.3(reclaimable_freelist_new+0x6e[0x40031e28]
/lib/libtsutil.so.3(ink_freelist_new+0x1c)[0x40030fcc]
/usr/bin/traffic_server[0x8244e9c]
/usr/bin/traffic_server(_ZN7CacheVC10handleReadEiP5Event+0x1fd)[0x824c42d]
/usr/bin/traffic_server(_ZN7CacheVC12do_read_callEP7INK_MD5+0x7a)[0x826f67a]
/usr/bin/traffic_server(_ZN5Cache9open_readEP12ContinuationP7INK_MD5P7HTTPHdrP21CacheLookupHttpConfig13CacheFragTypePci+0x2e4)[0x826ada4]
/usr/bin/traffic_server(_ZN14CacheProcessor9open_readEP12ContinuationP3URLbP7HTTPHdrP21CacheLookupHttpConfigl13CacheFragType+0x87)[0x824c027]
/usr/bin/traffic_server(_ZN11HttpCacheSM18do_cache_open_readEv+0x4b)[0x815011b]
/usr/bin/traffic_server(_ZN11HttpCacheSM9open_readEP3URLP7HTTPHdrP21CacheLookupHttpConfigl+0x4[0x8150188]
/usr/bin/traffic_server(_ZN6HttpSM24do_cache_lookup_and_readEv+0x104)[0x8160864]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x746)[0x8177506]
/usr/bin/traffic_server(_ZN6HttpSM17handle_api_returnEv+0xe2)[0x8177dd2]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x350)[0x8172410]
/usr/bin/traffic_server(_ZN6HttpSM23do_api_callout_internalEv+0x4f)[0x817290f]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x1b3)[0x8176f73]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x19a)[0x8176f5a]
/usr/bin/traffic_server(_ZN6HttpSM17handle_api_returnEv+0xe2)[0x8177dd2]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x350)[0x8172410]
/usr/bin/traffic_server(_ZN6HttpSM23do_api_callout_internalEv+0x4f)[0x817290f]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x1b3)[0x8176f73]
/usr/bin/traffic_server(_ZN6HttpSM17handle_api_returnEv+0xe2)[0x8177dd2]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x350)[0x8172410]
/usr/bin/traffic_server(_ZN6HttpSM18state_api_callbackEiPv+0x72)[0x8176cd2]
/usr/bin/traffic_server(TSHttpTxnReenable+0x386)[0x80fba76]
/usr/lib/cacheurl.so[0x418e65a0]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x4bb)[0x817257b]
/usr/bin/traffic_server(_ZN6HttpSM23do_api_callout_internalEv+0x4f)[0x817290f]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x1b3)[0x8176f73]
/usr/bin/traffic_server(_ZN6HttpSM32state_read_client_request_headerEiPv+0x239)[0x8164629]
/usr/bin/traffic_server(_ZN6HttpSM12main_handlerEiPv+0x66)[0x81754d6]
/usr/bin/traffic_server[0x8298972]
/usr/bin/traffic_server(_ZN10NetHandler12mainNetEventEiP5Event+0x25[0x8290958]
/usr/bin/traffic_server(_ZN7EThread13process_eventEP5Eventi+0x7d)[0x82b867d]
/usr/bin/traffic_server(_ZN7EThread7executeEv+0x46b)[0x82b8fcb]
/usr/bin/traffic_server[0x82b7da4]
/lib/libpthread.so.0[0x4008747e]
/lib/libc.so.6(clone+0x5e)[0x403d53ce]
FATAL: Failed to mmap 987136 bytes, Cannot allocate memory
/usr/bin/traffic_server - STACK TRACE:
/lib/libtsutil.so.3[0x4002e6c4]
/lib/libtsutil.so.3[0x40031279]
/lib/libtsutil.so.3(reclaimable_freelist_new+0x6e[0x40031e28]
/lib/libtsutil.so.3(ink_freelist_new+0x1c)[0x40030fcc]
/usr/bin/traffic_server[0x8244e9c]
/usr/bin/traffic_server(_ZN7CacheVC10handleReadEiP5Event+0x1fd)[0x824c42d]
/usr/bin/traffic_server(_ZN7CacheVC12do_read_callEP7INK_MD5+0x7a)[0x826f67a]
/usr/bin/traffic_server(_ZN5Cache9open_readEP12ContinuationP7INK_MD5P7HTTPHdrP21CacheLookupHttpConfig13CacheFragTypePci+0x2e4)[0x826ada4]
/usr/bin/traffic_server(_ZN14CacheProcessor9open_readEP12ContinuationP3URLbP7HTTPHdrP21CacheLookupHttpConfigl13CacheFragType+0x87)[0x824c027]
/usr/bin/traffic_server(_ZN11HttpCacheSM18do_cache_open_readEv+0x4b)[0x815011b]
/usr/bin/traffic_server(_ZN11HttpCacheSM9open_readEP3URLP7HTTPHdrP21CacheLookupHttpConfigl+0x4[0x8150188]
/usr/bin/traffic_server(_ZN6HttpSM24do_cache_lookup_and_readEv+0x104)[0x8160864]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x746)[0x8177506]
/usr/bin/traffic_server(_ZN6HttpSM17handle_api_returnEv+0xe2)[0x8177dd2]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x350)[0x8172410]
/usr/bin/traffic_server(_ZN6HttpSM23do_api_callout_internalEv+0x4f)[0x817290f]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x1b3)[0x8176f73]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x19a)[0x8176f5a]
/usr/bin/traffic_server(_ZN6HttpSM17handle_api_returnEv+0xe2)[0x8177dd2]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x350)[0x8172410]
/usr/bin/traffic_server(_ZN6HttpSM23do_api_callout_internalEv+0x4f)[0x817290f]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x1b3)[0x8176f73]
/usr/bin/traffic_server(_ZN6HttpSM17handle_api_returnEv+0xe2)[0x8177dd2]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x350)[0x8172410]
/usr/bin/traffic_server(_ZN6HttpSM18state_api_callbackEiPv+0x72)[0x8176cd2]
/usr/bin/traffic_server(TSHttpTxnReenable+0x386)[0x80fba76]
/usr/lib/cacheurl.so[0x418e65a0]
/usr/bin/traffic_server(_ZN6HttpSM17state_api_calloutEiPv+0x4bb)[0x817257b]
/usr/bin/traffic_server(_ZN6HttpSM23do_api_callout_internalEv+0x4f)[0x817290f]
/usr/bin/traffic_server(_ZN6HttpSM14set_next_stateEv+0x1b3)[0x8176f73]
/usr/bin/traffic_server(_ZN6HttpSM32state_read_client_request_headerEiPv+0x239)[0x8164629]
/usr/bin/traffic_server(_ZN6HttpSM12main_handlerEiPv+0x66)[0x81754d6]
/usr/bin/traffic_server[0x8298972]
/usr/bin/traffic_server(_ZN10NetHandler12mainNetEventEiP5Event+0x25[0x8290958]
/usr/bin/traffic_server(_ZN7EThread13process_eventEP5Eventi+0x7d)[0x82b867d]
/usr/bin/traffic_server(_ZN7EThread7executeEv+0x46b)[0x82b8fcb]
/usr/bin/traffic_server[0x82b7da4]
/lib/libpthread.so.0[0x4008747e]
/lib/libc.so.6(clone+0x5e)[0x403d53ce]

論壇徽章:
0
6 [報告]
發(fā)表于 2013-03-20 16:53 |只看該作者
回復(fù) 5# brianchen829

FATAL: Failed to mmap 987136 bytes, Cannot allocate memory

從這一行來看,是因為從操作系統(tǒng)mmap內(nèi)存時失敗。

有兩個原因:
1)在那一刻,你的操作系統(tǒng)的空閑內(nèi)存,確實不夠了。
2)或者真的是因為reclaimable_freelist的潛在bug(但master版本,我們在線上系統(tǒng)跑得很穩(wěn)定)。

我覺得1)的可能性高一些,導(dǎo)致1)原因有很多,例如,你的cache size是不是配得不夠合理(太大了)。

建議你,把ATS掛掉那一刻的操作系統(tǒng)空閑內(nèi)存,記錄下來。

另外,你的操作系統(tǒng)信息等,盡量詳盡的收集,反饋給我們。


   

論壇徽章:
0
7 [報告]
發(fā)表于 2013-03-20 17:16 |只看該作者
1、操作系統(tǒng)用的是32位,內(nèi)存16G的。編譯的時候開啟了pae支持,系統(tǒng)能識別到16G內(nèi)存。
2、ram_cache試過多個值,1G、2G、3G、8G都試過,但出錯的頻率并沒有減少。
3、內(nèi)存我看了下已使用情況:最多的時候也就2.8G。在1.5G-2.3G之間波動的。

論壇徽章:
0
8 [報告]
發(fā)表于 2013-03-20 17:36 |只看該作者
哈,32位系統(tǒng),這個得看看

論壇徽章:
0
9 [報告]
發(fā)表于 2013-03-24 22:41 |只看該作者
再貼一些ATS重啟時的內(nèi)存信息,老大幫忙看一下。
內(nèi)存狀態(tài)。內(nèi)存大部分被ATS占用。
% free
              total         used         free       shared      buffers
  Mem:      3104496      1924024      1180472            0       412316
Swap:            0            0            0
Total:      3104496      1924024      1180472
% show:cache-stats

Bytes Used --- 269 GB
Cache Size --- 399 GB
--RAM Cache--
Total Bytes -- 1073741824
Bytes Used --- 1072705536
Hits --------- 161734
Misses ------- 128908
--Lookups--
In Progress -- 0
Hits --------- 0
Misses ------- 0
--Reads--
In Progress -- 7
Hits --------- 192226
Misses ------- 405131
--Writes--
In Progress -- 166
Hits --------- 153156
Misses ------- 11331
--Updates--
In Progress -- 5
Hits --------- 57527
Misses ------- 461
--Removes--
In Progress -- 0
Hits --------- 0
Misses ------- 0

錯誤輸出:
[TrafficServer] using root directory '/usr'                                    
/usr/bin/traffic_server - STACK TRACE:                                         
/lib/libtsutil.so.3[0x40031255]                                                
/lib/libtsutil.so.3(reclaimable_freelist_new+0x6e[0x40031e28]                 
/lib/libtsutil.so.3(ink_freelist_new+0x1c)[0x40030fcc]                     
/usr/bin/traffic_server[0x8244e8c]                                             
/usr/bin/traffic_server(_ZN7CacheVC10handleReadEiP5Event+0x1fd)[0x824c41d]      
/usr/bin/traffic_server(_ZN7CacheVC12do_read_callEP7INK_MD5+0x7a)[0x826f66a]   
/usr/bin/traffic_server(_ZN7CacheVC12openReadMainEiP5Event+0xd86)[0x826c0e6]
/usr/bin/traffic_server(_ZN7EThread13process_eventEP5Eventi+0x7d)[0x82b866d]
/usr/bin/traffic_server(_ZN7EThread7executeEv+0x62c)[0x82b917c]            
/usr/bin/traffic_server[0x82b7d94]                                             
/lib/libpthread.so.0[0x4008747e]                                                
/lib/libc.so.6(clone+0x5e)[0x403d53ce]                                      
FATAL: Failed to mmap 1052672 bytes, Cannot allocate memory                 
/usr/bin/traffic_server - STACK TRACE:                                      
/lib/libtsutil.so.3[0x4002e6c4]
/lib/libtsutil.so.3[0x40031279]                                             
/lib/libtsutil.so.3(reclaimable_freelist_new+0x6e[0x40031e28]                 
/lib/libtsutil.so.3(ink_freelist_new+0x1c)[0x40030fcc]                          
/usr/bin/traffic_server[0x8244e8c]                                             
/usr/bin/traffic_server(_ZN7CacheVC10handleReadEiP5Event+0x1fd)[0x824c41d]  
/usr/bin/traffic_server(_ZN7CacheVC12do_read_callEP7INK_MD5+0x7a)[0x826f66a]
/usr/bin/traffic_server(_ZN7CacheVC12openReadMainEiP5Event+0xd86)[0x826c0e6]
/usr/bin/traffic_server(_ZN7EThread13process_eventEP5Eventi+0x7d)[0x82b866d]   
/usr/bin/traffic_server(_ZN7EThread7executeEv+0x62c)[0x82b917c]                 
/usr/bin/traffic_server[0x82b7d94]                                          
/lib/libpthread.so.0[0x4008747e]                                            
/lib/libc.so.6(clone+0x5e)[0x403d53ce]                                      
[TrafficServer] using root directory '/usr'

內(nèi)存回收的配置
CONFIG proxy.config.allocator.enable_reclaim INT 1
CONFIG proxy.config.allocator.reclaim_factor FLOAT 0.300000
CONFIG proxy.config.allocator.max_overage INT 3   
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報專區(qū)
中國互聯(lián)網(wǎng)協(xié)會會員  聯(lián)系我們:huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP