構(gòu)建一臺(tái)大容量的NAT服務(wù)器

ippen

原帖由 platinum 于 2008-7-10 09:48 發(fā)表

1048576 好像是 1024 * 1024 的結(jié)果，也就是 1M 個(gè)并發(fā)數(shù)，也就是 100W 個(gè)

額，一下眼花，數(shù)少了一位數(shù)

ippen

原帖由 ShadowStar 于 2008-7-10 10:54 發(fā)表

我說的之前工作中的是采用的2＊Opteron 2212的CPU，4GB內(nèi)存，Intel 82544的網(wǎng)卡，conntrack_max = 2097152。硬件配置好象是這樣，記不太清楚了。
系統(tǒng)版本不重要，主要是內(nèi)核，我那時(shí)候用的是2.6.23的，Gent ...

2.6.16后的內(nèi)核網(wǎng)絡(luò)部分效率應(yīng)該有提高了，我用的內(nèi)核版本比較老，估計(jì)多cpu問題沒解決好，有時(shí)間再試試

ippen

原帖由 ShadowStar 于 2008-7-10 14:38 發(fā)表


conntrack_max限定的是nf_conn的數(shù)量，它應(yīng)該是tuple ＊ 2。設(shè)置過大僅僅會(huì)導(dǎo)致內(nèi)存耗盡。理論上來說并不是內(nèi)核崩潰的直接原因。

其實(shí)不管是不是一個(gè)tuple，只要pps夠大，都會(huì)造成很大的影響，畢竟沒個(gè)數(shù) ...

原帖由 platinum 于 2008-7-10 14:48 發(fā)表

我以前做過試驗(yàn)，內(nèi)存溢出后 socket 會(huì)有問題，ssh 會(huì)斷開，系統(tǒng)很多 app 都無法正常運(yùn)行
另外，2.6 內(nèi)核系統(tǒng)里有個(gè) pktgen，可以發(fā)送特制的 udp 包
如果這些包是同樣的 sip 和 dip，pps 可以輕松到達(dá) 10Wp ...

高速小包是指那些攻擊型的流量，如果服務(wù)器負(fù)載比較高，會(huì)出現(xiàn)假死現(xiàn)象，就是有30秒-幾分鐘時(shí)間，服務(wù)器沒有任何響應(yīng)，但實(shí)際上服務(wù)器是正常的，只是cpu在狂運(yùn)算，完了后服務(wù)器會(huì)恢復(fù)正常，不會(huì)出現(xiàn)系統(tǒng)崩潰。所以只要cpu有余量能承受hash的計(jì)算量，就沒有任何問題。所以我在使用中，設(shè)計(jì)的最高并發(fā)連接時(shí)26萬，實(shí)際放流量時(shí)只放到16萬左右，留的余量比較大。為了穩(wěn)定，寧愿多用些機(jī)器

ippen

原帖由 wheel 于 2008-7-10 16:10 發(fā)表
測(cè)了下還是有swap分區(qū)的好。。

能說一下依據(jù)么？

我建議不用swap，是因?yàn)橛行┫到y(tǒng)程序要用很大內(nèi)存，如果在某個(gè)瞬間，系統(tǒng)占用了比較多內(nèi)存，恰好nat又要占用內(nèi)存，nat的內(nèi)存開到swap中了，大家都知道，硬盤處理速度慢內(nèi)存n十倍，結(jié)果系統(tǒng)被拖進(jìn)狂讀寫硬盤的進(jìn)程，狀態(tài)接近死機(jī)。之前我已經(jīng)經(jīng)歷了n次這種情況，所以建議不用swap。

請(qǐng)ls的兄弟說說依據(jù)吧，我很想了解一下你的看法。

ljily000

請(qǐng)教 樓主：
你的并發(fā)連接數(shù)是如何得到具體的數(shù)值的？


小聲問一句：是通過ip_conntrack么？

ljily000

請(qǐng)教 樓主：

你的并發(fā)連接數(shù)是如何具體計(jì)算出數(shù)值來的？:wink:




小聲問一句：是通過ip_conntrack么？

ShadowStar

原帖由 platinum 于 2008-7-10 19:22 發(fā)表

如果 bucket 夠大，按理說是不是就不會(huì)這樣了呢？
或者說，是 netfilter 的 hash 函數(shù)寫的不好，引起過多碰撞？

理論上是的，當(dāng)bucket足夠大時(shí)，碰撞的幾率會(huì)更小。但是占用的內(nèi)存會(huì)更高，索引的內(nèi)存是一直占用的，無論有沒有實(shí)際的tuple。

至于netfilter的hash函數(shù)，我覺得還是不錯(cuò)的。所有的hash算法都存在碰撞問題。

[ 本帖最后由 ShadowStar 于 2008-7-10 21:15 編輯 ]

ippen

原帖由 ljily000 于 2008-7-10 21:07 發(fā)表
請(qǐng)教 樓主：

你的并發(fā)連接數(shù)是如何具體計(jì)算出數(shù)值來的？:wink:




小聲問一句：是通過ip_conntrack么？

cat /proc/sys/net/ipv4/netfilter/ip_conntrack_count

songpure520

學(xué)習(xí)了�。�！不過請(qǐng)教個(gè)菜鳥問題：
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established
net.ipv4.netfilter.ip_conntrack_buckets
net.ipv4.netfilter.ip_conntrack_count
net.ipv4.netfilter.ip_conntrack_max
這四個(gè)值分別是什么意思啊！

[ 本帖最后由 songpure520 于 2008-7-10 23:02 編輯 ]

daizhongxian

原帖由 ippen 于 2008-7-10 21:29 發(fā)表


cat /proc/sys/net/ipv4/netfilter/ip_conntrack_count

我的系統(tǒng)下沒有這個(gè)文件咋辦  rhel5.1   


看那個(gè)文件呢？？？