lvs+keepalived負(fù)載均衡疑惑。。

冷月漢宮秋

  最近在用lvs+keepalived做負(fù)載均衡，可是發(fā)現(xiàn)，所有的連接請(qǐng)求在正常情況下都集中到一臺(tái)機(jī)器上了。。而且有時(shí)還會(huì)出現(xiàn)連接不上real server的情況。。搞不懂這是為什么？有人遇到過這種問題么？求解~~~

[root@~]# ipvsadm  -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddressort Scheduler Flags
  -> RemoteAddressort           Forward Weight ActiveConn InActConn     
TCP  10.17.18.28:3306 rr persistent 60
  -> 10.17.18.20:3306            Route   3      4          0         
  -> 10.17.18.21:3306            Local   3      0          0         
[root@~]# ipvsadm  -lnc
IPVS connection entries
pro  expire  state                     source                     virtual                   destination
TCP 14:46  ESTABLISHED 10.17.18.19:58130 10.17.18.28:3306   10.17.18.20:3306TCP 14:42  ESTABLISHED 10.17.18.19:58133 10.17.18.28:3306   10.17.18.20:3306
TCP 14:40  ESTABLISHED 10.17.18.19:32834 10.17.18.28:3306   10.17.18.20:3306TCP 14:50  ESTABLISHED 10.17.18.19:60641 10.17.18.28:3306   10.17.18.20:3306
TCP 00:49  NONE             10.17.18.19:0         10.17.18.28:3306   10.17.18.20:3306

chinafenghao

@冷月漢宮秋

能提供一下你的架構(gòu)圖么？

冷月漢宮秋

回復(fù) 2# chinafenghao


10.17.18.28:3306 rr persistent 60
  -> 10.17.18.20:3306               
  -> 10.17.18.21:3306        

vip:10.17.18.28   用來對(duì)外提供讀負(fù)載均衡；
real server1：10.17.18.20
real server2：10.17.18.21

但是每次都是集中到一臺(tái)機(jī)器上讀，沒實(shí)現(xiàn)負(fù)載均衡的功能。。。不知道為什么

syre

用了persistent吧，換個(gè)客戶機(jī)試試

冷月漢宮秋

回復(fù) 4# syre


恩，用了~~難道不要用？   

chinafenghao

@冷月漢宮秋
你的程序只部署在了一臺(tái)機(jī)器上？

如果是這樣，可能的原因是lvs會(huì)把同一個(gè)客戶的連接分配到同一個(gè)real server.
可以通過設(shè)置persistence_timeout 0  。讓lvs每次都隨機(jī)分類.

冷月漢宮秋

回復(fù) 6# chinafenghao

我之前這樣設(shè)置過，但是帶來一個(gè)新的問題，就是通過vip連不上real server。。。且出現(xiàn)大量的SYN_RECV 狀態(tài)值~~

   

冷月漢宮秋

回復(fù) 1# 冷月漢宮秋 yi


    咦，還是沒人知道么？幫自己頂頂~~~

chinafenghao

@冷月漢宮秋
從程序模塊話的角度來說，一個(gè)前端的并發(fā),貨導(dǎo)致多個(gè)后端的并發(fā),所有mysql的并發(fā)是web并發(fā)的數(shù)十倍.由于OLTP數(shù)據(jù)庫處理較快,并且內(nèi)網(wǎng)延時(shí)小，在mysql的processlist一般不會(huì)看見太多并發(fā)。
但是一般并發(fā)較大的情況都會(huì)使用長(zhǎng)連接，和連接緩存。

可以嘗試按照web優(yōu)化的方式調(diào)整相關(guān)內(nèi)核參數(shù)優(yōu)化的SYN_RECV.如果不行，還是改長(zhǎng)連接吧。

冷月漢宮秋

回復(fù) 9# chinafenghao

謝謝，我的問題解決了，主要是當(dāng)從 Director1 (Master 主)，比如使用 rr 。會(huì)轉(zhuǎn)發(fā)大約 50% 的包從 Director1 到  Director2 (Backup)的 3306 的端口。這時(shí)因?yàn)?Director2 因?yàn)檫@些 LVS-DR 的配置規(guī)則會(huì)接著給這些包，在做一次 load balance 。又發(fā)回去給 Director1，這時(shí)會(huì)產(chǎn)生一個(gè)死的循環(huán)。只要給進(jìn)入 eth0 的包打包 mark 的標(biāo)記就可以解決了。。。