從ganglia流量圖異常追查到現(xiàn)在，開始懷疑是內(nèi)核問題了。

weichongli

2010-04-26 11:31

如下圖， 注意單位是P



經(jīng)過分析，是由于gmond收集數(shù)據(jù)時(shí)，經(jīng)常由于一些我沒找到的原因而得出了一個(gè)異常的大數(shù)。

ganglia的開發(fā)人員也意識(shí)到了這個(gè)問題，他們認(rèn)為是硬件錯(cuò)誤導(dǎo)致的，并在libmetrics/linux/metrics.c提供了如下修正：

1. #ifdef REMOVE_BOGUS_SPIKES
   
2. /*
   
3. ** Check for "invalid" data, caused by HW error. Throw away dubious data points
   
4. ** FIXME: This should be done per-interface, with threshholds depending on actual link speed
   
5. */
   
6. if ((l_bin > 1.0e13) || (l_bout > 1.0e13) ||
   
7. (l_pin > 1.0e8)  || (l_pout > 1.0e8)) {
   
8. err_msg("update_ifdata(%s): %g %g %g %g / %g",caller,l_bin,l_bout,l_pin,l_pout,t);
   
9. return;
   
10. }
    
11. #endif

復(fù)制代碼

但是默認(rèn)情況下，這個(gè)修正并未被激活，需要在編譯時(shí)使用

make CFLAGS=-DREMOVE_BOGUS_SPIKES

來將這段代碼編譯進(jìn)ganglia的二進(jìn)制程序

觀察中……

weichongli

2010.04.26 21:52 續(xù)：
今天中午又蹦出來一個(gè)……雖然是T級(jí)別的，但仍然不行。

見下圖



考慮到目前我們單臺(tái)Server流量不會(huì)超過2Gbps，臨時(shí)修改了部分代碼（ganglia-3.1.7)

1. 
   
2. diff metrics.c metrics.c.ori
   
3. 219d218
   
4. <               //TODO add log "%index %dev RxB TxB %dev RxB TxB"
   
5. 231,232c230
   
6. <             //debug_msg("update_ifdata(%s) - Overflow in rbi: %lu -> %lu",caller,ns->rbi,rbi);
   
7. <             err_msg("update_ifdata(%s) - Overflow in rbi: %lu -> %lu",caller,ns->rbi,rbi);
   
8. ---
   
9. >             debug_msg("update_ifdata(%s) - Overflow in rbi: %lu -> %lu",caller,ns->rbi,rbi);
   
10. 241,242c239
    
11. <             //debug_msg("updata_ifdata(%s) - Overflow in rpi: %lu -> %lu",caller,ns->rpi,rpi);
    
12. <             err_msg("updata_ifdata(%s) - Overflow in rpi: %lu -> %lu",caller,ns->rpi,rpi);
    
13. ---
    
14. >             debug_msg("updata_ifdata(%s) - Overflow in rpi: %lu -> %lu",caller,ns->rpi,rpi);
    
15. 255,256c252
    
16. <             //debug_msg("update_ifdata(%s) - Overflow in rbo: %lu -> %lu",caller,ns->rbo,rbo);
    
17. <             err_msg("update_ifdata(%s) - Overflow in rbo: %lu -> %lu",caller,ns->rbo,rbo);
    
18. ---
    
19. >             debug_msg("update_ifdata(%s) - Overflow in rbo: %lu -> %lu",caller,ns->rbo,rbo);
    
20. 265,266c261
    
21. <             //debug_msg("update_ifdata(%s) - Overflow in rpo: %lu -> %lu",caller,ns->rpo,rpo);
    
22. <             err_msg("update_ifdata(%s) - Overflow in rpo: %lu -> %lu",caller,ns->rpo,rpo);
    
23. ---
    
24. >             debug_msg("update_ifdata(%s) - Overflow in rpo: %lu -> %lu",caller,ns->rpo,rpo);
    
25. 297,298c292
    
26. < //     if ((l_bin > 1.0e13) || (l_bout > 1.0e13) ||
    
27. <      if ((l_bin > 2.5e8) || (l_bout > 2.5e8) ||
    
28. ---
    
29. >      if ((l_bin > 1.0e13) || (l_bout > 1.0e13) ||
    
30. 300,304c294
    
31. <         err_msg("update_ifdata(%s): %lu %g, %lu %g, %lu %g, %lu %g / %g", caller,
    
32. <             l_bytes_in, l_bin,
    
33. <             l_bytes_out, l_bout,
    
34. <             l_pkts_in, l_pin,
    
35. <             l_pkts_in, l_pout,t);
    
36. ---
    
37. >         err_msg("update_ifdata(%s): %g %g %g %g / %g",caller,l_bin,l_bout,l_pin,l_pout,t);
    

復(fù)制代碼

本來想每次統(tǒng)計(jì)時(shí)都計(jì)算一次當(dāng)前機(jī)器的激活的網(wǎng)卡數(shù)量來做一個(gè)上限（例如2塊千M網(wǎng)卡，一塊全速，另一塊接了百M(fèi)線，總量是1.1Gbps)，特意從 ethtool的源代碼中抽取出一部分做了一個(gè)測試，但發(fā)現(xiàn)這種方式需要root權(quán)限。root權(quán)限是一定不會(huì)用的，另開一個(gè)進(jìn)程反而增加了整個(gè)方案的復(fù)雜度只能放棄這個(gè)誘人的打算

單靠丟棄不合理數(shù)據(jù)不是個(gè)根本的解決辦法，應(yīng)該弄清楚錯(cuò)誤數(shù)據(jù)是怎么產(chǎn)生的。繼續(xù)觀察,明天有時(shí)間再修改一下，把所有日志都加進(jìn)去。

weichongli

2010.04.28 13:45 續(xù)

還是不行……我加了一個(gè)函數(shù)，把每次檢查時(shí)的update_file()讀取到的/proc/net/dev文件記錄下來，出問題時(shí)，在/var/log/message的3個(gè)時(shí)間點(diǎn)有如下記錄

Apr 27 23:19:13 hostname /opt/ganglia/sbin/gmond[18465]: update_ifdata(BO) - Overflow in rbo: 304634803029227 -> 630666266 [1272381553]
Apr 27 23:20:13 hostname /opt/ganglia/sbin/gmond[18465]: update_ifdata(BO) - Overflow in rbi: 10458900526801464705 -> 38016437180368 [1272381613]
Apr 27 23:20:13 hostname /opt/ganglia/sbin/gmond[18465]: update_ifdata(BO) - Overflow in rpo: 219388676028 -> 219365592250 [1272381613]


在對應(yīng)的時(shí)間點(diǎn)/proc/net/dev記錄的內(nèi)容如下：

------------------ 1272381433.117603 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143390051 39831988    0    0    0     0          0         0 3143390051 39831988    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:38015520377153 135587033135    0 8587116    0     0          0         6 304631801519418 219359254753    0    0    0     0       0          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

------------------ 1272381493.118502 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143407797 39832216    0    0    0     0          0         0 3143407797 39832216    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:38015973907827 135588437010    0 8587116    0     0          0         6 304634803029227 219361451245    0    0    0     0       0          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

------------------ 1272381553.121013 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143407797 39832216    0    0    0     0          0         0 3143407797 39832216    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:10458900526801464705 135564674293    0 8587116    0     0          0 219363599555 630666266 219388676028 7723    0    0     0    7723          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

------------------ 1272381613.123535 -----------------
Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
lo:3143444605 39832676    0    0    0     0          0         0 3143444605 39832676    0    0    0     0       0          0
tunl0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
eth0:38016437180368 135590918375    0 8587116    0     0          0         6 304640653909921 219365592250    0    0    0     0       0          0
eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0


難道這是個(gè)內(nèi)核BUG？ （2.6.20）我覺得這個(gè)不應(yīng)該是硬件問題吧

weichongli

在1272381553這個(gè)時(shí)間點(diǎn)出了一個(gè)很異常的數(shù)，在下一時(shí)間點(diǎn)又恢復(fù)正常

weichongli

貌似我發(fā)錯(cuò)版塊了……誰能幫我移個(gè)位置？

weichongli

嗯……問題定位了

broadcom網(wǎng)卡驅(qū)動(dòng)模塊bnx2有問題～