最近服務(wù)器經(jīng)常IOWAIT 到90%致使網(wǎng)站癱瘓

eetopjack

top的結(jié)果如下：

top - 10:09:46 up 149 days, 47 min,  3 users,  load average: 558.96, 254.20, 111.10
Tasks: 927 total,   3 running, 895 sleeping,   0 stopped,  29 zombie
Cpu(s):  1.9%us,  1.5%sy,  0.0%ni,  0.0%id, 96.5%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:  16331468k total, 16112440k used,   219028k free,     4464k buffers
Swap:  8191992k total,  2760148k used,  5431844k free,   389548k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                              
   13 root      20   0     0    0    0 S 10.2  0.0   3436:16 ksoftirqd/2                           
   19 root      20   0     0    0    0 S  0.8  0.0  19:46.92 events/0                              
    9 root      20   0     0    0    0 S  0.3  0.0   4732:30 ksoftirqd/1                           
   17 root      20   0     0    0    0 S  0.2  0.0   3181:08 ksoftirqd/3                           
24532 mysql     20   0 3133m 355m 3068 S  0.1  2.2  83:51.45 mysqld                                
12682 jackzhan  20   0 15692 1828  848 R  0.1  0.0   0:00.83 top                                   
7900 root      20   0  487m 8168 4080 D  0.1  0.1   0:10.67 httpd                                 
10294 apache    20   0  529m  31m 7624 D  0.1  0.2   0:07.52 httpd                                 
10314 apache    20   0  524m  17m 7676 D  0.1  0.1   0:10.76 httpd                                 
10376 apache    20   0  533m  31m 7672 D  0.1  0.2   0:08.37 httpd                                 
10414 apache    20   0  548m  31m 7636 D  0.1  0.2   0:08.78 httpd                                 
9675 apache    20   0  529m  37m 7608 D  0.0  0.2   0:12.34 httpd                                 
9683 apache    20   0  531m  31m 7680 D  0.0  0.2   0:15.42 httpd                                 
9821 apache    20   0  533m  22m 7688 D  0.0  0.1   0:15.53 httpd                                 
9904 apache    20   0  529m  31m 7608 D  0.0  0.2   0:13.52 httpd                                 
9957 apache    20   0  522m  31m 7608 D  0.0  0.2   0:10.61 httpd                                 
9976 apache    20   0  529m  31m 7616 D  0.0  0.2   0:13.11 httpd                                 
10029 apache    20   0  531m  31m 7656 D  0.0  0.2   0:09.81 httpd                                 
10061 apache    20   0  522m  20m 7620 D  0.0  0.1   0:09.84 httpd                                 
10074 apache    20   0  533m  16m 7636 D  0.0  0.1   0:08.24 httpd                                 
10106 apache    20   0  544m  40m  16m D  0.0  0.3   0:14.81 ht


看不出內(nèi)存耗盡啊，不知什么原因？ ssh后臺登陸需要花很長時(shí)間才可以進(jìn)去，然后再花很長時(shí)間重啟apache之后就好了，運(yùn)行一兩天又會出現(xiàn)類似問題

minirat

一個(gè)top看不出具體的，試試iostat vmstat等命令

Shell_HAT

統(tǒng)計(jì)一下 apache 的 access log 里面的IP信息，看看是不是DDOS

eetopjack

218.199.207.115 - - [18/Apr/2014:09:59:57 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
210.13.87.250 - - [18/Apr/2014:09:59:58 +0800] "GET /pm.php?checknewpm=0.9167567
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
@                                                                              
@                                                                              
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/l
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/m
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/m
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nj
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/pm_ntc.gif
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/notice_newp
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/ann_icon.gi
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/collapsed_n
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/p
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/n
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz


截取了一段大概出問題的時(shí)間時(shí)的log ，  應(yīng)該大部分都在下載

q1208c

就是在下載東西. apache 進(jìn)程全在 "D" 狀態(tài).

你的網(wǎng)站上有片?

eetopjack

回復(fù) 5# q1208c


    全是D狀態(tài)會有什么問題？我的網(wǎng)站是電子類資料網(wǎng)站，不是下片子的

sohusina

有時(shí)候光看日志是不夠的，可以試試 strace,lsof查看是哪個(gè)進(jìn)程造成的主要問題，然后對癥下藥。

q1208c

回復(fù) 6# eetopjack

D 狀態(tài)的進(jìn)程是在讀/寫IO, 說明你的網(wǎng)站IO量很大.

如果你用的是apache, 建議看看 limit 模塊. 否則, 很容易很拖shi的.
   

eetopjack

回復(fù) 8# q1208c


    我的IO量應(yīng)該比較大，不知道怎樣看Limit模塊？

  順便發(fā)個(gè)感慨， 感覺到chinaunix的網(wǎng)友確實(shí)很熱情水平也很高，比CSDN上的強(qiáng)很多啊！在此多謝大家了。

Shell_HAT

1. awk '{a[$1]++}END{for(i in a)print i"\t"a[i]}' access.log | sort -k2 -n -r | head -5

復(fù)制代碼

看看訪問量最大的5個(gè)IP是否存在嫌疑