系統(tǒng)負(fù)載太高！求各位大牛幫忙看一下！

cnleon

瓶頸在磁盤IO上

gaoshixing

原帖由 yangzhengbo2002 于 2009-5-4 21:34 發(fā)表
系統(tǒng)為linux AS 5.1 上面只跑了一個(gè)apache服務(wù),模式為prefork,允許最大客戶數(shù)3000， 服務(wù)器提供視頻下載。經(jīng)常出現(xiàn)系統(tǒng)負(fù)載很高，各位幫忙看一下，是哪方面的瓶頸造成的。
sa@Down ~]$ w
21:24:01 up 346 da ...

我也覺得是IO問(wèn)題。另外，有一個(gè)zombie進(jìn)程，查一下。
用sar -d 5 5
iostat 5 5結(jié)合看一下
另外，我對(duì)你的登陸IP感興趣，呵呵

dashan79

碰到過(guò)這樣的問(wèn)題，還見過(guò)apache 報(bào)內(nèi)核錯(cuò)誤的問(wèn)題。用nginx就比較正常。

yangzhengbo2002

sa@Down ~]# sar -d 5 5
     2009年05月08日  _i686_

22時(shí)17分12秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
22時(shí)17分17秒    dev8-0      2.00      0.00     52.69     26.40      0.00      0.30      0.10      0.02
22時(shí)17分17秒   dev8-16    199.40  18312.18     70.26     92.19    120.00    568.98      5.01     99.84

22時(shí)17分17秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
22時(shí)17分22秒    dev8-0      0.80      0.00     36.95     46.00      0.00      0.00      0.00      0.00
22時(shí)17分22秒   dev8-16    226.31  20836.95      1.61     92.08    119.36    550.74      4.44    100.44

22時(shí)17分22秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
22時(shí)17分27秒    dev8-0      1.80      0.00     48.10     26.67      0.01      2.78      1.22      0.22
22時(shí)17分27秒   dev8-16    241.68  20303.01     72.14     84.31    117.89    509.47      4.15    100.24

22時(shí)17分27秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
22時(shí)17分32秒    dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22時(shí)17分32秒   dev8-16    209.98  20649.90     79.84     98.72    120.13    567.75      4.75     99.84

22時(shí)17分32秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
22時(shí)17分37秒    dev8-0      1.60      0.00     44.80     28.00      0.00      0.75      0.38      0.06
22時(shí)17分37秒   dev8-16    216.40  16148.80     73.60     74.96    118.94    509.00      4.62    100.04

平均時(shí)間:         DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
平均時(shí)間:      dev8-0      1.24      0.00     36.49     29.42      0.00      1.10      0.48      0.06
平均時(shí)間:     dev8-16    218.73  19248.66     59.54     88.28    119.27    539.98      4.58    100.08


[sa@Down ~]# iostat -x 1 3
      2009年05月08日  _i686_

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.09    0.00    0.39    7.96    0.00   91.57

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.07     3.75    0.29    1.80    12.52    44.42    27.25     0.01    5.29   2.51   0.52
sdb              13.41    38.27   52.05    1.13    39.18    31.52     1.33     0.03    0.55   0.39   2.07

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.25    0.00    1.00   38.45    0.00   60.30

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00    13.00    2.00    6.00    16.00   152.00    21.00     0.05    6.62   3.38   2.70
sdb              66.00     0.00  173.00    0.00 29136.00     0.00   168.42    33.92  183.55   5.79 100.20

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.12    0.00    1.00   55.31    0.00   43.57

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     0.00    5.00    0.00    80.00     0.00    16.00     0.21   42.80  32.00  16.00
sdb              92.00     0.00  188.00    0.00 27912.00     0.00   148.47    37.30  191.19   5.33 100.20

服務(wù)器是dell 2950,sdb是個(gè)5塊1TB的SATA硬盤組成的raid。最近查了一下資料，好像是I/O瓶勁原因造成的。另外，登陸的IP是通過(guò)內(nèi)網(wǎng)登陸上去的。請(qǐng)教各位一下，有什么好的方法，解決I/O冒。

lFANS

平均時(shí)間:         DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
平均時(shí)間:      dev8-0      1.24      0.00     36.49     29.42      0.00      1.10      0.48      0.06
平均時(shí)間:     dev8-16    218.73  19248.66     59.54     88.28    119.27    539.98      4.58    100.08

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     0.00    5.00    0.00    80.00     0.00    16.00     0.21   42.80  32.00  16.00
sdb              92.00     0.00  188.00    0.00 27912.00     0.00   148.47    37.30  191.19   5.33 100.20

存在嚴(yán)重的IO等待，下載文件很大嗎？

fsm11

sdb 這塊盤I/O 瓶頸嚴(yán)重。

忍者5482

沒(méi)做過(guò)視頻服務(wù)，長(zhǎng)見識(shí)了，負(fù)載到100多機(jī)器還沒(méi)掛啊。
換nginx
買 sas 15krpm 的硬盤，做raid10，，，視頻文件服務(wù)器是不是不帶這么奢侈的？

oprime

磁盤I/O的問(wèn)題很大，這種SATA的1T的硬盤很便宜，性能不會(huì)那么好。由于文件下載導(dǎo)致I/O阻塞，系統(tǒng)的loadaverage急劇增長(zhǎng)。換硬盤，下載文件限速，不然過(guò)一段時(shí)間硬盤該廢掉了。

死人一只

I/O長(zhǎng)期這種情況的話，一定要做好備份~小心硬盤報(bào)廢~

freedom

apache 是表象
time wait 應(yīng)該是 磁盤io 供應(yīng)不過(guò)來(lái)引起的

樓主趕快換15k的 sas 好盤  raid 1  多塊這樣做


臨時(shí)救急的辦法就是

把 sdb 的數(shù)據(jù)給諾到 sda  上面點(diǎn)，    這樣 磁盤的壓力暫時(shí)平衡點(diǎn)