求教N(yùn)ginx反向代理服務(wù)器（帶緩存）問題

love5783

環(huán)境如下：
     主機(jī)A：使用Nginx搭建的文件服務(wù)器，有些文件很大，有100G。
     主機(jī)B：使用Nginx搭建的反向代理服務(wù)器，帶緩存，源指向主機(jī)A。同時(shí)作為下載client，使用curl命令下載文件。

假設(shè)緩存文件已經(jīng)存在，這樣數(shù)據(jù)拷貝只是主機(jī)B-->主機(jī)B。

問題如下：
     當(dāng)主機(jī)B使用curl從本地下載100G大小的文件時(shí)，下了幾個(gè)G就停止了，報(bào)錯(cuò)（curl 10G以內(nèi)的文件一般不會(huì)報(bào)錯(cuò)）：
           curl: (1 transfer closed with 103333150720 bytes remaining to read。
     這個(gè)時(shí)候主機(jī)B的Nginx配置文件中sendfile=on，tcp_nopush=on,tcp_nodelay=on。
     當(dāng)關(guān)閉了sendfile時(shí)（sendfile=off），再次從主機(jī)B curl 100G的文件，98%是成功的。
     但是當(dāng)有并發(fā)時(shí)（一次curl 10個(gè)100G的文件），當(dāng)一個(gè)nginx進(jìn)程處理兩個(gè)以上curl請(qǐng)求時(shí)，只有一個(gè)curl請(qǐng)求可以正常下載，同一進(jìn)程處理的其他curl請(qǐng)求會(huì)出現(xiàn)上述問題。

請(qǐng)論壇中高手幫忙分析一下，先謝過！

我的配置文件如下，主機(jī)A的就不貼了（正常配置）：
sendfile打開時(shí)：
nginx.conf:

1. worker_processes  8;
   
2. 
   
3. error_log  logs/error.log;
   
4. error_log  logs/error.log  notice;
   
5. error_log  logs/error.log  info;
   
6. 
   
7. #pid        logs/nginx.pid;
   
8. 
   
9. 
   
10. events {
    
11.     use epoll;
    
12.     worker_connections  1024;
    
13. }
    
14. 
    
15. 
    
16. http {
    
17.     include       mime.types;
    
18.     include          proxy.conf;
    
19.     include           mysvrhost.conf;
    
20.     default_type  application/octet-stream;
    
21. 
    
22.     sendfile        on;
    
23. 
    
24.     server_names_hash_bucket_size 128; #增加
    
25.     client_header_buffer_size 32k; #增加
    
26.     large_client_header_buffers 4 32k; #增加
    
27.     client_max_body_size 300g; #增加
    
28.     tcp_nopush on; #修改為on
    
29.     keepalive_timeout 35; #修改為65
    
30.     tcp_nodelay on; #增加
    
31.     server_tokens off; #增加，不顯示nginx版本信息
    
32. 
    
33.     server {
    
34.         listen       8023;
    
35.         server_name  localhost;
    
36. 
    
37.         location /{
    
38.                 proxy_pass http://mynginx;
    
39.                 proxy_cache_key $host$uri$is_args$args; #增加設(shè)置web緩存的key值，nginx根據(jù)key值md5哈希存儲(chǔ)緩存
    
40.                 proxy_set_header Host $host;
    
41.                 proxy_set_header X-Forwarded-For $remote_addr;
    
42.                 #proxy_set_header Accept-Encoding 'gzip';
    
43.                 proxy_cache_valid 200 304 1000d;
    
44.                 expires 1000d;
    
45.         }
    
46. 
    
47.         error_page   500 502 503 504  /50x.html;
    
48.         location = /50x.html {
    
49.             root   html;
    
50.         }
    
51. 
    
52.     }
    
53. 
    
54. }

復(fù)制代碼

proxy.conf:

1. proxy_temp_path /opt/nginx/proxy_temp_dir;
   
2. proxy_cache_path /opt/nginx/proxy_cache_dir levels=1:2 keys_zone=mycache:512m inactive=100d max_size=1000g;
   
3. #設(shè)置Web緩存區(qū)名稱為cache_one，內(nèi)存緩存為50MB，自動(dòng)清除1天內(nèi)沒有被訪問的文件，硬盤緩存為1GB。
   
4. client_body_buffer_size 512k; #增加緩沖區(qū)代理緩沖客戶端請(qǐng)求的最大字節(jié)數(shù)
   
5. proxy_connect_timeout 60; #增加連接后端服務(wù)器超時(shí)時(shí)間
   
6. proxy_read_timeout 60; #增加后端服務(wù)器響應(yīng)請(qǐng)求超時(shí)時(shí)間
   
7. proxy_send_timeout 60; #增加后端服務(wù)器發(fā)送數(shù)據(jù)超時(shí)時(shí)間
   
8. proxy_buffer_size 32k; #增加代理請(qǐng)求緩存區(qū)大小
   
9. proxy_buffers 4 64k; #增加
   
10. proxy_busy_buffers_size 128k; #增加系統(tǒng)繁忙時(shí)可申請(qǐng)的proxy_buffers大小
    
11. proxy_temp_file_write_size 128k; #增加proxy緩存臨時(shí)文件的大小
    
12. proxy_next_upstream error timeout invalid_header http_500 http_503 http_404; #增加故障轉(zhuǎn)移，如果后端的服務(wù)器返回502、504、執(zhí)行超時(shí)等錯(cuò)誤，自動(dòng)將請(qǐng)求轉(zhuǎn)發(fā)到upstream負(fù)載均衡池中的另一臺(tái)服務(wù)器，實(shí)現(xiàn)故障轉(zhuǎn)移。
    
13. proxy_cache mycache; #增加使用web緩存區(qū)cache_one

復(fù)制代碼

sendfile關(guān)閉時(shí)，只是把nginx.conf中的sendfile=on改成sendfile=off，其他的沒有變化。

           
     

love5783

upup