Nginx | 深蓝的blog

Nginx反向代理数据处理不过来：net::ERR_INCOMPLETE_CHUNKED_ENCODING

Alan 八月 14th, 2024 2.运维相关

Leave a comment

net::ERR_INCOMPLETE_CHUNKED_ENCODING

在浏览器上调用接口，响应被打断了，报错误：net::ERR_INCOMPLETE_CHUNKED_ENCODING

通过IDEA的http接口测试，会报错误：

org.apache.http.ConnectionClosedException: Premature end of chunk coded message body: closing chunk expected

报错解释：

net::ERR_INCOMPLETE_CHUNKED_ENCODING 错误表明浏览器在尝试使用分块传输编码(Chunked Transfer Encoding)读取响应时遇到了问题。分块传输编码是一种传输内容的方法，它将 HTTP 响应分成多个部分，也就是“块”。这种编码方法用于流媒体或者不能立即确定内容大小的情况。

这里的解决方案Google的：

You might want to check if the user that is running the Nginx worker owns the directory /var/lib/nginx (or /var/cache/nginx in some distros).

I’ve learned that when you give a response too big for Nginx, it uses this directory to write as a working directory for temporary files. If the worker process cannot access it, Nginx will terminate the transmission before it completes, thus the error INCOMPLETE_CHUNKED_ENCODING.

另外一种，就是设置buffer：

server {
    ...

    location / {
        ...
        proxy_buffers 8 1024k;  
        proxy_buffer_size 1024k;
    }
}

server {
        listen      0000; #//port give by your need
        server_name  aa.com;
        proxy_buffers 16 4k;
        proxy_buffer_size 2k;


        #charset koi8-r;

        #access_log  logs/host.access.log  main;
        location ~ ^/hello/{
            proxy_buffering off;
            proxy_pass http://127.0.0.1:1111; #//port give by your need
            proxy_redirect     off;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Connection keep-alive; 
        }

https://stackoverflow.com/questions/29789268/neterr-incomplete-chunked-encoding-nginx

我们遇到的问题，可能是因为磁盘空间满或者日志文件过大导致。

Nginx配置通道Buffer nginx proxy buffer

Alan 八月 14th, 2024 2.运维相关

Leave a comment

proxy_buffering设置

proxy_buffering主要是实现被代理服务器的数据和客户端的请求异步。
为了方便理解，我们定义三个角色，A为客户端，B为代理服务器，C为被代理服务器。

当proxy_buffering开启，A发起请求到B，B再到C，C反馈的数据先到B的buffer上，
然后B会根据proxy_busy_buffer_size来决定什么时候开始把数据传输给A。在此过程中，如果所有的buffer被
写满，数据将会写入到temp_file中。相反，如果proxy_buffering关闭，C反馈的数据实时地通过B传输给A

1. proxy_buffering on;

该参数设置是否开启proxy的buffer功能，参数的值为on或者off。 如果这个设置为off，那么proxy_buffers
和proxy_busy_buffers_size这两个指令将会失效。 但是无论proxy_buffering是否开启
proxy_buffer_size都是生效的。

2. proxy_buffer_size 4k;

该参数用来设置一个特殊的buffer大小的。 从被代理服务器（C）上获取到的第一部分响应数据内容到代理服
务器（B）上，通常是header，就存到了这个buffer中。 如果该参数设置太小，会出现502错误码，这是因为
这部分buffer不够存储header信息。建议设置为4k。

3. proxy_buffers 8 4k;

4. proxy_busy_buffer_size 16k;

在所有的buffer里，我们需要规定一部分buffer把自己存的数据传给A，这部分buffer就叫做busy_buffer
。proxy_busy_buffer_size参数用来设置处于busy状态的buffer有多大。 对于B上buffer里的数据何时传输
给A：
1）如果完整数据大小小于busy_buffer大小，当数据传输完成后，马上传给A； 
2）如果完整数据大小不少于busy_buffer大小，则装满busy_buffer后，马上传给A；

5. proxy_temp_path 1 2；

语法：proxy_temp_path path [level1 level2 level3] 定义proxy的临时文件存在目录以及目录的层级。
例：proxy_temp_path /usr/local/nginx/proxy_temp 1 2; 其中/usr/local/nginx/proxy_temp为临时
件所在目录，1表示层级1的目录名为一个数字(0-9),2表示层级2目录名为2个数字(00-99)

6. proxy_max_temp_file_size ；

proxy_buffer示例

server
{
      listen 80;
      server_name www.bfd-wyl.cn;
      proxy_buffering on;
      proxy_buffer_size 4k;
      proxy_buffers 2 4k;
      proxy_busy_buffers_size 4k;
      proxy_temp_path /tmp/nginx_proxy_tmp 1 2;
      proxy_max_temp_file_size 20M;
      proxy_temp_file_write_size 8k;
	
	location /
	{
	    proxy_pass      http://106.12.74.123:8080/;
        proxy_set_header Host   $host;
        proxy_set_header X-Real-IP      $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

	}

}

批量关闭Nginx进程

Alan 六月 8th, 2020 2.运维相关

Leave a comment

kill $(ps aux | grep ‘nginx’ | awk ‘{print $2}’)

Nginx负载均衡策略

Alan 十二月 27th, 2019 2.运维相关

Leave a comment

负载均衡用于从“upstream”模块定义的后端服务器列表中选取一台服务器接受用户的请求。一个最基本的upstream模块是这样的，模块内的server是服务器列表：

    #动态服务器组
    upstream dynamic_zuoyu {
        server localhost:8080;  #tomcat 7.0
        server localhost:8081;  #tomcat 8.0
        server localhost:8082;  #tomcat 8.5
        server localhost:8083;  #tomcat 9.0
    }

在upstream模块配置完成后，要让指定的访问反向代理到服务器列表：

        #其他页面反向代理到tomcat容器
        location ~ .*$ {
            index index.jsp index.html;
            proxy_pass http://dynamic_zuoyu;
        }

这就是最基本的负载均衡实例，但这不足以满足实际需求；目前Nginx服务器的upstream模块支持6种方式的分配：

轮询	默认方式
weight	权重方式
ip_hash	依据ip分配方式
least_conn	最少连接方式
fair（第三方）	响应时间方式
url_hash（第三方）	依据URL分配方式

在这里，只详细说明Nginx自带的负载均衡策略，第三方不多描述。

1、轮询

最基本的配置方法，上面的例子就是轮询的方式，它是upstream模块默认的负载均衡默认策略。每个请求会按时间顺序逐一分配到不同的后端服务器。

有如下参数：

fail_timeout	与max_fails结合使用。
max_fails	设置在fail_timeout参数设置的时间内最大失败次数，如果在这个时间内，所有针对该服务器的请求都失败了，那么认为该服务器会被认为是停机了，
fail_time	服务器会被认为停机的时间长度,默认为10s。
backup	标记该服务器为备用服务器。当主服务器停止时，请求会被发送到它这里。
down	标记服务器永久停机了。

注意：

在轮询中，如果服务器down掉了，会自动剔除该服务器。
缺省配置就是轮询策略。
此策略适合服务器配置相当，无状态且短平快的服务使用。

2、weight

权重方式，在轮询策略的基础上指定轮询的几率。例子如下：

    #动态服务器组
    upstream dynamic_zuoyu {
        server localhost:8080   weight=2;  #tomcat 7.0
        server localhost:8081;  #tomcat 8.0
        server localhost:8082   backup;  #tomcat 8.5
        server localhost:8083   max_fails=3 fail_timeout=20s;  #tomcat 9.0
    }

在该例子中，weight参数用于指定轮询几率，weight的默认值为1,；weight的数值与访问比率成正比，比如Tomcat 7.0被访问的几率为其他服务器的两倍。

注意：

权重越高分配到需要处理的请求越多。
此策略可以与least_conn和ip_hash结合使用。
此策略比较适合服务器的硬件配置差别比较大的情况。

3、ip_hash

指定负载均衡器按照基于客户端IP的分配方式，这个方法确保了相同的客户端的请求一直发送到相同的服务器，以保证session会话。这样每个访客都固定访问一个后端服务器，可以解决session不能跨服务器的问题。

#动态服务器组
    upstream dynamic_zuoyu {
        ip_hash;    #保证每个访客固定访问一个后端服务器
        server localhost:8080   weight=2;  #tomcat 7.0
        server localhost:8081;  #tomcat 8.0
        server localhost:8082;  #tomcat 8.5
        server localhost:8083   max_fails=3 fail_timeout=20s;  #tomcat 9.0
    }

注意：

在nginx版本1.3.1之前，不能在ip_hash中使用权重（weight）。
ip_hash不能与backup同时使用。
此策略适合有状态服务，比如session。
当有服务器需要剔除，必须手动down掉。

4、least_conn

把请求转发给连接数较少的后端服务器。轮询算法是把请求平均的转发给各个后端，使它们的负载大致相同；但是，有些请求占用的时间很长，会导致其所在的后端负载较高。这种情况下，least_conn这种方式就可以达到更好的负载均衡效果。

    #动态服务器组
    upstream dynamic_zuoyu {
        least_conn;    #把请求转发给连接数较少的后端服务器
        server localhost:8080   weight=2;  #tomcat 7.0
        server localhost:8081;  #tomcat 8.0
        server localhost:8082 backup;  #tomcat 8.5
        server localhost:8083   max_fails=3 fail_timeout=20s;  #tomcat 9.0
    }

注意：

此负载均衡策略适合请求处理时间长短不一造成服务器过载的情况。

5、第三方策略

第三方的负载均衡策略的实现需要安装第三方插件。

①fair

按照服务器端的响应时间来分配请求，响应时间短的优先分配。

    #动态服务器组
    upstream dynamic_zuoyu {
        server localhost:8080;  #tomcat 7.0
        server localhost:8081;  #tomcat 8.0
        server localhost:8082;  #tomcat 8.5
        server localhost:8083;  #tomcat 9.0
        fair;    #实现响应时间短的优先分配
    }

②url_hash

按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，要配合缓存命中来使用。同一个资源多次请求，可能会到达不同的服务器上，导致不必要的多次下载，缓存命中率不高，以及一些资源时间的浪费。而使用url_hash，可以使得同一个url（也就是同一个资源请求）会到达同一台服务器，一旦缓存住了资源，再此收到请求，就可以从缓存中读取。

    #动态服务器组
    upstream dynamic_zuoyu {
        hash $request_uri;    #实现每个url定向到同一个后端服务器
        server localhost:8080;  #tomcat 7.0
        server localhost:8081;  #tomcat 8.0
        server localhost:8082;  #tomcat 8.5
        server localhost:8083;  #tomcat 9.0
    }

Nginx 配置文件 nginx.conf 详解

Alan 十一月 26th, 2018 2.运维相关, 4.PHP后端开发, 5.互联网应用开发

Leave a comment

#定义Nginx运行的用户和用户组

user www www;

#nginx进程数，建议设置为等于CPU总核心数。

worker_processes 8;

error_log /var/log/nginx/error.log info;

#进程文件

pid /var/run/nginx.pid;

#一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除，但是nginx分配请求并不均匀，所以建议与ulimit -n的值保持一致。

worker_rlimit_nofile 65535;

#工作模式与连接数上限

events

{

use epoll;

#单个进程最大连接数（最大连接数=连接数*进程数）

worker_connections 65535;

}

#设定http服务器

http

{

include mime.types; #文件扩展名与文件类型映射表

default_type application/octet–stream; #默认文件类型

#charset utf-8; #默认编码

server_names_hash_bucket_size 128; #服务器名字的hash表大小

client_header_buffer_size 32k; #上传文件大小限制

large_client_header_buffers 4 64k; #设定请求缓

client_max_body_size 8m; #设定请求缓

sendfile on; #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。

autoindex on; #开启目录列表访问，合适下载服务器，默认关闭。

tcp_nopush on; #防止网络阻塞

tcp_nodelay on; #防止网络阻塞

keepalive_timeout 120; #长连接超时时间，单位是秒

#FastCGI相关参数是为了改善网站的性能：减少资源占用，提高访问速度。下面参数看字面意思都能理解。

fastcgi_connect_timeout 300;

fastcgi_send_timeout 300;

fastcgi_read_timeout 300;

fastcgi_buffer_size 64k;

fastcgi_buffers 4 64k;

fastcgi_busy_buffers_size 128k;

fastcgi_temp_file_write_size 128k;

#gzip模块设置

gzip on; #开启gzip压缩输出

gzip_min_length 1k; #最小压缩文件大小

gzip_buffers 4 16k; #压缩缓冲区

gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）

gzip_comp_level 2; #压缩等级

gzip_types text/plain application/x–javascript text/css application/xml;

#压缩类型，默认就已经包含text/html，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。

gzip_vary on;

#limit_zone crawler $binary_remote_addr 10m; #开启限制IP连接数的时候需要使用

upstream blog.ha97.com {

#upstream的负载均衡，weight是权重，可以根据机器配置定义权重。weigth参数表示权值，权值越高被分配到的几率越大。

server 192.168.80.121:80 weight=3;

server 192.168.80.122:80 weight=2;

server 192.168.80.123:80 weight=3;

}

#虚拟主机的配置

server

{

#监听端口

listen 80;

#域名可以有多个，用空格隔开

server_name www.ha97.com ha97.com;

index index.html index.htm index.php;

root /data/www/ha97;

location ~ .*\.(php|php5)?$

{

fastcgi_pass 127.0.0.1:9000;

fastcgi_index index.php;

include fastcgi.conf;

}

#图片缓存时间设置

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$

{

expires 10d;

}

#JS和CSS缓存时间设置

location ~ .*\.(js|css)?$

{

expires 1h;

}

#日志格式设定

log_format access ‘$remote_addr – $remote_user [$time_local] “$request” ‘

‘$status $body_bytes_sent “$http_referer” ‘

‘”$http_user_agent” $http_x_forwarded_for’;

#定义本虚拟主机的访问日志

access_log /var/log/nginx/ha97access.log access;

#对 “/” 启用反向代理

location / {

proxy_pass http://127.0.0.1:88;

proxy_redirect off;

proxy_set_header X–Real–IP $remote_addr;

#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP

proxy_set_header X–Forwarded–For $proxy_add_x_forwarded_for;

#以下是一些反向代理的配置，可选。

proxy_set_header Host $host;

client_max_body_size 10m; #允许客户端请求的最大单文件字节数

client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数，

proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)

proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)

proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时)

proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小

proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的设置

proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）

proxy_temp_file_write_size 64k;

#设定缓存文件夹大小，大于这个值，将从upstream服务器传

}

#设定查看Nginx状态的地址

location /NginxStatus {

stub_status on;

access_log on;

auth_basic “NginxStatus”;

auth_basic_user_file conf/htpasswd;

#htpasswd文件的内容可以用apache提供的htpasswd工具来产生。

}

#本地动静分离反向代理配置

#所有jsp的页面均交由tomcat或resin处理

location ~ .(jsp|jspx|do)?$ {

proxy_set_header Host $host;

proxy_set_header X–Real–IP $remote_addr;

proxy_set_header X–Forwarded–For $proxy_add_x_forwarded_for;

proxy_pass http://127.0.0.1:8080;

}

#所有静态文件由nginx直接读取不经过tomcat或resin

location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$

{ expires 15d; }

location ~ .*.(js|css)?$

{ expires 1h; }

}

Articles tagged with: Nginx

Nginx反向代理数据处理不过来：net::ERR_INCOMPLETE_CHUNKED_ENCODING

Nginx配置通道Buffer nginx proxy buffer

proxy_buffering设置

批量关闭Nginx进程

Nginx负载均衡策略

1、轮询

2、weight

3、ip_hash

4、least_conn

5、第三方策略

①fair

②url_hash

Nginx 配置文件 nginx.conf 详解

近期文章

近期评论

文章归档

分类目录

Latest Posts

功能

友情链接

Nginx反向代理数据处理不过来：net::ERR_INCOMPLETE_CHUNKED_ENCODING

Nginx配置通道Buffer nginx proxy buffer

proxy_buffering设置

批量关闭Nginx进程

Nginx负载均衡策略

1、轮询

2、weight

3、ip_hash

4、least_conn

5、第三方策略

①fair

②url_hash

Nginx 配置文件 nginx.conf 详解

标签

近期文章

近期评论

文章归档

分类目录

Latest Posts

功能

友情链接