netty的http1服务器在运行一段时间后会无法提供服务,返回客户端socket hang up
使用apipost测试抓包显示三次握手后被reset,经查是连接数过多

ps:客户端使用了大量短连接,如果能改成长连接就会消耗更少的连接,但是客户端逻辑无法掌控,只能修改服务器。
另外能保证客户端完成四次挥手也可以避免,但同样客户端逻辑无法掌控。

修改连接数限制

限制取决于代码中option(ChannelOption.SO_BACKLOG) 和/proc/sys/net/core/somaxconn的最小值。
登录容器,cat /proc/sys/net/core/somaxconn显示128,对于一个服务器来说,这个限制太小了,可以放大。
但是k8s把容器的参数分类了,大部分的参数都属于unsafe,不能直接修改。

第一步:修改kubelet启动参数

kubelet启动增加参数:kubelet --allowed-unsafe-sysctls ‘net.core.somaxconn’
kubelet可能是通过配置文件启动的,比如/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
修改后重启kubelet:systemctl restart kubelet
确认是否生效:
在这里插入图片描述

第二步:修改netty的yaml

在Deployment中spec-template-spec-containers下增加securityContext:

 securityContext:
         sysctls:
            - name: net.core.somaxconn
              value: "1024"

启动pod后查看somaxconn:
在这里插入图片描述

根据连接状态优化

根据连接状态,如果是TIME_WAIT则修改TIME_WAIT等待时间((主动关闭的一方是TIME_WAIT,被动关闭一方是CLOSE_WAIT),如果是ESTABLISHED且大部分是闲置不用的连接则增加闲置关闭逻辑。
cat /proc/net/tcp查看到tcp连接数非常多,连接状态01表示已连接,0A表示监听中,6表示TIME_WAIT
在这里插入图片描述

tcp状态值说明:

TCP_ESTABLISHED:1   TCP_SYN_SENT:2    TCP_SYN_RECV:3      TCP_FIN_WAIT1:4
TCP_FIN_WAIT2:5     TCP_TIME_WAIT:6  TCP_CLOSE:7         TCP_CLOSE_WAIT:8
TCP_LAST_ACL:9      TCP_LISTEN:10  TCP_CLOSING:11

修改 TIME_WAIT 连接数量

需要修改关闭连接的等待时间,这也是k8s的unsafe参数

步骤一 修改kubelet配置,增加:

   --allowed-unsafe-sysctls net.core.somaxconn,net.ipv4.*

步骤二 修改deployment:

  securityContext:
    sysctls:
       - name: net.core.somaxconn                               
         value: "1024"
       - name: net.ipv4.tcp_fin_timeout
         value: "30"

增加TCP空闲关闭逻辑

HTTP/1.1应该由客户端关闭连接,尤其是在keep-live情况下。
但是客户端可能没有没有执行四次挥手就关闭了(没有发送FIN),这时服务端就一直认为是ESTABLISHED,需要增加空闲关闭逻辑,即一个链接上一段时间内没有收到报文也没有发送报文就关闭。

 public void initChannel(SocketChannel ch) {
        ChannelPipeline p = ch.pipeline();        
        //闲置10分钟关闭连接 
        p.addLast(new IdleStateHandler(0, 0, 600, TimeUnit.SECONDS));
        p.addLast(new IdleEventHandler());
        p.addLast...//正常报文处理
    }
    
    public static class IdleEventHandler extends ChannelDuplexHandler {
        @Override
        public void userEventTriggered(ChannelHandlerContext ctx, Object paramObject) throws Exception {
            if (paramObject instanceof IdleStateEvent) {
                IdleState state = ((IdleStateEvent) paramObject).state();
                if (state == IdleState.ALL_IDLE) {
                    //关闭连接
                    logger.info(ctx.channel().remoteAddress() + "idel to close!");
                    ctx.channel().close();
                }
            } else {
                super.userEventTriggered(ctx, paramObject);
            }
        }
    }
Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐