基于Spring cloud 的gateway转发websocket提示404的问题

spring cloud websocket nginx 转发报404问题排查及解决

康康丿

1129人浏览 · 2023-11-29 13:59:17

康康丿 · 2023-11-29 13:59:17 发布

1.问题描述

最近工作中有场景需要长连接，代码开发完成，自测也没问题，但是上了微服务，通过网关后，就提示404找不到。

2.框架技术

项目用的是spring cloud 框架，eureka注册，gateway路由, websocket的长连接。

3.代码实现

websocket实现是javax.websocket的@ServerEndpoint 注解实现

import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

import javax.websocket.*;
import javax.websocket.server.PathParam;
import javax.websocket.server.ServerEndpoint;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.CopyOnWriteArrayList;

@Slf4j
@Component
@ServerEndpoint("/webSocket/record/{userId}")
public class CheckRecordWebSocket {
    private String userId;

    private static CopyOnWriteArrayList<CheckRecordWebSocket> webSockets = new CopyOnWriteArrayList<>();
    private static ConcurrentHashMap<String, Session> sessionPool = new ConcurrentHashMap<>();

    @OnOpen
    public void onOpen(Session session, @PathParam("userId") String userId) {
        this.userId = userId;
        Map<String, String> paramMap = session.getPathParameters();

        String token = paramMap.get("authorization");
        log.info("token:{}", token);
        webSockets.add(this);
        sessionPool.put(userId, session);
        log.info("用户{}建立长连接.", userId);
    }

    @OnError
    public void onError(Session session, Throwable error) {

    }

    @OnClose
    public void OnClose(){
        sessionPool.remove(userId);
        webSockets.remove(this);
        log.info("用户{}断开长连接.", userId);
    }

    @OnMessage
    public void OnMessage(String message) {
        log.info("用户{}发来消息:{}", userId, message);
    }

    public void sendMessage(String userId, String message) {
        Session s = sessionPool.get(userId);
        if (s != null) {
            log.info("给用户{}发消息:{}", userId, message);
            s.getAsyncRemote().sendText(message);
        }
    }
}

直接通过应用的serverName:端口连接，没有问题

上环境后，通过网关调用就报错404找不到路径

一开始以为是网关路由配置问题，以下是路由配置代码：

spring:
  cloud:
    gateway:
      discovery:
        locator:
          # 启用自动根据服务ID生成路由
          enabled: true
          # 设置路由的路径为小写的服务ID
          lower-case-service-id: true
      # 配置路由规则
      routes:
        - id: spd-pmc-ws
          uri: lb:ws://spd-pmc
          predicates:
            - Path=/spd-pmc/websocket/**
          filters:
            - StripPrefix=2
        - id: spd-pmc
          uri: lb://spd-pmc
          predicates:
            - Path=/spd-pmc/**
          filters:
            - StripPrefix=1
            - SwaggerHeaderFilter

直接调用的url是: ws://10.56.58.180:9306/webSocket/record/user1，应用的serviceName是spd-pmc。通过网关调用url: ws://10.56.58.180:9500/dmc/spd-pmc/websocket/webSocket/record/user1，其中10.56.58.180:9500/dmc是网关ip和路由，spc-pmc/websocket是配置的路由规则，经过路由id: spd-pmc-ws 的规则截取后，最终将调到 host:port/webSocketrecord/user1，理论上是一样的，但是报了404.

4.原因分析

后来分析url，我的应用端口是9306，网关端口是9301，但是url中是9500，说明请求到网关时应该还经过了至少一次转发，最终发现公司有用到nginx反向代理，1.3.13版本后的nginx转发支持websocket但是需要配置协议升级，经过查询，最终定位原因确实如此。nginx配置修改重启后，问题解决了。

5.解决办法

根据官方文档解释：从版本 1.3.13 开始， nginx 实现特殊操作模式这允许在客户端和代理之间设置隧道服务器（如果代理服务器返回了包含代码的响应） 101（交换协议），客户端通过“升级”要求协议切换标头。

公司使用的nginx是1.23版本。因此只需要修改我dmc请求的配置即可。在.conf文件中添加以下两段代码：

map $http_upgrade $connection_upgrade {
        default upgrade;
        ''      close;
    }

...

proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection $connection_upgrade;