---

最近在项目中接入了豆包大模型，踩了不少坑也积累了些实战经验。特别整理成这篇笔记，希望能帮到正在探索大模型落地的Java开发者们。

一、为什么需要异步调用？

传统同步请求在长文本生成场景会遇到两个致命问题：

1. 线程阻塞：同步HTTP请求会占用工作线程，当生成500字的响应可能需要10+秒
2. 资源浪费：Tomcat默认200个工作线程，遇到高并发时直接打满

实测数据：同步方式处理20QPS时，延迟飙升至3秒以上，而异步方式能稳定在800ms内。

二、通信协议选型指南

| 维度 | HTTP轮询 | WebSocket | |-------------|-------------------|-------------------| | 延迟 | 高（每次握手） | 低（长连接） | | 吞吐量 | 受限于连接数 | 支持更高并发 | | 开发成本 | 低（标准REST） | 中（需维护状态） |

推荐选择： - 简单场景用HTTP+流式响应 - 高频交互选WebSocket

三、核心代码实现

1. 初始化WebClient

@Bean
public WebClient webClient() {
    return WebClient.builder()
        .baseUrl("https://api.doubao.com/v1")
        .defaultHeader(HttpHeaders.CONTENT_TYPE, MediaType.APPLICATION_JSON_VALUE)
        .clientConnector(new ReactorClientHttpConnector(
            HttpClient.create()
                .responseTimeout(Duration.ofSeconds(30))
                .option(ChannelOption.CONNECT_TIMEOUT_MILLIS, 5000)
        ))
        .build();
}

2. 带Token刷新的请求示例

public Flux<String> streamGenerate(String prompt) {
    return authService.getToken() // 获取最新token
        .flatMapMany(token -> webClient.post()
            .uri("/chat/completions")
            .header(HttpHeaders.AUTHORIZATION, "Bearer " + token)
            .accept(MediaType.TEXT_EVENT_STREAM)
            .bodyValue(Map.of("prompt", prompt, "stream", true))
            .retrieve()
            .bodyToFlux(String.class)
            .timeout(Duration.ofSeconds(30))
            .onErrorResume(e -> {
                log.error("调用失败", e);
                return Mono.empty();
            }));
}

四、生产环境配置

连接池计算公式

最大连接数 = QPS × 平均响应时间(s) × 冗余系数(1.2~1.5)

示例：当QPS=100，平均响应时间=0.8s时：

100 × 0.8 × 1.3 = 104 → 设置maxConnections=100

熔断器配置（Resilience4j）

resilience4j.circuitbreaker:
  instances:
    doubaoApi:
      failureRateThreshold: 50
      slowCallDurationThreshold: 2s
      slowCallRateThreshold: 30
      minimumNumberOfCalls: 10
      slidingWindowType: TIME_BASED
      slidingWindowSize: 60s

五、避坑经验

1. 特殊字符处理：

   String sanitized = response.replace("```", "\\```")
                            .replace("$", "\\$");

2. 会话幂等设计：

3. 每次请求带唯一sessionId
4. 服务端维护最近5条历史记录

六、扩展思考

如何实现前端增量渲染？可以尝试： 1. SSE（Server-Sent Events）实时推送 2. WebSocket分片传输 3. 结合Vue/React的异步更新机制

最后附上性能对比数据供参考：

| 方式 | 平均延迟 | 吞吐量 | |------------|---------|--------| | 同步阻塞 | 3200ms | 12QPS | | 异步非阻塞 | 750ms | 95QPS |

希望这些实战经验能帮你少走弯路！