1. 流量网关层

职责：前端/外部用户入口，全局负载均衡、SSL、静态资源、基础限流、WAF，路由转发到Agent API网关。

• 选型：Spring Cloud Gateway（首选，Java生态）；备选 Nginx/APISIX
• 说明：复用现有微服务网关，作为第一层入口；做IP黑名单、基础QPS限流、跨域。

2. Agent API网关层

职责：Agent专属业务网关，区别于普通流量网关。负责Agent会话鉴权、Token鉴权、请求协议转换、Agent路由分发、会话路由，区分普通业务请求和Agent任务请求。

• 选型：Spring Cloud Gateway + 自定义Filter；也可基于APISIX做插件化扩展

• 核心能力：识别agent会话id、路由分发到主Agent服务、统一请求日志、审计埋点。

  和第一层流量网关职责拆分：流量网关是通用入口；Agent API网关是AI业务专属网关。

3. 消息队列层

职责：异步解耦，处理Agent长耗时任务、任务排队、削峰；主从Agent任务分发，避免LLM同步超时。

• 选型：
  • 现有微服务用RocketMQ → 优先RocketMQ
  • 高吞吐多任务场景：Kafka
  • 小规模PoC：RabbitMQ
• 场景：Agent思考、工具调用、RAG检索这类慢任务全部异步化，任务状态持久化。

4. 主Agent业务逻辑层

职责：总控Agent，任务拆解、规划、多从Agent调度、任务状态机、ReAct编排，业务决策，会话总管理。

相当于Agent大脑调度中心。

• 选型：SpringBoot3 + Spring AI（Java首选）；备选 LangChain4j
• 开发模式：独立微服务master-agent-service；内置任务状态机（可使用Spring Statemachine）
• 能力：任务拆分、子任务分发到从Agent，汇总结果，全局上下文管理。

5. 从Agent业务逻辑层

职责：子任务执行Agent，专注单一领域能力，比如订单Agent、知识库问答Agent、工单Agent；接收主Agent下发子任务，执行并返回结果。

• 选型：SpringBoot3 + SpringAI
• 部署：多实例，按业务领域拆分多个从Agent微服务（order-agent、knowledge-agent）；通过AI注册中心注册能力。

6. Skills层（技能层）

职责：所有工具/能力的统一抽象，把业务接口、RAG、文件处理封装成可被Agent调用的Skill，提供统一Function Schema。对应Agent的工具调用。

• 选型：
  • Spring AI Tool 注解（优先），把Java方法包装成Skill函数，自动生成function定义
  • Feign封装现有微服务，统一注册为Skill
  • 复杂技能可单独封装Skill SDK
• 说明：所有能力标准化，主从Agent统一调用，屏蔽底层接口差异。

7. AI网关层（图里两个相同标注，统一一层）

职责：模型接入网关，统一对接各类LLM，模型路由、负载、token计数、LLM限流、重试、缓存、模型版本管理。隔离业务Agent和底层模型。

业界常叫Model Gateway

• 选型：
  • Java自研：SpringBoot + SpringAI模型适配器做AI网关
  • 开源：OpenLLM Gateway、LiteLLM（非Java，可独立部署，Java通过HTTP调用）
• 能力：多模型路由（通义/DeepSeek/Ollama）、token统计、LLM降级、重试策略。

8. 模型层

职责：大模型推理服务，思考、生成文本、工具选择。Agent只调用模型API，不在Java里跑模型推理。

• 选型分类：
  1. 公有云API：通义千问、DeepSeek、Kimi
  2. 私有化部署：vLLM / Ollama / TGI 部署开源模型（Qwen、Llama3）
• 架构：模型服务独立部署，AI网关通过HTTP/gRPC访问模型，Java侧只做客户端。

9. MCP网关层（Model Context Protocol）

职责：MCP协议网关，标准化Agent与外部工具、外部系统通信；统一MCP协议接入，把外部系统能力封装成MCP Server。

MCP：模型上下文协议，用来标准化模型调用外部工具，替代零散自定义function call。

• 选型：
  • Java：SpringAI MCP Client/Server封装；自研MCP网关服务
  • 开源MCP Server：社区现成实现，Java通过HTTP对接
• 价值：标准化Skill和外部系统，不用每次自定义接口schema。

10. 知识库层

职责：业务文档存储、文档切片、向量存储、原始文档管理，RAG基础。

• 向量库选型：
  • 生产海量文档：Milvus（推荐，Java SDK完善）
  • 中小体量不想新增组件：PGVector（Postgres插件）
  • 高性能检索：Qdrant
• 文档存储：MinIO（原始PDF/Word文件）；文档解析：Apache POI、PDFBox，复杂OCR单独拆微服务。

11. 记忆系统层

职责：Agent记忆管理，区分短时会话记忆、长期记忆、用户画像记忆；上下文压缩、摘要、记忆召回。

• 选型：

  • 短期会话记忆：Redis（Spring Data Redis，会话上下文，设置TTL过期）

  • 长期记忆：MySQL + 向量库（把用户历史摘要向量化存入知识库）

  • 框架能力：SpringAI / LangChain4j内置Memory抽象层，可自定义记忆存储实现

    记忆分为3类：对话上下文记忆、任务状态记忆、用户长期记忆。

12. AI配置中心

职责：Agent运行时配置，Prompt模板、Agent参数、模型参数、技能开关、RAG检索参数，动态热更新，不用重启服务。

• 选型：Nacos / Apollo（沿用现有微服务配置中心）
• 存储：配置中心存放Prompt模板、temperature、top_k、技能开关；Agent启动动态拉取，监听变更热加载Prompt。

13. AI注册中心

职责：Agent实例、Skill、MCP服务、模型能力注册发现；主Agent自动发现可用从Agent和技能。

• 选型：Nacos / Consul（复用现有微服务注册中心）
• 注册内容：每个从Agent、Skill能力声明（能力名称、描述、入参），主Agent动态发现可用子Agent。

14. AI评估体系

职责：Agent效果评估，自动评测集、回答准确率、幻觉检测、工具调用成功率、人工标注平台，量化Agent效果。

• 选型：
  • Java侧埋点采集指标：Prometheus，采集tool调用成功率、LLM拒绝率
  • 评测平台：开源LangSmith / PromptEval；可自建轻量评测服务（SpringBoot）
• 指标：幻觉率、任务完成率、召回准确率，用于Agent迭代。

15. AI安全体系

职责：输入输出安全检测，Prompt注入防护、内容审核、数据脱敏、权限控制。

• 选型：
  • 内容安全：公有云内容安全API（阿里云/火山内容审核）
  • Prompt注入防护：Java代码层输入校验、提示词加固、模型输出校验
  • 数据脱敏：自定义Spring Filter，敏感信息自动脱敏
  • 权限：Spring Security + RBAC，Skill操作鉴权
• 重点防护：防止Prompt注入、防止Agent调用高危写接口。

16. AI治理体系

职责：LLM调用审计、日志留存、成本统计、权限审批、版本管理，合规审计。

• 选型：

  • 日志：ELK / Loki；完整保存prompt、model输出、工具调用全链路日志

  • 成本统计：AI网关采集token消耗，存入MySQL，做账单统计

  • 链路追踪：SkyWalking，完整追踪从请求→Agent→LLM→Skill全链路

    审计日志要可追溯：谁、什么会话、调用了什么工具、LLM输入输出。

17. AI弹性伸缩体系

职责：根据Agent任务量、LLM调用负载自动扩缩容，任务队列水位监控，资源调度。

• 选型：K8s + HPA；监控指标：MQ堆积数量、Agent服务CPU、LLM请求QPS
• 落地：主Agent、从Agent、AI网关都容器化部署；根据MQ消息堆积自动扩容Agent实例。

整体落地优先级建议（渐进式搭建，不要一次性做完17层）

1. 第一层优先落地：1流量网关 →2Agent网关 →3MQ →4主Agent →6Skills →7AI网关 →8模型层 →10知识库 →11记忆（核心运行链路，PoC阶段）
2. 第二阶段：5从Agent、9 MCP网关、12配置中心、13注册中心（多Agent协同）
3. 第三阶段：14评估、15安全、16治理、17弹性伸缩（生产上线，合规运维）

极简整体技术栈汇总（Java微服务）

SpringBoot3 + SpringCloud + SpringAI + Nacos + SpringCloudGateway + Redis + MySQL + Milvus + RocketMQ + SkyWalking + K8s