大模型调用通常走 HTTP 长连接，默认的 Tomcat 最大工作线程数是 200，当有 50 个请求同时等待大模型响应时，线程池就被占去四分之一，剩下的传统业务请求可用的并发槽位大幅减少，P99 延迟急剧上升。数据层提供持久化支撑。这种分层的好处是，任何一层的实现变化都不会扩散到其他层，例如把向量数据库从 Milvus 换成 Qdrant，只需要在能力层的向量检索服务内部调整，上层无感知。拆分成

推理服务不负责组装 Prompt（那是编排服务的事），不负责知识检索（那是向量检索服务的事），不负责会话历史管理（那是编排服务的事）。第一，推理服务的接口极简、极稳定，只要"输入 Prompt、输出文本"的范式不变，接口就不需要变，内部换模型、换推理框架都不影响调用方。AI 推理服务独立化的核心是守住"只做推理"的职责边界，通过多模型路由抽象屏蔽底层差异，通过 SSE 全链路透传实现流式输出，通过

Prompt 资产化管理的核心思路是：把 Prompt 当作独立的"软资产"来管理，像管理配置一样管理 Prompt，像管理代码一样管理 Prompt 的版本。Prompt 管理服务就是这个思路的落地——它提供 Prompt 模板的集中存储、版本管理、变量渲染、灰度发布、AB 测试能力，让 Prompt 的迭代脱离代码发布周期。通过模板存储、变量渲染引擎、版本管理、灰度发布、AB 测试、回归测试，

推理服务是"低并发、长耗时、流式输出"，Embedding 服务是"高并发、短耗时、批量处理"。**第 05 篇**（本篇）实战了 Embedding 向量服务的设计：单条/批量/异步三模式接口、多模型抽象、微批处理性能优化、向量入库全流程、缓存去重、独立部署扩容。相同文本的向量结果是确定性的（相同模型 + 相同输入 = 相同输出），因此可以缓存。**第 03 篇**实战了 AI 推理服务的独立化

Java 程序员在实现这一服务时，应重点关注：异步任务调度、幂等性、版本控制、多租户隔离和可观测性。与 RAG 检索服务类似，知识库管理服务也是无状态的，可以独立水平扩展。上传的文件通常不直接存在本地磁盘，而是写入对象存储，这样便于共享、备份和扩展。下一篇文章，我们将讨论**对话会话服务的独立化**，重点解决多轮上下文状态管理、会话持久化、上下文压缩与 Token 控制等问题。因此，把知识库管理拆

下一篇文章，我们将进入大模型路由网关的讨论，探讨如何在多模型、多供应商、多版本的复杂环境下，统一调度流量、实现负载均衡和故障转移。{ "role": "assistant", "content": "您可以在订单详情页点击申请退款..." },{ "role": "system", "content": "你是一位专业的客服助手。{ "role": "user", "content": "已经申请

通过统一接入、智能路由、负载均衡、限流熔断、协议适配、成本治理和安全审计，它让企业能够以可控、可观测、可扩展的方式使用多模型、多供应商的大模型能力。│ OpenAI │ │AWS│ │ vLLM│ │ 百度│ │ 阿里│。│ GPT-4│ │ Claude │ │ 私有化 │ │ 文心│ │ 通义│。{"role": "system", "content": "你是客服助手"},{"role":

至此，本阶段的五篇文章从 RAG 检索、知识库管理、对话会话、大模型路由网关到安全审计，系统梳理了大模型微服务拆分中的关键独立服务。主要检测输出中的敏感词和违规内容、是否包含企业内部敏感信息、对高风险输出进行打标或拦截、对可公开内容直接放行。可以使用专门的内容审核模型对文本进行多维度分类，包括违法违规、色情低俗、歧视仇恨、虚假信息、个人隐私、商业机密、代码泄露等风险维度。安全审计服务应作为企业大模

事务消息是保障可靠性的关键。关键监控指标包括：各状态任务的数量分布（特别是QUEUED状态的积压量）、任务的平均处理时间和P99延迟、任务的成功率和失败率按任务类型分类、消息队列的消费延迟（从生产到消费的端到端时间）、回调的成功率和重试次数分布。异步任务服务的核心思想是"提交即返回"，客户端提交任务后立即获得任务标识，后续通过轮询或回调获取结果。这种架构将系统的可用性和吞吐量提升了一个数量级，但同

原有的单体结构中，请求处理流程是连续的：HTTP请求进入Controller，Controller调用Service层，Service调用模型推理接口，推理接口返回Iterator或Stream，框架层层层透传直到响应写入Socket。重连后，客户端携带streamId请求恢复，服务端从最近的检查点返回已生成内容，并重新启动推理流（可能需要重新发送完整的上下文给模型）。它通过gRPC Stream