维度本地 Server（STDIO）远程 Server（Streamable HTTP）部署方式Host 子进程独立网络服务客户端模型一对一一对多启动控制Host 控制自主运行认证方式无需（进程隔离即可）安全边界操作系统进程隔离网络安全（TLS + 认证）适用场景个人开发工具、敏感本地数据团队共享、云端服务、第三方平台。

Agentic RL 是 AI 发展的前沿领域——它连接了强化学习、大语言模型和自主智能体三个世界。从 AlphaGo 到 ChatGPT 到 DeepSeek R1，RL 一次又一次证明了它的力量。而 Agentic RL——让 Agent 在多轮交互中通过 RL 自我进化——很可能是下一个突破的方向。本系列从 MDP 五元组出发，经过 50 篇的旅程，到达了多轮工具调用 Agent 的训练。希

学完本篇，你将彻底理解 PPO——这个算法是 ChatGPT RLHF、DeepSeek R1 训练、以及 OpenRLHF 的核心基石。第 05 篇的 REINFORCE 有一个致命问题：更新步长不可控。有时候梯度更新太大，策略直接崩溃；有时候更新太小，训练极慢。REINFORCE 的问题梯度更新太大太小恰好策略 θ_old策略 θ_new步长合适?❌ 策略崩溃性能暴跌且无法恢复⏰ 收敛极慢需要

场景推荐精度理由预训练（A100）BF16稳定，无需调参预训练（H100，追求速度）FP81.5-2× 加速微调（LoRA/QLoRA）BF16微调数据量小，精度足够对齐训练（RLHF/DPO）BF16需要高稳定性小模型（< 1B）FP16 或 FP32BF16 精度可能不够学术实验复现FP32可复现性最高。

前三次跃迁关注的都是"单轮"场景——一个问题，一个回答。但真实世界的任务远比这复杂。场景单轮 RLHFAgentic RL交互方式一问一答多轮对话、多步操作动作空间生成一段文本生成文本 + 调用工具 + 执行代码奖励来源人类偏好 / RM 分数任务完成度 + 工具使用效率 + 多维评分典型例子ChatGPT 的对齐训练能自主使用工具的 AI AgentAgentic RL 就是把强化学习的框架从"

前三次跃迁关注的都是"单轮"场景——一个问题，一个回答。但真实世界的任务远比这复杂。场景单轮 RLHFAgentic RL交互方式一问一答多轮对话、多步操作动作空间生成一段文本生成文本 + 调用工具 + 执行代码奖励来源人类偏好 / RM 分数任务完成度 + 工具使用效率 + 多维评分典型例子ChatGPT 的对齐训练能自主使用工具的 AI AgentAgentic RL 就是把强化学习的框架从"

本系列是一套面向全栈架构师的 AIaaS 系统化教程，覆盖从概念全景、模型训练/微调底层原理、推理部署优化、Go 平台工程、GPU 集群编排到平台核心服务与运维前沿的完整知识体系。技术栈以 Go 为主，Python/C++ 为辅。

AIaaS 全栈架构师教程，技术栈以 Go 为主。本篇聚焦 K8s 如何用 Operator 模式管理分布式训练任务，以及 Gang Scheduling 如何解决 all-or-nothing 难题。

理解了原理，我们写一个最小的 Device Plugin 骨架，管理一种叫的虚拟资源。import ("context""log""net""os""time"const (// ListAndWatch 持续向 kubelet 推送设备列表// 实际生产中这里要重新探测设备健康度return nil// Allocate 返回容器需要的挂载信息// 每个 Container 要的设备，告诉 ku

AIaaS 全栈架构师教程，技术栈以 Go 为主。本篇聚焦 KServe——K8s 上的推理服务标准，拆解 InferenceService CRD、推理服务生命周期、自动扩缩容（HPA/KEDA）、Canary/蓝绿/影子部署，以及 InferenceGraph 多模型编排。