2026年2月，Anthropic发布Claude Cowork及11个标准化Agent Skills，直接引发纳斯达克软件板块单日2850亿美元市值蒸发，这一事件不仅重塑了资本市场对AI技术的认知，更宣告了智能体开发从“App-First”到“Skill-First”的范式革命。Agent Skills作为新一代Agent开发的核心范式，以“基座+技能”的轻量模式颠覆了传统垂域智能体重型开发思路

在上一节《Part 1. Vllm 框架基础入门与本地私有化部署》中，我们介绍了vLLM离线推理的部署及使用方法。离线推理的大模型生命周期为：仅当发生实际调用请求时，模型资源才加载到显存，请求结束后立即卸载。这种模式导致每轮调用都需重新加载模型，响应延迟大，适用于非实时任务，如数据预处理、批量文本生成等。而对于实时问答、聊天机器人等对实时性要求高的场景，企业级应用需处理数千 QPS，离线推理无法满

接下来进入第三部分，讲解stochastic gradient descent（简称sgd，随机梯度下降）算法。该算法在强化学习以及很多机器学习领域有非常广泛的应用，十分重要。并且，前面介绍的rm算法中，sgd实际上是rm算法的一个特殊情况，同时，均值估计算法也是sgd的一个特殊情况，这三部分关系密切。

构建场景价值密度矩阵，优先聚焦“金矿场景”（高时效性、中低开放度、中高风险容忍度，如日常运营监控）和“重点场景”（中高时效性、中开放度、中风险容忍度，如核心业务优化），这类场景能快速产生可量化价值，为项目持续推进建立信心。多数项目陷入“技术驱动”陷阱，将AI本身作为目标，而非解决商业问题的手段，忽视了商业根本逻辑。数据成熟度分级：L5（＞95分，可规模化部署）、L4（85-95分，快速试点）、L3

Vllm凭借高性能、可扩展及生产级特性，成为企业落地大模型的首选框架之一。本文覆盖了从框架选型、环境搭建到离线推理的全流程，后续将进一步探讨在线推理服务部署多模态模型集成及性能压测优化等进阶内容。参考资源。

基于上述思考得到mc exploring stars算法，它是mc basic的推广，计算效率更高。算法的伪代码主要步骤包括生成一个episode，然后进行policy evaluation和policy improvement。在计算return时，为提高计算效率采用倒推方式。例如对于一个episodes1a1s2a2s3a3s4a4⋯s1​a1​s2​a2​s3​a3​s4​a4​⋯。

当没有模型时，就依赖数据（在统计或概率里叫sample，在强化学习中有个特殊名字叫experience经验）。这个算法名为mc basic（mc是蒙特卡罗首字母的缩写）。从一个初始的策略出发（这个策略可能不好，后续会改进）。：计算qπksaqπk​​sa，对所有的状态-动作对sa(s, a)sa都要得到qπksaqπk​​sa。方法是从sa(s, a)sa出发，得到很多episode，对episo

在介绍了用于估计给定策略state value（状态值）的经典TD算法后，在此基础上介绍包括Sarsa、expected Sarsa、n step Sarsa等在内的算法，它们是Sarsa基本算法的变形，以及q learning算法。Sarsa及其变形用于估计给定策略的action value（动作值），进行policy evaluation（策略评估），结合policy improvement（

2026年2月，Anthropic发布Claude Cowork及11个标准化Agent Skills，直接引发纳斯达克软件板块单日2850亿美元市值蒸发，这一事件不仅重塑了资本市场对AI技术的认知，更宣告了智能体开发从“App-First”到“Skill-First”的范式革命。Agent Skills作为新一代Agent开发的核心范式，以“基座+技能”的轻量模式颠覆了传统垂域智能体重型开发思路

基于上述思考得到mc exploring stars算法，它是mc basic的推广，计算效率更高。算法的伪代码主要步骤包括生成一个episode，然后进行policy evaluation和policy improvement。在计算return时，为提高计算效率采用倒推方式。例如对于一个episodes1a1s2a2s3a3s4a4⋯s1​a1​s2​a2​s3​a3​s4​a4​⋯。