最近，我有幸在工作中接触到了DeepSeek R1 671B模型，这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型，以其惊人的6710亿参数量和出色的推理性能，引起了业界广泛关注。作为一名AI基础设施工程师，我有机会在H20服务器上部署这个庞然大物，并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法，希望能为大家提供一些参考。💡

数据流向Prefill：所有输入token并行通过所有层Decode：一次只有一个新token通过所有层缓存使用Prefill：创建KV缓存Decode：利用已有KV缓存计算模式Prefill：批量处理Decode：自回归处理二、 Prefill阶段的目标与工作原理Prefill阶段的核心目标是将理解用户输入token的含义，生成输出第一个token，是后续decode阶段的首个输入。三、举例说明

最近，我有幸在工作中接触到了DeepSeek R1 671B模型，这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型，以其惊人的6710亿参数量和出色的推理性能，引起了业界广泛关注。作为一名AI基础设施工程师，我有机会在H20服务器上部署这个庞然大物，并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法，希望能为大家提供一些参考。💡

从用户感知角度分析私有化部署的大模型推理性能，这里的用户感知包括响应速度、生成速度、系统可用性以及系统稳定性。核心性能指标对用户感知的影响包括1、延迟指标2、吞吐量指标3、资源利用4、并发能力性能指标与用户感知的映射关系从网上搜索了一些信息汇总，

数据流向Prefill：所有输入token并行通过所有层Decode：一次只有一个新token通过所有层缓存使用Prefill：创建KV缓存Decode：利用已有KV缓存计算模式Prefill：批量处理Decode：自回归处理二、 Prefill阶段的目标与工作原理Prefill阶段的核心目标是将理解用户输入token的含义，生成输出第一个token，是后续decode阶段的首个输入。三、举例说明

所以看出CPU用于控制运行application，做复杂控制，GPU只用于大规模并行计算，GPU不能离开CPU单独使用，由CPU来统一管理系统资源，GPU专注计算任务。CUDA组件必须运行在CPU上，作为CPU和GPU之间的桥梁，管理和协调两种处理器的工作。1. PyTorch(应用层)调用cuDNN(Libraries层)的优化函数。# 安装NVIDIA驱动(适用于A800的最新驱动，如535)

最近，我有幸在工作中接触到了DeepSeek R1 671B模型，这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型，以其惊人的6710亿参数量和出色的推理性能，引起了业界广泛关注。作为一名AI基础设施工程师，我有机会在H20服务器上部署这个庞然大物，并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法，希望能为大家提供一些参考。💡

从用户感知角度分析私有化部署的大模型推理性能，这里的用户感知包括响应速度、生成速度、系统可用性以及系统稳定性。核心性能指标对用户感知的影响包括1、延迟指标2、吞吐量指标3、资源利用4、并发能力性能指标与用户感知的映射关系从网上搜索了一些信息汇总，

DeepSeek R1 采用了混合专家（Mixture of Experts，MoE）架构，包含多个专家子网络，并通过一个门控机制动态地激活最相关的专家来处理特定的任务。延迟是此阶段的关键问题。在分布式环境中，不同的节点可以并行处理输入的不同片段或不同的层，从而可能显着提高速度。在推理期间，当一个 token 被路由到一组特定的 8 个专家时，只有托管这些专家的节点才需要执行涉及其参数的大量计算。

数据流向Prefill：所有输入token并行通过所有层Decode：一次只有一个新token通过所有层缓存使用Prefill：创建KV缓存Decode：利用已有KV缓存计算模式Prefill：批量处理Decode：自回归处理二、 Prefill阶段的目标与工作原理Prefill阶段的核心目标是将理解用户输入token的含义，生成输出第一个token，是后续decode阶段的首个输入。三、举例说明