logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM-Ascend双机混部DeepSeek-R1-671B-0528 W8A8流程

摘要:vLLM-Ascend实现了昇腾NPU专用后端与DeepSeek-R1-671B-0528 W8A8模型的深度集成。通过低侵入式插件架构,该项目确保了主仓代码纯净性,并显著提升了千亿参数MoE模型在昇腾硬件上的推理性能。文中详细提供了包含Atlas 800I A2服务器、MindIE v0.9.1镜像等核心组件的环境配置清单,以及双机部署的具体操作流程(主节点端口8000启动服务,副节点以h

vLLM-Ascend双机混部DeepSeek-R1-671B-0528 W8A8流程

摘要:vLLM-Ascend实现了昇腾NPU专用后端与DeepSeek-R1-671B-0528 W8A8模型的深度集成。通过低侵入式插件架构,该项目确保了主仓代码纯净性,并显著提升了千亿参数MoE模型在昇腾硬件上的推理性能。文中详细提供了包含Atlas 800I A2服务器、MindIE v0.9.1镜像等核心组件的环境配置清单,以及双机部署的具体操作流程(主节点端口8000启动服务,副节点以h

vLLM-Ascend双机混部DeepSeek-R1-671B-0528 W8A8流程

摘要:vLLM-Ascend实现了昇腾NPU专用后端与DeepSeek-R1-671B-0528 W8A8模型的深度集成。通过低侵入式插件架构,该项目确保了主仓代码纯净性,并显著提升了千亿参数MoE模型在昇腾硬件上的推理性能。文中详细提供了包含Atlas 800I A2服务器、MindIE v0.9.1镜像等核心组件的环境配置清单,以及双机部署的具体操作流程(主节点端口8000启动服务,副节点以h

Mindie服务化推理,相关参数介绍

华为昇腾Mindie使用指南,相关环境和config文件参数介绍,超级详细超级全,领导审核后让我铺发

#昇腾
到底了