
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
vLLM-Ascend双机混部DeepSeek-R1-671B-0528 W8A8流程
摘要:vLLM-Ascend实现了昇腾NPU专用后端与DeepSeek-R1-671B-0528 W8A8模型的深度集成。通过低侵入式插件架构,该项目确保了主仓代码纯净性,并显著提升了千亿参数MoE模型在昇腾硬件上的推理性能。文中详细提供了包含Atlas 800I A2服务器、MindIE v0.9.1镜像等核心组件的环境配置清单,以及双机部署的具体操作流程(主节点端口8000启动服务,副节点以h
vLLM-Ascend双机混部DeepSeek-R1-671B-0528 W8A8流程
摘要:vLLM-Ascend实现了昇腾NPU专用后端与DeepSeek-R1-671B-0528 W8A8模型的深度集成。通过低侵入式插件架构,该项目确保了主仓代码纯净性,并显著提升了千亿参数MoE模型在昇腾硬件上的推理性能。文中详细提供了包含Atlas 800I A2服务器、MindIE v0.9.1镜像等核心组件的环境配置清单,以及双机部署的具体操作流程(主节点端口8000启动服务,副节点以h
vLLM-Ascend双机混部DeepSeek-R1-671B-0528 W8A8流程
摘要:vLLM-Ascend实现了昇腾NPU专用后端与DeepSeek-R1-671B-0528 W8A8模型的深度集成。通过低侵入式插件架构,该项目确保了主仓代码纯净性,并显著提升了千亿参数MoE模型在昇腾硬件上的推理性能。文中详细提供了包含Atlas 800I A2服务器、MindIE v0.9.1镜像等核心组件的环境配置清单,以及双机部署的具体操作流程(主节点端口8000启动服务,副节点以h
Mindie服务化推理,相关参数介绍
华为昇腾Mindie使用指南,相关环境和config文件参数介绍,超级详细超级全,领导审核后让我铺发
到底了







