logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【上篇】鲲鹏 920 + 昇腾 910B 裸金属大模型推理部署实录:从“导包崩溃”到全管线点火

完整记录我在 鲲鹏 920(ARM64)+ 华为昇腾 910B2(64GB HBM2e)裸金属环境下,如何从零排通 vLLM-Ascend 推理管线,并进一步摸清这张卡的物理上限与量化边界。

文章图片
#架构
【上篇】鲲鹏 920 + 昇腾 910B 裸金属大模型推理部署实录:从“导包崩溃”到全管线点火

完整记录我在 鲲鹏 920(ARM64)+ 华为昇腾 910B2(64GB HBM2e)裸金属环境下,如何从零排通 vLLM-Ascend 推理管线,并进一步摸清这张卡的物理上限与量化边界。

文章图片
#架构
到底了