本文介绍了在昇腾双机8卡服务器上部署DeepSeek-V4-Flash-W8A8。

本文介绍了在昇腾双机8卡服务器上部署DeepSeek-V4-Flash-W8A8。

本文介绍了在昇腾双机8卡服务器上部署DeepSeek-V4-Flash-W8A8。

创建docker容器（可选）安装Mindie-Turbo配置环境变量创建推理python脚本vim run.py这里使用Qwen2.5-7B进行对比，填入如下脚本，可根据实际情况调整prompts执行python脚本如果能够成功推理，进入如下路径执行如下指令采集Profiling由于在docker环境内，采集的Profiling数据由于权限问题无法导出，执行如下指令更改文件夹及文件夹内所有文件的权

下载DeepSeek-V2-Lite模型权重（魔塔社区）：下载好的模型权重如下所示：2. 推理模型及性能精度查看配置推理环境变量：开启Benchmark，查看推理性能精度，统计模型首Token、增量Token及端到端推理时延：打开ATB Models的目录，找到DeepSeek-V2的模型推理文件：ATB Model中的DeepSeek-V2模型推理文件启动推理脚本，执行推理（自动输入文本“Wha

如果转换权重过程中遇到包缺失，按照提示安装即可（如果timm缺失，安装过程中会自动将torch与torchvision更新，会导致与torch_npu版本不兼容，将torch降至2.1版本，将torchvison降至0.14.1版本即可）同步修改examples/internvl2/finetune_internvl2_8b.sh中的LOAD_PATH参数，该路径为转换后或者切分后的权重，注意与原

进入昇腾社区镜像仓库下载下图所示镜像（选择ubuntu版本，openeuler版本会报错）创建容器（修改容器名称与镜像ID）进入容器（修改容器名称）

如果转换权重过程中遇到包缺失，按照提示安装即可（如果timm缺失，安装过程中会自动将torch与torchvision更新，会导致与torch_npu版本不兼容，将torch降至2.1版本，将torchvison降至0.14.1版本即可）同步修改examples/internvl2/finetune_internvl2_8b.sh中的LOAD_PATH参数，该路径为转换后或者切分后的权重，注意与原

本文介绍了使用与分别对轻量蒸馏模型进行纯模型推理与服务化推理。

下载DeepSeek-V2-Lite模型权重（魔塔社区）：下载好的模型权重如下所示：2. 推理模型及性能精度查看配置推理环境变量：开启Benchmark，查看推理性能精度，统计模型首Token、增量Token及端到端推理时延：打开ATB Models的目录，找到DeepSeek-V2的模型推理文件：ATB Model中的DeepSeek-V2模型推理文件启动推理脚本，执行推理（自动输入文本“Wha