logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kimi-2.5部署记录

本文介绍了基于Ascend NPU的Kimi-K2.5-W4A8大模型分布式部署方案。采用两台配备910B显卡(64G*8)的服务器,通过vllm-ascend容器部署。详细说明了模型下载、镜像配置、docker-compose.yml文件编写和启动脚本设置,包括网络配置、环境变量调整等关键参数。部署完成后可通过8004端口进行推理验证,并提供了多模态测试脚本示例,支持文本和图像输入。该方案实现了

#昇腾
到底了