登录社区云，与社区用户共同成长
邀请您加入社区
使用MindIE部署DeepSeek-V3.2-Exp，完整、详细。
执行nohup ./g.sh > ./g.log &后台下载即可。可以编辑shell文件，把链接都提取存好后台执行。
基于华为NPU P310芯片，使用MindIE部署Qwen2.5-3B大模型，通过Docker镜像启动并配置OpenAI兼容接口。结合Xinference运行Embedding模型，实现本地知识库问答系统搭建，适配langchain-chatchat项目全流程。
昇腾推理引擎：快速迁移、高效压缩、调试调优、服务对接。
在 MindIE 服务化运行过程中，为了及时掌握服务的运行状态、性能表现以及发现潜在问题，提供了服务监控指标查询接口（普罗(Prometheus)格式）。点击 Prometheus 安装目录下的 promethrus.exe 和 Grafana 安装目录下的bin/grafana-server.exe 启动 Prometheus 和 Grafana。修改 prometheus 安装目录下的 pro
MindIE下的atb-model源码库（修正function call），改正后，可支持流式和非流式推理
MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。主要包括模型推理引擎 MindIE和模型服务化 MindIE-Service。
MindIE
——MindIE
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
鲲鹏昇腾开发者社区
火山引擎 ADG 社区
昇腾开源生态专区
