deepseek-r1蒸馏模型在昇腾910a基于mindie框架的推理部署

注意该命令是将npu0-7全部加载到容器中，由于910不支持容器共享（被该容器占用后，就不能被其他容器调用），所以只想加载部分卡时，修改--device=/dev/davincix部分。注：如果启动报错，可以查看/usr/local/Ascend/mindie/1.*/mindie-service/logs下的log文件。性能测试 配置环境及环境变量（好像不export也没什么影响，export有

deepseek-r1蒸馏模型在昇腾910a基于mindie框架的推理部署

print(f"错误: {response.status_code} - {response.text}")bot_reply = reply.get('content', '没有回复内容。# 假设 API 的回复在 'content' 字段中。user_input = input("你: ")# 添加 AI 回复到对话记录。# 添加用户消息到对话记录。

print(f"错误: {response.status_code} - {response.text}")bot_reply = reply.get('content', '没有回复内容。# 假设 API 的回复在 'content' 字段中。user_input = input("你: ")# 添加 AI 回复到对话记录。# 添加用户消息到对话记录。