
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

项目需要vllm进行模型支撑,所以需要做成开机自启保证现场部署,做了些调研,梳理了几种部署方式,例如docker部署、源码部署,脚本的不同自启方式,现在写下几种。

本文分享了在昇腾上部署Qwen3-30B-A3B大模型的完整流程。主要内容包括:1)硬件准备要求(910B NPU、4张卡、100GB存储);2)使用MindIE框架的Docker部署步骤;3)关键配置调整(网络绑定、NPU设备映射、模型路径设置);4)常见问题解决方案(如Tokenizer错误、设备识别问题等)。重点强调了配置文件中modelName、worldSize等参数的正确设置,以及tr

RAG(Retrieval-Augmented Generation)是一种结合检索技术与生成模型的自然语言处理方法,通过引入外部知识库提升系统回复的准确性与信息量。

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

本文分享了在昇腾NPU环境部署PaddleOCR v5的经验总结。作者详细记录了从环境准备到最终部署的完整流程,重点剖析了三个关键问题:libmsprofiler.so缺失、libmki.so未引入及libatb.so目录覆盖问题。通过逐步修正Docker挂载路径和环境变量配置,最终实现了服务的稳定运行。文章提供了可直接复用的Docker Compose部署方案,帮助开发者避免类似问题。整个过程体

DeepSeek作为国内目前最火的AI技术,相信许多互联网爱好者都有所了解,大家可以通过DeepSeek官网进行体验访问,不过比较纠结的是大家估计都遇到过访问超时的情况。如何可以流畅的体验呢,最好的方式是当然本地部署DeepSeek-R1模型,这样就可以让DeepSeek 不再 “繁忙”!!更重要的是,没网也能畅快使用,小白也能轻松上手,并且可以跳过道德限制,文末提供相关教程。注意事项以下是基本的

本文分享了在昇腾NPU环境部署PaddleOCR v5的经验总结。作者详细记录了从环境准备到最终部署的完整流程,重点剖析了三个关键问题:libmsprofiler.so缺失、libmki.so未引入及libatb.so目录覆盖问题。通过逐步修正Docker挂载路径和环境变量配置,最终实现了服务的稳定运行。文章提供了可直接复用的Docker Compose部署方案,帮助开发者避免类似问题。整个过程体

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)








