logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从跑通服务到一键部署:昇腾NPU上用vllm部署大模型的迁移指南

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

文章图片
#云原生#docker#容器
Linux上将conda环境VLLM服务注册为开机自启

项目需要vllm进行模型支撑,所以需要做成开机自启保证现场部署,做了些调研,梳理了几种部署方式,例如docker部署、源码部署,脚本的不同自启方式,现在写下几种。

文章图片
#linux#conda
从零开始:在昇腾环境用MindIE部署Qwen3-30B-A3B大模型的踩坑实录

本文分享了在昇腾上部署Qwen3-30B-A3B大模型的完整流程。主要内容包括:1)硬件准备要求(910B NPU、4张卡、100GB存储);2)使用MindIE框架的Docker部署步骤;3)关键配置调整(网络绑定、NPU设备映射、模型路径设置);4)常见问题解决方案(如Tokenizer错误、设备识别问题等)。重点强调了配置文件中modelName、worldSize等参数的正确设置,以及tr

文章图片
#人工智能
Windows 部署 DeepSeek 本地 RAG 保姆教程:低配秒变AI工作站,断网也能稳如老狗!

RAG(Retrieval-Augmented Generation)是一种结合检索技术与生成模型的自然语言处理方法,通过引入外部知识库提升系统回复的准确性与信息量。

文章图片
#人工智能
从跑通服务到一键部署:昇腾NPU上用vllm部署大模型的迁移指南

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

文章图片
#云原生#docker#容器
昇腾NPU部署PaddleOCR v5实战:从踩坑到一键启动(含Docker/Docker Compose完整方案)

本文分享了在昇腾NPU环境部署PaddleOCR v5的经验总结。作者详细记录了从环境准备到最终部署的完整流程,重点剖析了三个关键问题:libmsprofiler.so缺失、libmki.so未引入及libatb.so目录覆盖问题。通过逐步修正Docker挂载路径和环境变量配置,最终实现了服务的稳定运行。文章提供了可直接复用的Docker Compose部署方案,帮助开发者避免类似问题。整个过程体

文章图片
#docker#容器#人工智能
DeepSeek R1+Windows本地部署,保姆级教程,小白也能轻松部署 低配电脑可用,让R1不在 “繁忙”

DeepSeek作为国内目前最火的AI技术,相信许多互联网爱好者都有所了解,大家可以通过DeepSeek官网进行体验访问,不过比较纠结的是大家估计都遇到过访问超时的情况。如何可以流畅的体验呢,最好的方式是当然本地部署DeepSeek-R1模型,这样就可以让DeepSeek 不再 “繁忙”!!更重要的是,没网也能畅快使用,小白也能轻松上手,并且可以跳过道德限制,文末提供相关教程。注意事项以下是基本的

文章图片
#windows#人工智能
昇腾NPU部署PaddleOCR v5实战:从踩坑到一键启动(含Docker/Docker Compose完整方案)

本文分享了在昇腾NPU环境部署PaddleOCR v5的经验总结。作者详细记录了从环境准备到最终部署的完整流程,重点剖析了三个关键问题:libmsprofiler.so缺失、libmki.so未引入及libatb.so目录覆盖问题。通过逐步修正Docker挂载路径和环境变量配置,最终实现了服务的稳定运行。文章提供了可直接复用的Docker Compose部署方案,帮助开发者避免类似问题。整个过程体

文章图片
#docker#容器#人工智能
从跑通服务到一键部署:昇腾NPU上用vllm部署大模型的迁移指南

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

文章图片
#云原生#docker#容器
从跑通服务到一键部署:昇腾NPU上用vllm部署大模型的迁移指南

摘要:本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境,利用docker-compose.yml管理启动参数,配合.env文件配置可变路径,实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题,并提供了常见错误排查方法,为昇腾NPU用户提供了一套高效可靠的模型部署方案。(149字)

文章图片
#云原生#docker#容器
    共 18 条
  • 1
  • 2
  • 请选择