logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在昇腾 NPU 上成功部署 Qwen2.5-7B-Instruct + LoRA 适配器:静态内存分配与精确配置实践

本文详细介绍了在昇腾NPU上部署Qwen2.5-7B-Instruct模型及LoRA适配器的实践方案。针对vLLM-Ascend与CANN驱动的内存检测兼容性问题,提出静态内存分配策略(ASCEND_GE_USE_STATIC_MEMORY=1)和精确资源配置方案,包括禁用MTE2优化(ASCEND_RT_MTE2_ENABLE=0)等关键环境变量设置。文章提供了完整的容器构建命令、目录结构设计、

在昇腾 NPU 上成功部署 Qwen2.5-7B-Instruct + LoRA 适配器:静态内存分配与精确配置实践

本文详细介绍了在昇腾NPU上部署Qwen2.5-7B-Instruct模型及LoRA适配器的实践方案。针对vLLM-Ascend与CANN驱动的内存检测兼容性问题,提出静态内存分配策略(ASCEND_GE_USE_STATIC_MEMORY=1)和精确资源配置方案,包括禁用MTE2优化(ASCEND_RT_MTE2_ENABLE=0)等关键环境变量设置。文章提供了完整的容器构建命令、目录结构设计、

昇腾部署语音转文字模型1

涉及到的模型为icc发布的几款模型,记得将cuda改成npu。

#pytorch
Dfiy社区1.9.0数据库创建用户实现多租户多工作区

我对此做了些改造,dify初次启动后pg数据库的格式并不是原博主说的那样而是UUIDWORKCODE要确认 Dify 数据库中的accounts表是否包含custom_id字段,你可以通过以下任一方法操作:accountsWORKCODE必须是 UUID(由数据库或代码生成)WORKCODEnameemail。

#数据库
Dify 知识库文件上传一直处于“排队中”问题的解决方案

Dify 知识库文件上传一直处于“排队中”问题的解决方案_dify知识库一直排队中-CSDN博客

#python#linux
Dfiy社区1.9.0数据库创建用户实现多租户多工作区

我对此做了些改造,dify初次启动后pg数据库的格式并不是原博主说的那样而是UUIDWORKCODE要确认 Dify 数据库中的accounts表是否包含custom_id字段,你可以通过以下任一方法操作:accountsWORKCODE必须是 UUID(由数据库或代码生成)WORKCODEnameemail。

#数据库
到底了