logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

个人本地部署大模型挂载搭建RAG知识库实战记录

如题,实际跑一遍发现已经非常简便快捷了,各类文章也很成熟,写一篇记录一下,为后续写开发文档存稿一下,仅供参考。适合想自己本地拉一个模型来简单跑跑或者DIY的AI入门学者知识面有限,硬件需求不作赘述,提供一个大部分能跑的版本。本文是私有化部署,效果其实应该跟市面上很多发布AI应用的第三方平台差不多,如果不想私有化本地化可以选择那些平台,字节的扣子、智谱之类的,没用过,不评价。

文章图片
#语言模型#人工智能
华为昇腾服务器Docker部署Qwen模型实操指南

前提:docker、docker-compose、固件、驱动、MindIE、Ascend镜像等已被正确安装。

#docker#容器#运维 +2
华为昇腾服务器Docker部署Qwen模型实操指南

前提:docker、docker-compose、固件、驱动、MindIE、Ascend镜像等已被正确安装。

#docker#容器#运维 +2
华为昇腾服务器Docker部署Qwen模型实操指南

前提:docker、docker-compose、固件、驱动、MindIE、Ascend镜像等已被正确安装。

#docker#容器#运维 +2
Dify性能优化实践(卡顿、并发数低)

摘要:针对Dify性能瓶颈问题,本文提出通过优化docker-compose.yaml配置来提升系统资源利用率。首先建议检查机器资源使用情况(内存、磁盘、CPU),然后重点修改四个关键参数:调整SERVER_WORKER_AMOUNT为CPU核心数(如8核)、增加CELERY_WORKER_AMOUNT和CELERY_MAX_WORKERS提升后台任务处理能力、优化POSTGRES_WORK_ME

#性能优化
Dify性能优化实践(卡顿、并发数低)

摘要:针对Dify性能瓶颈问题,本文提出通过优化docker-compose.yaml配置来提升系统资源利用率。首先建议检查机器资源使用情况(内存、磁盘、CPU),然后重点修改四个关键参数:调整SERVER_WORKER_AMOUNT为CPU核心数(如8核)、增加CELERY_WORKER_AMOUNT和CELERY_MAX_WORKERS提升后台任务处理能力、优化POSTGRES_WORK_ME

#性能优化
到底了