logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ARM-docker compose离线安装

摘要: 本文介绍ARM架构下离线安装Docker Compose的完整流程。步骤包括:1)从GitHub或CSDN下载对应版本;2)准备docker.service配置文件;3)将docker-compose二进制文件复制到/usr/local/bin/并重命名;4)设置文件权限;5)移动服务文件到systemd目录;6)重新加载配置;7)启动Docker服务并设置开机自启;8)通过docker-

#docker#arm
ubuntu系统ollama及大模型离线部署

摘要: 本文介绍了在无GPU的Ubuntu 22.04系统(x86架构)离线环境下部署Ollama与大模型的完整流程。步骤包括:1)下载并配置Ollama,通过systemd服务管理;2)通过有网环境拉取模型文件(如deepseek-r1:7b),迁移至离线机器的/root/.ollama/models目录;3)启动Ollama服务并验证模型运行;4)最后在Dify平台关联Ollama(端口114

文章图片
#ubuntu#linux#运维
大模型微调、量化、部署记录

本文记录了在RTX 4090D服务器上使用LLaMA-Factory微调qwen2.5-1.5B-Instruct模型的全过程。主要内容包括:1)通过WebUI界面完成模型微调,训练甄嬛风格对话机器人;2)使用llama.cpp工具进行模型量化和格式转换;3)通过Ollama实现本地模型部署。文中详细介绍了环境配置、数据处理、训练参数设置等技术细节,并提供了量化前后模型大小对比(从5.8G压缩到3

文章图片
#经验分享
到底了