logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

告别云端依赖,Ollama 与 Radeon 显卡的离线协作实录

本文详解 Ollama 与 Radeon 显卡在断网环境下的离线协作方案。通过手动导入 GGUF 模型、定制 Modelfile 优化显存及参数调优,实现 AMD 平台本地大模型高效推理。该方案不仅解决网络受限难题,更保障数据隐私,是企业内网部署的理想选择。

#Ollama
LM Studio 结合 LLaMA Factory,微调模型本地部署指南

本文详解如何利用 AMD Ryzen AI 与 LLaMA Factory 在本地低成本微调大模型。通过 LoRA 技术优化显存占用,结合 LM Studio 实现 GGUF 格式模型的快速部署与推理,为创作者提供打造专属 AI 助手的高效闭环方案。

#LM Studio
Ollama 与 LM Studio 对比,AMD 用户该选哪一个

本文深度对比 Ollama 与 LM Studio,专为 AMD 用户解析 Ryzen AI 平台下的大模型部署方案。文章从硬件适配、资源占用及操作体验维度,指导开发者与办公族根据需求选择命令行利器或可视化工具,助您高效利用本地算力。

#Ollama#LM Studio
拒绝云端泄露,用 Ollama 在锐龙本上私有化部署

本文详解如何利用 Ollama 在搭载锐龙 AI 的笔记本上实现大模型私有化部署。通过本地离线运行,有效避免云端数据泄露风险,确保商业机密安全。文章提供从环境配置到安全设置的完整指南,助力用户在保障数据隐私的前提下,高效利用本地算力处理敏感任务。

Ollama 加锐龙 AI,本地跑大模型其实很简单

本文详解如何利用 Ollama 与 AMD 锐龙 AI 处理器,在本地轻松部署大语言模型。通过 NPU 加速实现高效推理,不仅保障数据隐私安全,更让普通用户在断网环境下也能享受流畅的 AI 体验,大幅降低端侧 AI 使用门槛。

#Ollama
Ollama 配合 ROCm 搭建本地 API 服务,私有化部署不求人

本文详解如何在 AMD 显卡上利用 ROCm 驱动与 Ollama 搭建本地 API 服务。通过配置环境变量、启动私有化部署及设置内网防火墙,实现大模型的安全调用。该方案零成本构建可控的本地大模型环境,适用于智能客服等场景。

#Ollama
LLaMA-Factory 插件开发指南,扩展你的微调能力

本文详解 LLaMA-Factory 插件开发指南,助您通过自定义数据集加载器与评估指标扩展微调能力。无需修改核心源码,即可灵活适配独特数据格式与业务场景,大幅提升大模型训练效率,是开发者掌握高效微调的关键实践。

#LLaMA-Factory
用 LLaMA-Factory 微调 70B 大模型,单卡显存不够怎么破

本文详解如何利用 LLaMA-Factory 在单卡上微调 70B 大模型。通过 DeepSpeed ZeRO-3 与 CPU Offload 技术,将参数卸载至内存,有效突破显存瓶颈。文章提供实战配置与监控数据,助开发者低成本实现大模型训练。

#LLaMA-Factory
LLaMA-Factory 微调大模型,AMD 显卡也能满血跑 DeepSpeed

本文详解如何利用 LLaMA-Factory 在 AMD 显卡上高效微调大模型。通过配置 BF16 精度与 DeepSpeed ZeRO-3 策略,结合 RCCL 通信优化,充分释放 AMD Instinct 系列算力。该方案不仅实现满血训练性能,更大幅降低硬件成本,为算法团队提供高性价比的 AI 落地路径。

#LLaMA-Factory
本地电脑装 Ollama 连上 AMD 显卡,离线跑大模型真简单

本文详解如何在本地电脑利用 Ollama 连接 AMD 显卡,通过配置关键环境变量 OLLAMA_HIP_VISIBLE_DEVICES 开启 ROCm 硬件加速。文章涵盖驱动安装、量化模型加载及性能对比,助开发者低成本实现大模型离线推理,大幅提升运行效率。

#Ollama
    共 55 条
  • 1
  • 2
  • 3
  • 6
  • 请选择