logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AMD 主机部署大模型选型指南,Ollama 与 LM Studio 谁更强

本文详解 AMD Strix Halo 架构下本地大模型部署方案。实测证明 Windows 环境应首选 Vulkan 后端而非 ROCm,并对比 Ollama 与 LM Studio,推荐后者作为最优解。通过配置指南助开发者高效运行大模型。

文章图片
#LM Studio
Strix Halo 笔记本上手,Ollama 本地部署避坑指南

本文详解 AMD Strix Halo 笔记本本地部署 Ollama 的实战指南。通过统一内存架构打破显存限制,重点解析环境变量配置以释放 Radeon GPU 算力。实测显示 GPU 加速显著提升大模型推理速度,助开发者在移动端高效运行本地大模型,实现安全无忧的 AI 工作流。

#Ollama#Strix Halo
Ollama 与 LM Studio 谁更适合 AMD 主机,实测对比见真章

本文深度实测 AMD Strix Halo 平台,对比 Ollama 与 LM Studio。结论指出 Vulkan 后端是关键,LM Studio 凭借高 GPU 卸载率及长上下文支持,成为运行大模型与对接 OpenClaw 的最优解,助开发者避开驱动陷阱,释放本地 AI 算力。

文章图片
#LM Studio
告别只会聊天,给 Strix Halo 装上 OpenClaw 让它自动干活

本文详解如何利用 Vulkan 后端与 128k 超大上下文,将 Strix Halo 打造为高效本地 AI 助手。通过配置 OpenClaw 代理框架,解锁 Ryzen AI Max+ 的 128GB 统一内存潜力,实现安全、自动化的文档处理与代码分析,让大模型真正具备生产力。

文章图片
#Strix Halo
LLaMA-Factory 可视化界面在 ROCm 上的部署与监控技巧

本文详解 LLaMA-Factory 可视化界面在 AMD ROCm 环境的高效部署。涵盖 Docker 端口映射配置、显存实时监控技巧及 NaN 异常排查策略,助开发者利用 WebUI 轻松实现大模型微调,解决命令行焦虑,提升训练效率。

文章图片
#LLaMA-Factory
LLaMA-Factory 微调 Qwen 系列模型,ROCm 环境下的参数调优经验

本文详解在 ROCm 环境下利用 LLaMA-Factory 微调 Qwen 系列模型的实战经验。针对 AMD GPU 特性,深入剖析学习率调整、BF16 精度优化及分布式通信配置等关键参数调优策略,解决数值溢出与收敛难题,助力开发者在异构硬件上高效实现大模型落地。

文章图片
#LLaMA-Factory
Ollama 在 Windows 上跑不动,试试这几招强制唤醒 Radeon

针对 Ollama 在 Windows 上无法识别 AMD Strix Halo 架构导致 GPU 闲置的问题,本文提供实战解决方案。通过 PowerShell 设置 HSA_OVERRIDE_GFX_VERSION 环境变量及定制 Modelfile,强制唤醒 Radeon 核显,显著提升大模型推理速度,让本地 AI 部署更高效流畅。

文章图片
#Ollama
本地模型当 Copilot,VSCode 插件联动实战

本文详解如何利用 AMD Strix Halo 架构笔记本,通过 Ollama 或 LM Studio 部署本地大模型,并与 VSCode 插件联动打造私有 Copilot。方案实现代码补全、错误修复全程离线闭环,确保数据主权与隐私安全,为开发者提供高效、定制化的智能编程环境。

LLaMA-Factory 数据集适配,解决 ROCm 下加载报错的难题

本文详解 LLaMA-Factory 在 ROCm 环境下加载报错的解决方案。针对段错误与内存溢出,提出限制 num_workers、数据集预加工及自定义 Dataset 类等策略,助开发者在 AMD GPU 上实现稳定高效的大模型微调。

#LLaMA-Factory
LLaMA-Factory 多卡训练实战,RCCL 通信库的配置细节

本文详解 LLaMA-Factory 在 AMD ROCm 平台上的多卡训练实战,重点剖析 RCCL 通信库的配置细节。通过优化环境变量、解决通信死锁及验证线性加速比,帮助开发者高效搭建分布式微调环境,充分释放多卡算力潜能。

#LLaMA-Factory
    共 146 条
  • 1
  • 2
  • 3
  • 15
  • 请选择