logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

本地电脑也能跑大模型,Ryzen AI 加 Radeon 显卡的 Ollama 部署指南

本文详解 Ryzen AI 与 Radeon 显卡本地部署大模型指南。通过 Ollama 和 LM Studio 工具,结合驱动优化与量化技术,让用户在 Windows 或 Linux 下轻松运行 Llama3 等模型。实测显示消费级 A 卡推理流畅,是体验本地 AI 的高效方案。

#Ollama
本地也能跑大模型,Ollama 适配 AMD 显卡教程

本文详解 Ollama 适配 AMD 显卡教程,解决本地运行大模型的显存焦虑。通过配置环境变量与 GGUF 量化模型,Radeon 用户可轻松部署 Llama3 等主流模型。文章对比 LM Studio 图形化方案,助力开发者低成本搭建高效 AI 工作站。

#Ollama
LLaMA-Factory 微调避坑指南,AMD 显卡上的 LoRA 训练全流程

本文详解在 AMD 显卡上使用 LLaMA-Factory 进行 LoRA 微调的全流程。涵盖 ROCm 环境搭建、WebUI 配置及超参数设置,重点解析避开 bitsandbytes 量化坑与显存溢出排查技巧,助开发者低成本高效完成大模型训练。

文章图片
#LLaMA-Factory
AMD 显卡跑大模型,HIPify 加 LLaMA-Factory 环境搭建实录

本文详解 AMD 显卡运行大模型的实战方案,利用 HIPify 工具实现代码迁移,并在 Linux 环境下搭建 LLaMA-Factory。通过配置 ROCm 与 PyTorch,指导用户完成 LoRA 微调,解决 CUDA 依赖痛点,释放高性价比算力。

文章图片
#LLaMA-Factory
Strix Halo 芯片跑本地大模型,Ollama 部署体验与性能测试

本文实测 AMD Strix Halo 芯片利用 Ollama 部署本地大模型的全流程。凭借 128GB 统一内存优势,成功运行 Llama 3 系列模型,并对比不同量化版本的性能与显存占用。文章提供 Linux 环境配置、散热优化及最佳实践,助力开发者打造高效隐私的移动端 AI 工作流。

#Strix Halo#Ollama
本地也能跑大模型,Ollama 适配 AMD 显卡教程

本文详解 Ollama 适配 AMD 显卡教程,解决本地运行大模型的显存焦虑。通过配置环境变量与 GGUF 量化模型,Radeon 用户可轻松部署 Llama3 等主流模型。文章对比 LM Studio 图形化方案,助力开发者低成本搭建高效 AI 工作站。

#Ollama
本地电脑也能跑大模型,Ryzen AI 加 Radeon 显卡的 Ollama 部署指南

本文详解 Ryzen AI 与 Radeon 显卡本地部署大模型指南。通过 Ollama 和 LM Studio 工具,结合驱动优化与量化技术,让用户在 Windows 或 Linux 下轻松运行 Llama3 等模型。实测显示消费级 A 卡推理流畅,是体验本地 AI 的高效方案。

#Ollama
拒绝环境地狱,ROCm 7.x 下 LLaMA-Factory 微调大模型流程复盘

本文复盘在 ROCm 7.x 环境下利用 LLaMA-Factory 微调 Llama-3-70B 大模型的全流程。通过配置 DeepSpeed ZeRO-3 与 FlashAttention,成功解决 AMD GPU 显存瓶颈与环境兼容难题,实现高效低成本训练,为研究者提供可靠的实战指南。

#LLaMA-Factory
高并发压力测试,vLLM 在 AMD 集群上的吞吐量极限

本文详解在 AMD Instinct GPU 集群上对 vLLM 进行高并发压力测试的全流程。通过模拟真实流量,分析吞吐量极限与性能拐点,定位显存带宽等瓶颈,并提供动态批处理与限流策略,助力企业精准规划 AI 推理容量。

#vLLM
容器化部署实践,Docker 运行 ROCm 推理服务

本文详解容器化部署实践,聚焦 Docker 运行 ROCm 推理服务。通过构建专属镜像、解决驱动兼容性及 K8s 多租户调度,彻底解耦环境依赖。掌握 AMD GPU 容器化技术,助力开发者高效搭建稳定、可扩展的大模型推理环境。

    共 74 条
  • 1
  • 2
  • 3
  • 8
  • 请选择