logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

本地也能跑大模型,Ryzen AI 搭配 Ollama 体验分享

本文分享在本地使用 Ryzen AI 搭配 Ollama 运行大模型的实践。通过配置 ROCm 后端与 GGUF 量化模型,实现高效 GPU 加速推理,显著提升响应速度,为开发者提供低成本、低延迟的端侧 AI 部署方案。

#Ollama
本地电脑也能玩 AI,Ryzen AI 搭配 Ollama 快速上手教程

本文详解如何在本地电脑利用 Ryzen AI 处理器搭配 Ollama 快速部署大语言模型。通过配置 ROCm 驱动与环境变量,用户可在 AMD 硬件上流畅运行 Llama 3 等模型,无需昂贵显卡。文章涵盖命令行与图形化工具选择及避坑指南,助您轻松搭建私有 AI 工作站。

#Ollama
本地电脑跑 AI,Ryzen AI 搭配 Ollama 快速上手

本文详解如何利用 AMD Ryzen AI 处理器与 Radeon GPU,搭配 Ollama 和 LM Studio 在本地电脑快速部署大语言模型。通过简化环境配置与量化模型应用,实现隐私安全、低成本的端侧 AI 推理,为开发者提供高效的离线开发与原型验证方案。

#Ollama
本地 API 服务搭建,用 Ollama 快速发布大模型接口

本文详解如何利用 Ollama 快速搭建本地大模型 API 服务。涵盖极简安装、ROCm 加速配置及局域网暴露技巧,并提供 Python 客户端实战代码。帮助开发者屏蔽复杂环境依赖,一键实现 Llama3 等模型的本地推理与接口发布,高效构建 AI 应用原型。

#Ollama
AMD 显卡跑大模型,Ollama 加 ROCm 七点零环境配置实录

本文详解在 Ubuntu 上配置 ROCm 7.0 环境,助力 AMD 显卡高效运行大模型。涵盖驱动安装、用户组权限设置及 Ollama 识别 GPU 的关键步骤,解决常见部署难题,让开发者轻松实现本地 AI 推理加速。

#Ollama
AMD 显卡跑大模型,Ollama 加 ROCm 七点零的极简配置法

本文详解 AMD 显卡跑大模型的极简配置法,基于 Ollama 与 ROCm 7.0 实现 Llama 3 快速部署。通过驱动识别、环境变量设置及实战案例,解决显存调用难题,助开发者低成本构建高效本地 AI 推理环境。

本地 API 快速搭建,Ollama 在 Linux 桌面端的部署与调用

本文详解在 Linux 桌面端利用 Ollama 快速搭建本地大模型 API 服务。通过配置 ROCm 驱动与环境变量,开发者可轻松调用 AMD GPU 资源,实现 Llama3 等模型的分钟级部署与调试,是原型验证的高效方案。

#Ollama
LLaMA-Factory 微调大模型在 ROCm 环境的配置实录

本文详解 LLaMA-Factory 在 ROCm 环境下微调大模型的配置实录。涵盖 PyTorch HIP 后端切换、DeepSpeed 适配及梯度爆炸应对策略,提供经过验证的 LoRA 微调启动脚本,助开发者高效利用 AMD GPU 完成模型训练。

#LLaMA-Factory
Ollama 进阶玩法,手动编写 Modelfile 优化 Strix Halo 性能

本文详解 Ollama 进阶玩法,通过手动编写 Modelfile 优化 AMD Strix Halo 性能。针对默认配置限制,调整 num_ctx 与 num_gpu 参数,强制 GPU 加速并扩展上下文窗口,解决长文档处理瓶颈,充分释放大内存优势,打造高效本地 AI 工作流。

#Ollama#Strix Halo
手把手教你用 LM Studio 在 AMD 主机上部署 Qwen2.5 模型

本文详解如何在 AMD Strix Halo 主机利用 LM Studio 部署 Qwen2.5 模型。通过配置 Vulkan 后端与 GPU 卸载,充分发挥 Radeon 显卡性能,实现本地大语言模型的高效推理与长上下文处理,打造隐私安全的 AI 工作站。

#LM Studio
    共 139 条
  • 1
  • 2
  • 3
  • 14
  • 请选择