logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLaMA-Factory 微调框架深度评测与实战指南

最近在折腾大模型落地时,最让人头疼的往往不是模型本身的能力上限,而是如何让它真正“懂”你的业务数据。很多开发者拿到开源权重后,直接上手推理发现效果平平,要么答非所问,要么风格割裂,完全没法用在生产环境里。这时候,微调就成了绕不开的一道坎。但微调又不是简单的“跑个脚本”,从参数配置到显存优化,再到最终在垂直场景的表现,每一个环节都藏着不少坑。特别是当我们需要同时支持多个不同量级的模型,或者面对显存资

Strix Halo 笔记本跑本地大模型,Ollama 和 LM Studio 到底选哪个

本文深度对比 Ollama 与 LM Studio 在 AMD Strix Halo 笔记本上的本地大模型部署表现。重点解析 Vulkan 后端对 GPU 加速的关键作用,提供从安装配置到资源调用的实战指南,助开发者根据场景优选工具,充分释放 Ryzen AI 算力潜能。

#LM Studio#Ollama
从源码编译到 API 调用,我在 AMD 显卡上跑通 Llama 3

本文详解在 AMD Instinct MI250 显卡上部署 Llama 3 的全流程。涵盖 Conda 环境隔离、ROCm 版 PyTorch 安装及 vLLM 服务启动策略,深入解析日志监控与显存优化技巧。通过实战代码演示 OpenAI 兼容的流式 API 调用,并分享网络排查方案,助开发者高效跑通大模型推理。

#vLLM
手写 Modelfile 定制专属助手,Ollama 在 AMD 平台的高级玩法

本文详解如何在 AMD Strix Halo 平台利用 Ollama 手写 Modelfile 定制专属 AI 助手。通过配置系统提示与推理参数,充分发挥 Radeon GPU 算力,打造代码审计、长文档分析等本地化专家模型,实现高效、安全的私有化部署。

#Ollama
Windows 下 Ollama 配置避坑,解决 AMD 显卡无法加速的难题

本文详解 Windows 下 Ollama 配置避坑指南,重点解决 AMD 显卡无法加速难题。通过设置 HSA_OVERRIDE_GFX_VERSION 环境变量,强制识别 Strix Halo 架构,唤醒 Radeon GPU 算力,大幅提升大模型本地运行效率。

#Ollama
本地部署大模型实战,用 Ollama 给 VS Code 装上免费 Copilot

本文详解如何利用 Ollama 与 VS Code Continue 插件,在本地部署免费 Copilot。通过配置 Radeon GPU 加速及 Qwen2.5-Coder 模型,打造零延迟、数据不出本的智能编程环境,解决代码隐私痛点,大幅提升开发效率。

#Ollama
LLaMA-Factory 微调指南,AMD 显卡也能轻松跑通大模型

本文详解在 AMD GPU 环境下利用 LLaMA-Factory 进行大模型微调的实战指南。通过配置 BF16 精度与 ZeRO-3 优化策略,有效解决显存瓶颈与梯度爆炸问题,大幅降低算力成本。结合免费 GPU 算力活动,助力开发者轻松跑通大模型训练全流程。

#LLaMA-Factory
Windows 环境下 Vulkan 后端配置,Ollama 与 LM Studio 避坑手册

本文详解 Windows 环境下 Vulkan 后端配置,聚焦 Ollama 与 LM Studio 在 AMD Strix Halo 架构的避坑指南。通过更新显卡驱动、调优环境变量及可视化监控,解决 GPU 识别与显存分配难题,确保本地大模型高效推理。

#LM Studio
VS Code 插件搭配 Ollama,在 Ryzen AI 电脑上实现零感知代码辅助

本文详解如何在 Ryzen AI 电脑上利用 Ollama 搭配 VS Code 插件,打造零感知代码辅助工作流。通过配置本地大模型与 GPU 加速,实现离线、低延迟的智能补全与解释,兼顾开发效率与数据安全,是开发者提升生产力的理想方案。

#Ollama
Strix Halo 笔记本跑大模型,Ollama 和 LM Studio 怎么选

本文解析 AMD Strix Halo 笔记本凭借统一内存架构运行大模型的优势,对比 Ollama 与 LM Studio 的选型策略。通过实测展示两者在 GPU 卸载、启动速度及工作流搭配上的差异,助开发者构建高效本地 AI 环境,释放端侧算力潜能。

#Strix Halo#Ollama#LM Studio
    共 91 条
  • 1
  • 2
  • 3
  • 10
  • 请选择