logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Ollama 与 LM Studio 本地大模型部署实战指南

除了通用的温度和 Top P,深入调整模型参数能显著改变其行为。在 Ollama 的Modelfile中,你可以定义来扩展上下文窗口,让模型能记住更长的对话历史或处理更长的文档。但要注意,上下文越长,显存占用呈二次方增长,需量力而行。对于需要严格格式输出的场景(如提取 JSON 数据),可以在系统提示词中强约束,或者调整(重复惩罚)参数,防止模型陷入死循环重复某句话。在 LM Studio 中,还

#人工智能
LLaMA-Factory 微调大模型在 ROCm 环境的配置指南

本文详解 LLaMA-Factory 在 ROCm 环境的配置指南,涵盖依赖替换、环境变量设置及混合精度调优。通过实战案例解决训练发散问题,助科研人员在 AMD GPU 上高效完成大模型微调,实现稳定收敛。

#LLaMA-Factory
本地开发太卡,Ollama 加 AMD 显卡让大模型跑起来

本文解决本地开发卡顿痛点,详解如何在 AMD 显卡上部署 Ollama。通过配置 ROCm 环境变量与选择量化模型,让大模型在 Radeon 平台流畅运行,打造高效、隐私安全的本地 AI 开发环境。

#Ollama
LLaMA-Factory 微调实战,AMD 显卡也能轻松跑通大模型

本文详解如何利用 LLaMA-Factory 在 AMD 显卡上低成本完成大模型微调。通过配置 ROCm 环境、启用 ZeRO-3 优化及解决梯度爆炸问题,成功实现单卡稳定训练。文章打破非 NVIDIA 不可的迷信,为学生和研究者提供高性价比的大模型微调实战方案。

#LLaMA-Factory
Strix Halo 笔记本上手,Ollama 本地部署避坑指南

本文详解 AMD Strix Halo 笔记本本地部署 Ollama 的避坑指南。针对默认 CPU 运行痛点,通过设置 HSA_OVERRIDE_GFX_VERSION 环境变量强制启用 GPU 加速,显著提升大模型推理速度,助您打造高效私有 AI 工作站。

#Ollama#Strix Halo
Ollama 对接 VS Code,打造 Strix Halo 专属编程助手

本文详解如何在 Strix Halo 架构笔记本上部署 Ollama,打造专属 VS Code 编程助手。通过自定义 Modelfile 释放 Radeon GPU 潜能,实现代码补全与单元测试生成的本地化智能服务,确保数据安全且无延迟,大幅提升开发效率。

#Ollama#Strix Halo
Windows 环境下 Vulkan 后端配置,Ollama 与 LM Studio 避坑手册

本文详解 Windows 环境下 Vulkan 后端配置,聚焦 Ollama 与 LM Studio 在 AMD Strix Halo 架构的避坑指南。通过更新显卡驱动、调优环境变量及可视化监控,解决 GPU 识别与显存分配难题,确保本地大模型高效推理。

#LM Studio
VS Code 插件搭配 Ollama,在 Ryzen AI 电脑上实现零感知代码辅助

本文详解如何在 Ryzen AI 电脑上利用 Ollama 搭配 VS Code 插件,打造零感知代码辅助工作流。通过配置本地大模型与 GPU 加速,实现离线、低延迟的智能补全与解释,兼顾开发效率与数据安全,是开发者提升生产力的理想方案。

#Ollama
Strix Halo 笔记本跑大模型,Ollama 和 LM Studio 怎么选

本文解析 AMD Strix Halo 笔记本凭借统一内存架构运行大模型的优势,对比 Ollama 与 LM Studio 的选型策略。通过实测展示两者在 GPU 卸载、启动速度及工作流搭配上的差异,助开发者构建高效本地 AI 环境,释放端侧算力潜能。

#Strix Halo#Ollama#LM Studio
手搓 PyTorch 避坑指南,在 AMD 显卡上编译 vLLM 的真实记录

本文详解在 AMD 显卡上手搓 PyTorch 与 vLLM 源码的避坑指南。针对 ROCm 7.x 环境,涵盖架构参数配置、Triton 依赖匹配及显存调优等关键步骤,助开发者解决编译报错,成功部署大模型推理服务,实现高性能 AI 应用落地。

文章图片
#vLLM
    共 139 条
  • 1
  • 2
  • 3
  • 14
  • 请选择