本文分享了在Windows系统下让Ollama本地大模型成功调用AMD显卡进行推理的解决方案。主要步骤包括：安装AMD HIP SDK并设置环境变量；下载特定版本的Ollama和HipSDK；通过命令行指定安装路径；替换相关库文件（rocblas文件夹和dll文件）。最终实现了从仅使用CPU到成功调用AMD RX 9070XT显卡进行推理的转变。

本文分享了在Windows系统下让Ollama本地大模型成功调用AMD显卡进行推理的解决方案。主要步骤包括：安装AMD HIP SDK并设置环境变量；下载特定版本的Ollama和HipSDK；通过命令行指定安装路径；替换相关库文件（rocblas文件夹和dll文件）。最终实现了从仅使用CPU到成功调用AMD RX 9070XT显卡进行推理的转变。