Windows 环境安装ollama，通过ollama拉起大模型

背景：

公司来了一台工作站，显卡是AMD的，目前跑大模型的更多的用的都是NVIDIA显卡，而且网络上开源的很多框架、工具、模型都对NVIDIA的cuda更加适配，用户强制要求使用AMD卡拉起大模型，在很多开源社区以及AMD官网找了很多资料，逐一踩坑尝试将整体流程整理了一下，仅作为个人笔记记录。

接着上篇文章【Windows 环境安装AMD显卡加速器ROCm】继续，在Windows本地安装ollama，使用ollama下来开源的大模型并在本地运行。

开始：

1.访问ollama官方地址：https://ollama.com/

在这里插入图片描述

2.下载

在这里插入图片描述

3.安装ollama

在这里插入图片描述

4.安装完成

在这里插入图片描述

5.ollama 官网找到对应版本的大模型

在这里插入图片描述

在这里插入图片描述

cmd中运行

ollama run qwen2.5:14b

在这里插入图片描述

模型默认下载地址：C:\Users\hpi\.ollama

6.下载完成后 会自动拉起大模型，进行对话并观察任务管理器的CPU、GPU性能

# 语言模型 # 开源 # RAG
Logo
加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

第20篇-推理部署实战-用Go构建vLLM推理客户端

/ ChatMessage 表示一条对话消息// ChatRequest 对应 POST /v1/chat/completions 的请求体// vLLM 扩展字段// ChatChoice 表示一个候选输出// Usage 表示 Token 计量（第 23 篇会深入讨论）// ChatResponse 对应响应体Created int64 `json:"created"` // Unix 时间戳

avatar AMD开发者中国社区
cover

告别云API！本地AI编程神器Qwen3.6-27B部署全攻略：24G显存流畅运行，支持图像视频理解

avatar AMD开发者中国社区

Agent强化学习训练框架Microsoft Agent-Lightning之训练环境部署

本文档详细记录了在Ubuntu 22.04系统上部署Agent-Lightning环境的完整流程。关键点包括：使用conda创建Python 3.12环境；安装特定版本的torch、vllm等核心组件；通过预编译wheel安装flash-attn以避免本地编译；解决了三个常见环境问题（libstdc++版本冲突、fastapi兼容性问题、transformers版本限制）。文档还提供了项目目录结构

avatar AMD开发者中国社区