一、Ollama安装

1.下载Ollama

官网：https://ollama.com/
在这里插入图片描述

在这里插入图片描述

2.安装

点击下载
在这里插入图片描述
安装完成后打开cmd窗口
键盘按住Win+R输入cmd
在这里插入图片描述

3.Ollama常用指令

指令 说明
ollama list 查看本地已下载的模型列表
ollama pull <模型名> 下载模型（如 ollama pull llama2）
ollama remove <模型名> 删除本地模型
ollama run <模型名> 交互式运行模型（默认对话模式）
ollama serve 启动本地 API 服务（默认端口 11434）

4.Ollama接口

POST 
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "为什么天空是蓝色的？"
}'

二、模型下载

1.返回Ollama官网点击Modles

在这里插入图片描述
选择好后点击复制
在这里插入图片描述
将刚才复制的内容粘贴过去按下回车等待下载
在这里插入图片描述

三、实现图形化操作-chatbox

1.下载

去ChatboxAI官网下载
https://chatboxai.app/zh

在这里插入图片描述

2.安装

下载完成后双击文件安装
在这里插入图片描述
打开Chatbox
在这里插入图片描述
选择使用自己的API Key或本地模型

在这里插入图片描述
选择Ollama API
在这里插入图片描述
模型选择刚刚下好的deepseek-r1:1.5b
在这里插入图片描述

Logo
加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

WSL2 GPU 直连与 vLLM 大模型推理

avatar AMD开发者中国社区

DCU使用技术报告_下篇_gfx936_DCU_Qwen3.5-27B_rocBLAS-hipBLASLt调优、vLLM工程化与踩坑实战

这次做 DCU 推理优化，最容易上瘾的是看一个 kernel 从 0.50 ms 变成 0.33 ms。真正难的却是后面的判断：它一层有多少次调用，是否命中 CUDA Graph，是否改变生成路径，是否只在某个 chunk 上有效，部署到另一个容器后会不会悄悄回退。Profile 找热点，真实形状做微基准，局部候选用 guard 接入，服务结果决定去留，精度最后否决。DCU、ROCm、Triton

avatar AMD开发者中国社区

DCU使用技术报告_中篇_gfx936_DCU_Qwen3.5-27B_Triton-ROCm_Attention与GEMV深度优化实战

系列文章中篇。上篇解决了环境、基线和 Profile 的可信度问题；这一篇进入算子层，记录专用 Prefill Attention、Q10/Q20 Query 复用、Gate/Up Triton GEMV，以及一批看起来合理但最终没有采用的实验。

avatar AMD开发者中国社区