文章目录

前言

本文介绍如何 在本地安装ollama ，环境：window10。

一、Ollama是什么？

Ollama 是一款开源、跨平台的本地大模型运行与管理工具，主打极简部署、隐私优先、开箱即用，让你能在本地电脑 / 服务器轻松运行 Llama 3、Qwen（千问）、DeepSeek 等主流开源大模型，无需依赖云端。

二、Ollama使用步骤

2.1 下载 Ollama

地址：https://ollama.com/download/windows

在这里插入图片描述

2.2 安装后运行

2.2.1 设置模型存放的路径

设置环境变量：OLLAMA_MODELS

在这里插入图片描述

2.2.2 模型安装

win +x 以管理员身份打开powershell

# 查看ollama 的版本
ollama -v
# 下载模型
ollama run qwen2.5:3b

查看可以下载的模型： https://ollama.com/library

总结

本文记录本地安装ollama。

# AIGC
Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区
cover

vLLM 与 SGLang 推理框架性能横评，同模型同硬件下吞吐量、首Token延迟对比，选出最适合个人开发者的推理后端

avatar AMD开发者中国社区