简介

Ollama是时下最容易部署本地大模型的工具了，可以把Ollama比做成docker，用户管理容器，而它是管理大模型

下载安装

点击访问https://ollama.com/download，下载windows版本，下载好后，不要直接点击安装，默认路径是在c盘，占空间，需要自定义安装，将exe文件复制到自定义路径。
在这里插入图片描述
打开终端输入

.\OllamaSetup.exe /DIR=D:\Ollama

在这里插入图片描述
在这里插入图片描述

配置model环境变量

打开C:\Users\用户名.ollama目录，复制models目录到自定义安装的目录里，然后删除掉
在这里插入图片描述
新建环境变量OLLAMA_MODELS=D:\Ollama\models
在这里插入图片描述
环境变量Path里配置Ollama安装路径D:\Ollama

验证

重启Ollama，打开终端输入ollama list，查看大模型资源包是否正常展示。ollama默认安装端口是11434
在这里插入图片描述

安装大模型

安装qwen3:4b试试水，终端里输入ollama run qwen3:4b
在这里插入图片描述
在这里插入图片描述
打开自定义的models文件夹里的blobs，里面就是安装下载的大模型
在这里插入图片描述
模型安装成功
在这里插入图片描述
欢迎关注公众号FishTech Notes，收藏点赞关注哦

Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区
cover

vLLM 与 SGLang 推理框架性能横评，同模型同硬件下吞吐量、首Token延迟对比，选出最适合个人开发者的推理后端

avatar AMD开发者中国社区