Windows下通过Ollama部署使用本地模型

吃着丸子搞代码

908人浏览 · 2024-06-04 21:08:21

吃着丸子搞代码 · 2024-06-04 21:08:21 发布

Windows下通过Ollama部署使用本地模型

下载Ollama

安装主程序

Ollama下载exe，直接下一步下一步没有设置可以更改
windows默认安装路径在C盘
安装后会自动将该路径加入环境变量
双击图标运行后状态栏会出现小图标，右键有退出、打开日志文件夹按钮

通过ollama文件夹cmd进入dos窗口

命令行使用ollama 打开终端，输入 ollama -h,查看到所有的命令

输入ollama -v查看当前版本，能输出版本则安装成功

修改模型下载路径

添加系统变量修改模型默认下载路径
变量名：OLLAMA_MODELS

运行模型单行对话

拉取并运行llama2模型
ollama run llama2
直接输入该命令会检查目录下是否有该模型，没有会自动下载，下载好后自动运行该模型
其他模型见library (ollama.com)

https://www.cnblogs.com/WilliamB/p/18069441

加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

AMD开发者中国社区

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

AMD开发者中国社区

Higress v2.2.3 发布：AI Gateway 能力增强，Gateway API 及其推理扩展持续打磨

Higress v2.2.3 版本发布，带来多项核心更新：新增 AI Gateway 的 vLLM 协议透传和上下文限制插件，增强 AI 安全防护与负载均衡；优化 Gateway API 隔离与推理路由配置；改进 Ingress 迁移体验；加固安全认证组件与 TLS 校验；修复多项 Console 问题。社区层面，Higress 正式入驻 CNCF Sandbox。