docker 部署ollama

spring-java

413人浏览 · 2025-04-09 16:01:01

spring-java · 2025-04-09 16:01:01 发布

1、拉取镜像

docker pull ollama/ollama

2、新建目录

mkdir -p /home/aiModel/ollama

3、运行容器

docker run -d -p 11434:11434 -v /home/aiModel/ollama:/root/.ollama --name ollama --restart=always ollama/ollama

4、本地搭建deepseek 7b

docker exec -it ollama /bin/bash

ollama run deepseek-r1:7b

加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

AMD开发者中国社区

Higress v2.2.3 发布：AI Gateway 能力增强，Gateway API 及其推理扩展持续打磨

Higress v2.2.3 版本发布，带来多项核心更新：新增 AI Gateway 的 vLLM 协议透传和上下文限制插件，增强 AI 安全防护与负载均衡；优化 Gateway API 隔离与推理路由配置；改进 Ingress 迁移体验；加固安全认证组件与 TLS 校验；修复多项 Console 问题。社区层面，Higress 正式入驻 CNCF Sandbox。