背景介绍

随着大型语言模型 （LLM） 在企业应用程序中的大量使用，在本地运行模型对于数据隐私、成本控制和减少延迟变得至关重要。Ollama 简化了本地运行 LLM，而 Kubernetes 则提供生产部署所需的编排。接下来我们看一下如何将大型语言模型部署在 Kubernetes 平台上。

部署

1 创建 ollama 命名空间

ollama-namespace.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: ollama 

部署

kubectl apply -f ollama-namespace.yaml 

2 准备存储 storageClass

Ollama 和 OpenUI 在部署时都需要挂载存储，我们部署 openebs 提供一个简单的存储。

# 添加 Helm 仓库 helm repo add openebs-localpv https://openebs.github.io/dynamic-localpv-provisionerhelm repo update# 安装 openebs-localpvhelm upgrade --install openebs-localpv openebs-localpv/localpv-provisioner --namespace openebs --create-namespace  \ --set hostpathClass.basePath="/data/openebs/local" \ --set global.imageRegistry="ccr.ccs.tencentyun.com"  \ --set  localpv.image.repository="chijinjing/provisioner-localpv" \ --set  helperPod.image.repository="chijinjing/linux-utils"
# 将 openebs-hostpath 变成默认存储类# kubectl patch storageclass openebs-hostpath  -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'# kubectl  get sc NAME                         PROVISIONER        RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGEopenebs-hostpath (default)   openebs.io/local   Delete          WaitForFirstConsumer   false                  35h

3 部署 Ollama

ollama-statefulset.yaml

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: ollama
  namespace: ollama 
spec:
  serviceName: "ollama"
  replicas: 1
  selector:
    matchLabels:
      app: ollama
  template:
    metadata:
      labels:
        app: ollama
    spec:
      containers:
      - name: ollama
        image: ollama/ollama:latest
        ports:
        - containerPort: 11434
        resources:
          requests:
            cpu: "2000m"
            memory: "2Gi"
          limits:
            cpu: "4000m"
            memory: "4Gi"
            nvidia.com/gpu: "0"
        volumeMounts:
        - name: ollama-volume
          mountPath: /root/.ollama
        tty: true
  volumeClaimTemplates:
  - metadata:
      name: ollama-volume
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 30Gi

ollama-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: ollama-service
  namespace: ollama 
spec:
  selector:
    app: ollama
  ports:
  - protocol: TCP
    port: 11434
    targetPort: 11434

部署

kubectl apply -f ollama-statefulset.yaml
kubectl apply -f ollama-service.yaml

Ollama with GPU

如果你的 Kubernetes 集群有 GPU，可以使用如下的 YAML 来部署 Ollama。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: ollama
  namespace: ollama 
spec:
  serviceName: "ollama"
  replicas: 1
  selector:
    matchLabels:
      app: ollama
  template:
    metadata:
      labels:
        app: ollama
    spec:
      containers:
      - name: ollama
        image: ollama/ollama:latest
        ports:
        - containerPort: 11434
        resources:
          requests:
            nvidia.com/gpu: 1   # 请求 1 块 GPU
            memory: "2Gi"
            cpu: "2000m"
          limits:
            nvidia.com/gpu: 1
            memory: "4Gi"
            cpu: "4000m"
        volumeMounts:
        - name: ollama-volume
          mountPath: /root/.ollama
        tty: true
      nodeSelector:
        gputype: nvidia-tesla-t4    # 调度到有 GPU 的节点  
  volumeClaimTemplates:
  - metadata:
      name: ollama-volume
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 30Gi

Nvidia 是比较常用的 GPU，Kubernetes 也支持其它的厂商的GPU：

  • AMD GPU: amd.com/gpu

  • Intel GPU: gpu.intel.com

4 部署 Open-WebUI

webui-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: open-webui-deployment
  namespace: ollama 
spec:
  replicas: 1
  selector:
    matchLabels:
      app: open-webui
  template:
    metadata:
      labels:
        app: open-webui
    spec:
      containers:
      - name: open-webui
        image: ghcr.io/open-webui/open-webui:main
        ports:
        - containerPort: 8080
        resources:
          requests:
            cpu: "500m"
            memory: "500Mi"
          limits:
            cpu: "1000m"
            memory: "1Gi"
        env:
        - name: OLLAMA_BASE_URL
          value: "http://ollama-service.ollama.svc.cluster.local:11434" # ollama svc 域名 
        tty: true
        volumeMounts:
        - name: webui-volume
          mountPath: /app/backend/data
      volumes:
      - name: webui-volume
        persistentVolumeClaim:
          claimName: open-webui-pvc 

webui-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app: open-webui
  name: open-webui-pvc
  namespace: ollama 
spec:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 2Gi

webui-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: open-webui-service
  namespace: ollama 
spec:
  type: NodePort  # 如果部署在云上建议使用 LoadBalancer 
  selector:
    app: open-webui
  ports:
    - protocol: TCP
      port: 8080
      targetPort: 8080
      nodePort: 30080

部署

kubectl apply -f webui-deployment.yaml
kubectl apply -f webui-pvc.yaml
kubectl apply -f webui-service.yaml

5 验证

检查 Ollama 和 Open-WebUI已经启动成功， 接下来就可以通过浏览器访问 Open-WebUI 提供的 WEB 界面了。

# kubectl get pods -n ollama NAME                                     READY   STATUS    RESTARTS       AGEollama-0                                 1/1     Running   0              140mopen-webui-deployment-74bcd4c578-bn8lh   1/1     Running   1 (133m ago)   135m# kubectl get svc  -n ollama NAME                 TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGEollama-service       ClusterIP   10.96.0.85    <none>        11434/TCP        140mopen-webui-service   NodePort    10.96.0.181   <none>        8080:30080/TCP   133m

我们使用 NodePort 的方式来临时访问， 生产环境建议给 Open-WebUI 创建 Ingress。

webui-ingress.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: open-webui-ingress
  namespace: open-webui
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  ingressClassName: nginx 
  rules:
  - host: open-webui.chijinjing.cn 
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: open-webui-service
            port:
              number: 8080

6 下载大语言模型

登录 Open-WebUI 界面可以看到 还没选择模型，点击右上角用户图标，选择 "管理员面板"，选择"设置"，显示下图，选择左侧的“模型”，可以在这里下载你想要使用的模型了，下载之前先查询一下 Ollama 支持哪些模型（https://ollama.com/library）。

如果嫌界面操作麻烦，也可以直接登录到 Ollama Pod 中下载需要的模型。

# kubectl -n ollama  exec -it ollama-0  -- sh
ollama run deepseek-r1:7b

模型安装后我们就可以让 AI 回答问题了;

确实是国人开发的，思考的很全面，也很有礼貌。

总结

本文演示了如何在 Kubernetes 上本地化部署大型语言模型（LLM），通过组合使用 Ollama 运行模型和Open-WebUI 提供界面，确保了数据隐私、低延迟和应用的高可用 。

# kubernetes
Logo
亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

avatar 亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

avatar 亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责

avatar 亚马逊云科技技术品牌专区