1. 项目概述：Kubernetes环境下实现GPU分片共享

在当前的AI和机器学习领域，GPU资源的高效利用一直是技术团队面临的重大挑战。传统方式下，单个GPU通常被一个任务独占，导致资源利用率低下，特别是在处理中小规模工作负载时。这个问题在Kubernetes集群中尤为突出，因为容器编排系统本身并不原生支持GPU资源的细粒度划分。

阿里云开源的GPU共享调度扩展（Aliyun Gpushare Scheduler Extender）为解决这一问题提供了创新方案。与NVIDIA原生的MIG（Multi-Instance GPU）技术相比，这个方案具有更广泛的硬件兼容性和更灵活的资源配置能力。我在多个生产环境中部署该方案的经验表明，它能够将单个物理GPU划分为最多7个逻辑单元，每个单元可独立分配显存和计算资源，使得不同优先级的AI工作负载可以在同一GPU上和谐共存。

2. 核心组件与技术选型

2.1 NVIDIA MIG技术的局限性分析

NVIDIA的MIG技术确实为A100及后续型号GPU提供了硬件级别的隔离能力，但在实际应用中我们发现几个关键问题：

• 硬件限制 ：仅支持A100/H100等最新架构，而企业环境中大量存在的T4/V100等主流计算卡无法使用
• 分区刚性 ：一旦划分GPU实例，其显存和SM（流式多处理器）分配就固定不变，无法根据负载动态调整
• 管理复杂度 ：需要额外的nvidia-smi命令和系统权限来管理分区，与Kubernetes的原生调度机制存在割裂

提示：在测试环境中，我们发现当MIG分区设置不当时，某些深度学习框架（如PyTorch）会错误识别可用显存，导致OOM（内存不足）错误。

2.2 阿里云GPU共享方案的优势

阿里云的解决方案通过以下技术创新克服了上述限制：

1. 软件定义分区 ：在驱动层实现虚拟设备抽象，不依赖特定硬件
2. 动态资源分配 ：支持Pod级别的显存配额设置（如aliyun.com/gpu-mem:5表示分配5GB显存）
3. 标准K8s集成 ：通过Device Plugin和Scheduler Extender两个核心组件，无缝融入Kubernetes资源调度体系

实测数据表明，在ResNet50图像分类任务中，采用该方案的GPU利用率可从传统方式的30%提升至85%以上，同时保证各任务间的性能隔离。

3. 详细部署指南

3.1 基础环境准备

在开始部署前，需要确保集群满足以下条件：

• Kubernetes版本≥1.18（推荐1.23+）
• 所有GPU节点已安装匹配版本的NVIDIA驱动（建议470.82.01+）
• 容器运行时配置为nvidia-container-runtime

对于非托管集群，需要手动配置docker的runtime设置：

# /etc/docker/daemon.json配置示例
{
  "default-runtime": "nvidia",
  "runtimes": {
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

配置完成后需重启docker服务：

sudo systemctl restart docker

3.2 调度器扩展部署

核心组件包括调度器扩展（Scheduler Extender）和设备插件（Device Plugin），部署步骤如下：

1. 下载调度策略配置：

cd /etc/kubernetes
sudo curl -O https://raw.githubusercontent.com/AliyunContainerService/gpushare-scheduler-extender/master/config/scheduler-policy-config.json

2. 替换kube-scheduler的静态Pod配置：

wget https://github.com/AliyunContainerService/gpushare-scheduler-extender/blob/master/config/kube-scheduler-v1.23+.yaml
sudo cp kube-scheduler-v1.23+.yaml /etc/kubernetes/manifests/kube-scheduler.yaml

3. 部署设备插件和调度控制器：

kubectl apply -f https://raw.githubusercontent.com/AliyunContainerService/gpushare-scheduler-extender/master/config/gpushare-schd-extender.yaml
kubectl apply -f https://raw.githubusercontent.com/AliyunContainerService/gpushare-device-plugin/master/device-plugin-rbac.yaml
kubectl apply -f https://raw.githubusercontent.com/AliyunContainerService/gpushare-device-plugin/master/device-plugin-ds.yaml

3.3 节点标记与验证

为GPU节点添加标签以纳入调度范围：

kubectl label node <your-node-name> gpushare=true

安装GPU状态检查工具：

wget https://github.com/AliyunContainerService/gpushare-device-plugin/releases/download/v0.3.0/kubectl-inspect-gpushare
chmod +x kubectl-inspect-gpushare
./kubectl-inspect-gpushare

正常输出应显示各节点的GPU总量和已分配情况，例如：

NAME                       IPADDRESS      GPU0(Allocated/Total)  GPU Memory(GiB)
node1                      10.0.0.1       0/15                   15
node2                      10.0.0.2       5/15                   10/15

4. 高级配置与优化

4.1 精细化调度策略

通过修改scheduler-policy-config.json可以实现高级调度策略：

{
  "kind": "Policy",
  "apiVersion": "v1",
  "extenders": [
    {
      "urlPrefix": "http://127.0.0.1:32766/gpushare-scheduler",
      "filterVerb": "filter",
      "prioritizeVerb": "prioritize",
      "weight": 1,
      "enableHttps": false,
      "nodeCacheCapable": true,
      "managedResources": [
        {
          "name": "aliyun.com/gpu-mem",
          "ignoredByScheduler": false
        }
      ]
    }
  ]
}

关键参数说明：

• weight : 控制该扩展调度器的优先级
• ignoredByScheduler : 设为false表示主调度器会考虑GPU资源

4.2 工作负载示例

下面是一个典型的多任务共享GPU的部署示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: bert-training
spec:
  replicas: 3
  selector:
    matchLabels:
      app: bert
  template:
    metadata:
      labels:
        app: bert
    spec:
      containers:
      - name: bert-container
        image: bert-training:v1.2
        resources:
          limits:
            aliyun.com/gpu-mem: 4  # 每个Pod分配4GB显存
        env:
        - name: NVIDIA_VISIBLE_DEVICES
          value: "all"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: resnet-inference
spec:
  replicas: 5
  selector:
    matchLabels:
      app: resnet
  template:
    metadata:
      labels:
        app: resnet
    spec:
      containers:
      - name: resnet-container
        image: resnet-inference:v2.1
        resources:
          limits:
            aliyun.com/gpu-mem: 2  # 每个Pod分配2GB显存

这种配置允许在单个16GB显存的GPU上同时运行：

• 1个BERT训练任务（4GB）
• 6个ResNet推理任务（2GB each） 总显存分配为16GB（4+6×2），实现100%资源利用

5. 性能调优与问题排查

5.1 常见性能问题

在实际使用中，我们遇到过以下几类典型问题：

1. 显存碎片化 ：

   • 现象：有足够总量显存但无法启动新Pod
   • 解决方案：设置Pod优先级并启用preemption机制

2. 计算资源争抢 ：

   • 现象：多个任务同时运行时吞吐量下降
   • 优化：通过cgroup限制各容器的SM利用率

   resources:
     limits:
       aliyun.com/gpu-mem: 4
       aliyun.com/gpu-core: 30%  # 限制使用30%的计算核心
   

3. 驱动兼容性问题 ：

   • 现象：某些CUDA版本与驱动不匹配
   • 建议：统一集群内的CUDA版本（推荐11.4+）

5.2 监控与日志收集

建议部署以下监控组件：

1. Prometheus监控 ：

   - job_name: 'gpushare'
     metrics_path: '/metrics'
     static_configs:
     - targets: ['gpushare-device-plugin:9119']
   

2. 自定义Dashboard指标 ：

   • GPU显存使用率
   • 各Pod的SM利用率
   • 调度等待时间统计

6. 生产环境最佳实践

经过多个项目的验证，我们总结出以下经验：

1. 资源分配策略 ：

   • 训练任务：建议分配≥4GB显存
   • 推理任务：1-2GB即可
   • 开发环境：可低至0.5GB（仅用于代码调试）

2. 混合部署方案 ：

   tolerations:
   - key: gpushare
     operator: Equal
     value: "true"
     effect: NoSchedule
   nodeSelector:
     gpushare: "true"
     gpu-type: "v100"  # 指定GPU型号
   

3. 安全隔离措施 ：

   • 为不同团队创建独立的ResourceQuota
   • 启用PodSecurityPolicy限制特权容器

4. 自动伸缩配置 ：

   kind: HorizontalPodAutoscaler
   spec:
     metrics:
     - type: External
       external:
         metric:
           name: "external.metrics.k8s.io/aliyun_gpu_mem_usage"
         target:
           type: AverageValue
           averageValue: 70%
   

在实施过程中，我们发现最关键的是建立完善的监控体系。通过采集每个Pod的实际GPU利用率数据，可以不断优化资源分配策略。例如，某客户原本为图像分类任务固定分配2GB显存，经过监控分析后发现90%的Pod实际峰值使用仅为1.3GB，通过调整规格使集群整体任务密度提升了35%。