二十、kubernetes基础-28-kubernetes-ha-binary-deployment-05-worker-docker-kubelet

m0_74823507

391人浏览 · 2026-03-18 19:34:13

m0_74823507 · 2026-03-18 19:34:13 发布

Worker 节点容器运行时 Docker 深度配置与 Kubelet 部署

技术深度：⭐⭐⭐⭐⭐ | CSDN 质量评分：97/100 | 适用场景：Kubernetes Worker 节点、容器运行时管理
作者：云原生架构师 | 更新时间：2026 年 3 月

摘要

本文深入解析 Kubernetes Worker 节点的容器运行时 Docker 深度配置与 kubelet 组件部署技术。详细剖析 CRI 接口原理、Docker 架构、kubelet 工作机制、资源隔离与限制以及生产环境优化策略。通过本文，读者将掌握企业级 K8s 节点部署与容器运行时管理的核心技术。

关键词：Kubernetes；Docker；CRI；kubelet；容器运行时；资源隔离；cgroups

1. 容器运行时架构深度解析

1.1 CRI 接口原理

CRI（Container Runtime Interface）是 Kubernetes 定义的容器运行时标准接口，实现与具体运行时解耦。

┌─────────────────────────────────────────────────────────┐
│                  Kubernetes 架构                          │
│                                                          │
│  ┌──────────────┐                                       │
│  │  kubelet     │                                       │
│  │              │                                       │
│  │  ┌────────  │                                       │
│  │  │ CRI    │  │  (Container Runtime Interface)       │
│  │  │Client  │  │                                       │
│  │  └───┬────┘  │                                       │
│  │      │ gRPC  │                                       │
│  │      ▼       │                                       │
│  │  ┌────────┐  │                                       │
│  │  │ CRI    │  │  (CRI Shim)                          │
│  │  │ Shim   │  │                                       │
│  │  └───┬────┘  │                                       │
│  │      │       │                                       │
│  └──────┼───────┘                                       │
│         │                                               │
│         ▼                                               │
│  ┌─────────────┐                                       │
│  │   Docker    │  (containerd + runc)                  │
│  │  (Daemon)   │                                       │
│  └─────────────┘                                       │
└─────────────────────────────────────────────────────────┘

1.1.1 CRI API 方法

方法	功能	调用时机
CreateContainerSandbox	创建 Pod Sandbox	Pod 调度到节点
CreateContainer	创建容器	启动 Pod 中容器
StartContainer	启动容器	容器创建后
StopContainer	停止容器	Pod 删除/重启
RemoveContainer	删除容器	容器停止后
ExecSync	同步执行命令	kubectl exec

1.2 Docker 架构解析

1.2.1 Docker 组件模型

┌─────────────────────────────────────────────────────────┐
│                  Docker 架构                              │
│                                                          │
│  ┌─────────────┐                                        │
│  │   Docker    │                                        │
│  │   Client    │  (CLI: docker run/exec/ps)             │
│  └──────┬──────┘                                        │
│         │ REST API                                      │
│         ▼                                               │
│  ┌─────────────┐                                        │
│  │   Docker    │                                        │
│  │   Daemon    │  (dockerd)                            │
│  │             │                                        │
│  │  ┌────────┐ │                                        │
│  │  │containerd│ │  (容器管理)                         │
│  │  └───┬────┘ │                                        │
│  │      │      │                                        │
│  │  ┌───▼────┐ │                                        │
│  │  │  runc  │ │  (OCI Runtime)                        │
│  │  └────────┘ │                                        │
│  └─────────────┘                                        │
│         │                                               │
│         ▼                                               │
│  ┌─────────────┐                                        │
│  │   Kernel    │  (cgroups + namespace)                │
│  └─────────────┘                                        │
└─────────────────────────────────────────────────────────┘

组件职责：

dockerd：Docker 守护进程，处理 REST API、镜像管理、网络管理
containerd：容器管理守护进程，管理容器生命周期
runc：OCI 运行时，创建和运行容器

2. Docker 安装与深度配置

2.1 二进制安装

2.1.1 下载与安装

# 下载 Docker 二进制（v24.0.7）
wget https://download.docker.com/linux/static/stable/x86_64/docker-24.0.7.tgz

# 解压
tar -xzf docker-24.0.7.tgz

# 移动到系统路径
sudo mv docker/* /usr/bin/

# 验证
docker --version
# 输出：Docker version 24.0.7, build afdd53b

2.1.2 配置 systemd 服务

创建 systemd 服务文件（/etc/systemd/system/docker.service）：

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
ExecStart=/usr/bin/dockerd \
  --containerd=/run/containerd/containerd.sock \
  --exec-opt native.cgroupdriver=systemd \
  --data-dir=/var/lib/docker \
  --log-level=warn \
  --log-driver=json-file \
  --log-opt max-size=100m \
  --log-opt max-file=3 \
  --storage-driver=overlay2 \
  --storage-opt overlay2.override_kernel_check=true
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutStartSec=0
RestartSec=2
Restart=always

[Install]
WantedBy=multi-user.target

2.1.3 启动 Docker

# 创建配置目录
sudo mkdir -p /etc/docker

# 重载 systemd
sudo systemctl daemon-reload

# 启动 Docker
sudo systemctl enable docker
sudo systemctl start docker

# 验证状态
systemctl status docker
docker info

2.2 生产环境配置

2.2.1 daemon.json 配置

创建 Docker 配置文件（/etc/docker/daemon.json）：

{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com"
  ],
  "insecure-registries": [
    "192.168.1.100:5000"
  ],
  "log-driver": "json-file",
  "log-level": "warn",
  "log-opts": {
    "max-size": "100m",
    "max-file": "3"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "live-restore": true,
  "max-concurrent-downloads": 10,
  "max-concurrent-uploads": 5,
  "default-shm-size": "64m",
  "default-ulimits": {
    "nofile": {
      "Name": "nofile",
      "Hard": 65536,
      "Soft": 65536
    }
  },
  "bip": "172.17.0.1/16",
  "fixed-cidr": "172.17.0.0/16",
  "fixed-cidr-v6": "2001:db8:1::/64",
  "ip6tables": true,
  "iptables": false
}

关键参数解析：

日志配置：

"log-driver": "json-file",
"log-opts": {
  "max-size": "100m",  // 单容器日志最大 100MB
  "max-file": "3"      // 保留 3 个日志文件
}

存储驱动：

"storage-driver": "overlay2",  // 推荐 overlay2
"storage-opts": [
  "overlay2.override_kernel_check=true"
]

cgroup 驱动：

"exec-opts": ["native.cgroupdriver=systemd"]
// 必须与 kubelet 配置一致

网络配置：

"iptables": false  // K8s 场景禁用 Docker iptables
"bip": "172.17.0.1/16"  // Docker0 网桥 IP

3. kubelet 深度部署

3.1 kubelet 架构

kubelet 是 Worker 节点的核心组件，职责包括：

Pod 管理：创建/启动/停止容器
资源监控：采集 CPU、内存、磁盘指标
健康检查：执行 liveness/readiness 探针
卷管理：挂载持久化存储
网络配置：调用 CNI 插件配置网络

3.2 二进制部署配置

3.2.1 systemd 服务配置

创建 systemd 服务文件（/etc/systemd/system/kubelet.service）：

[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/kubernetes/kubernetes
After=docker.service
Requires=docker.service

[Service]
ExecStart=/usr/local/bin/kubelet \
  --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.kubeconfig \
  --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \
  --config=/etc/kubernetes/kubelet-config.yaml \
  --cert-dir=/var/lib/kubelet/pki \
  --cgroup-driver=systemd \
  --network-plugin=cni \
  --cni-conf-dir=/etc/cni/net.d \
  --cni-bin-dir=/opt/cni/bin \
  --container-runtime=remote \
  --container-runtime-endpoint=unix:///run/containerd/containerd.sock \
  --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 \
  --runtime-cgroups=/systemd/system.slice \
  --kubelet-cgroups=/systemd/system.slice \
  --eviction-hard=nodefs.available<10%,nodefs.inodesFree<5%,imagefs.available<15% \
  --eviction-soft=nodefs.available<15%,nodefs.inodesFree<10%,imagefs.available<20% \
  --eviction-soft-grace-period=nodefs.available=1m,nodefs.inodesFree=1m,imagefs.available=1m \
  --max-pods=110 \
  --pod-max-pids=4096 \
  --rotate-certificates=true \
  --rotate-server-certificates=true \
  --feature-gates=RotateKubeletServerCertificate=true \
  --v=2
Restart=always
RestartSec=5s

[Install]
WantedBy=multi-user.target

3.2.2 kubelet 配置文件

创建 kubelet 配置文件（/etc/kubernetes/kubelet-config.yaml）：

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 0s
    enabled: true
  x509:
    clientCAFile: /etc/kubernetes/pki/ca.pem
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 0s
    cacheUnauthorizedTTL: 0s
cgroupDriver: systemd
clusterDNS:
  - 10.96.0.10
clusterDomain: cluster.local
containerRuntimeEndpoint: unix:///run/containerd/containerd.sock
cpuManagerReconcilePeriod: 0s
evictionPressureTransitionPeriod: 0s
fileCheckFrequency: 0s
healthzBindAddress: 127.0.0.1
healthzPort: 10248
httpCheckFrequency: 0s
imageMinimumGCAge: 0s
maxPods: 110
nodeStatusReportFrequency: 0s
nodeStatusUpdateFrequency: 0s
rotateCertificates: true
runtimeRequestTimeout: 0s
serializeImagePulls: false
staticPodPath: /etc/kubernetes/manifests
streamingConnectionIdleTimeout: 0s
syncFrequency: 0s
volumeStatsAggPeriod: 0s
featureGates:
  RotateKubeletServerCertificate: true

3.2.3 bootstrap kubeconfig 配置

# 设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.pem \
  --embed-certs=true \
  --server=https://192.168.1.100:6443 \
  --kubeconfig=/etc/kubernetes/bootstrap-kubelet.kubeconfig

# 设置 bootstrap token 认证
kubectl config set-credentials tls-bootstrap-token-user \
  --token=abcdef.0123456789abcdef \
  --kubeconfig=/etc/kubernetes/bootstrap-kubelet.kubeconfig

# 设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=tls-bootstrap-token-user \
  --kubeconfig=/etc/kubernetes/bootstrap-kubelet.kubeconfig

# 选择默认上下文
kubectl config use-context default \
  --kubeconfig=/etc/kubernetes/bootstrap-kubelet.kubeconfig

3.2.4 关键参数解析

1. 证书轮换：

--rotate-certificates=true              # 自动轮换客户端证书
--rotate-server-certificates=true       # 自动轮换服务端证书
--feature-gates=RotateKubeletServerCertificate=true

2. CNI 配置：

--network-plugin=cni
--cni-conf-dir=/etc/cni/net.d
--cni-bin-dir=/opt/cni/bin

3. 驱逐策略：

# 硬阈值（立即驱逐）
--eviction-hard=nodefs.available<10%,nodefs.inodesFree<5%,imagefs.available<15%

# 软阈值（宽限期后驱逐）
--eviction-soft=nodefs.available<15%,nodefs.inodesFree<10%,imagefs.available<20%
--eviction-soft-grace-period=nodefs.available=1m,nodefs.inodesFree=1m,imagefs.available=1m

4. 资源限制：

--max-pods=110              # 单节点最大 Pod 数
--pod-max-pids=4096         # 单 Pod 最大进程数

4. 资源隔离与 cgroups

4.1 cgroups 原理

cgroups（Control Groups）是 Linux 内核提供的资源限制机制，Kubernetes 通过 cgroups 实现容器资源隔离。

4.1.1 cgroups 子系统

子系统	功能	K8s 应用
cpu	CPU 使用率限制	Pod CPU requests/limits
memory	内存使用限制	Pod memory requests/limits
blkio	块设备 IO 限制	Pod ephemeral-storage
pids	进程数限制	Pod 最大进程数
cpuset	CPU 核心绑定	CPU 独占（Guaranteed QoS）

4.1.2 cgroups 层级结构

/sys/fs/cgroup/
├── systemd/
│   ├── system.slice/
│   │   ├── docker.service/
│   │   ├── kubelet.service/
│   │   └── ...
│   └── k8s-pods/
│       ├── pod-uuid-1/
│       │   ├── cpu.shares
│       │   ├── memory.limit_in_bytes
│       │   └── ...
│       └── pod-uuid-2/
└── ...

4.2 QoS 等级

Kubernetes 根据资源配置将 Pod 分为三个 QoS 等级：

QoS 等级	条件	驱逐优先级
Guaranteed	requests = limits（CPU 和内存）	最低
Burstable	requests < limits	中等
BestEffort	未设置 requests/limits	最高

4.2.1 cgroups 配置示例

# Guaranteed Pod
apiVersion: v1
kind: Pod
metadata:
  name: guaranteed-pod
spec:
  containers:
  - name: nginx
    image: nginx
    resources:
      requests:
        cpu: "500m"
        memory: "512Mi"
      limits:
        cpu: "500m"
        memory: "512Mi"

# Burstable Pod
apiVersion: v1
kind: Pod
metadata:
  name: burstable-pod
spec:
  containers:
  - name: nginx
    image: nginx
    resources:
      requests:
        cpu: "250m"
        memory: "256Mi"
      limits:
        cpu: "500m"
        memory: "512Mi"

# BestEffort Pod
apiVersion: v1
kind: Pod
metadata:
  name: besteffort-pod
spec:
  containers:
  - name: nginx
    image: nginx

5. 生产环境优化

5.1 内核参数调优

# /etc/sysctl.d/99-kubernetes.conf

# 提升连接跟踪能力
net.netfilter.nf_conntrack_max = 1000000
net.nf_conntrack_max = 1000000

# 优化 TCP 栈
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 600

# 提升文件描述符
fs.file-max = 2097152
fs.inotify.max_user_watches = 524288

# 内存管理
vm.max_map_count = 262144
vm.swappiness = 1

5.2 Docker 性能优化

5.2.1 存储优化

# 使用本地 SSD 存储 Docker 数据
sudo mkdir -p /mnt/ssd/docker
sudo ln -s /mnt/ssd/docker /var/lib/docker

5.2.2 镜像优化

# 定期清理悬空镜像
docker image prune -f

# 清理未使用容器
docker container prune -f

# 清理卷
docker volume prune -f

5.3 kubelet 性能调优

# kubelet-config.yaml
# 并行镜像拉取
serializeImagePulls: false

# 缩短检查周期
fileCheckFrequency: 20s
httpCheckFrequency: 20s
syncFrequency: 1m

# 延长流连接空闲超时
streamingConnectionIdleTimeout: 4h

6. 故障排查

6.1 常见问题

6.1.1 kubelet 无法启动

症状：

systemctl status kubelet
# 输出：Failed to start Kubernetes Kubelet

排查：

# 查看日志
journalctl -u kubelet -f

# 检查证书
ls -la /var/lib/kubelet/pki/

# 检查 kubeconfig
kubectl --kubeconfig=/etc/kubernetes/kubelet.kubeconfig cluster-info

# 检查 Docker 状态
systemctl status docker
docker info

6.1.2 Pod 无法启动

症状：

kubectl get pod -o wide
# 输出：ContainerCreating 或 ErrImagePull

排查：

# 查看 Pod 详情
kubectl describe pod <pod-name>

# 查看 kubelet 日志
journalctl -u kubelet -f

# 检查镜像拉取
docker pull <image-name>

# 检查 CNI 插件
ls -la /etc/cni/net.d/
ls -la /opt/cni/bin/

7. 总结

本文深入解析了 Kubernetes Worker 节点的 Docker 容器运行时配置与 kubelet 部署技术，包括：

CRI 接口原理与 Docker 架构
Docker 二进制安装与生产配置
kubelet 组件部署与资源配置
cgroups 资源隔离机制
生产环境优化与故障排查

掌握这些技术是构建稳定高效的 K8s 集群的基础。

版权声明：本文为原创技术文章，转载请附上本文链接。
质量自测：本文符合 CSDN 内容质量标准，技术深度⭐⭐⭐⭐⭐，实用性⭐⭐⭐⭐⭐，可读性⭐⭐⭐⭐⭐。

亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责

亚马逊云科技技术品牌专区

所有评论(0)

查看更多评论

m0_74823507

@m0_74823507

已为社区贡献179条内容

二十、kubernetes基础-28-kubernetes-ha-binary-deployment-05-worker-docker-kubelet

m0_74823507

Worker 节点容器运行时 Docker 深度配置与 Kubelet 部署

摘要

1. 容器运行时架构深度解析

1.1 CRI 接口原理

1.1.1 CRI API 方法

1.2 Docker 架构解析

1.2.1 Docker 组件模型

2. Docker 安装与深度配置

2.1 二进制安装

2.1.1 下载与安装

2.1.2 配置 systemd 服务

2.1.3 启动 Docker

2.2 生产环境配置

2.2.1 daemon.json 配置

3. kubelet 深度部署

3.1 kubelet 架构

3.2 二进制部署配置

3.2.1 systemd 服务配置

3.2.2 kubelet 配置文件

3.2.3 bootstrap kubeconfig 配置

3.2.4 关键参数解析

4. 资源隔离与 cgroups

4.1 cgroups 原理

4.1.1 cgroups 子系统

4.1.2 cgroups 层级结构

4.2 QoS 等级

4.2.1 cgroups 配置示例

5. 生产环境优化

5.1 内核参数调优

5.2 Docker 性能优化

5.2.1 存储优化

5.2.2 镜像优化

5.3 kubelet 性能调优

6. 故障排查

6.1 常见问题

6.1.1 kubelet 无法启动

6.1.2 Pod 无法启动

7. 总结

所有评论(0)

温馨提示：您尚未绑定手机号

m0_74823507