K8s监控端口10250配置避坑指南：从证书生成到Prometheus集成

在生产环境中，Kubernetes集群的监控是保障系统稳定性的关键环节。而kubelet的10250端口作为核心监控数据出口，其配置过程却暗藏诸多"深坑"。本文将带您穿透迷雾，从证书转换、权限配置到Prometheus集成，构建一套完整的生产级监控方案。

1. 理解10250端口的核心作用与安全挑战

10250端口是kubelet服务的默认HTTPS端口，承载着节点状态、容器指标、探针数据等关键监控信息的暴露。不同于普通服务端口，它直接关联到节点资源调度和容器生命周期管理，这使得其安全配置尤为重要。

典型数据流经10250端口的场景包括：

• Prometheus抓取/metrics端点获取容器资源使用指标
• 健康检查服务访问/healthz进行节点存活探测
• 容器运行时通过/pods接口获取当前调度状态

在安全加固的集群中，直接访问该端口会遇到三类典型问题：

1. 证书验证失败：自签名证书不被信任链接受
2. 权限不足：未配置适当的RBAC规则
3. 网络隔离：节点防火墙规则阻止访问

生产环境中建议始终通过ServiceAccount进行认证，而非直接使用集群CA证书，这符合最小权限原则。

2. 证书体系的深度解析与转换实践

证书配置是访问10250端口的首要障碍。Kubernetes集群默认使用PEM格式的CA证书，但不同监控工具对证书格式要求各异，需要进行精确转换。

2.1 证书格式转换实战

PEM转CRT（Base64编码）：

openssl x509 -in ca.pem -out ca.crt

这种转换仅改变文件扩展名，保持Base64编码格式，适用于大多数场景。

PEM转DER（二进制编码）：

openssl x509 -outform der -in ca.pem -out ca.crt

当监控系统要求二进制证书时（如某些Java应用），需进行DER编码转换。

验证证书有效性：

openssl x509 -in /etc/kubernetes/pki/ca.crt -noout -dates

该命令可检查证书的有效期，避免使用过期证书导致监控中断。

2.2 证书链信任配置技巧

在Prometheus容器中，需要将集群CA证书添加到信任链：

# Dockerfile片段示例
COPY ca.crt /usr/local/share/ca-certificates/k8s-ca.crt
RUN update-ca-certificates

对于非容器化部署，可将证书添加到系统信任库：

cp ca.crt /usr/share/ca-certificates/extra/
dpkg-reconfigure ca-certificates

3. 精细化权限控制方案

直接使用集群管理员凭证访问10250端口存在严重安全风险。我们推荐基于RBAC的精细化权限控制方案。

3.1 最小权限ServiceAccount配置

prometheus-rbac.yaml：

apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus
  namespace: monitoring

3.2 定制化ClusterRole设计

针对监控需求设计精确的权限集合：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus-kubelet-access
rules:
- apiGroups: [""]
  resources: ["nodes", "nodes/proxy", "nodes/metrics"]
  verbs: ["get", "list", "watch"]
- nonResourceURLs: ["/metrics", "/metrics/cadvisor", "/metrics/probes"]
  verbs: ["get"]

3.3 权限绑定与验证

创建ClusterRoleBinding关联ServiceAccount：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus-kubelet-access
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus-kubelet-access
subjects:
- kind: ServiceAccount
  name: prometheus
  namespace: monitoring

验证权限是否生效：

kubectl auth can-i get nodes --as=system:serviceaccount:monitoring:prometheus

4. Prometheus集成全流程配置

将10250端口监控数据接入Prometheus需要完成服务发现、认证配置和指标处理三个关键步骤。

4.1 服务发现配置

在prometheus.yml中配置kubelet服务发现：

scrape_configs:
- job_name: 'kubelet'
  scheme: https
  tls_config:
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    insecure_skip_verify: false
  bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  kubernetes_sd_configs:
  - role: node
  relabel_configs:
  - source_labels: [__address__]
    regex: '(.*):10250'
    replacement: '${1}'
    target_label: __address__

4.2 认证令牌管理

获取ServiceAccount的访问令牌：

kubectl get secret -n monitoring prometheus-kubelet-token \
  -o jsonpath='{.data.token}' | base64 --decode

在Prometheus部署中自动挂载令牌：

volumes:
- name: token-volume
  secret:
    secretName: prometheus-kubelet-token
volumeMounts:
- name: token-volume
  mountPath: "/var/run/secrets/tokens"
  readOnly: true

4.3 指标过滤与优化

通过metric_relabel_configs减少不必要的数据采集：

metric_relabel_configs:
- source_labels: [__name__]
  regex: '(container_cpu_usage_seconds_total|container_memory_working_set_bytes)'
  action: keep

5. 生产环境故障排查手册

即使完成上述配置，在实际运行中仍可能遇到各种异常情况。以下是经过实战检验的排查方法。

5.1 连接性检查

验证基础网络连通性：

telnet <node-ip> 10250
nc -zv <node-ip> 10250

检查防火墙规则：

iptables -L -n | grep 10250

5.2 证书验证测试

使用curl进行手动验证：

curl --cacert /etc/kubernetes/pki/ca.crt \
  --cert /etc/kubernetes/pki/ca.pem \
  --key /etc/kubernetes/pki/ca-key.pem \
  https://<node-ip>:10250/metrics

5.3 kubelet服务状态监控

检查kubelet服务日志：

journalctl -u kubelet -f

验证服务健康状态：

systemctl status kubelet -l

6. 性能优化与安全加固

在生产环境中大规模采集10250端口数据时，需要特别注意性能影响和安全防护。

6.1 采集频率优化

根据集群规模调整scrape_interval：

scrape_configs:
- job_name: 'kubelet'
  scrape_interval: 1m
  scrape_timeout: 30s

6.2 请求限流配置

在kubelet配置中启用限流：

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
eventRecordQPS: 5
eventBurst: 10
healthzBindAddress: 127.0.0.1

6.3 网络策略加固

通过NetworkPolicy限制访问源：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: kubelet-metrics-allow
spec:
  podSelector:
    matchLabels:
      component: kubelet
  policyTypes:
  - Ingress
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          name: monitoring
    ports:
    - protocol: TCP
      port: 10250

在多个生产集群的实践中，这套配置方案成功将kubelet监控的稳定性提升至99.9%以上。最关键的教训是：永远要在测试环境验证证书转换结果，并定期检查ServiceAccount令牌的有效期。