Prometheus与Kubernetes的深度对话：动态服务发现与Relabel实战指南

1. 动态服务发现的核心价值

在Kubernetes集群环境中，节点扩缩容是常态操作。传统监控方案需要手动维护监控目标列表，这在高动态性的K8s环境中几乎不可行。Prometheus通过内置的Kubernetes服务发现机制完美解决了这个问题。

动态服务发现的核心优势：

• 自动感知节点变化：新增节点自动纳入监控，移除节点自动从监控目标中剔除
• 标签体系继承：自动获取K8s节点标签并转换为监控标签
• 多维度发现：支持通过Node、Endpoint、Service等多种角色发现监控目标

# 基础服务发现配置示例
kubernetes_sd_configs:
- role: node  # 发现集群所有节点

2. Relabel配置的魔法转换

Relabel配置是Prometheus服务发现中的转换引擎，它通过一系列规则对原始目标信息进行过滤和转换。在Kubernetes监控场景中，最典型的应用就是解决Node Exporter的端口转换问题。

经典端口转换案例：

relabel_configs:
- source_labels: [__address__]
  regex: '(.*):10250'      # 匹配Kubelet默认端口
  replacement: '${1}:9100' # 替换为Node Exporter端口
  target_label: __address__
  action: replace

这个配置实现了：

1. 从Kubelet的10250端口地址中提取节点IP
2. 将端口替换为Node Exporter的9100端口
3. 更新最终监控目标地址

3. 高级Relabel技巧

3.1 标签映射与过滤

通过labelmap操作可以将K8s节点标签自动映射为监控标签：

- action: labelmap
  regex: __meta_kubernetes_node_label_(.+)

标签过滤示例（只监控特定注解的服务）：

- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
  action: keep
  regex: true

3.2 多阶段Relabel流程

复杂场景下可以串联多个relabel步骤：

relabel_configs:
# 第一阶段：基于命名空间和服务名过滤
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name]
  action: keep
  regex: production;(nginx|redis).*

# 第二阶段：自定义标签
- source_labels: [__meta_kubernetes_pod_name]
  target_label: pod_name

# 第三阶段：修改采集路径
- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]
  regex: (.+)
  target_label: __metrics_path__

4. 实战：Node Exporter监控方案

4.1 DaemonSet部署

Node Exporter需要以DaemonSet方式部署，确保每个节点都有实例运行：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-exporter
spec:
  selector:
    matchLabels:
      app: node-exporter
  template:
    metadata:
      labels:
        app: node-exporter
    spec:
      containers:
      - name: node-exporter
        image: prom/node-exporter:v1.3.1
        ports:
        - containerPort: 9100

4.2 完整Prometheus配置

scrape_configs:
- job_name: 'kubernetes-nodes'
  kubernetes_sd_configs:
  - role: node
  relabel_configs:
  - source_labels: [__address__]
    regex: '(.*):10250'
    replacement: '${1}:9100'
    target_label: __address__
  - action: labelmap
    regex: __meta_kubernetes_node_label_(.+)
  - source_labels: [__meta_kubernetes_node_name]
    target_label: instance

4.3 关键指标监控

核心监控指标：

• CPU使用率：100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
• 内存使用：node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100
• 磁盘空间：node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} * 100

5. 性能优化与问题排查

5.1 性能调优参数

global:
  scrape_interval: 30s      # 适当降低采集频率
  evaluation_interval: 30s
  scrape_timeout: 10s

scrape_configs:
- job_name: 'nodes'
  kubernetes_sd_configs:
  - role: node
  relabel_configs: [...]
  metric_relabel_configs:   # 指标级relabel
  - source_labels: [__name__]
    regex: 'node_(network|filesystem)_.*'
    action: keep

5.2 常见问题排查

目标不显示问题检查清单：

1. 确认Node Exporter Pod正常运行
2. 检查ServiceAccount权限配置
3. 验证relabel配置是否正确
4. 检查Prometheus日志中的错误信息
5. 直接访问Node Exporter的/metrics接口验证

调试技巧：

# 查看服务发现原始数据
kubectl port-forward prometheus-pod 9090
然后访问 http://localhost:9090/service-discovery

6. 安全加固方案

6.1 RBAC最小权限配置

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus-monitor
rules:
- apiGroups: [""]
  resources: ["nodes", "services", "endpoints", "pods"]
  verbs: ["get", "list", "watch"]

6.2 网络策略限制

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: node-exporter-allow
spec:
  podSelector:
    matchLabels:
      app: node-exporter
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: prometheus
    ports:
    - protocol: TCP
      port: 9100

7. 架构演进与最佳实践

生产环境推荐架构：

1. 集群内部署：Prometheus实例与监控目标同集群部署
2. 联邦架构：大型集群采用分层采集
3. 高可用：多副本Prometheus + Thanos

标签设计原则：

• 保留原始K8s标签：__meta_kubernetes_*
• 添加业务维度标签：business_unit, service_tier
• 避免标签值过大影响性能

# 标签合并示例
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_name]
  separator: '/'
  target_label: pod_full_name

在实际生产环境中，我们曾遇到节点频繁伸缩导致监控断点的问题。通过优化relabel配置和调整存储参数，最终实现了监控数据的无缝衔接。关键点在于理解Kubernetes元数据标签体系，并合理设计relabel规则来适应动态环境。