ClickHouse集群监控实战：5分钟搭建Prometheus+Grafana可视化看板

当你的ClickHouse集群从测试环境走向生产环境时，系统监控就像驾驶舱里的仪表盘——没有它，你就是在盲目飞行。上周我们团队就遇到一个典型场景：凌晨三点收到报警说查询响应变慢，但登录服务器后却发现所有基础指标（CPU、内存、磁盘）都显示正常。直到后来排查才发现是ZooKeeper协调节点出现网络分区，导致分布式表查询超时。这个教训让我们意识到：ClickHouse集群监控不能只停留在系统层面，必须覆盖从存储引擎到分布式协调的全链路指标。

1. 监控架构设计与组件选型

ClickHouse的监控体系需要同时捕捉两类关键信号：主机级资源指标和数据库特有性能指标。前者包括CPU、内存、磁盘IO等基础资源消耗，后者则涵盖查询吞吐量、复制延迟、Merge操作等数据库核心行为。

1.1 技术栈组合方案

我们采用的监控方案由三个核心组件构成：

• Prometheus：时序数据库，负责指标采集与存储
• ClickHouse Exporter：将CH指标转换为Prometheus格式
• Grafana：可视化仪表盘展示

这种组合的优势在于：

1. 轻量级：所有组件均可容器化部署，资源占用小
2. 高扩展性：Prometheus的Pull模型适合动态集群环境
3. 生态完善：Grafana有丰富的ClickHouse仪表盘模板

1.2 监控指标分类

指标类别	典型指标示例	采集频率	告警阈值建议
资源使用	CPU利用率、内存占用、磁盘空间	15s	>80%持续5分钟
查询性能	QPS、查询耗时百分位、并发查询数	30s	P99>2s
存储引擎	Merge操作频次、Parts数量、内存表大小	60s	Parts>1000/表
分布式协调	ZooKeeper延迟、副本同步状态	30s	延迟>500ms

2. 快速部署监控组件

假设你已经通过Docker Compose部署了ClickHouse集群，现在我们用同样的方式部署监控系统。

2.1 编写docker-compose监控扩展文件

在原有docker-compose.yml同目录创建monitoring.yml：

version: '3.8'

services:
  prometheus:
    image: prom/prometheus:latest
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    volumes:
      - grafana-storage:/var/lib/grafana
    depends_on:
      - prometheus

  clickhouse-exporter:
    image: clickhouse/clickhouse-exporter:latest
    environment:
      CLICKHOUSE_SERVER: "http://clickhouse01:8123"
    ports:
      - "9116:9116"

volumes:
  grafana-storage:

2.2 配置Prometheus抓取规则

创建prometheus.yml配置文件：

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'clickhouse'
    static_configs:
      - targets: ['clickhouse-exporter:9116']
    metrics_path: '/metrics'

  - job_name: 'node'
    static_configs:
      - targets: ['clickhouse01:9100', 'clickhouse02:9100', 'clickhouse03:9100']

启动监控服务：

docker-compose -f docker-compose.yml -f monitoring.yml up -d

3. 关键指标采集与暴露

ClickHouse本身提供了丰富的系统表，我们需要通过Exporter将其转换为Prometheus格式。

3.1 内置指标暴露接口

ClickHouse的以下系统表特别适合监控：

-- 查询执行指标
SELECT * FROM system.metrics

-- 异步处理任务
SELECT * FROM system.merges

-- 副本状态
SELECT * FROM system.replicas

-- 当前运行查询
SELECT * FROM system.processes

3.2 Exporter核心配置项

通过环境变量控制Exporter行为：

# 监控多个ClickHouse实例
CLICKHOUSE_SERVERS="http://ch1:8123,http://ch2:8123"

# 采集慢查询日志
EXPORT_SLOW_QUERIES=true

# 自定义采集超时
CLICKHOUSE_TIMEOUT=10s

4. Grafana看板配置实战

登录Grafana（默认账号admin/admin），导入官方模板ID882，这是专为ClickHouse设计的仪表盘。

4.1 关键图表解读

1. 查询吞吐看板：

   • QueriesPerSecond：区分SELECT/INSERT查询
   • QueryDuration：P50/P95/P99分位线

2. 存储引擎看板：

   sum(rate(clickhouse_merge_count[1m])) by (table)
   

   监控各表的Merge操作频率

3. 副本健康看板：

   clickhouse_replica_is_readonly
   

   值为1表示副本处于只读状态

4.2 自定义告警规则示例

在Grafana中设置以下告警：

# 副本不同步告警
- alert: ClickHouseReplicaLagHigh
  expr: clickhouse_replica_max_absolute_delay > 300
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "Replica {{ $labels.replica }} lagging behind"

# 查询队列堆积告警
- alert: ClickHouseQueryQueueFull
  expr: clickhouse_query_preempted > 10
  for: 2m
  labels:
    severity: warning

5. 生产环境优化建议

在实际运维中，我们发现以下几个配置调整能显著提升监控系统稳定性：

1. Prometheus存储优化：

   # 限制内存使用
   --storage.tsdb.retention.time=30d
   --storage.tsdb.retention.size=50GB
   

2. ClickHouse Exporter调优：

   # 限制采集指标数量
   EXPORT_MAX_METRICS=500
   

3. Grafana持久化配置：

   # 启用配置自动保存
   GF_DASHBOARDS_DEFAULT_HOME_DASHBOARD_PATH=/etc/grafana/provisioning/dashboards
   

遇到监控数据异常时，首先检查：

• Exporter日志：docker logs clickhouse-exporter
• Prometheus目标状态：http://prometheus:9090/targets
• ClickHouse系统日志：docker exec -it clickhouse01 tail -f /var/log/clickhouse-server/clickhouse-server.log