1. 为什么选择Zabbix监控Kubernetes？

在云原生时代，Kubernetes已经成为容器编排的事实标准，但随之而来的监控复杂度也呈指数级增长。传统监控方案往往难以应对动态变化的容器环境，而Zabbix这个老牌监控系统通过6.0版本的革新，完美适配了Kubernetes的监控需求。

我最初在迁移到K8s环境时，尝试过多种监控方案，最终选择Zabbix主要基于三个实际考量：首先，它能在一个平台内同时监控基础设施和K8s应用，避免了多套系统带来的数据割裂；其次，其自动发现机制能实时跟踪Pod的创建销毁；最重要的是，我们团队已经积累了丰富的Zabbix使用经验，迁移成本最低。

与Prometheus相比，Zabbix的优势在于：

• 一体化监控：无需额外组合Alertmanager和Grafana
• 协议兼容性：原生支持HTTP/SNMP/IPMI等多种协议
• 数据存储：历史数据保留策略更灵活
• 模板生态：官方提供开箱即用的K8s监控模板

2. 环境准备与Zabbix Server部署

2.1 基础环境检查

在开始部署前，需要确认K8s集群状态健康：

kubectl get nodes -o wide
kubectl get sc  # 检查StorageClass

建议为监控组件单独创建namespace：

kubectl create namespace monitoring

2.2 Helm部署Zabbix Server

推荐使用社区维护的Helm Chart进行部署：

helm repo add zabbix-community https://zabbix-community.github.io/helm-zabbix
helm upgrade --install zabbix-server zabbix-community/zabbix \
  -n monitoring \
  --set zabbixWeb.service.type=NodePort \
  --set postgresql.persistence.enabled=true \
  --set postgresql.persistence.size=20Gi

关键参数说明：

• persistence.size：根据集群规模调整，生产环境建议不小于20GB
• zabbixWeb.resources：建议配置资源限制防止OOM
• serviceMonitor.enabled：为后续集成Prometheus指标采集预留开关

部署完成后验证组件状态：

kubectl -n monitoring get pods
kubectl -n monitoring get svc

3. Agent与Proxy的集群部署实践

3.1 DaemonSet方式部署Agent

使用官方Chart部署Agent守护进程：

helm repo add zabbix-chart https://cdn.zabbix.com/zabbix/integrations/kubernetes-helm/7.0/
helm upgrade --install zabbix-agent zabbix-chart/zabbix-helm-chrt \
  -n monitoring \
  --set zabbixProxy.enabled=true \
  --set zabbixAgent.enabled=true \
  --set kubeStateMetrics.enabled=true

配置要点：

• 自动发现：Agent会通过DaemonSet自动部署到所有节点
• 资源限制：建议为kube-state-metrics配置500m CPU/512Mi内存限制
• 污点容忍：通过tolerations配置确保监控覆盖master节点

3.2 Proxy的主动模式配置

生产环境推荐使用主动模式减轻Server压力：

zabbixProxy:
  env:
    - name: ZBX_PROXYMODE
      value: "1"  # 主动模式
    - name: ZBX_HOSTNAME
      value: "k8s-proxy"
    - name: ZBX_SERVER_HOST
      value: "zabbix-server-zabbix-server.monitoring.svc"

获取服务账户令牌供后续配置使用：

kubectl get secret zabbix-service-account -n monitoring -o jsonpath={.data.token} | base64 -d

4. 监控模板配置实战

4.1 节点级监控配置

1. 创建主机群组"Kubernetes Nodes"
2. 添加主机"k8s-nodes"并关联模板：
   • Kubernetes nodes by HTTP
   • Linux by Zabbix agent

关键宏配置：

{$KUBE.API.URL} = https://kubernetes.default.svc:443
{$KUBE.API.TOKEN} = [上一步获取的token]
{$KUBE.NODES.ENDPOINT.NAME} = zabbix-agent

4.2 集群状态监控

1. 创建主机"k8s-cluster"并关联模板：
   • Kubernetes cluster state by HTTP
   • Kubernetes API server by HTTP

高级配置技巧：

• 为API Server配置健康检查触发器
• 设置Scheduler的pending pods告警阈值
• 配置Controller Manager的goroutine监控

5. 高级监控场景实现

5.1 自定义Pod监控

通过LLD自动发现Pod并监控：

1. 创建自定义模板"Kubernetes Pods"
2. 添加自动发现规则，使用Kubernetes API查询Pod列表
3. 配置监控项原型，采集CPU/内存指标

示例过滤器配置：

{$KUBE.LLD.FILTER.POD.NAMESPACE.MATCHES} = "default|production"
{$KUBE.POD.FILTER.LABELS} = "app.kubernetes.io/name"

5.2 服务SLA监控

配置服务级监控：

1. 创建Service Discovery规则
2. 关联Endpoint监控项
3. 配置基于响应时间的触发器

告警升级策略示例：

• 连续2次5xx错误 → 通知值班工程师
• SLA低于99.9%持续5分钟 → 触发应急响应

6. 性能优化与故障排查

6.1 性能调优参数

在values.yaml中配置：

zabbixServer:
  env:
    - name: ZBX_HISTORYSTORAGEURL
      value: "http://zabbix-history:9200"
    - name: ZBX_HISTORYSTORAGETYPES
      value: "uint,dbl,str,log,text"

6.2 常见问题处理

Agent连接失败：

1. 检查网络策略是否放行10050端口
2. 验证节点防火墙规则
3. 查看Agent日志获取详细错误

数据采集延迟：

# 检查Proxy队列状态
kubectl exec -it zabbix-proxy-0 -n monitoring -- zabbix_proxy -R config_cache_reload

经过半年生产环境验证，这套方案成功将我们的平均故障发现时间从15分钟缩短到2分钟以内。最关键的是要定期审查自动发现规则，及时调整资源配额以适应业务增长。