Prometheus监控k8s集群使用邮箱和微信告警!
Prometheus生态系统包含多个组件,大多数Prometheus组件都是用 Go编写的,因此易于构建和部署为静态。Prometheus直接或通过中介推送网关从已检测作业中删除指标,以用于短期作业。它在所有报废的样本,并对这些数据运行规则,以汇总和记录现有数据中的新时间序列,或生成警报。这里使用hostPath来创建pv真正的原因是因为使用的hoatPath,pvc请求的权限不够,,这是我通过r
01、特征
普罗米修斯的主要特点是:
- 一个多维数据模型,其中包含通过度量标准名称和键/值对标识的时间序列数据
- PromQL,一种灵活的查询语言 ,可利用此维度
- 不依赖分布式存储;单服务器节点是自治的
- 时间序列收集通过HTTP上的拉模型进行
- 通过中间网关支持推送时间序列
- 通过服务发现或静态配置发现目标
- 多种图形和仪表板支持模式
02、组件
Prometheus生态系统包含多个组件,其中许多是可选的:
- Prometheus主服务器,它会刮取并存储时间序列数据
- 客户端库,用于检测应用程序代码
- 一个支持短期工作的 推送网关
- 诸如HAProxy,StatsD,Graphite等服务的专用 出口商
- 一个 alertmanager处理警报
- 各种支持工具
大多数Prometheus组件都是用 Go编写的,因此易于构建和部署为静态二进制文件。
03、架构
下图说明了Prometheus的体系结构及其某些生态系统组件:
Prometheus直接或通过中介推送网关从已检测作业中删除指标,以用于短期作业。它在本地存储所有报废的样本,并对这些数据运行规则,以汇总和记录现有数据中的新时间序列,或生成警报。 Grafana或其他API使用者可以用来可视化收集的数据。
04、安装
前提需要有helm环境:
安装成功,查看pod状态会发现有两个处于pending状态,是因为需要请求pv
这里使用hostPath来创建pv
查看pod状态会发现有个pod会报错,并查看日志是报错是容器名不同
真正的原因是因为使用的hoatPath,pvc请求的权限不够,到worker节点给对应的hostpath加777的权限即可,这是我通过rancher查看到的报错
05、访问web界面
这里还需要修改Prometheus-server的Port类型为NodePort。
06、安装grafana
由于grafana没有使用持久存储,根据需求修改为hostpath持久存储,需要注意的是,宿主机目录也需要777的权限
还需要需改grafana的svc类型为NodePort
访问web界面,用户admin,密码:admin123
07、导入Prometheus
填入Prometheus的地址
则表示验证通过
导入grafana的模板
这里选择Prometheus
即可看到灰常华丽的仪表盘了
这里提供几个模板的编号:
08、配置alertmanager告警
1、关联alertmanager和prometheus
添加alertmanager的服务名称
添加告警规则
rules.yml:|
groups:
- name: Host
rules:
- alert: HostMemory Usage
expr: sum(kube_pod_container_resource_requests_memory_bytes) / sum(kube_node_status_allocatable_memory_bytes) * 100 > 80
for: 1m
labels:
name: Memory
team: wechat
severity: Warning
annotations:
summary: " {{ $labels.appname }} "
description: "宿主机内存使用率超过80%."
value: "{{ $value }}"
- alert: HostCPU Usage
expr: sum(kube_pod_container_resource_requests_cpu_cores) / sum(kube_node_status_allocatable_cpu_cores) * 100 > 60
for: 1m
labels:
name: CPU
team: wechat
severity: Warning
annotations:
summary: " {{ $labels.appname }} "
description: "宿主机CPU使用率超过60%."
value: "{{ $value }}"
- alert: HostFilesystem Usage
expr: (sum(node_filesystem_size_bytes{device!="rootfs"}) - sum(node_filesystem_free_bytes{device!="rootfs"})) / sum(node_filesystem_size_bytes{device!="rootfs"}) > 0.8
for: 1m
labels:
name: Disk
team: wechat
severity: Warning
annotations:
summary: " {{ $labels.appname }} "
description: " 宿主机 [ {{ $labels.mountpoint }} ]分区使用超过80%."
value: "{{ $value }}%"
保存后重新启动Prometheus服务。
2、配置企业微信告警
编写告警模板
修改prometheus-alertmanager的yaml文件,将微信配置挂载进来
登录企业微信,创建机器人
获取api_secret和agent_id
点击我的企业、企业信息,获取corp_id
需要报警的组,获取to_party
修改prometheus-alertmanager的configmap文件
重启alertmanager服务即可,如果需要测试,在告警规则降低阈值即可。
3、配置邮件告警
修改alertmanager的configmap文件
最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!
更多推荐
所有评论(0)