一、Prometheus、Grafana介绍

Prometheus(普罗米修斯)是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社会也十分活跃，他们便将它独立成开源项目，并且有公司来运作。Google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus。现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。

Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统，不需要任何SDK或者其他的集成过程。这样做非常适合虚拟化环境比如VM或者Docker 。

Prometheus应该是为数不多的适合Docker、Mesos、Kubernetes环境的监控系统之一。

输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux 系统信息 (包括磁盘、内存、CPU、网络等等)，具体支持的源看：https://github.com/prometheus。

与其他监控系统相比，Prometheus的主要特点是：

1.一个多维数据模型(时间序列由指标名称定义和设置键/值尺寸)；2.非常高效的存储，平均一个采样数据占~3.5bytes左右，320万的时间序列，每30秒采样，保持60天，消耗磁盘大概228G；3.一种灵活的查询语言；4.不依赖分布式存储，单个服务器节点；5.时间集合通过HTTP上的PULL模型进行；6.通过中间网关支持推送时间；7.通过服务发现或静态配置发现目标；8.多种模式的图形和仪表板支持。

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：

1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；6、过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。

二、安装Prometheus

安装过程中涉及的yaml文件获取地址：

链接: https://pan.baidu.com/s/12W5DGlVZqWYtMKVxgfR6GA 提取码: 8uw8

1.在kubernetest集群中创建namespace

apiVersion: v1kind: Namespacemetadata:   name: ns-monitor  labels:    name: ns-monitor    kubectl apply -f namespace.yaml

2.安装node-exporter

在kubernetest集群中部署node-exporter，Node-exporter用于采集kubernetes集群中各个节点的物理指标，比如：Memory、CPU等。可以直接在每个物理节点是直接安装，这里我们使用DaemonSet部署到每个节点上，使用 hostNetwork: true 和 hostPID: true 使其获得Node的物理指标信息，配置tolerations使其在master节点也启动一个pod。

kubectl apply -f node-exporter.yaml

检验node-exporter是否成功运行

[root@master1 ~]# kubectl get pod -n ns-monitor NAME                          READY   STATUSgrafana-677d945674-56m5n      1/1     Runningnode-exporter-vkpt2           1/1     Runningnode-exporter-zkh9s           1/1     Runningprometheus-6c9574d5ff-292bq   1/1     Running[root@master1 ~]# kubectl get svc -n ns-monitor NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          grafana-service         NodePort   10.96.101.190            3000:32405/TCPnode-exporter-service   NodePort   10.107.147.241           9100:31672/TCPprometheus-service      NodePort   10.97.249.230            9090:30437/TCP浏览器访问： http://主机ip:31672/metrics

image.png

3.部署Prometheus pod

prometheus.yaml 中包含rbac认证、ConfigMap等。

kubectl apply -f prometheus.yaml 

检验是否正常运行

[root@master1 ~]# kubectl get pod -n ns-monitor NAME                          READY   STATUSgrafana-677d945674-56m5n      1/1     Runningnode-exporter-vkpt2           1/1     Runningnode-exporter-zkh9s           1/1     Runningprometheus-6c9574d5ff-292bq   1/1     Running[root@master1 ~]# kubectl get svc -n ns-monitor NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          grafana-service         NodePort   10.96.101.190            3000:32405/TCPnode-exporter-service   NodePort   10.107.147.241           9100:31672/TCPprometheus-service      NodePort   10.97.249.230            9090:30437/TCP浏览器访问： http://主机ip:30437/graph

image.png

4.在kubernetest中部署grafana

kubectl apply -f grafana.yaml

检验是否正常运行

[root@master1 ~]# kubectl get pod -n ns-monitor NAME                          READY   STATUSgrafana-677d945674-56m5n      1/1     Runningnode-exporter-vkpt2           1/1     Runningnode-exporter-zkh9s           1/1     Runningprometheus-6c9574d5ff-292bq   1/1     Running[root@master1 ~]# kubectl get svc -n ns-monitor NAME                    TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          grafana-service         NodePort   10.96.101.190            3000:32405/TCPnode-exporter-service   NodePort   10.107.147.241           9100:31672/TCPprometheus-service      NodePort   10.97.249.230            9090:30437/TCP浏览器访问： http://主机ip:32405/graph/login  默认用户名和密码：admin/admin

image.png

5.配置grafana数据源

把prometheus配置成数据源 ：http://prometheus-service.ns-monitor:9090(下图中的url填写这个)

image.png

image.png

image.png

6.导入Dashboard

把 kubernetes的Dashboard的模板导入进来，直接把JSON格式内容复制进来。

image.png

image.png

image.png

效果图

image.png