1. 配置SMTP发送邮件
  2. file

    file

  3. Grafana配置SMTP账户
    vim /etc/grafana/grafana.ini
    #第522行修改smtp配置,所有修改配置前 ; 注释符号需要取消,将对应行,改为以下内容:
    [smtp]
    enabled = true                 #启用smtp
    host = smtp.qq.com:465        #qq smtp服务地址
    user = 1097****837@qq.com   #qq邮箱用户名
    # If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
    password = **********      #授权密码
    from_address = 1097****837@qq.com  #邮件From地址,和登录用户一致即可。
    #修改完邮件配置后修改domain信息,邮件内容中包含Grafana的访问地址,默认地址为localhost
    改:
    41 ;domain = localhost
    为:
    41 domain = 172.16.XXX.XXX

    file

  4. 检查邮件服务是否配置成功,添加告警频道。
    取任意名称,选择Email发送,填写收件人地址即可发送测试邮件。Include image需要手动勾选,这样发送邮件时才会附带监控图表信息。新版本中默认不勾选,因为需要安装插件。

    file


    测试成功之后点击保存。

    file

  5. 打开邮箱

    file


    可以看到测试邮件

    file

  6. 自定义监控项与告警规则
    配置图片渲染功能
    #安装grafana-image-renderer
    grafana-cli plugins install grafana-image-renderer
    #安装截图需要的依赖库,不装捕获不到图片
    yum -y install libatk-bridge* libXss* libgtk*
    #修改配置文件,防止中文乱码
    vim /etc/grafana/grafana.ini
    #修改以下内容
    rendering_language = zh

    file


    配置告警,回到仪表盘进行操作。

    file


    左上角点击panel,添加新的

    file

     

    file


    修改标题

    file


    输入
    (1- ((sum(increase(node_cpu_seconds_total{mode="idle"}[30s])) by(instance)) / (sum(increase(node_cpu_seconds_total[30s])) by(instance))))*100

    file


    添加告警

    file


    配置告警规则。
    mgr_node1-CPU使用率报警.
    默认检测时间为1m5m,修改为30s1m,30秒检测一次是否满足告警条件,如果满足则进入pending状态,1分钟后如果依旧满足条件则发送告警。
    告警条件:avg取10s平均值,平均值高于50则满足告警条件,这个里取值时间看实际情况,这里设置10s是为了更快收到邮件。
    send to 指定邮件接收者,自定义邮件内容。

    file


    保存配置,并应用。

    file

  7. 压力测试触发告警
    #安装压力测试工具
    yum install -y epel-release
    yum install -y stress
    对CPU进行压力测试。本机分配了8核心CPU,我们的监控指标配置的是超过50%告警,则需要将超过半数的CPU资源耗尽,所以-c参数大于虚拟机中CPU核心数量的一半即可。
    stress -c 7
    新建终端窗口使用top命令查看系统负载
    top
    查看状态信息,可以看到pending和发送邮件间隔了1分钟。

    file

     

    file


    查看邮箱

    file


    看到有提醒

    file


    Ctrl+C关闭压力测试工具
    等待平均负载指标下来后就会收到恢复邮件。

    file

     

    file

Logo

鸿蒙生态一站式服务平台。

更多推荐