vmagent 用于采集监控数据并发送给 VictoriaMetrics 进行存储，对于腾讯云容器服务上的容器监控数据采集，需要用自定义的。配置，准备自定义采集规则配置文件。创建vmauth.yaml。创建vmuser.yaml。

1、直接在服务器上安装的 jenkins# 检查 Jenkins 用户所属组id jenkins# 将 Jenkins 用户添加到 docker 用户组# 重启 Jenkins 服务# 重启 Docker 服务：# 以 jenkins 用户身份执行 shell，然后执行 docker ps，可以查看 jenkins 是否有权限执行 docker psdocker ps2、通过 docker 安装的

之前我们学习过用eval内置方法可以将一个字符串转成python对象，不过，eval方法是有局限性的，对于普通的数据类型，json.loads和eval都能用，但遇到特殊类型的时候，eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式，并返回表达式的值。其中计算机认识的时间只能是'时间戳'格式，而程序员可处理的或者说人类能看懂的时间有: '格式化的时间字符串'，'结构化的时间'

1、直接在服务器上安装的 jenkins# 检查 Jenkins 用户所属组id jenkins# 将 Jenkins 用户添加到 docker 用户组# 重启 Jenkins 服务# 重启 Docker 服务：# 以 jenkins 用户身份执行 shell，然后执行 docker ps，可以查看 jenkins 是否有权限执行 docker psdocker ps2、通过 docker 安装的

Jenkins是一款开源 CI&CD 软件，用于自动化各种任务，包括构建、测试和部署软件。持续集成（Continuous Integration, CI）和持续交付/部署（Continuous Delivery/Deployment, CD），下面介绍两种方式部署 Jenkins。

GitLab 是一个基于 Git 的开源仓库管理系统，使用 Git 作为代码管理工具，并在此基础上搭建起来的 Web 服务。GitLab分为社区版（GitLab CE）和企业版（GitLab EE），其中社区版是免费的。

主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。1、安装jmx_exporter以及配置文件1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaage...

系统参数监控metrics load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/secbytes_out 网络发送速度，单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idl...

在我们使用hadoop集群的时候 ，由于 日志 数据不断流入写入到hdfs上，而且 算法人员 不断的清洗 数据做特征工程 又会产生 新的中间数据 ，而且量一点都不小。这个时候 hadoop 集群 就要面临着 hdfs 空间扩容 和 数据的 rebalancehdfs 的扩容 和磁盘 扩容 有关，在我上一片文章介绍了磁盘 扩容 ，集群各个节点 添加新的磁盘 volume disk，然后把这些 格..

问题hadoop webUI上查看任务运行输出日志，任务运行中可以正常查看，但当任务完成后却无法查看日志输出报错java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.原因...