1、直接在服务器上安装的 jenkins# 检查 Jenkins 用户所属组id jenkins# 将 Jenkins 用户添加到 docker 用户组# 重启 Jenkins 服务# 重启 Docker 服务：# 以 jenkins 用户身份执行 shell，然后执行 docker ps，可以查看 jenkins 是否有权限执行 docker psdocker ps2、通过 docker 安装的

Jenkins是一款开源 CI&CD 软件，用于自动化各种任务，包括构建、测试和部署软件。持续集成（Continuous Integration, CI）和持续交付/部署（Continuous Delivery/Deployment, CD），下面介绍两种方式部署 Jenkins。

GitLab 是一个基于 Git 的开源仓库管理系统，使用 Git 作为代码管理工具，并在此基础上搭建起来的 Web 服务。GitLab分为社区版（GitLab CE）和企业版（GitLab EE），其中社区版是免费的。

主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。1、安装jmx_exporter以及配置文件1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaage...

系统参数监控metrics load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/secbytes_out 网络发送速度，单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idl...

在我们使用hadoop集群的时候 ，由于 日志 数据不断流入写入到hdfs上，而且 算法人员 不断的清洗 数据做特征工程 又会产生 新的中间数据 ，而且量一点都不小。这个时候 hadoop 集群 就要面临着 hdfs 空间扩容 和 数据的 rebalancehdfs 的扩容 和磁盘 扩容 有关，在我上一片文章介绍了磁盘 扩容 ，集群各个节点 添加新的磁盘 volume disk，然后把这些 格..

问题hadoop webUI上查看任务运行输出日志，任务运行中可以正常查看，但当任务完成后却无法查看日志输出报错java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.原因...

一、背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的c

由于agent2监控oracle目前只支持oracle12以上，所以低于12c版本的oracle需要用Orabbix插件来监控oracle11gzabbix5.0监控oracle11g—Orabbix插件的必备条件必备条件1，zabbix-server安装好jdk，参考链接 https://bbs.huaweicloud.com/blogs/246145必备条件2，oracle端，安装好agent

一、背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的c