Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道

本文基于本地虚拟机从零开始搭建ambari集群。

MySQL 的二进制日志，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。二进制有两个最重要的使用场景:① MySQL Replication 在 Master 端开启 Binlog，Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。② 数据恢复，通过

在windows连接HDFS集群报错如下：2021-05-11 16:26:52,523 ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\

Linux系统ARM版Filebeat-7.3.2源码编译说明本文Linux系统版本是ARM，专门针对ARM版本的linux系统的Jdk进行编译1 下载对应版本的源码https://github.com/elastic/beats/releases?after=v6.8.52 解压并进入目录在官网对应的目录下，有源码编译的相关说明https://github.com/elastic/beats/b

最新版dolphinscheduler-3.1.3版本安装部署

0 背景在配置阿里作为centos的Yum源时发生报错，报错内容如下：1 原因当前无法解析域名，需要配置域名解析服务器2 解决办法1）打开/etc/resolv.conf文件2) 写入如下内容nameserver 8.8.8.8nameserver 114.114.114.114重启网络生效即可service network restart4）再次执行cutl命令，此时发现可以正常执行在这里插入图

0 概述Auditd工具可以帮助运维人员审计Linux，分析发生在系统中的发生的事情。Linux 内核有用日志记录事件的能力，包括记录系统调用和文件访问。管理员可以检查这些日志，确定是否存在安全漏洞（如多次失败的登录尝试，或者用户对系统文件不成功的访问）。1 安装Centos7默认已安装Audit使用命令serviceauditdstatus可查看该服务是否开启2 配置文件在/etc/audit路

0 ProcessFunction API我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Pr

0 现象搭建的kubernetes集群，其中Master节点为Ready状态，另外一个节点为Not Ready状态1 解决思路systemctl status kubelet.service查看当前节点hik-2的状态，发现是loaded状态错误原因：Process: 11571 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS$KUBELET