摘要 本文介绍了在Windows系统下搭建Hadoop开发环境的步骤。首先需要安装JDK 1.8，并配置环境变量，然后从测试环境获取Hadoop 3.4.1客户端安装包。由于官方不支持Windows系统，需从GitHub下载winutils工具（包括winutils.exe和hadoop.dll）。具体操作包括：修改Hadoop配置文件中的路径为Windows路径，用winutils的bin目录替

摘要： 本文针对Dinky监控Flink任务时因YARN集群重启导致状态同步失效的问题，提出自动化解决方案。当YARN集群节点故障恢复时，可能出现JobID、AttemptID或Flink JobID变更，导致Dinky无法获取任务状态。通过开发Python脚本yarn_monitor_flink_change.py，自动检测YARN和Flink任务状态差异，更新Dinky中的JobManager

摘要：本文介绍了Hadoop客户端和Flink on YARN的安装配置流程。首先通过scp命令从Hadoop集群复制安装包，解压并创建软链接，配置环境变量。然后在Hadoop配置文件中设置类路径。Flink安装方面，解压安装包并创建软链接，配置环境变量。由于Flink on YARN依赖YARN资源管理，只需安装客户端即可，支持session、per-job和application三种任务提交模

flink-shaded-hadoop-3-uber-3.1.1.7.2.8.0-224-9.0_del_javax_servlet.jar（已经删除了javax.servlet目录） =》 /data/apps/dinky-release-1.18-1.1.0-rc4/extends。在datagrip中执行以下文件：/data/dingky/sql/dinky-mysql.sql。flink原

为了降低实时开发任务的复杂度，降低实时编码的门槛，特安装flink-sql管理平台（flink-streaming-platform-web）。gitee上提供了flink1.16.2比较全的文档，其他版本需要自己根据源码做修改，自己编译打jar包。将其改为flink-streaming-platform-web_1.20.0.tar.gz。随着实时需求的提出以及公司对于实时性的要求，需要在数据组

本文介绍了Flink集群的安装配置步骤：在192.168.12.126-128三台机器上部署Flink，其中126作为master节点，其余作为worker节点。详细说明了Flink Web UI访问地址(http://192.168.12.126:8083)，并重点介绍了SQL Gateway的启动方式，需指定endpoint地址和端口参数。最后给出了通过SQL Client连接Gateway的

Dinky容器化部署问题及解决方案：1）目录访问问题需挂载配置文件目录；2）YarnClusterDescriptor获取jar路径异常，容器中路径格式为"nested:/app.jar/!BOOT-INF/lib/flink-yarn.jar"。提供两种解决方案：①在flink-conf.yaml配置yarn.flink-dist-jar绝对路径；②通过正则解析容器路径并拼接