本案例端口监听使用的是netcat，如果使用虚拟机模拟实现，可以先执行yum -y install nc。自定义flume的配置文件，注意文件名要以.conf结尾。# 定义agent名字 a1# 定义sources、channels、sinks都可以有多个，空格隔开a1.sources = r1a1.channels = c1a1.sinks = k1# 定义source类型a1.sources.

会话模式1.客户端通过REST接口，将作业提交给分发器。2.分发器启动JobMaster，并将Job资源提交到JobMaster。3.JobMaster向Flink的资源管理器请求资源（slots）。4.Flink的资源管理器向Yarn资源管理器请求Container容器。5.Yarn资源管理器启动新的TaskManager容器。6.TaskManager向Flink的资源管理器注册自己可用的sl

需求定义两个拦截器，一个用于过滤不合法数据，一个用于区分日志类型。ETL拦截器主要用于，过滤时间戳不合法和Json数据不完整的日志。日志类型区分拦截器主要用于，将启动日志和事件日志区分开来，方便发往Kafka的不同Topic。导入依赖<dependencies><dependency><groupId>org.apache.flume</groupId&g

对于初学文件读写的小伙伴来说，经常会遇到文件路径不知道怎么写的问题。要搞明白这个问题，就要理解绝对路径与相对路径。首先说一下什么是绝对路径，绝对路径是当前文件在计算机磁盘中存放的具体位置。比如说：我的E盘data文件夹下的test_data文件夹下有一个data.csv文件，就像下面这张图：这个文件的绝对路径就是C:\data\test_data代码实例：with open(r'E:\data\t

处理方式1.删除：如果某一行或者某一列缺失值所占比重过大，那么可以删除此行或者此列。2.插补：通过每行或者每列的平均值、中位数，对空值进行填充。通常我们使用插补法，按照每列特征的平均值或者中位数进行填充。代码实现import numpy as npfrom sklearn.impute import SimpleImputer# 老版本的sklearn需要引用如下API# import sklea

本教程是win10系统，win7系统的同学修改环境变量的方法与此类似。第一步：此电脑>右键>属性>高级系统设置第二步：点击环境变量第三步：选择系统变量中的path>编辑第四步：新建环境变量第五步：输入本地的anaconda的相关目录，注意这个目录是你自己的安装目录。下面是我的anaconda相关目录：G:\develop\anacondaG:\develop\anacond

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE