一、Window 分类1、数据集类型划分Flink根据上游数据集是否为KeyedStream类型，即是否使用keyBy(...)，分为Keyed Window和Non-Keyed Window（1）KeyedWindow上游数据集如果是KeyedStream类型，即使用了keyBy(...)，则调用DataStreamAPI的window()方法，数据会根据Key在不同的Task实例中并行分别计算

1、Map [DataStream->DataStream]（1）说明调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加 1 处理，并且将数据输出到下游数据集2、FlatMap [DataStream->DataStream]

一、时间语义流式数据处理，最大的特点是数据上具有时间的属性特征，Flink 根据时间产生的位置不同，将时间分为三种时间语义Event Time：事件产生的时间，它通常由事件中的时间戳描述Ingestion Time：事件进入 Flink 的时间Processing Time：事件被处理时当前系统的时间在Flink中默认情况下使用是ProcessTime时间语义，如果用户选择使用EventTime或

图形验证码，往往常用，写下来记录一下，便于以后随时使用一、图片验证码工具类import javax.imageio.ImageIO;import java.awt.*;import java.awt.image.BufferedImage;import java.io.IOException;import java.io.OutputStream;import java.ut...

Java序列化是指把Java对象转换为字节序列的过程，Java反序列化是指把字节序列恢复为Java对象的过程主要有两种用途： 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 在网络上传送对象的字节序列。不管什么用途我们都希望占用空间小，传输效率高，读写快。方式有多中，效率不同，常见的方式有jdk的ObjectOutputStream、json类库、javax的xml、goog...

我们知道，Flink是一个默认就有状态的分析引擎，为避免Task在处理过程中挂掉了，而导致内存中的数据丢失，Flink引入了State和CheckPoint机制，其中State就是Flink的一种基于内存的状态机制，Flink提供了两种基本的状态类型。一、基本状态Keyed State与Operator State1、Keyed StateKeyed State：顾名思义就是基于KeyedStre

insert into student_sku (sku_id, sku_state, prom_id, prom_price, prom_state, start_time, end_time, create_time, update_time ) values (?, ?, ?, ?, ?, ?, ?, ?, ? ) ON DUPLICATE KEY UPDATE prom_id = ?, p

由于项目需要，用到了openresty，安装完成在启动的时候出了个错误/usr/local/openresty/nginx/sbin/nginx: error while loading shared libraries: /lib64/libgcc_s.so.1: file too short于是查看是否为链接文件ls  -l /lib64/libgcc_s*，如下所示-rwxr-...

在es中query查询如果不指定from-size值，es默认from=0，size=10，默认一次查询10条数据如下查询语句，11个唯一id查询，如果不指定from，size，只返回10条数据，而不是11条所以正确的查询是加上from=0，size=11，即指定预期的size。

Flink内存易失，利用CheckPoint机制数据持久化，偏于出现异常，应用挂掉时，做数据恢复。所谓CheckPoint（可以理解为CheckPoint是把State数据持久化存储了）则表示了一个FlinkJob在一个特定时刻的一份全局状态快照，即包含了所有Task/Operator的状态。一、CheckPoint的原理Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机