在Flink的流式计算作业中，经常会遇到一些状态数不断累积，导致状态量越来越大的情形。例如，作业中定义了超长的时间窗口。对于这些情况，如果处理不好，经常导致堆内存出现 OOM，或者堆外内存（RocksDB）用量持续增长导致超出容器的配额上限，造成作业的频繁崩溃，业务不能稳定正常运行。从 Flink 1.6 版本开始，社区引入了 State TTL 特性，该特性可以允许对作业中定义的 Keyed 状

博主之前在flink集成连接池的使用，一直存在一个误区，就是为了减少程序对资源的创建，所有加载资源或者获取连接都放在了flink的open方法中，虽然这样可以减少资源的使用，也可以满足大多数场景，但是如：mysql的connection长时间不用，该connection 会被mysql数据库本身给回收。先简单介绍一下Druid：DRUID是阿里巴巴开源平台上一个数据库连接池实现，它结合了C3P0、

博主最近在做数据迁移的工作，但是在迁移的过程中遇到了一个问题，数据总是无缘无故的丢失，而且我的日志也没有报任何的错误异常信息，后经过排查，flink在消费kafka的时候我是通过事件时间处理数据的，有水位线的概念，由于kafka中的数据有大量的乱序现象，而且乱序的时间也比较严重，虽然写入数据的工作不是博主做的，但是抱着求知的心态，还是差了一下是什么原因会导致kafka中的数据出现乱序。kafka简

1、引言Flink Kafka的使用者需要知道如何将Kafka中的二进制数据转换为Java / Scala对象，大多数的程序员都会使用new SimpleStringSchema()来反序列化Kafka中的数据，然后使用alibaba提供的fastJson来解析数据，虽然这样可以实现业务的需求，但是存在很多不确定的因素。比如由于业务的原因，接受的json数据字段不稳定，有的数据多一个字段，有的业.

一、Apache Hbase基本概述Apache Hbase是一个基于Hadoop的数据库，它可靠、数据多版本、分布式适合结构化大数据的存储，Apache Hbase是Google BigTable开源实现，基于列储存的菲关系型数据库。（1）列储存和行储存的区别列储存和行储存是指数据子存储介质中的额储存方式**·**关系型数据库（行储存）：Oracle、mysql等**·**非关系型数据库（列储存

MBG1 什么是MBG?MBG是Mybatis generator英文的缩写,是根据数据库中的表,反向生成实体类,DAO,Mapper文件的插件2 MBG的使用开发工具:IDEA项目:Maven(一) 引入项目的相关依赖(二)配置generetor.xml的相关信息(三)配置applicationContext.xml与平时开发没有任何区别(四)运行插件,按照下面的不走执行...

Apache Flink 1.10对任务管理器的内存模型和Flink应用程序的配置选项进行了重大更改。这些最近引入的更改使Flink更适合于各种部署环境（例如Kubernetes，Yarn，Mesos），从而对其内存消耗进行了严格控制。本文将介绍Flink 1.10中的Flink内存模型，如何设置和管理Flink应用程序的内存消耗。1、Flink内存模型简介对Apache Flink的内存模型有清

1、前言博主之前分享过一篇文章，是flink高性能写入关系型数据库，那篇文章的效果虽然可以实现写入数据的高性能，但是牺牲了程序的健壮性，比如遇到不可控因素：数据库重启，连接失效，连接超时等，这样线上运行的程序可能就会出现问题，并且这样的问题可能只会日志打印error，并不会导致程序的挂掉，所以如果出现这样的问题，很难被发现。接下来，博主分享一波源代码，实现流式处理批量写入关系型数据库。整个程序的流