logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink state TTL(Time To Live) 如何应对飞速增长的状态?checkpoint机制原理?

在Flink的流式计算作业中,经常会遇到一些状态数不断累积,导致状态量越来越大的情形。例如,作业中定义了超长的时间窗口。对于这些情况,如果处理不好,经常导致堆内存出现 OOM,或者堆外内存(RocksDB)用量持续增长导致超出容器的配额上限,造成作业的频繁崩溃,业务不能稳定正常运行。从 Flink 1.6 版本开始,社区引入了 State TTL 特性,该特性可以允许对作业中定义的 Keyed 状

#flink#大数据
flink高性能写入关系型数据库Oracle或者MySql

相信从事大数据开发的人员,越来越多的人从事实时计算方向,flink技术就显示十分重要,说该技术重要,不仅仅是因为它的流式计算,更多的是和其他技术的整合比较强大,在开发过程中,除了写入消息中间件等场景,有的时候也需要写入传统的数据库,如Oracle或者MySql。我们习惯于连接关系型数据库的时候采用一些连接池如c3p0,在传统的业务开发或者数据量不是很大的时候,是没有问题的,但是在大数据量的情况,.

#flink
flink的异步接口调用

同步接口的调用,是在接口响应之后,才能进行下一数据的请求方法,在接口性能不佳的情况下,严重影响flink的性能,这与flink的实时思想有违背,为了避免这种情况,我们在接口调用的时候,可以采取异步的方式。不废话,直接上代码,需要原理自行官方文档。AsyncDataStream.unorderedWait(dataSource, new HttpAsyncFunction("url"), 300..

azkaban安装教程

一.azkaban solo seerver模式1.优点:(1)易于安装:无需MySQL示例。它将H2打包为主要的持久存储。(2)易于启动:Web服务器和执行程序服务器都在同一个进程中运行。(3)全功能:它包含所有Azkaban功能。可以正常使用,也可以为其安装插件。2.环境准备CentOS7系统(关闭防火墙),JDK1.8以上版本。3.安装部署(1)解压缩azkaban solo...

数据结构之图及两种遍历(深度优先和广度优先)

为什么要有图?前面我们学到了线性表和树,线性表局限于一个直接前驱和一个直接后继的关系,树也只能有一个直接前驱也就是父节点,当我们需要表示多对多的关系时,这里就用到了图1.图的基本介绍图是一种数据结构,其中节点可以具有零个或多个相邻元素,两个节点之间的连接称为边,结点也可以称为顶点,如图:2.图的常用概念(1)顶点(vertex)(2)边(edge)(3)路径:比如从D->C的...

#数据结构#图论
MBG的使用

MBG1 什么是MBG?MBG是Mybatis generator英文的缩写,是根据数据库中的表,反向生成实体类,DAO,Mapper文件的插件2 MBG的使用开发工具:IDEA项目:Maven(一) 引入项目的相关依赖(二)配置generetor.xml的相关信息(三)配置applicationContext.xml与平时开发没有任何区别(四)运行插件,按照下面的不走执行...

#java
到底了