Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中，Flink 流批一体逐渐成熟，Flink 1.15 版本中流批一体更加完善，后面我们也将继续推动这一方向的进展。目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而 Flink SQL则是这种低代码方式数据分析的典型代表。越来

Flink DataStream[Row] 在创建表的时候会报错，需要我们提前指定类型，可以这么写val types = Array[TypeInformation[_]](Types.STRING,Types.STRING,Types.STRING)val names =Array("ts_pf_yldrate_yldrate","ts_pf_bhmk_info_yldrate","ts_pf_

大家好，我是一行之前一行分享过Python好用的几种编辑器IDLE，测试Python有没有下载成功jupyter notebook & spyder， 用来做数据分析pycharm，python开发的大杀器vscode，txt等等，小众猿群使用那在用pycharm这个python开发大杀器的同时，一行也来分享几个它很好用的插件，来给你的搬砖提提速1staticsstaitcs可以作为KPI

一、如何理解group by后带rollup子句所产生的效果group by后带rollup子句的功能可以理解为：先按一定的规则产生多种分组，然后按各种分组统计数据（至于统计出的数据是求和还是最大值还是平均值等这就取决于SELECT后的聚合函数）。因此要搞懂group by后带rollup子句的用法主要是搞懂它是如何按一定的规则产生多种分组的。另group by后带rollup子句所返回的结果集，

什么是StreamStream 中文称为 “流”，通过将集合转换为这么一种叫做 “流” 的元素序列（注意是抽象概念），通过声明性方式，能够对集合中的每个元素进行一系列并行或串行的流水线操作。通俗来说就是你只用告诉“流”你需要什么，便在出口处等待结果接口。上图为Steam操作的基本流程，在后面的学习过程中可反复与具体的代码进行对照，加深学习印象。Stream相关概念Str...

voliate的两个特性：cacheline、伪共享。他为了保证唯一其实损耗了性能，为此做具体说明Java虚拟机规范试图定义一种Java内存模型（JMM）,来屏蔽掉各种硬件和操作系统的内存访问差异，让Java程序在各种平台上都能达到一致的内存访问效果。简单来说，由于CPU执行指令的速度是很快的，但是内存访问的速度就慢了很多，相差的不是一个数量级，所以搞处理器的那群大佬们又在CPU里加了好几层高速缓

Firewalld 是可用于许多 Linux 发行版的防火墙管理解决方案，它充当 Linux 内核提供的 iptables 数据包过滤系统的前端。在本教程中，介绍如何为服务器设置防火墙，并使用 firewall-cmd 管理工具来管理防火墙添加 IP 白名单。Firewalld 中的基本概念区域(zone)区域(zone)基本上是一组规则，它们决定了允许哪些流量，具体取决于你对计算机所连接的网络的

当有些文件上传到服务器调试的时候，为了方便修改jar包里的东西可以直接在服务器上进行修改，不需要每次都打包上传。（1）使用jar tvf jar名称 | grep 目标文件名 查询出目标文件在jar包中的目录jar tvf service-0.0.1-SNAPSHOT.jar |grep config.properties（2）使用jar xvf jar名称 目标文件名(copy上面查出的全路径)

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。本文将以Flink1.12为例，一一介绍这些特性的基本使用方式，主要包括以下内容：Flink集成HiveHive Catalog与Hive DialectFlink读写HiveFlink upsert-kafka连接器Flink CDC的

概述最近项目中用到flink进行实时计算，流程为从kafka读取数据，如果是维度数据，则插入到hbase中，如果是需要实时计算的数据，则进行实时计算，并将计算结果保存到MySQL中。在实时计算过程中，可能会用到hbase中的维度数据，为了开发的效率，使用flink-sql的方式实现。flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的