logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

29.flink table api 之 time Attributes

time Attributes主要分为:processing time和eventtime这个概念相比大家并不陌生。time Attributes翻译成时间属性是不合适的,容易对初入门的人产生误导,我个人觉得翻译成时间特性比较好,也刚方便理解。时间特性是一种特殊的时间属性,并不是所有的时间属性都是时间特性。or aDataStream翻译:时间属性可以是每个表shcema的一部分。它们在从CREA

文章图片
#java#大数据#数据库
22.flink参数工具 ParameterTool

参数很重要,有时候参数被配置在配置文件中, 有时候我们可能会通过控制台传递参数,可以说参数很多地方都会用到,基于此,flink提供了一个工具可以很方便的读取参数,可以通过配置文件,也可以通过控制台,甚至我们可以把参数广播到全局,乃至于每个算子内部都可以访问到此参数。

文章图片
#java#jvm#开发语言
flink.14 DataStream模块 source底层是怎么实现的?

本页描述了Flink的数据源API及其背后的概念和架构,不涉及代码。source有三个核心的组件组成: Splits, SplitEnumerator,SourceReader.****有界source读取的时候,由SplitEnumerator生成数据分片集合,集合的分片数量是有限的。无解的source读取的时候,由SplitEnumerator生成数据分片的集合也是无限的,但是SplitEnu

#java#开发语言
flink.12 序列化

Tuples and Case Classes对java来说Tuples是flink自带的一种类,对于scala来说flink没有提供类似Tuples的类, 因为scala天生自带了一种特殊类case class.主要说说java版的Tuples,Java API 提供从Tuple1最高到Tuple25. 元组的每个字段都可以是任意 Flink 类型, 125这个数字的意思是参数的个数.Tuple

#flink
【实战-12】flink版本表

只要你的表使用了像upsert Kafka source ,debezium-json 或 canal-json 这种带操作类型(insert/update/delete)的数据格式,Flink 就会自动把这个表当成“可以查历史版本”的表,无需额外配置。

#flink#sql#数据库
30.flink table 中的数据类型映射

flinkTable中的所有数据类型都是class封装的,在这之中有一个基类: org.apache.flink.table.types.DataType,所有的类型都是该类的实现类。除此之外Flinktable还提供了一个final类型的类,该类提供了大量的静态方法可以指定访问实现了 org.apache.flink.table.types.DataType接口的真正实现类, 这个final类型

#flink#java#jvm
flink 实战例子 createRemoteEnvironment

createRemoteEnvironment(host: String, port: Int, jarFiles: String*)意思是将你本地的代码打的jar包,远程提交到已经存在的flink集群上.注意此程序再idea运行的时候,idea上不会有任何输出的.在这种模式下idea就是相当于一个传输所需jar文件的客户端,程序一旦执行之后,就和idea无关了.1.代码如下:package co

#flink
【实战-05】 flinksql look up join

look up join 能做什么?不饶关子直接说答案, look up join 就是广播。重要是事情说三遍,广播。flinksql中的look up join 就类似于flinks flinkDatastream api中的广播的概念,但是又不完全相同,对于初次访问的数据会加入缓存, 一定时间未访问到的则会从缓存中去除。而广播则是直接广播到每个exxcotor.比如我们有一张订单表orders

#flink#大数据
1. python 解析xml

注意find只能查找一个node,要想获得所有搜索结果可以用findAll(),用 ‘’/'分割搜索路径,'./ ’ 表示当前节点路径。

文章图片
#python#xml#开发语言
java fileoutputstream/fileinputstream

目录一:FileInputStream/FileOutputStream二:改进的复制功能。2.1需要注意的地方是一:FileInputStream/FileOutputStream首先一点计算机识别的都是二进制,所以来说,读取文件的第一步就是建立文件连接,然后构建字节流通道,java所有的I/O都是字节流开始的,所谓的字符流也是在字节流的基础上进行的字节流转化成字符流的...

#java
    共 15 条
  • 1
  • 2
  • 请选择