logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

各大虚拟机介绍

文章目录虚拟机的雏形SUN Classic VMExact VM现在的三大虚拟机HosSpot VMJRockit VMIBM J9国内的虚拟机TaoBao JVM未来有可能替代HotSpot的虚拟机Graal VM虚拟机的雏形SUN Classic VMJava1.0时Sun公式发布,世界上第一款商用虚拟机,JDK1.4时完全被淘汰内部只提供了解释器,运行比较慢如果使用JIT编译器需要进行外挂,

#java#jvm#编程语言 +1
mongo实时导入到clickhouse案例(包含复杂嵌套json的解析)

本案例是把Mongo数据库的数据通过FlinkCDC实时导入到Kafka,消费Kafka数据把维表数据写入到MySQL。读取MySQL维表数据和消费Kafka的数据通过Flink SQL Join后导入到ClickHouse。(三) 数据准备test01表 json数据user表 json数据使用db.test01.insertOne(json数据) 插入到mongo数据库即可github地址ht

文章图片
#大数据#flink
MySQL FlinkCDC 通过Kafka实时同步到ClickHouse(自定义Debezium格式支持增加删除修改)

把MySQL多库多表的数据通过FlinkCDC DataStream的方式实时同步到同一个Kafka的Topic中,然后下游再写Flink SQL拆分把数据写入到ClickHouse,FlinkCDC DataStream通过自定义Debezium格式的序列化器,除了增加,还能进行删除修改。关于Debezium格式的更多信息,参考Flink官网,网址如下。MySQL FlinkCDC 通过Kafk

#大数据#hadoop#spark
Hive自定义UDF,UDTF函数

(1) 自定义UDF:继承UDF,重写 evaluate 方法(2) 自定义 UDTF:继承自 GenericUDTF,重写 3 个方法:initialize(自定义输出的列名和类型),process(将结果返回 forward(result)),close打包=》上传集群路径=》在hive客户端注册为什么要自定义UDF/UDTF?因为自定义函数,可以自己埋点 Log 打印日志,出错或者数据异常,

#hive#hadoop#大数据
Flink Sql(二) Kafka连接器

如果作为TableSource,连接器会将读取到的topic中的数据(key,value),解释为对当前key的数据值的更新(UPDATE),也就是查找动态表中key对应的一行数据,将value更新为最新的值;需要特别说明的是,在KafkaTable的字段中有一个ts,它的声明中用到了METADATAFROM,这是表示一个“元数据列”(metadatacolumn),它是由Kafka连接器的元数据

#kafka#flink#sql
到底了