logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark 的自定义函数

r方语法:UDF变量名 = spark.udf.register(UDF函数名, 函数的处理逻辑DSL中调用UDF使用的SQL中调用UDF使用举例数据:01周杰伦150/17502周杰130/18503周华健148/17804周星驰130/17505闫妮110/180将以上数据,通过自定义函数,变为如下数据:01周杰伦150斤/175cm。

文章图片
#kafka#分布式
DataGrip或者intellijIDEA 远程链接数据库的时候下载驱动失败 出现错误:https://download.jetbrains.com/idea/jdbc-drivers/Redis/

本人使用DataGrip版本:2023.1在链接数据库的时候出现这个错误,无法完全加载驱动,是因为这里的maven仓库下载驱动失败,这时候需要自己手动下载驱动。

文章图片
#数据库
DataGrip或者intellijIDEA 远程链接数据库的时候下载驱动失败 出现错误:https://download.jetbrains.com/idea/jdbc-drivers/Redis/

本人使用DataGrip版本:2023.1在链接数据库的时候出现这个错误,无法完全加载驱动,是因为这里的maven仓库下载驱动失败,这时候需要自己手动下载驱动。

文章图片
#数据库
开源数据同步中间件(Dbsyncer)简单玩一下 mysql to mysql 的增量,全量配置

Dbsyncer是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景,支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

文章图片
#开源#中间件#mysql +2
开源数据同步中间件(Dbsyncer)简单玩一下 mysql to mysql 的增量,全量配置

Dbsyncer是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景,支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

文章图片
#开源#中间件#mysql +2
Kafka 的一些问题,夺命15连问

kafka-中的组成员kafka四大核心生产者API允许应用程序发布记录流至一个或者多个kafka的主题(topics)。消费者API允许应用程序订阅一个或者多个主题,并处理这些主题接收到的记录流StreamsAPI允许应用程序充当流处理器(stream processor),从一个或者多个主题获取输入流,并生产一个输出流到一个或 者多个主题,能够有效的变化输入流为输出流。允许构建和运行可重用的生

文章图片
#kafka#大数据
到底了