logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink-taskmanager内存计算

flink application模式下计算taskmanager内存大小划分。

#flink#大数据
记录一次flink程序类转换异常

今天更新flink程序时候报了一个异常,如下图:第一反应就是看代码是否有未判断类型的强转,找到代码对应位置确认了在强转前做了类型判断了,所以只能是怀疑val类的oracle.sql.TIMESTAMP和强转的(oracle.sql.TIMESTAMP)类不一样?接着debug时候加了jvm参数-D -verbose:class将程序中加载的所有类以及类所在的路径都打印出来,找oracle.sql.

#flink#大数据#java
hadoop distcp报错记录

1.报如下错误:Caused by: java.io.IOException: Check-sum mismatch between hdfs://xxx.xxx.xxx.xxx:8888/warehouse/dtp.db/stg_t02_lender_predict_income/003584_0 and hdfs://nebula/user/nebula/warehouse/ods/le...

#hadoop#hdfs
项目开源准备-license和notice文件

近期接到个任务,组内有个项目计划开源,让我负责生成license和notice文件,看了网上别的开源项目的,最终采用org.codehaus.mojo.license-maven-plugin和org.jasig.maven.maven-notice-plugin这两个插件,pom配置如下:<plugin><groupId>org.codehaus.mojo</gro

#maven
postman+jwt接口做各个环境接口测试

最近公司做的项目中用到了jwt做登录校验,在请求接口时候需要在header中加入X-Authorization(此处吐槽下做登录校验的同事,如果用Authorization的话postman天然支持Bearer Token),值为Bearer xxxxxx,jwt生成的token时间长了就自动过期失效了,每次改postman中头部有点浪费时间,同时如果要测试不同的环境还得改变请求的地址。基于以上两

#postman#测试
项目开源准备-license和notice文件

近期接到个任务,组内有个项目计划开源,让我负责生成license和notice文件,看了网上别的开源项目的,最终采用org.codehaus.mojo.license-maven-plugin和org.jasig.maven.maven-notice-plugin这两个插件,pom配置如下:<plugin><groupId>org.codehaus.mojo</gro

#maven
flinkcdc同步mongo数据到clickhouse

通过flink-mongo-cdc同步数据到clickhouse

#mongodb#flink#大数据
到底了