logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

自制Flink Parcel集成CDH(Flink1.12.0 + CDH6.3.2)

记录制作flink parcel环境(虚拟机,系统CentOS7.6)(1)jdk1.8(2)maven3.6.1(3)parcel制作工具1.jdk1.8下载jdk1.8版本并上传到虚拟机的指定目录下,我的目录是/app解压jdk到当前目录tar -zxvf /app/jdk-8u151-linux-x64.tar.gz -C .重命名mv jdk1.8.0_151/ jdk配置系统环境变量vi

#flink#scala#big data
优化tez引擎-资源限制

1. 参数set tez.am.resource.memory.mb=4096;// 与yarn.scheduler.minimum-allocate-mb YARN最小容器大小相同set tez.runtime.io.sort.mb=1638;// hive.tez.container.size的40%set hive.auto.con

#hive#hadoop#数据仓库
xxl-job简单使用踩坑

xxl-job简单使用踩坑xxl-job是一个任务调度框架,使用起来比较简单(现在觉得。。)。在官网学习时踩了几个坑, 这里做一下记录。遇到的问题一开始自己搭建xxl-job框架时, 将springboot的@SpringBootApplication标注的类写在了包外面(src下), 然后就扫不到组件了,导致程序就, 开始了吗? 已经结束了。解决方法:将标注的类移到包里。。(对...

flink源码编译

GitHub拉取flink源码,版本1.12.0省略。。。配置maven镜像以及node镜像,不然会很慢或者报无法下载,报错<mirror><id>huaweicloud</id><mirrorOf>*</mirrorOf><url>https://mirrors.huaweicloud.com/repository/mave

Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds

org.apache.kafka.common.errors.TimeoutException: org.apache.kafka.common.errors.TimeoutException: Timeout expired after 60000milliseconds while awaiting InitProducerId今天kafka集群坏了一块硬盘,导致flink疯狂重启, 找到报错

支付宝第三方登录接口调用

支付宝第三方登录接口调用这个参考的是支付宝开放平台, 跟着文档一步步做, 可以做出来, 但是有个问题, 就是对新手来说文档不太容易读懂。我是调用过一次支付宝的支付接口,所以上手比较快。这里再做个记录,也给暂时不会的人铺个路。...

到底了