logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink Caused by:org.apache.flink.streaming.connectors.kafka.internal.Handover$ClosedException

Flink程序从kafka中读取数据进行计算,FLink程序一启动就报以下错误,看到错误很懵逼。加班到9点没解决,第二天提前来半小时,把如下错误信息又看了一遍。具体错误如下:错误信息1.20/12/17 09:31:07 WARN NetworkClient: [Consumer clientId=consumer-14, groupId=qa_topic_flink_group] Error c

#flink
Postgresql中常用的时间戳与日期的相互转换

时间戳转日期、日期时间1.不带时区的时间格式。我开发中经常用的select to_char(to_timestamp(1628088734), 'yyyy-mm-dd hh24:mi:ss')如果想带毫秒:格式化为:'yyyy-mm-dd hh24:mi:ss.us2.带时区的select to_timestamp(1628088734)3.直接转成日期不带时间select to_timestam

#数据仓库#数据库开发#etl工程师
Flink中内存的分配

我们通过Flink的执行UI界面可以看到两个参数 :JVM Heap Size 和Flink Managed Memory两个内存,那我们来看一下是如何算的。JVM Heap Size:也是实际我们Task Manager实际可用的内存。那我们先算出TM可以用的总内存,包括堆内和堆外内存以我们本次测试程序为例:TM总内存:total-taskManager-memory=1536- max[600

#flink#jvm
currentServerAddr:http://localhost:8848, err : Connection refused (Connection refused)

当我们把系统代码部署到服务器上的时候会出现的问题,当我们在本地开发的时候是不会出现问题的。因为我们本地开发的时候基本上nacos地址就是localhost出现问题的日志如下:nohup: ignoring input2022-02-24 14:50:25.598INFO 13070 --- [main] c.a.b.n.c.u.NacosConfigPropertiesUtils: nacosCo

#http#java#spring cloud
PostgreSQL 创建分区表

PG 假如我们想像Hive那也创建动态分区是不能实现的。那么需要我们手动通过脚本来创建分区表,创建分区表必须要创建主表和分区表。主表:定义我们的一些约束,以及分区键,实质上不存储数据分区表:主要是用来存储数据的。所有列及约束都跟随主表注意:如果我们指定分区表不存在会报错,因此一定要提前创建好分区表,并且要数据不能有遗漏的分区键。列分区表就是我们指定数据库中字段的一列作为分区字段。1.如下创建分区表

#数据库开发#数据仓库#etl工程师 +1
到底了