logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink 基础知识梳理(DataSet、DataStream、map、filter、filterMap)

1.DataSet和DataStream的区别DataSet:有界数据流,数据批处理;处理完一条数据,把它放到缓存里,当缓存空间写满时,把它映射到磁盘上;在所有数据处理完之后,才将其通过网络传输到下一个节点,要求高通吐。DataStream无界数据流,数据流处理;处理完一条数据,把它序列到缓存,并将其通过网络传输到一下个节点进行处理,要求低延迟。2.map、filter、filterMap的区别m

#hadoop#hbase#java +1
flink窗口介绍

1.窗口分类滚动窗口(滚动时间窗口,滚动计数窗口)滑动窗口(滑动时间窗口,滑动计数窗口)会话窗口全局窗口2.窗口解释滚动窗口(Tumbing Window):固定时间生成一个窗口,或固定数据生成一个窗口;比如8点到9点,间隔一个小时生成一个窗口,那么8点到9点进来的数据进入这个窗口,窗口相当于一个桶,把数据存储起来;或进来10个数据生成一个窗口,放在这个窗口里。滚动窗口时间间隔固定,采取左闭右开的

#flink
kafka无法消费数据

https://blog.csdn.net/dianxiang0791/article/details/101604282

#kafka
虚拟机可以ping通主机,但是主机ping不通虚拟机解决办法

在开启虚拟机以后,发现虚拟机可以ping通主机,但是在主机的命令终端下ping虚拟机却连接超时,原因在于主机的VMware Network Adapter VMnet8网络适配器IP设置不对,与虚拟机IP没在同一个网段。在虚拟机的终端下输入ifconfig,查看虚拟机的ip、子网掩码、网关,如我的是192.168.254.128,255.255.255.0,192.168.254.2。在主...

Springboot使用RestTemplate发送Post请求postForEntity (application/json)的坑

当使用RestTemplate进行http请求时,的确很方便,但是当需要进行post请求时遇到了坑1POST传递参数 :采用 LinkedMultiValueMap ,不能使用HashMapString url = 'http://posturl';MultiValueMap<String, String> map= new LinkedMultiValueMap<String,

jenkins docker k8s自动化运维

https://www.cnblogs.com/binghe001/p/13109669.html

flink 实时查数据库引发的异常

1.flink实时从kafka接收数据,插入mysql ,引用HikariDataSource dataSource=BaseConf.baseMysqlDs();Connection connection=HikariCpPool.getConnect(dataSource);没有关闭数据库连接,插入一万条数据,创建一万条连接,造成mysql连接数过多,数据库异常...

#数据库#flink#mysql
kafka问题解决:org.apache.kafka.common.errors.TimeoutException

https://blog.csdn.net/maoyuanming0806/article/details/80553632

#kafka
几种常见的MQ总结对比

面试题为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?面试官心理分析其实面试官主要是想看看:第一,你知不知道你们系统里为什么要用消息队列这个东西?不少候选人,说自己项目里用了 Redis、MQ,但是其实他并不知道自己为什么要用这个东西。其实说白了,就是为了用而用,或者是别人设计的架构,他从头到尾都没思考

    共 13 条
  • 1
  • 2
  • 请选择