logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

SpringCloud与SpringCloudAlibaba的比较

一. SpringCloud组件的升级与替换过去两年里,由于SpringCloud Netflix原先的一些组件进入停更维护状态,因此这些组件逐渐被一些新技术所替代项目替换前替换后服务注册中心EurekaZookeeper、Consul、Nacos(推荐)配置中心ConfigNacos服务总线BusNacos负载均衡RibbonLoadBalancer服务调用FeignOpenFeign、Dubb

Kafka高可用性原理

leader epoch 代表 leader 的纪元信息,初始值为0,每当 leader 变更一次, leader epoch 的值就会加1,相当于为 leader 增设了一个版本号。数据在主从复制的过程中难免会遇到某一节点宕机的情况,如何确保在类似特殊情况下依旧保持各副本数据的一致性,是分布式系统必须要解决的问题。前面提到了,Kafka采用了主写主读的方式,副本仅仅提供了数据容错功能,为什么 K

#kafka#java#分布式
Kafka调优策略

例如:producer 吞吐量 = 20m/s;consumer 吞吐量 = 50m/s,期望吞吐量 100m/s;• ISR 里应答的最小副本数量大于等于 2(min.insync.replicas = 2)参考文献:https://zhuanlan.zhihu.com/p/371361083。• 幂等性(enable.idempotence = true) + 事务。• 区副本大于等于 2 (

#kafka#分布式#大数据
Kafka消费者的线程安全问题和多线程实现

那么就会有越来越多的消息得不到及时的消费造成延迟。因此,可以采用多线程的方式来提高消费者的整体消费能力。使用该方式实现,一般所有的消费线程都属于同一个消费者组,一个消费线程可以消费一个或多个分区中的消息,因此。KafkaConsumer 非线程安全不意味着在消费消息的时候只能以单线程的方式执行,如果。的方式来获取当前 KafkaConsumer 的使用权,如果获取不到则抛异常。此外,如果需要手动提

#kafka#java#大数据
Kafka过期时间TTL、延时队列、死信队列实现方案

这里提供一种实现方案:将消息的 TTL 的设定值以键值对的形式保存在消息的 header 字段中,在消费者端配置拦截器,消费者在消费消息时判断此条消息是否超时。解决方式,提前记录这一批消息的最大偏移量,或在过滤之后的消息集中的头部或尾部设置一个状态消息,专门用来存放这一批消息的最大偏移量。Kafka 和 RabbitMQ 不同,Kafka的消息并没有TTL这一概念,因此想要实现消息的过期功能,需要

#kafka#java#分布式
Kafka事务消息详解

如果消费者先处理消息后提交位移,那么如果在消息处理之后在位移提交之前消费者宕机了,那么重新上线后,会从上一次位移提交的位置拉取,这就导致了重复消息,对应 at least once。反过来,如果先提交位移后处理消息,就有可能会造成消息的丢失,对应 at most once。设置为 true即可(默认为false),开启后生产者就会幂等的发送消息。Kafka提供了幂等机制,只需显式地将生产者客户端参

#kafka#java#分布式
到底了