logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kafka源码学习(一)

Scala 有两类变量:val 和 var。val 等同于 Java 中的 final 变量,一旦被初始化,就不能再被重新赋值了。相反地,var 是非 final 变量,可以重复被赋值。123456789101112函数定义:1234else ydef 关键字表示这是一个函数。max 是函数名,括号中的 x 和 y 是函数输入参数,它们都是 Int 类型的值。结尾的“Int =”组合表示 max

#kafka#学习#linq
Kafka 核心机制深度解析:ISR(In-Sync Replicas)与数据一致性保

在面对 ISR 报警时,不要盲目重启或调整参数,而应透过现象看本质,从 GC、IO、网络三个维度深入排查,才能构建真正坚如磐石的。模式(去除 ZooKeeper)演进,底层的元数据管理和副本状态机变得更加高效,但 ISR 的核心逻辑依然保持不变,甚至因为元数据提交的优化而变得更加稳健。(即所有 Follower 都落后太多,被剔除了 ISR,或者全部宕机只剩一个严重落后的 Follower)时,该

#kafka#分布式
细说 Kafka Partition 分区

Kafka 支持自定义规则,一个 Producer 可以使用自己的分区指定规则。

#kafka#分布式
深入解析数据库并发控制MVCC的实现

最后事务B提交,此时事务B的结果需要与事务C的结果合并,如果数据没有冲突,即事务B没有修改事务A与事务C修改过的变量,那么事务B可以提交,否则事务B提交失败。在事务C修改该行数据时,数据库也先为该行加锁,然后把该行数据拷贝到回滚日志中,作为旧记录,发现该行记录已经有回滚日志了,那么最新的旧数据作为链表的表头,插在该行记录的回滚日志最前面。拷贝完毕后,修改该行name为“李四”,并且修改该行的事务I

#数据库#java#elasticsearch
Kafka高可用与可靠性深度解析:揭秘副本机制、源码实现

ISR,全称In-Sync Replicas,即同步副本集合,是Kafka实现高可用性和数据一致性的核心机制之一。在Kafka的分布式架构中,每个分区(Partition)会有多个副本,这些副本分布在不同Broker上,以防止单点故障。ISR指的是那些与Leader副本保持数据同步的Follower副本集合。只有ISR中的副本才有资格在Leader发生故障时参与新的Leader选举,从而确保数据不

#kafka#分布式
kafka怎么处理消息一致性

在 Kafka 里,“消息一致性”一般分三层看:生产一致性、存储一致性、消费一致性。Kafka 自身默认是“至少一次”,需要配合 幂等生产者 + 事务 + 幂等消费者/业务设计 才能做到“业务上看起来恰好一次”。

#kafka#分布式
100万的并发,如何设计一个商品搜索系统?

今天我们来看一道比较有深度的面试题:百万并发下,商品搜索系统,你如何设计呢?我们每次提到关键词搜索,大家很容易就想到但是,显然商品数据量超10亿条,搜索不能用like。可以使用Elasticsearch ,但是我们是做系统设计,肯定不能直接回答面试官,说,用Elasticsearch呀,而是按照系统设计的思想(),说一整个链路。我们在使用mysql做查询的时候,会遇到深分页的问题,比如回表十万次我

#java
Kafka 百万消息积压如何处理?

等快速消费完积压数据之后,得恢复原先部署的架构,下掉临时消费者,重新用原先的 consumer 机器来消费消息。如果不是bug,那就可能是消费者速度不给力,导致的消息积压。,可以减少每条消息的处理时间(比如减少不必要的计算),从而提高消息处理速度。这时候,消费者的代码,我们可以做一些调整,就是不再处理其他业务操作。然后我们原来消费者业务逻辑处理的代码,放在新的临时消息那里处理。机器,消费者代码优化

#kafka#分布式
TiDB 关联子查询去关联优化实战案例与原理深度解析

去关联(NO_DECORRELATE):3.2 中改写的弊端在于,在关联没有被解除时,优化器是可以使用关联列上的索引的。在TiDB中子查询默认会以 Semi Join(关联查询)中提到的 Semi Join 作为默认的执行方式,同时对于一些特殊的子查询,TiDB 会做一些逻辑上的替换使得查询可以获得更好的执行性能。TiDB 的自动关联优化在大多数情况下是有益的,但当外部查询结果集很小(本案例:25

#tidb#java#前端
构建Kafka工程和源码阅读环境、Scala语言热身

今天是我们开启Kafka源码分析的“热身课”,我给出了构建Kafka工程以及搭建Kafka源码阅读环境的具体方法。我建议你对照上面的内容完整地走一遍流程,亲身体会一下Kafka工程的构建与源码工程的导入。毕竟,这些都是后面阅读具体Kafka代码的前提条件。最后我想再强调一下,阅读任何一个大型项目的源码都不是一件容易的事情,我希望你在任何时候都不要轻言放弃。很多时候,碰到读不懂的代码你就多读几遍,也

#kafka#scala#分布式
    共 37 条
  • 1
  • 2
  • 3
  • 4
  • 请选择