logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

分布式id生成系统——滴滴开源

目录简介tinyid系统架构图性能与可用性性能可用性Tinyid的特性推荐使用方式tinyid的原理Id生成系统要点Tinyid的实现原理DB号段算法描述号段生成方案的简单架构简单架构的问题优化办法如下:项目地址ID Generator id生成器 分布式id生成系统,简单易用、高性能、高可用的id生成系统简介Tinyid是用Java开发的一款分布式id生成系统,基于数据库号段算法实现,关于这个算

文章图片
#分布式#java#数据库
大数据索引分析--参考paimon

摘要: Paimon索引系统分为表级和文件级两类,具备不同级别的数据定位能力。表级索引包括Hash Index(桶级定位)和Deletion Vector(标记删除行)。文件级索引提供更细粒度的过滤能力,其中Bloom Filter通过概率判断实现文件级跳过,而Bitmap Index采用RoaringBitmap32格式,可精确到行级定位。其他索引如BSI和Range Bitmap针对数值查询优

#大数据
分布式定时任务调度框架实践及对比分析

分布式任务调度框架几乎是每个大型应用必备的工具,本文介绍了任务调度框架使用的需求背景和痛点,对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践,并分析了这几种框架的优劣势和对自身业务的思考。一、业务背景1.1 为什么需要使用定时任务调度(1)时间驱动处理场景:整点发送优惠券,每天更新收益,每天刷新标签数据和人群数据。(2)批量处理数据:按月批量统计报表数据,批量更新短信状态,实时性要求不高

文章图片
#java
java分布式事务——最终一致性,最大努力通知总结!

关于CAP,BASE理论,以及TCC,seata解决方案,可以参考我上一篇博客https://blog.csdn.net/zhangkaixuan456/article/details/1082100714.分布式事务解决方案之可靠消息最终一致性4.1.什么是可靠消息最终一致性事务可靠消息最终一致性方案是指当事务发起方执行完成本地事务后并发出一条消息,事务参与方(消息消费者)一定能够接收消息并处理

#分布式
redisson分布式锁,实战

在进入正文之前,我们先带着问题去思考:什么时候需要分布式锁?加、解锁的代码位置有讲究么?如何避免出现锁再也无法删除?超时时间设置多少合适呢?如何避免锁被其他线程释放如何实现重入锁?主从架构会带来什么安全问题?什么是RedlockRedisson 分布式锁最佳实战看门狗实现原理……什么时候用分布式锁?❝码哥,说个通俗的例子讲解下什么时候需要分布式锁呢?诊所只有.

文章图片
#分布式#java#spring boot
Flink 写入 Paimon 流程:Checkpoint 与 Commit 深度剖析

Flink 流式写入 Paimon 的机制是一个精心设计的分布式事务系统,它巧妙地结合了 Flink 的 Checkpoint 机制和 Paimon 的快照隔离,实现了高性能、高可靠的流式数据湖写入。核心特点端到端精确一次:通过两阶段提交保证高吞吐量:并行写入 + 异步提交强一致性:基于 Snapshot 的快照隔离容错能力:完善的故障恢复机制关键技术点:在 Barrier 前预提交:全局事务协调

#java#微服务#开发语言 +1
Paimon 文件索引深度解析:以 Bitmap 索引为例

Apache Paimon文件索引机制解析:本文重点分析Paimon数据湖的文件索引实现,特别是Bitmap索引的架构和应用。系统支持BloomFilter、Bitmap等多种索引类型,采用统一文件格式存储。Bitmap索引特别适合低基数列的精确匹配查询,提供V1/V2两种格式,并采用RoaringBitmap32压缩优化。文章详细介绍了索引创建流程、查询执行过程以及优化技术,包括单值优化和二级索

#大数据#hive#hadoop
Apache Paimon 写入流程

Apache Paimon 作为下一代流式数据湖存储的杰出代表,通过其创新的“湖格式 + LSM-Tree”架构,成功地解决了传统数据湖在实时更新和流批一体处理上的诸多痛点。本报告系统性地剖析了 Paimon 从顶层架构设计到底层技术实现,再到生产环境性能优化的完整技术栈,旨在为广大数据从业者提供一份全面而深入的实践指南。1.统一的流批存储:Paimon 的核心价值在于其原生支持流式和批量读写。

文章图片
#apache#java#大数据
分布式session一致性问题——5种解决方案!

目录什么是Session那么Session为什么会不一致呢?Session一致性解决方案方案一:客户端存储方案二:session复制(Tomcat自带该功能)方案三:session绑定:方案四:后端统一集中存储方案五:基于redis存储session方案(推荐)​最靠谱的分布式Session解决方案(基于令牌(Token))什么是Session​ session 是一种服务端的会话机制。(被称为域

#分布式
redisTemplate分布式锁演变,redission分布式锁实现!

分布式锁的演进基本原理我们可以同时去一个地方“占坑”,如果占到,就执行逻辑。否则就必须等待,直到释放锁。“占坑”可以去redis,可以去数据库,可以去任何大家都能访问的地方。等待可以自旋的方式。阶段一public Map<String, List<Catalog2Vo>> getCatalogJsonDbWithRedisLock() {//阶段一Boolean lock

#redis#缓存#分布式
    共 21 条
  • 1
  • 2
  • 3
  • 请选择