logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kafka单条消息过大导致线上OOM,运维连夜跑路了!

消费端的fetch.message.max.bytes指定最大消息需要的内存空间,同样,分区数最大需要内存空间不能超过服务器内存。查看kafka配置,默认单条消息最大1M,当单条消息长度超过1M,就会出现发送到broker失败,从而导致消息在producer的队列一直累积,直到Pro OOM。通过性能测试,kafka在消息为10K时吞吐量达到最大,更大消息降低吞吐量,在设计集群的容量时,尤其要考虑

文章图片
#kafka#java
可视化管理软件 V.S 运维平台

运维平台则通常需要更强大的扩展性和定制性,系统会通过预设配置文件或GUI界面来自动完成系统安装、管理、监控和报警等操作。可视化管理软件通常提供了一些能力强大的Web界面,可以让管理员通过浏览器登录,完成一些日常的操作、监控和诊断。如果需要管理大量复杂的服务器,并且希望通过代码管理、系统自动化来提高效率和稳定性,那么运维平台更适合您的需求。可视化管理软件和运维平台都是用来简化服务器管理操作的工具,但

文章图片
#运维
区块链的基石:工作量证明机制,如何驱动数字货币革命?

POS会面临发token的问题,起初只有创世块上有token,意味着只有这个节点可以挖矿,所以让token分散出去才能让网络壮大,所以早期采取的是POW+POS,即第一阶段POW挖矿,第二阶段POS挖矿,后来ERC20合约token出现后,可以只存在POS的挖矿形式。相对于比特币等PoW类型的token,更加去中心化,相比PoW算法的51%算力攻击,PoS需要购买51%的token,成本更高,没有

#java
分布式服务接口请求顺序性保证

服务A发送的三个有序请求请求1、2、3,依次发到MQ,然后服务B的多个实例从MQ消费。俩请求过去了,落在不同机器上,可能插入请求因为某些原因执行慢一些,导致删除请求先执行了,此时因为没数据所以啥效果也没有;将比如某个订单id对应的请求都给分发到某机器,在那个机器上因为可能还是多线程并发执行,你得立即将某个订单id对应的请求扔一个内存队列,强制排队,确保顺序性。建议从业务逻辑上最好设计的这个系统不需

#java#redis#开发语言
ZooKeeper的适用场景

0Github1 面试题ZooKeeper的适用场景?2 考点分析现在聊的面试主题,是分布式系统,其实跟你聊完Dubbo以及相关的一些问题,确认你现在分布式服务框架,RPC框架,基本都有一些认知.下面,可能开始要跟你聊分布式相关的其他问题了.分布式锁这个东西,还是很常用的,做Java开发,分布式系统,可能会有一些场景会用到.最常用的分布式锁就是ZooKeeper来实现.这个问题...

文章图片
#分布式#面试
SpringCloudAlibaba之Sentinel(一)-Sentinel的由来

1 Sentinel是什么随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel是面向分布式服务架构的轻量级流量控制框架,主要以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度来帮助您保护服务的稳定性。2 发展历史2012年,Sentinel诞生,主要功能为入口流量控制2013-2017年,Sentinel 在阿里巴巴集团内部迅速发展,成为基础技术模块,覆盖了所有的核心

文章图片
#java#sentinel#微服务
分布式服务接口请求的顺序性如何保证?

服务A发送的三个有序请求请求1、2、3,依次发到MQ,然后服务B的多个实例从MQ消费。建议从业务设计时,不需要这种顺序性的保证,一旦引入顺序性保障,会导致系统复杂度上升,而且会带来效率低下,热点数据压力过大等问题。俩请求过去了,落在不同机器节点,可能插入请求因某些原因执行慢些,导致删除请求先执行了,此时因DB没数据,所以啥影响也没;将比如某个订单id对应的请求都给分发到某机器,在那个机器上因为可能

文章图片
#zookeeper
Dubbo入门 - 分布式系统开发技术

本文学习目标➢ 了解dubbo的用途➢ 掌握dubbo的架构➢ 掌握dubbo的使用11 背景随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。1.1 单一应用架构当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的数据访...

Dubbo注册中心

1 背景随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。1.1 单一应用架构当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的数据访问框架(ORM)是关键。1.2 垂直应用架构当访问量逐渐增大,单一应用增加机器带来的加速度越...

大厂的风控引擎架构设计

作者简介:魔都架构师,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。不同的业务场景,包含不同的事件类型(evenType),事件接入中心是整个风控引擎的数据流入口。风险规则1:检测时间差(基础规则、因子) > 3h &&用户活跃度 > 5(活跃系数)这个系统需要可靠性吗,需要扩展能力吗?具有丰富的引领团队经验,深厚业务架构和解决方案的积累。风险规则1

#java
    共 304 条
  • 1
  • 2
  • 3
  • 31
  • 请选择