logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

拉依达准则去除异常数据

1.Concept拉依达准侧(Pau’ta Criteron)是先假设一组数据中只含有随机误差,首先按照一定准侧计算标准偏差,按照一定概率确定一定区间,认为不在这个区间的为异常值。使用数据类型:数据呈正太分布或者近似正太分布。2.举例实验该实验中使用正太分布函数确定区间,认为剩余误差超过3 σ\sigmaσ为异常值。python 代码实验:# encoding:utf-8'''@Author:no

#概率论#大数据
如何保证MQ消息有序性?

目录生产端控制消息有序消费端控制消息有序总结Reference消息的有序性指的是一个生产者生产的消息被消费时刻生产顺序一致,例如使用binlog+mq进行数据同步的时候,对于单条记录的增加、和修改和删除应该保持有序,消费消息时如果消息变成删除、修改和删除,则导致同步数据不一致。对于最简单的消息模型,一个生产者+一个消息队列+一个消费者,由于队列具有先进先出(FIFO,first in first

#rabbitmq#kafka#后端
如何保证MQ消息有序性?

目录生产端控制消息有序消费端控制消息有序总结Reference消息的有序性指的是一个生产者生产的消息被消费时刻生产顺序一致,例如使用binlog+mq进行数据同步的时候,对于单条记录的增加、和修改和删除应该保持有序,消费消息时如果消息变成删除、修改和删除,则导致同步数据不一致。对于最简单的消息模型,一个生产者+一个消息队列+一个消费者,由于队列具有先进先出(FIFO,first in first

#rabbitmq#kafka#后端
mysql优化-减少查询回表次数和回表数据量

减少数据回表常见的三种方式分别是1)查询条件使用聚集索引;2)使用索引下推;3)使用索引覆盖。

文章图片
#mysql#数据库#算法 +1
RocketMQ基本概念介绍

RocketMQ基本概念1 为什么使用MQ?MQ的优点2 如何保证高可用的?3 如何保证RocketMQ消息的可靠传输(不丢失)4 如何保证消息不重复消费(幂等性)5 如何保证RocketMQ消息的顺序性?6 有几百万消息持续积压几小时,说说怎么解决?如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?7 消息传输过程7.1 基本消息模型7.2 Worker消费模型7.3 publ

#中间件#负载均衡#分布式
如何保证MQ消息有序性?

目录生产端控制消息有序消费端控制消息有序总结Reference消息的有序性指的是一个生产者生产的消息被消费时刻生产顺序一致,例如使用binlog+mq进行数据同步的时候,对于单条记录的增加、和修改和删除应该保持有序,消费消息时如果消息变成删除、修改和删除,则导致同步数据不一致。对于最简单的消息模型,一个生产者+一个消息队列+一个消费者,由于队列具有先进先出(FIFO,first in first

#rabbitmq#kafka#后端
到底了