logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大脑的故事

婴⼉的神经元是相互独⽴的、未连接的。在⼈⽣的头两年, 随着⼤脑细胞接收感觉信息,它们异常迅速地连接起来。每⼀秒就有多达 200万个新连接(突触)在婴⼉的⼤脑⾥形成。两岁时,⼩孩⼦拥有超过 100万亿个突触,是成年⼈的两倍。动物 ⼤脑按预设程序接线的⽅式通常被称为“硬接线”,⽽⼈类⼤脑的接线⽅式 则叫作“现场接线”。连接的数量达到了⾼峰,远远超过⾃⾝所需。于是,新连接 数量不再⼤量增长,取⽽代之的是

文章图片
#机器学习#神经网络#人工智能
情感分析讲解

情感分析(Sentiment Analysis)又称倾向性分析,或意见挖掘,它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。利用情感分析能力,可以针对带有主观描述的自然语言文本,自动判断该文本的情感正负倾向并给出相应的结果。在评论分析与决策、电商评论分类以及舆情监控中有非常广泛的应用。

文章图片
#机器学习
类脑计算讲解

总体来说,类脑计算可分为狭义和广义两类:狭义的类脑计算是模仿大脑神经结构和工作原理而创新出来的神经形态计算(如SNN芯片设计)、SNN类脑模型、脑仿真、STDP学习方法和类脑智能应用,学术界称其为 Brain-like Computing(也称做Neuromorphic Computing)。

文章图片
#人工智能#深度学习
Kafka-服务端-日志存储

Kafka中存储的一般都是海量消息数据,为了避免日志文件太大,Log并不是直接对应于磁盘上的一个日志文件,而是对应磁盘上的一个目录,这个目录的命名规则是<topic_name>_≤partition_id>,Log与分区之间的关系是一一对应的,对应分区中的全部消息都存储在此目录下的日志文件中。在重建索引文件过程中,如果遇到了压缩消息需要进行解压,主要原因是因为索引项中保存的相对offset是第一条

文章图片
#kafka#数据库#分布式
Kafka-Sender分析

通过前面的分析我们知道,主线程通过KafkaProducer.send方法将消息放入RecordAccumulator中缓存,并没有实际的网络I/O操作。网络I/O操作是由Sender线程统一进行的。我们先来了解一下Sender线程发送消息的整个流程:首先,它根据RecordAccumulator的缓存情况,筛选出可以向哪些Node节点发送消息,即上一节介绍的RecordAccumulatorre

文章图片
#kafka#linq#分布式
Kafka-服务端-副本机制

Kafka从0.8版本开始引入副本(Replica)的机制,其目的是为了增加Kafka集群的高可用性。Kafka实现副本机制之后,每个分区可以有多个副本,并且会从其副本集合(Assigned Replica,AR)中选出一个副本作为Leader副本,所有的读写请求都由选举出的Leader副本处理。剩余的其他副本都作为Follower副本,Follower副本会从Leader副本处获取消息并更新到自

文章图片
#kafka#分布式
Kafka-服务端-PartitionStateMachine

为分区选择新的Leader副本和ISR集合,并将结果写入ZooKeeper。之后,向需要进行角色切换的副本发送LeaderAndIsrRequest,指导这些副本进行Leader/Follower的角色切换,并向所有可用的Broker发送UpdateMetadataRequest来更新其上的MetadataCache。首先将Leader副本和ISR集合的信息写入到ZooKeeper中,这里会将分区

文章图片
#kafka#debian#分布式
Kafka-消费者-Consumer Group Rebalance设计

在同一个Consumer Group中,同一个Topic的不同分区会分配给不同的消费者进行消费,那么为消费者分配分区的操作是在Kafka服务端完成的吗?分区是如何进行分配呢?下面来分析Rebalance操作的原理。

文章图片
#kafka#分布式
Kafka-核心概念

介绍完Kafka的核心概念,我们通过图进行总结,并从更高的视角审视整个Kafka集群的架构。

文章图片
#kafka#分布式
Kafka-消费者-KafkaConsumer分析-ConsumerCoordinator

heartbeat:心跳任务的辅助类,其中记录了两次发送心跳消息的间隔(interval字段)、最近发送心跳的时间(lastHeartbeatSend字段)、最后收到心跳响应的时间(lastHeartbeatReceive字段)、过期时间(timeout字段)、心跳任务重置时间(lastSessionReset字段),同时还提供了计算下次发送心跳的时间(timeToNextHeartbeat()方

文章图片
#kafka#分布式
    共 17 条
  • 1
  • 2
  • 请选择