首先说明这个错误的前提，我没有自己在虚拟机上搭建，因为华为送了服务器，我就直接在它的服务器上搭建了docker，弄了三个容器装了kafka，直接使用docker-compose搭建集群映射的端口就是这样子，但是呢，在IDEA连接kafka集群的时候首先连接IP:5000，5002，5004再连接返回的host.name =kafka1,kafka2，kafka3最后继续连接a...

首先说明这个错误的前提，我没有自己在虚拟机上搭建，因为华为送了服务器，我就直接在它的服务器上搭建了docker，弄了三个容器装了kafka，直接使用docker-compose搭建集群映射的端口就是这样子，但是呢，在IDEA连接kafka集群的时候首先连接IP:5000，5002，5004再连接返回的host.name =kafka1,kafka2，kafka3最后继续连接a...

目录目录目录代码第一步，进入这个poll方法进入updateAssignmentMetadataIfNeeded方法CoordinatorBroker端：Consumer端：!coordinator.poll(timer)条件体会前不久，想写写kafka的consumer，就按照官方API写了下面这一段代码，但是总是打印不出东西。返回的reco...

State：State是指流计算过程中计算节点的中间计算结果或元数据属性，比如 在aggregation过程中要在state中记录中间聚合结果，比如 Apache Kafka 作为数据源时候，我们也要记录已经读取记录的offset，这些State数据在计算过程中会进行持久化(插入或更新)。所以Apache Flink中的State就是与时间相关的，Apache Flink任务的内部数据(计算数据.

最近做项目时使用到了Kafka，翻自己博客居然没有相关文章，这时写点文章复习复习，顺便深入理解一下基本操作。基本模型Kafka是大数据常用的消息中间件，是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。它的模型大概就是这个样子我们可以看到两个熟悉的角色Producer生产者Consumer消费者这两个是消息中间件里面常见的两个名词另外还有brok...

事务在mysql中说过事务，主要特性就是ACID，如下原子性：一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。一致性：在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则，这包...

实时热门统计操作步骤：先从Kafka读取消费数据使用map算子对数据进行预处理过滤数据，只留住pv数据使用timewindow，每隔10秒创建一个20秒的window然后将窗口自定义预聚合，并且兹定于窗口函数，按指定输入输出case操作数据上面操作时候返回的是DataStream，那么就根据timestampEnd进行keyby使用底层API操作，对每个时间窗口内的数据进行排序，...

这里flume+kafka+Flink Cluster总体架构就是这个样子。我们将多个Tomcat Server的Web服务器，或者其他的网站服务器都看你而定，没台节点上都配置了Flume Agent，用来收集本地日志目录。然后在另一台节点配置了Flume Consolidation Agent，用来收集各个Web服务器的Flume Agent的数据，然后送入Kafka Cluster。然后K..

背景前几天思考了一个问题，在很多业务场景下，需要关注流量的来源或是某个业务哪个入口的流量最大，带来的效益最多，那么就涉及到流量的归因了。比如说，我是一个bilibili up主，那么我想知道我的某个视频到底是首页推荐的流量比较多，还是用户搜索带来的比较多。我觉得得分为两种情况应用埋点质量非常差的情况下，那么在一些APP或者H5发展之初，是不会太去注重埋点的质量，当流量密码时代到来了，才发现这是一个