1.java.io.IOException: No spa ce left on device原因及解决办法：磁盘空间不足2.2016-10-09 13:20:12INFO main utils.VerifiableProperties:68 - Property zookeeper.connect is overridden to2016-10-09 13:20:33INFO ma

废话少说，直接上主要代码client端package msxf.until;import com.fasterxml.jackson.core.JsonProcessingException;import com.fasterxml.jackson.databind.ObjectMapper;import msxf.until.model.People;import org.apache

背景目前在用 mac 通过虚拟机的方式安装 linux，不要问题为什么这样做，哈哈哈哈。遇到了关于 liunx 版本的问题，特地来总结一下现状Linux的发行版本可以大体分为两类，一类是商业公司维护的发行版本，一类是社区组织维护的发行版本，前者以著名的Red Hat（RHEL红帽）为代表，后者以Debian为代表细节Redhat，应该称为Redhat系列，包括（1）RHEL （Redhat Ent

CDH集成Kafka,两种方式：离线、在线1.离线先下载相应版本的kafkahttp://archive.cloudera.com/kafka/parcels/然后放置相应目录，如下图：然后直接添加组件即可2.在线配置相应的kafka地址http://archive.cloudera.com/kafka/parcels/latest/CDH会自动选择相应的

1. 背景2. 步骤3.自定义 Format4. 使用自定义 Format1.背景由于 kafka 中的 json 属于嵌套，又不想二次序列化再把它展开，故自定义 format。2.步骤1.自定义 Factory 实现 DeserializationFormatFactory2.自定义DeserializationSchema 实现 DeserializationSchema3. 自定义 Fact

1. 正文2. 总结1.正文前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>(topics, new SimpleStrin

前言使用 flink 很长一段时间了，突然发现竟然没有计算过 topN，这可是 flink 常见的计算场景了， 故自己想了一个场景来计算一下。基于 Flink 1.12场景外卖员听单的信息会发到单独一个 topic 中，计算一个每天有多少个 外卖员听单以及总共的听单次数。kafka 中消息类型{"locTime":"2020-12-28 12:32:23","courierId":12,"othe

kafka 提供了“at least once” 的语义，即消息会发送一次或者是多次。但是人们真正想要的是 “exactly once” 的语义，即重复的消息不会再被发送导致消息重复的两个常见的原因：client 发送消息到 cluster 的时候由于网络错误而重试，可能会导致消息重复。如果在消息发送之前就发生网络错误发生，则不会导致消息重复。如果在消息写入日志之后并在响应 client...

这是一篇软文：对于实时计算来说，Flink 可以说是如日中天，国内很多公司也开始慢慢转向于 Flink 的使用。而对于 Flink 来说最常见的使用场景莫过于读取 Kafka 中的数据，若对此熟练掌握，在面试中拔得头筹也不是不可能的。在本场 Chat 中，以 Flink 最新版本1.10为基础，会讲到如下内容：实战篇：Flink 消费 Kafak的基本方式，比如如何从指定 offs...

写给大忙人看的Flink 消费 Kafka 已经对 Flink 消费 kafka 进行了源码级别的讲解。可是有一点没有说的很明白那就是 offset 是怎么存储到状态中的？KafkaOffset 是如何存储在 state 中的在 写给大忙人看的Flink 消费 Kafka 的基础上继续往下说。// get the records for each topic partition// 我们知道 pa