直接内存又称堆外内存，也就是说这不是jvm运行时数据区的一部分，也不是java虚拟机规范中定义的内存区域，但这部分也会被频繁的使用，而且也可能导致OOM。堆外内存有什么优点呢？1 减少了垃圾回收的工作，因为垃圾回收会暂停其他的工作2 可以提高性能，避免java堆和native堆(直接内存)来回复制数据。 使用场景1.在JDK1.4之后加入了NIO，引入了一种基于通道与缓冲区的I/O

背景目前在用 mac 通过虚拟机的方式安装 linux，不要问题为什么这样做，哈哈哈哈。遇到了关于 liunx 版本的问题，特地来总结一下现状Linux的发行版本可以大体分为两类，一类是商业公司维护的发行版本，一类是社区组织维护的发行版本，前者以著名的Red Hat（RHEL红帽）为代表，后者以Debian为代表细节Redhat，应该称为Redhat系列，包括（1）RHEL （Redhat Ent

1.java.io.IOException: No spa ce left on device原因及解决办法：磁盘空间不足2.2016-10-09 13:20:12INFO main utils.VerifiableProperties:68 - Property zookeeper.connect is overridden to2016-10-09 13:20:33INFO ma

废话少说，直接上主要代码client端package msxf.until;import com.fasterxml.jackson.core.JsonProcessingException;import com.fasterxml.jackson.databind.ObjectMapper;import msxf.until.model.People;import org.apache

背景目前在用 mac 通过虚拟机的方式安装 linux，不要问题为什么这样做，哈哈哈哈。遇到了关于 liunx 版本的问题，特地来总结一下现状Linux的发行版本可以大体分为两类，一类是商业公司维护的发行版本，一类是社区组织维护的发行版本，前者以著名的Red Hat（RHEL红帽）为代表，后者以Debian为代表细节Redhat，应该称为Redhat系列，包括（1）RHEL （Redhat Ent

CDH集成Kafka,两种方式：离线、在线1.离线先下载相应版本的kafkahttp://archive.cloudera.com/kafka/parcels/然后放置相应目录，如下图：然后直接添加组件即可2.在线配置相应的kafka地址http://archive.cloudera.com/kafka/parcels/latest/CDH会自动选择相应的

1. 背景2. 步骤3.自定义 Format4. 使用自定义 Format1.背景由于 kafka 中的 json 属于嵌套，又不想二次序列化再把它展开，故自定义 format。2.步骤1.自定义 Factory 实现 DeserializationFormatFactory2.自定义DeserializationSchema 实现 DeserializationSchema3. 自定义 Fact

1. 正文2. 总结1.正文前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>(topics, new SimpleStrin

前言使用 flink 很长一段时间了，突然发现竟然没有计算过 topN，这可是 flink 常见的计算场景了， 故自己想了一个场景来计算一下。基于 Flink 1.12场景外卖员听单的信息会发到单独一个 topic 中，计算一个每天有多少个 外卖员听单以及总共的听单次数。kafka 中消息类型{"locTime":"2020-12-28 12:32:23","courierId":12,"othe

kafka 提供了“at least once” 的语义，即消息会发送一次或者是多次。但是人们真正想要的是 “exactly once” 的语义，即重复的消息不会再被发送导致消息重复的两个常见的原因：client 发送消息到 cluster 的时候由于网络错误而重试，可能会导致消息重复。如果在消息发送之前就发生网络错误发生，则不会导致消息重复。如果在消息写入日志之后并在响应 client...