环境虚拟机：VirtualBoxon MacLinux系统：centos7目的因初始分配磁盘容量过小，现增加磁盘容量，并将容量增加到根目录/上面；步骤1、查看系统初始目录大小2、关闭虚拟机、增加磁盘容量大小方法很多，百度去吧3、启动虚拟机4、查看磁盘分区列表使用root账号执行命令：fdisk -l查看磁盘分区列表；此时可看到当前有两个分区，一个主分区sda1，一个逻辑分区sda2；5、为新增的磁

broker 维护的消息日志本身就是一个文件目录，每个文件都由一系列以相同格式写入到磁盘的消息集合组成，这种写入格式被 producer 和 consumer 共用。保持这种通用格式可以对一些很重要的操作进行优化: 持久化日志块的网络传输。 现代的unix 操作系统提供了一个高度优化的编码方式，用于将数据从 pagecache （页缓存）转移到 socket 网络连接中；在 Linux 中系统调用

knox错误总结windows browser 有时候打不开Knox UIhosts文件添加 Knox 的{{GATE_WAY}}ip的映射就可以打开界面了打开Knox admin_UI后显示不完全需要 下载特定的js，私信我即可解决Knox 配置yarn service报错2020-03-17 17:07:13,311 ERROR knox.gateway (Gateway...

下载上传至linuxlinux直接yum安装yum install tree本地下载源码包上传如果yum源没有的话，可以下载源码包http://mama.indstate.edu/users/ice/tree/选择第二个进行下载解压tar -zxvf tree-1.8.0.tgz（我下载的是1.8）编译cd tree-1.8.0make installOK，搞定tree...

健康检查策略Liveness 探测和 Readiness 探测是两种 Health Check 机制如果不特意配置，Kubernetes 将对两种探测采取相同的默认行为，即通过判断容器启动进程的返回值是否为零来判断探测是否成功。两种探测的配置方法完全一样，支持的配置参数也一样。不同之处在于探测失败后的行为：(1). Liveness 探测是重启容器；(2). Readiness 探测则是将容器设置

分区策略所谓分区策略是决定生产者将消息发送到哪个分区的算法。Kafka 为我们提供了默认的分区策略，同时它也支持你自定义分区策略。1、自定义分区策略如果要自定义分区策略，你需要显式地配置生产者端的参数partitioner.class。这个参数该怎么设定呢？方法很简单，在编写生产者程序时，你可以编写一个具体的类实现org.apache.kafka.clients.producer.Partitio

1、生产者源码之一个batch什么条件下可以发送出去上面我们介绍了Sender线程发送那个消息的大概流程，接下来我们来分析一下一个batch的数据在什么情况下会发送出去？回顾发送消息的时候，生产者需要指定的相关参数retries: 重试的次数,默认为0linger.ms : 生产者在发送批次之前等待更多消息加入批次的时间，默认为0，表示不等待retry.backoff.ms:重试的时间间隔，默认1

kafka的消费者以pull的方式拉取消息——————————————————————————————————创建消费者时，若不指定group.id,则该消费者属于默认消费组——————————————————————————————————group.id全局唯一——————————————————————————————————同一个消费组下的消费者在消费消息时是互斥的—————...

背景在0.9版本后，kafka增加了身份认证与权限控制两种安全服务身份认证身份认证顾名思义就是客户端与服务端连接时进行的身份认证。分为客户端与broker之间的连接认证broker之间的连接认证broker与zookeeper之间的连接认证目前支持SSL、SASL/kerberos、SASL/PLAIN这三种认证机制权限控制Kafka权限控制是可插拔的，它支持与外部授权服务进...

kafka如何保证不丢失数据一般我们在用到这种消息中件的时候，肯定会考虑要怎样才能保证数据不丢失，在面试中也会问到相关的问题。但凡遇到这种问题，是指3个方面的数据不丢失，即：producer consumer 端数据不丢失broker端数据不丢失下面我们分别从这三个方面来学习，kafka是如何保证数据不丢失的一.producer 生产端是如何保证数据不丢失的1.ack的配置策略acks = 0