HDFS学习0x01 摘要本文介绍了Hadoop体系中最重要的HDFS原理。0x02 Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引...

ServiceMesh和Serverless转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：微服务 | 我为啥不看好 ServiceMesh作者：芋道源码出处：CSDN1 前言今年，ServiceMesh(服务网格)概念在社区里头非常火，有人提出2018年是ServiceMesh年，还有人提出ServiceMesh是下一代的微服务架构基础。作为架构师，如果你现在还不

SVC域名在Kubernetes（K8s）中是一个重要的概念，用于标识Service的名称，通常是由一个或多个DNS标签组成的。总之，SVC域名是Kubernetes中用于标识Service的重要概念，它通过将服务名称和Pod IP地址关联起来，实现了服务发现和负载均衡等功能，为Kubernetes集群的运维和管理提供了便利。在Kubernetes（K8s）中，无状态服务（Stateless Se

Kafka学习0x01 摘要本文是一篇Kafka学习的综述。0x02 Kafka是什么2.1 基本概念2.2 可用性和持久性保证Kafka生产者中有一个很重要的配置项：request.required.acks不同的值决定生产者发送消息后不同的等待行为，这就影响着写入kafka的数据可靠性和持久性保证，具体来说如下：request.required.acks含义使用场...

Kafka水位(HW)与leader epoch的讨论转载声明：本文系转载自以下两篇文章：Kafka水位(high watermark)与leader epoch的讨论作者：huxihx转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。摘要本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说...

Elasticsearch-BulkProcessor-死锁分析摘要本文基于ES 6.4.3。主要分析由于在使用BulkProcessor向ES集群提交数据而集群响应异常时，导致的BulkProcessor死锁，而无法继续向BulkProcessor提交新数据，导致整个处理流程卡死的问题。关于BulkProcessor原理可参考Elasticsearch-BulkProcessor浅析关于Java

架构-大数据集群资源评估方法转载声明本文大量内容系转载自网络，有删改，并参考其他文档资料加入了一些内容：1 资源需求背景二手电商网站需要构建一个Kafka集群，目标是每天抗住10亿请求量。2 二八法则之QPS预估每天集群需要承载10亿数据请求，对于普通电商网站而言，一般0点到上午8点请求量很小。使用二八法则估计：80%的数据( 8亿)会在其余16个小时（8点-24点）涌入而且8亿的80%的数据(

技术选型-RabbitMQ 和 Kafka转载声明：本文系转载自RabbitMQ 和 Kafka 到底怎么选？公众号：菜鸟架构作者：haolujun转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。0x01 摘要开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，...

Kafka-0.8.2.1常见问题Consumer报错问题描述：WARN [console-consumer-23149_hadoop2-1476872289945-6edaec5e-leader-finder-thread], Failed to add leader for partitions [filelog_v3_json_test_1019,13],....; will ...

Kafka-Consumer指定消费者offset及消费条数摘要依赖引入代码实现更多好文摘要本文会给出一个KafkaConsumer指定消费者offset及消费条数的java demo，基于Kafka 1.1.1。依赖引入<dependency><groupId>org.apache.kafka</groupId><artifactId&g...