相关背景：hbase集群大量的regionserver节点因Linux服务器上的fd数量不足导致进程主动退出，每台服务器上处于CLOSE_WAIT状态的tcp连接有10万+，排查发现是regionserver访问datanode产生的大量tcp连接；首先简单回顾一下TCP断开连接的过程，如下图所示。CLOSE_WAIT产生的原因是被动方收到FIN请求后没有调用close()；一般是由于对方主动关闭

环境：CentOS Linux release 7.2.1511 (Core)1.查看用户级别打开的最大进程数限制执行命令：ulimit -a可见max user processes(-u) 10240 #系统限制某用户下最多可以运行多少进程或线程2.修改用户级别打开的最大进程数限制默认值：root 账号下 ulimit -u 出现的max ...

A. inotify介绍：它是一个内核用于通知用户空间程序文件系统变化的机制。众所周知，Linux 桌面系统与 MAC 或Windows相比有许多不如人意的地方，为了改善这种状况，开源社区提出用户态需要内核提供一些机制，以便用户态能够及时地得知内核或底层硬件设备发生了什么，从而能够更好地管理设备，给用户提供更好的服务，如 hotplug、udev 和 inotify 就是这种需求催生的...

最近发现Hadoop Job集群的load非常高，最后发现是mapred.child.java.opts设置过大导致的，我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽，进而开始不断swap磁盘上数据，load升高 在执行一个Task的时候，首先会根据JobConf中设定的JVM参数写入一个taskjvm.sh文件中，然后调用Linux命令 bin/bash -c taskj

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。关于 Flink

基本概念：1、完全二叉树：若二叉树的深度为h，则除第h层外，其他层的结点全部达到最大值，且第h层的所有结点都集中在左子树。2、满二叉树：满二叉树是一种特殊的的完全二叉树，所有层的结点都是最大值。定义：1、堆是一颗完全二叉树；2、堆中的某个结点的值总是大于等于（最大堆）或小于等于（最小堆）其孩子结点的值。3、堆中每个结点的子树都是堆树。最大堆，最小堆类似，以下以最小堆为例进行讲解。最小堆是满足以下条

比较两个tag的区别有以下几种方式：例如两个tag分别为v1.0、 v2.01.git log v2.0 ^v1.0查看v2.0上有，而v1.0上没有的部分；2.git log v1.0..v2.0查看v2.0上比v1.0多的部分；3.git log v1.0...v2.0只查看版本之间差异；4. git log --left-right v1.0...v2....

目录1.HDFS安全介绍2.Kerberos工作原理介绍　一. HDFS安全介绍hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，使用这些组件部署的hdfs分布式文件系统时，都会面临很直接的一个安全问题，比如Java大数据开发工程师可以在java源代码中使用“System.setProperty("HADOOP_USER...

本篇文章主要从接方面介绍下hbase建构原理相关的内容；一. 什么是hbase？HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统；Goo

比较两个tag的区别有以下几种方式：例如两个tag分别为v1.0、 v2.01.git log v2.0 ^v1.0查看v2.0上有，而v1.0上没有的部分；2.git log v1.0..v2.0查看v2.0上比v1.0多的部分；3.git log v1.0...v2.0只查看版本之间差异；4. git log --left-right v1.0...v2....