大数据集群运维1：集群扩容均衡1.1：hdfs均衡bash /opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 偏差值例如：bash /opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 10这个命令中-threshold 参数值是 HDFS 达到平衡状态的磁盘使用率偏差值

1：安装dockerdocker安装以及使用安装成功后docker verion检查是否安装成功1：启动docker systemctl start docker2：检查docker运行状态systemctl status docker3：利用docker部署nigex2：linux部署nigexNginx相关地址源码：https://trac.nginx.org/nginx/browser官网：

cdm目录切换1：ctrl+r进去cmd2:dir：当前目录文件展示，相当于linux的ll3:目录切换磁盘名。例如：或者f:即可进入目录： cd 路径4：查看ip

Fetcher类的主要功能是发送Fetcher请求，获取指定消息集合，处理FetchResponse，更新消息位置。fetchedRecords处理已经获取的每个分区的记录，清空记录缓冲区并更新消耗位置。向分配分区的所在节点发送fetch请求，拉取数据sendFetches。此类管理broker上的的提取过程。...

flink概念介绍flink源码以及样例等：https://github.com/apache/flinkflink各个版本开发文档：https://nightlies.apache.org/flink/1：实战1：flink的StreamExecutionEnvironment这StreamExecutionEnvironment是所有 Flink 程序的基础（创建批处理请使用Execution

通过类图查看默认的Partitioner接口只有一个实现类DefaultPartitioner，也可以自己实现接口自定义每个topic都有一个固定的随机数作为开头，用于hash计算。

1：ES在linux使用curl工具查询文章目录1：ES在linux使用curl工具查询1.1curl1.2：curl的shell使用1.3：curl -X2：结合kibana使用ES2.1常用运维命令2.1.1：get _cluster/health ：查看集群状态2.1.2：GET /_nodes/stats：查看节点索引性能状态2.1.3：ES的cat 操作，查看ES的各种数据：get _.

消费者分为高级和简单两种消费者高级：消费者组形式消费，更加简单高效可以使用shell命名消费topic使用客户端消费2：源码解析主要类介绍消费数据时最终调用发起消费的请求。下面进入分析消费者和分区的消费订阅关系在处实现。............

SubscriptionState是KafkaConsumer用来追踪TopicPartition和offset的对应关系。

java程序linux部署启动停止脚本1：启动start#!/bin/shBASE="$(dirname $(readlink -f $0))"#获取当前程序部署目录APPNAME=$BASE/LIB_PATH="$BASE/lib"#获取lib目录CONF=$BASE/conf#获取conf配置文件目录APPJAR=KafkaMessToLocal.jar#打包的程序jar包名if [ ! -d