文章目录一、问题描述二、问题定位Executor异常退出的原因猜测1、OOM导致Executor异常退出2、linux OOMKiller3、因磁盘问题Executor被yarn Kill4、因内存问题Executor被yarn Kill问题总结三、解决方案四、扩展：Executor因内存问题被Yarn Kill的情况1、Overhead 区域使用超过预期值2、Executor又开启了子进程导致总

文章目录一、构建自己的centos镜像二、hadoop 伪分布式环境安装3种安装模式伪分布式环境安装1. 解压安装包2. 修改相关配置文件3. 指定HADOOP环境变量4. namenode 初始化5. 启动hdfs和yarn6. 验证程序已经正确启动三、hive环境安装编译hive安装hive1. 解压安装包2. 修改配置文件3. 初始化hive数据库4. 配置hive相关环境变量5. 验证配置

文章目录一、Hbase中的4大组件1、hbase-client2、Zookeeper3、HMaster4、HRegionServer二、Hbase 组件的HA保证1、zk的HA保证2、HMaster的HA保证3、HRegionServer的HA保证一、Hbase中的4大组件1、hbase-client客户端，用来访问hbase集群。可以和Hbase交互，也可以和HRegionServer交互...

logback是java的日志开源组件，是log4j创始人写的，性能比log4j要好，目前主要分为3个模块logback-core:核心代码模块logback-classic:log4j的一个改良版本，同时实现了slf4j的接口，这样你如果之后要切换其他日志组件也是一件很容易的事logback-access:访问模块与Servlet容器集成提供通过Http来访问日志的功能本篇博客会...

文章目录一、cut命令学习按字节进行切割按字符进行切割按指定字符进行切割二、tr 命令学习替换字符使用demo-c，-d 参数使用demo-s 参数使用demo-t 参数使用demotr中的一些转义符三、总结一、cut命令学习cut命令主要用来切割字符串，可以对输入的数据进行切割然后输出，它可以支持三种形势的切割：按字节（bytes）进行切割按字符进行切割按指定的分割符进行切割在l...

文章目录一、命令使用介绍二、系统各个维度的性能分析1、CPU相关指标1.1、 -P 或者 -u 输出CPU使用情况的统计信息1.2、 -q 输出CPU队列的相关统计信息2、磁盘相关指标(建议用iostat)2.1、 -b 输出磁盘基本信息2.2、-d 输出磁盘更详细的信息2.3、 小结3、内存相关指标(-n 参数)3.1、-r 查看内存的使用情况3.2、-B 查看内存分页的情况3.3、-W查看..

文章目录一、回顾1. 关于读书2. 技术学习3. 博客相关4. 工作相关二、新一年的展望一、回顾看了下自己3月份列的计划和目标：2018年计划和目标果然计划赶不上变化，列的几乎没达成。原因很多，下面一一分析。1. 关于读书没有完成计划，甚至一半都没完成，要自我批评。本来是计划读10本专业书的，但实际后半年好像只读了2，3本，kafka一本、spark一本、hive一本，hadoop半...

文章目录Kafka Producer请求处理机制KafkaApisReplicaManagerPartitionLogLogSegmentKafka Producer请求处理机制Kafka在处理Producer请求时，主要涉及的组件有KafkaApis、ReplicaManager、Partition、Log、LogSegment。KafkaApiskafka接收到producer请求后...

文章目录一、producer 相关命令1.kafka-console-producer 生产消息2. 使用 kafka-producer-perf-test 进行producer的基准测试3. 使用 kafka-verifiable-producer 批量推送消息4. 使用kafka-replay-log-producer进行topic之间的消息复制二、consumer相关命令1. kafka..

平常我们通过命令 kafka-server-start /usr/local/etc/kafka/server.properties 启动,kafka的启动类是Kafka.scala，最终会调用Kafka.scala类的main方法。另外，启动脚本中还会设置相关JVM参数，如log4j配置文件地址、JVM堆大小等等。下面通过源码简单分析下kafka的启动流程以及shutdown的实现。本系...