原因MapReduce提交过程中，会把jar解压到/tmp目录下生成临时文件夹hadoop-unjarxxx，任务执行完成后，会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况，导致hadoop任务异常结束，没有清理掉这个任务的临时目录，临时文件就会越来越多了。可能导致/tmp磁盘空间不足或者inode索引不足导致报错，因此使用下面命令查找错误，查看使用率df -h

首先，不可否认notepad++软件在用户体验上是十分便捷的，支持的操作方式多样，连Idea等编辑器都在学习notepad的功能，但多数人并没有正确的使用；废话少说，今天我介绍一下常用的技巧一，多行数据的批量复制（如下图）基础原理介绍：如下图，在编辑器中，回车占用一个字符，空格占用一个字符操作方法介绍：多行编辑：按住Alt + 鼠标拖拽 + 编辑文字（如下图）多行复制：Ctrl + v操作流程：以

最近用beeline替代hive cli，发现之前在hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）的配置项，beeline居然不生效，如下图所示，而hive cli是生效的查看了执行机器上/etc/hive/conf/hive-site.xml文件，发现配置确实是修改了，一直以为是环境变量的原因，找了几个小时，网上也没相关解释，最后在hive-site.xml 的 H..

如果hdfs对应的hive表指定了其它格式（serialization.null.format设置），nullFormat就设置为对应的格式。是因为没有设置reader的nullFormat属性，或者没有设置正确；

将hive sql文件上传到linux，使用hive -fxxx.sql执行时报错如下：FAILED: ParseException line 1:0 character '' not supported here经过网上查询，错误原因如下：UTF-8 BOM文件开头会有U+FEFF字符，HIVE不识别，需要转换文件为UTF-8 无BOM文件UTF-8与UTF-8 BOM的区别B...

一、前言前段时间上线了Flume+Kafka+ELK日志处理系统，需要在flume收集端实现合并异常行的功能，logstash有合并异常行的功能，但不适合公司的业务场景。二、实现目前采用的flume1.7.0 tailDir source收集日志，基本思想是在读取一条event时，利用正则判断是不是异常行，如果是则合并event，不是则发送之前合并的event，并缓存当前这条event三、代码这

kafka版本：kafka_2.11-0.9.0.1kafka开启jmx分两个步骤1.启动设置JMX_PORT变量export JMX_PORT=9999;nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &2.设置jmx参数 修改bin/kafka-run-class.sh ,找到KAFKA_JMX

Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理：log.retention.hours=16超过指定大小后，删除旧的消息：log.retention.bytes=

本文基于kafka0.9.0.1亲测有效，转载请说明！方法一：快速配置删除法1.kafka启动之前，在server.properties配置delete.topic.enable=true  2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除

一、protobuf-java版本过低Exception in thread "Canal Receiver" java.lang.IllegalAccessError: tried to access field com.google.protobuf.AbstractMessage.memoizedSize from class com.alibaba.otter.canal.protoco.