将hive sql文件上传到linux，使用hive -fxxx.sql执行时报错如下：FAILED: ParseException line 1:0 character '' not supported here经过网上查询，错误原因如下：UTF-8 BOM文件开头会有U+FEFF字符，HIVE不识别，需要转换文件为UTF-8 无BOM文件UTF-8与UTF-8 BOM的区别B...

一、前言前段时间上线了Flume+Kafka+ELK日志处理系统，需要在flume收集端实现合并异常行的功能，logstash有合并异常行的功能，但不适合公司的业务场景。二、实现目前采用的flume1.7.0 tailDir source收集日志，基本思想是在读取一条event时，利用正则判断是不是异常行，如果是则合并event，不是则发送之前合并的event，并缓存当前这条event三、代码这

kafka版本：kafka_2.11-0.9.0.1kafka开启jmx分两个步骤1.启动设置JMX_PORT变量export JMX_PORT=9999;nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &2.设置jmx参数 修改bin/kafka-run-class.sh ,找到KAFKA_JMX

Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理：log.retention.hours=16超过指定大小后，删除旧的消息：log.retention.bytes=

本文基于kafka0.9.0.1亲测有效，转载请说明！方法一：快速配置删除法1.kafka启动之前，在server.properties配置delete.topic.enable=true  2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除

一、protobuf-java版本过低Exception in thread "Canal Receiver" java.lang.IllegalAccessError: tried to access field com.google.protobuf.AbstractMessage.memoizedSize from class com.alibaba.otter.canal.protoco.

window下编译spark2.1.0机器环境：WIN10JDK 1.8git version 2.7.2.windows.1一、官网下载源码二、下载git，运行git bash，切到源码目录spark编译要在 bash环境下进行，不然报错[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-

当git不允许提交大文件报错时，remote: error: File Examples/iOSDemo/Pods/dependency/libg2o.a is 440.12 MB; this exceeds GitHub's file size limit of 100.00 MB或者remote: fatal: pack exceeds maximum allowed size我们需要回退co