1.启动flume1.创建flume Agent配置文件：#指定agent的sources,sinks,channelsa1.sources = s1a1.sinks = k1a1.channels = c1#配置sources属性a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sourc...

一、安装1.从 Apache Kylin下载网站 下载一个适用于您 Hadoop 版本的二进制文件。或者点击下载2.将下载好的压缩包上传到Linux上，并解压：tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz3.改名：mv apache-kylin-2.5.1-bin-hbase1x.tar.gz kylin-2.5.14.此时，kylin就安装成功，

由于这个任务在yarn上运行的，且日志级别是warn的，导致没有过多的有用信息，只有执行程序的入参args，这个时候排查问题就需要将程序放在本地的开发工具，例如：IDEA中进行debug调试。这就更加让我确信就是这个文件内容的问题！线上有个spark的任务出了问题（该任务是通过sparkstreaming读取kafka中的数据，处理完之后推到es中），问题出在kafka中数据是有更新的，但是es中

1、Hadoop错误信息：Failed to locate the winutils binary in the hadoop binary path. Could not locate executable null\bin\winutils.exe in the Hadoop binaries2、原因：window本地无法获取hadoop的配置，报错是缺少winutils.exe程序。Hado

在kafka中创建新的topic时，输入命令：kafka-topics.sh --zookeeper node01:2181/kafka --create --replication-factor 1 --partitions 1 --topic t1如果出现：ERROR org.apache.kafka.common.errors.InvalidReplicationFactorExc...