1 案例需求业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到HDFS2 需求分析根据需求，首先定义以下3大要素采集源，即Source--监控文件内容更新：exec "tail -F file"下沉目标，即Sink--HDFS文件系统：hdfs sinkSource与Sink之间的传递通道--Channel,可用FileChannel也...

问题在集群主机点启动HDFS集群和YARN集群之后，查看各个节点启动情况：主节点全部启动成功，从节点启动失败[root@master-node ~]# jps6432 Jps5427 NameNode5811 ResourceManager5531 DataNode5917 NodeManager[root@slave-node1 ~]# jps2244 Jps...

基于3台虚拟机搭建集群架构图1.服务器准备使用VMware Workstation虚拟机创建虚拟服务器来搭建集群，所用软件及版本如下：VMware Workstation 12.0CentOS-6.5-64bit2.基础虚拟机安装2.1新建虚拟机（虚拟硬件）关键步骤：2.1.12.1.2设置虚拟机的网络连接模式为NAT模...

1.使用.rpm文件进行安装，需要3个rpm文件下载地址：https://download.csdn.net/download/axq19910228/103918442.在虚拟机/usr/local目录下创建devtools目录（后续其他待安装文件可以往这里放），用来存放安装文件3.上传rpm文件至虚拟机/usr/local/devtoos目录，参考https://blog.c...

问题：Linux本地上传文件都hdfs报错put: `sqoop_import.sh': No such file or directory问题原因：解决方案：

简介Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和 Python）Anaconda包括Conda、Python以及一大堆安装好的工具...

1.下载 elastichd下载地址:https://github.com/360EntSecGroup-Skylar/ElasticHD/releases或是直接在linux下下载wgethttps://github.com/360EntSecGroup-Skylar/ElasticHD/releases/download/1.4/elasticHD_linux_amd64.zip2.解压]#

1 安装地址1.1 Hive官网地址http://hive.apache.org/1.2 文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted1.3 下载地址http://archive.apache.org/dist/hive/1.4 github地址https://github...