1 概述Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streamin..

1 案例需求业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到HDFS2 需求分析根据需求，首先定义以下3大要素采集源，即Source--监控文件内容更新：exec "tail -F file"下沉目标，即Sink--HDFS文件系统：hdfs sinkSource与Sink之间的传递通道--Channel,可用FileChannel也...

问题在集群主机点启动HDFS集群和YARN集群之后，查看各个节点启动情况：主节点全部启动成功，从节点启动失败[root@master-node ~]# jps6432 Jps5427 NameNode5811 ResourceManager5531 DataNode5917 NodeManager[root@slave-node1 ~]# jps2244 Jps...

基于3台虚拟机搭建集群架构图1.服务器准备使用VMware Workstation虚拟机创建虚拟服务器来搭建集群，所用软件及版本如下：VMware Workstation 12.0CentOS-6.5-64bit2.基础虚拟机安装2.1新建虚拟机（虚拟硬件）关键步骤：2.1.12.1.2设置虚拟机的网络连接模式为NAT模...

1.使用.rpm文件进行安装，需要3个rpm文件下载地址：https://download.csdn.net/download/axq19910228/103918442.在虚拟机/usr/local目录下创建devtools目录（后续其他待安装文件可以往这里放），用来存放安装文件3.上传rpm文件至虚拟机/usr/local/devtoos目录，参考https://blog.c...

1.yum介绍yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令。2.背景虚拟机安装了Cent

问题：Linux本地上传文件都hdfs报错put: `sqoop_import.sh': No such file or directory问题原因：解决方案：

简介Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大（约 531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和 Python）Anaconda包括Conda、Python以及一大堆安装好的工具...

1.下载 elastichd下载地址:https://github.com/360EntSecGroup-Skylar/ElasticHD/releases或是直接在linux下下载wgethttps://github.com/360EntSecGroup-Skylar/ElasticHD/releases/download/1.4/elasticHD_linux_amd64.zip2.解压]#

1.错误1Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:ERROR_STATUS, infoMessages:[*org.apache.hive.service.cli.HiveSQLException:Failed to open new s..