1 基本介绍1.1 概述Hadoop的发行版本有很多，有华为发行版，Intel发行版，Cloudera发行版（CDH），MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来的，产生这些版本的原因，是由于Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布和销售。收费版本：收费版本一般都会由新的特性。国内绝大多数

问题启动Hadoop集群（HDFS集群和YARN集群），查看各个节点启动状态都已经启动成功，过了一段时间之后，发现从节点的DataManager都挂掉了，查看从节点日志，发现报错了“Caused by: java.net.NoRouteToHostException: 没有到主机的路由”错误信息如下：2019-09-02 11:13:29,796 FATAL org.apach...

1.下载JDBC驱动程序（Linux64）参考：下载链接驱动程序2.安装用于Linux的JDBC驱动程序1）下载完成后，将.zip文件的内容提取到所需的位置。2）在提取.zip文件内容的位置中，找到NQjc.jar文件。该文件包含可通过将NQjc.jar文件添加到类路径中来在Java环境中注册的驱动程序参考：安装用于Linux的JDBC驱动程序sudo cp NQjc.ja...

1.下载JDBC驱动程序（本地以Windows为例）2.本地安装完成后，查看找到NQjc.jar文件（安装路径可以自己设置）3.打开DBeaver工具，创建新的驱动（命名NS）添加文件，找到NQjc.jar文件位置，选中NQjc.jar4.新建NS连接找到刚刚新建的NS驱动填写jdbc url，账号，密码。（连接敏感信息这里不透露）点击测试连接，...

1 案例需求业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到HDFS2 需求分析根据需求，首先定义以下3大要素采集源，即Source--监控文件内容更新：exec "tail -F file"下沉目标，即Sink--HDFS文件系统：hdfs sinkSource与Sink之间的传递通道--Channel,可用FileChannel也...

问题在集群主机点启动HDFS集群和YARN集群之后，查看各个节点启动情况：主节点全部启动成功，从节点启动失败[root@master-node ~]# jps6432 Jps5427 NameNode5811 ResourceManager5531 DataNode5917 NodeManager[root@slave-node1 ~]# jps2244 Jps...

基于3台虚拟机搭建集群架构图1.服务器准备使用VMware Workstation虚拟机创建虚拟服务器来搭建集群，所用软件及版本如下：VMware Workstation 12.0CentOS-6.5-64bit2.基础虚拟机安装2.1新建虚拟机（虚拟硬件）关键步骤：2.1.12.1.2设置虚拟机的网络连接模式为NAT模...

1.使用.rpm文件进行安装，需要3个rpm文件下载地址：https://download.csdn.net/download/axq19910228/103918442.在虚拟机/usr/local目录下创建devtools目录（后续其他待安装文件可以往这里放），用来存放安装文件3.上传rpm文件至虚拟机/usr/local/devtoos目录，参考https://blog.c...

1.yum介绍yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令。2.背景虚拟机安装了Cent

问题：Linux本地上传文件都hdfs报错put: `sqoop_import.sh': No such file or directory问题原因：解决方案：