1. 背景介绍本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。默认情况下，Hadoop HTTP Web控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议（Firefox和Internet Exp...

1. 背景介绍本文档介绍如何配置Hadoop HTTP Web控制台以要求用户身份验证。默认情况下，Hadoop HTTP Web控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。可以将Hadoop HTTP Web控制台配置为使用HTTP SPNEGO协议（Firefox和Internet Exp...

1.  编写运行脚本$ sudo cd /etc/init.d$ sudo vi zookeeper#!/bin/bash#chkconfig:2345 20 90#description:zookeeper#processname:zookeepersu - hadoop <<!case $1 instart)sh /opt/apache/zookeep...

1. 下载spark与scalaSpark下载地址http://mirrors.hust.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgzScala下载地址http://www.scala-lang.org/files/archive/scala-2.10.4.tgz2. 解压安装$ tar ...

快捷键快捷键说明Alt+回车 导入包，自动修正Shift+Alt+R修改文件名Ctrl+N   查找类Shift+Alt+T打开类Ctrl+Shift+N 查找文件Ctrl+Alt+L  格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get，s...

CentOS-6.9-x86_64-bin-DVD1下载：http://mirrors.btte.net/centos/6.9/isos/x86_64/1、选择典型安装2、加载下载好的iso文件3、设置Linux全名，创建一个普通用户，设置登录密码（普通用户和root用户均使用此密码）4、设置虚拟机名称与虚拟机工作空间5、设置磁盘大小6、设置运行内存（建...

一、部署规划1、部署环境各部署单元的软件部署情况如下：二、环境准备1、修改主机名[root@VM1 ~]# vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=master60[root@VM2 ~]# vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=slave...

一、部署准备Hive依赖于Hadoop分布式集群，Hadoop分布式集群部署参考文章：Apache Hadoop 分布式集群部署Hive依赖于MySQL数据库，MySQL数据库部署参考文章：CentOS系统二进制安装MySQLHive软件包下载：http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.ta...

1. 概念集群的意思是多台机器，最少有2台机器，一台机器从数据源中获取数据，将数据传送到另一台机器上，然后输出。接下来就要实现Flume集群搭建。集群如下图所示。2. Flume搭建2.1 部署准备部署主机192.168.9.139host14192.168.9.128host15host14主机下载flume软件包# cd /opt/t...

1. kafka监听接口MessageListener接口：使用MessageListener接口实现时，当消费者拉取消息之后，消费完成会自动提交offset，即enable.auto.commit为true时，适合使用此接口；AcknowledgingMessageListener接口：使用AcknowledgeMessageListener时，当消费者消费一条消息之后，不会自动提交o...