1.mac和windows 上安装vm虚拟机2.安装centos7操作系统3.禁用防火墙4.设置虚拟网络5.安装jdk6.配置jdk环境变量7.使用init 0命令关闭虚拟机8.对basecentos虚拟机做快照,方便出现问题时从快照进行还原.9.修改ip10.时间同步11.克隆三台虚拟机并修改ip.12.公钥和私钥13.创建普通用户14.配置hadoop15.修改权限目录16.格式化hadoop

1.主机名和IP配置我们按照【三节点大数据环境安装教程1】已经完成虚拟机的克隆，但是我们克隆出来的三台虚拟机的配置是一样的需要做简单的修改.1.1 启动三台虚拟机1.2 配置三台虚拟机主机名首先使用root用户名和root密码分别登录三台虚拟机分别在三台虚拟机上执行命令:hostnamectl set-hostname nodeXXX(虚拟机名)第一台机器上设置主机名node1第二台机器上设置主机

JVM概述1. JVM: Java Virtual Machine，也就是Java虚拟机2. 所谓虚拟机是指：通过软件模拟的具有完成硬件系统功能的、运行在一个完全隔离环境中的计算机系统3. JVM是通过软件来模拟Java字节码的指令集，是Java程序的运行环境JVM概念图JVM主要功能1.通过ClassLoader寻找和装载class文件2.解释字节码成为指令并执行，提供class文件的运行环境3

说明:1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.1.下载CentOS71.百度搜索centos–>2.点击centos官网连接–>3.点击DVD ISO–>4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/Ce

1 搭建zookeeper​hadoop做高可用时需要使用zookeeper,所以在此先安装它.1.1 配置zookeeper(1).下载zookeeper-3.4.14.tar(2).解压到/opt/bigdata/zookeeper目录下(如果目录不存在可以使用命令:mkdir -p /opt/bigdata/zookeeper 创建)(3).配置zookeeper的环境变量如下# .bash

ACL访问控制列表1 为什么要用ACLzk做为分布式架构中的重要中间件，通常会在上面以节点的方式存储一些关键信息，默认情况下，所有应用都可以读写任何节点，在复杂的应用中，这不太安全，ZK通过ACL机制来解决访问权限问题2 何为ACLACL(Access Control List)可以设置某些客户端，对zookeeper服务器上节点的权限，如增删改查等3 ACL种类ZooKeeper 采用 ACL（

ZooKeeper分布式协调框架1. 为什么要用ZooKeeperZooKeeper简单易用，能够很好的解决分布式框架在运行中，出现的各种协调问题。比如集群master主备切换、节点的上下线感知等等2. 什么是ZooKeeper?ZooKeeper是一个分布式的，开放源码的，用于分布式应用程序的协调服务（service）；是Google的Chubby的一个开源实现版3. ZooKeeper应用概览

5节点hadoop-2.7.3 HA集群搭建一、集群规划共5个节点，主机名分别是node-01、node-02、node-03、node-04、node-05初始启动集群，node-01上运行active namenode即主namenode；node-02上运行standby namenode即从namenode每个节点运行的进程如下表机器名运行进程node-01NameNode/zkfc/Zo

大数据分析利器之hive一、环境准备安装好对应版本的hadoop集群安装mysql服务二、知识要点1. Hive是什么（40分钟）1.1 hive的概念Hive：由Facebook开源，用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将Hive SQL转化成MapReduce程序1.2 Hive与数

1. GenericUDF1.1 编写Apache Hive用户自定义函数（UDF）有两个不同的接口，一个非常简单，另一个…就相对复杂点。简单API： org.apache.hadoop.hive.ql.exec.UDF复杂API： org.apache.hadoop.hive.ql.udf.generic.GenericUDF1.2 在hive 3.x中，UDF 已被声明@Depreacated