文章目录一.安装VMvare软件,下载centos7镜像文件,提取码: hn97二.相关设置三.启动该虚拟机四.配置静态ip一.安装VMvare软件,下载centos7镜像文件,提取码: hn97点我下载安装VM15.5.1,安装完成后打开VMware Workstation 15 Plyer,界面如下:二.相关设置1.点击创建新虚拟机,选择稍后安装操作系统,然后下一步,如下:2.客户机操作系统选

文章目录一.复制虚拟机(保证要复制的虚拟机处于关闭状态)二.原虚拟机和复制后的虚拟机之间配置免密登录三.配置elasticsearch集群1)原虚拟机配置修改2)复制后虚拟机配置修改3)测试集群一.复制虚拟机(保证要复制的虚拟机处于关闭状态)前情提要:在上次ELK环境配置基础上(链接如下),搭建ELK集群ELK环境搭配1.复制虚拟机–>选择专家模式,副本类型选择完全复制,备份选择当前虚拟电脑

文章目录一.创建一台虚拟机二.复制两台虚拟机三.启动集群四.脚本内容如下1.jdk2.hadoop和zookeeper集群划分192.168.56.120 hadoop01192.168.56.121 hadoop02192.168.56.122 hadoop03QuorumPeerMainQuorumPeerMainQuorumPeerMainJournalNodeJournalNodeJour

文章目录一.任务描述二.问题分析问题分析1：Customer表问题分析2：Transaction表问题分析3：Store表问题分析1：Review表三.连接zeppelin**使用刚才创建的模板**1.从windows上传到linux 的/tmp/data目录下2.Understand the Data3. Upload the file to HDFS4.建表查表5.数据清洗6.Customer

文章目录一.HDFS-HA 集群配置1.1 配置 HDFS-HA 集群1.2 启动 HDFS-HA 集群1.3 配置 HDFS-HA 自动故障转移二、YARN-HA 配置2.1 配置 YARN-HA 集群一.HDFS-HA 集群配置1.1 配置 HDFS-HA 集群1.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。hadoop集群搭建

文章目录一.Shell Script 介绍1.概念2.应用场景3.demo:第一个Shell脚本test.sh二.变量1.变量的定义和使用1)demo012)demo02:整数表达式运算2.预定义变量3.位置变量三.数值关系运算符1.数值关系运算符2.逻辑运算符3.字符串运算符4.文件运算符(写在文件或目录前面)四.流程控制语句if语句:1.if语句:2.if-else语句:3.if-else-i

一.SparkStreaming有哪几种方式消费kafka中的数据,他们之间的区别是什么?1.基于Receiver的方式这种方式使用Receiver来获取数据.Receiver是使用kafka的高层次Consumer API来实现的.reveiver从kafka中获取的数据都是存储在spark executor的内存中的(如果突然数据暴增,大量batch堆积,很容易出现内存溢出的问题),然后spa