由于本篇文章是为了在Windows下的IDEA搭建Spark环境做准备，因此Scala的版本要与Spark相匹配（这里Spark我用的是2.4.4，Scala用的是2.12.10）一、首先先在Windows环境下配置JDK和Scala的环境变量，这里不再一一阐述，很简单的。二、安装IDEA（可参考我安装IDEA的文章）三、在IDEA中安装Scala插件这里分为手动安装和自动安装...

目录1.检查SSH2.进入.ssh文件3.生成公钥和私钥4.在hadoop01上配置各个节点的免密登录5.在hadoop03上配置各个节点的免密登录1.检查SSH输入如下命令，以检查每个虚拟机上是否安装了ssh和启动了ssh服务 。rpm -qa | grep ssh如图所示则表示已经安装了 。如果没有安装，输入以下命令：yum -y install openssh openssh-server

今天我们开启虚拟机小白之路的第二篇，如何在linux下搭建jdk环境。一、首先，我们需要下载一个传输工具，XShell。它的作用是在windows和linux之前传输文件。（这里还有一个软件是Xftp，建议2个都下载，2个各有各的用处，而且可以选择下载家庭版，这个版本是免费的）。下载网址：https://www.netsarang.com/需要用邮箱注册，然后会将下载连接发送到邮箱。也可以...

注意事项：1.本篇将在VMware15.5Pro下安装有图形界面的CentOS7.4系统，桌面采用了GNOME桌面，特别全，初学者安装必看文章！！2.在之前我还写过一篇无图形界面的安装虚拟机的步骤，有兴趣的可以去翻一下我之前的文章。3.我的资源下载中有word版完整的安装步骤，有需要的可以去下载。4.采坑不易，希望走过路过点个关注和赞！5.如果需要安装包，请在评论区给我留言，谢谢！安装步骤如下：1

1.点击此路径：C:\Windows\System32\drivers\etc2.找到hosts并修改因为不能直接打开hosts进行更改，所以将hosts文件复制到桌面（比较方便），然后打开hosts文件，添加内容。3.然后将写好的hosts文件复制到原先的路径下，替换原文件。4.尝试ping虚拟机的主机名，成功...

本文中，将讲解如何克隆一个虚拟机，及在克隆的过程中需要的注意事项，此篇也为了后续搭建完整的Hadoop+Spark集群做准备

本文中，将讲解如何克隆一个虚拟机，及在克隆的过程中需要的注意事项，此篇也为了后续搭建完整的Hadoop+Spark集群做准备

本文将详细阐述VMware安装、配置linux下的CentOS7及配置网络环境。如果有不懂的地方，欢迎大家私信我，这是我自己最近亲身实践摸索出来的，真的非常非常全面了！一、VMware的下载与安装1.我下载的是当前最新版的VMware15.5.1，下面是下载链接：https://www.vmware.com/products/workstation-pro/workstation-...

1.点击此路径：C:\Windows\System32\drivers\etc2.找到hosts并修改因为不能直接打开hosts进行更改，所以将hosts文件复制到桌面（比较方便），然后打开hosts文件，添加内容。3.然后将写好的hosts文件复制到原先的路径下，替换原文件。4.尝试ping虚拟机的主机名，成功...

一、程序的打包1.点击View——>Maven2.在Lifecycle -> package上右键，点击Run Maven Build3.Build Success后在target文件夹下会生成一个jar包，将之上传至服务器即可部署二、集群的测试1.启动集群2.把jar包和输入文件放在linux下某个位置3.在hdfs中上传输入文件[root@hadoop101 hadoop-2.7.