简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
由于本篇文章是为了在Windows下的IDEA搭建Spark环境做准备,因此Scala的版本要与Spark相匹配(这里Spark我用的是2.4.4,Scala用的是2.12.10)一、首先先在Windows环境下配置JDK和Scala的环境变量,这里不再一一阐述,很简单的。二、安装IDEA(可参考我安装IDEA的文章)三、在IDEA中安装Scala插件这里分为手动安装和自动安装...
目录1.检查SSH2.进入.ssh文件3.生成公钥和私钥4.在hadoop01上配置各个节点的免密登录5.在hadoop03上配置各个节点的免密登录1.检查SSH输入如下命令,以检查每个虚拟机上是否安装了ssh和启动了ssh服务 。rpm -qa | grep ssh如图所示则表示已经安装了 。如果没有安装,输入以下命令:yum -y install openssh openssh-server
今天我们开启虚拟机小白之路的第二篇,如何在linux下搭建jdk环境。一、首先,我们需要下载一个传输工具,XShell。它的作用是在windows和linux之前传输文件。(这里还有一个软件是Xftp,建议2个都下载,2个各有各的用处,而且可以选择下载家庭版,这个版本是免费的)。下载网址:https://www.netsarang.com/需要用邮箱注册,然后会将下载连接发送到邮箱。也可以...
注意事项:1.本篇将在VMware15.5Pro下安装有图形界面的CentOS7.4系统,桌面采用了GNOME桌面,特别全,初学者安装必看文章!!2.在之前我还写过一篇无图形界面的安装虚拟机的步骤,有兴趣的可以去翻一下我之前的文章。3.我的资源下载中有word版完整的安装步骤,有需要的可以去下载。4.采坑不易,希望走过路过点个关注和赞!5.如果需要安装包,请在评论区给我留言,谢谢!安装步骤如下:1
1.点击此路径:C:\Windows\System32\drivers\etc2.找到hosts并修改因为不能直接打开hosts进行更改,所以将hosts文件复制到桌面(比较方便),然后打开hosts文件,添加内容。3.然后将写好的hosts文件复制到原先的路径下,替换原文件。4.尝试ping虚拟机的主机名,成功...
本文中,将讲解如何克隆一个虚拟机,及在克隆的过程中需要的注意事项,此篇也为了后续搭建完整的Hadoop+Spark集群做准备
本文中,将讲解如何克隆一个虚拟机,及在克隆的过程中需要的注意事项,此篇也为了后续搭建完整的Hadoop+Spark集群做准备
本文将详细阐述VMware安装、配置linux下的CentOS7及配置网络环境。如果有不懂的地方,欢迎大家私信我,这是我自己最近亲身实践摸索出来的,真的非常非常全面了!一、VMware的下载与安装1.我下载的是当前最新版的VMware15.5.1,下面是下载链接:https://www.vmware.com/products/workstation-pro/workstation-...
1.点击此路径:C:\Windows\System32\drivers\etc2.找到hosts并修改因为不能直接打开hosts进行更改,所以将hosts文件复制到桌面(比较方便),然后打开hosts文件,添加内容。3.然后将写好的hosts文件复制到原先的路径下,替换原文件。4.尝试ping虚拟机的主机名,成功...
一、程序的打包1.点击View——>Maven2.在Lifecycle -> package上右键,点击Run Maven Build3.Build Success后在target文件夹下会生成一个jar包,将之上传至服务器即可部署二、集群的测试1.启动集群2.把jar包和输入文件放在linux下某个位置3.在hdfs中上传输入文件[root@hadoop101 hadoop-2.7.