1. 安装JDK,可参考
  2. 前往官网下载压缩包,地址

    因为自己没有是为了学习,所以可以直接下载推荐的版本。

  3. 利用ftp工具将压缩包上传到linux,然后解压。
     sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz 

     

  4.  

    修改文件夹的名字,然后将文件夹移动到更容易管理的文件路径中。

     

    mv spark-3.0.0-preview2-bin-hadoop2.7 spark
    mv spark /usr/local

     

  5. 配置环境变量。

    1.  

      打开配置文件。

       

      vim /etc/profile

       

    2. 增加spark所在的环境路径。

      export SPARK_HOME=/usr/local/spark
      export PATH=$PATH:$SPARK_HOME/bin

       

    3. source /etc/profile。

  6. 配置spark

    1. 复制spark-env.sh.template并修改。

      cp spark-env.sh.template spark-env.sh
      
      vim spark-env.sh
      
      export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
      export SPARK_HOME=/usr/local/spark
      export SPARK_MASTER_IP=10.0.0.133
      #路径为对应你的jdk和spark路径。
      #master对应你本机的ip

       

    2. 复制slaves.template并修改

      1. 注意,本版本的spark已经内置了localhost参数,所以可以不用修改。

    3. source 两个文件,使其生效。

      [root@localhost conf]# source spark-env.sh
      [root@localhost conf]# source slaves
      

       

  7. 启动项目

    1. 进入sbin文件夹。

    2. 启动

      ./start-all.sh 
      

      会要求你输入当前用户的密码。

    3. jps会查看到结果。

至此,spark单机版就搭建完成了。其实这里也给出了集群的搭建方案了。但是因为硬件资源有限,就不写了。 

Logo

更多推荐