在IDEA里运行spark

最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。文章里所提到的各类配置文件的下载网址在最后。在IDEA里运行spark所需要的前期准备事项：1.本地电脑里已经配置完成Scala2.本地电脑里已经配置完成maven3.本地电脑里已经配置完成Hado

啊帅和和。

11095人浏览 · 2020-11-03 18:45:43

啊帅和和。 · 2020-11-03 18:45:43 发布

最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。

文章里所提到的各类配置文件的下载网址在最后。

在IDEA里运行spark所需要的前期准备事项：
1.本地电脑里已经配置完成Scala
2.本地电脑里已经配置完成maven
3.本地电脑里已经配置完成Hadoop
（这里推荐本地电脑里配置这几种版本的Hadoop：
1、Hadoop-2.6.3
2、Hadoop-2.6.4
3、Hadoop-2.8.1
4、Hadoop-2.8.3
5、Hadoop-3.0.0
因为本地下载Hadoop版本之后的bin目录下可能会缺失一些文件导致IEDA加载不了spark程序，原因是缺少winutil.exe，这时就需要将自己本地的Hadoop目录中的bin目录与winutil的bin目录进行替换。）
这个错误长这样：
Could not locate executable E:\SoftWave\Hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries（这时就需要下载winutil更改bin目录。）
这是我自己的Scala版本在这里插入图片描述

在这是我自己的maven版本这里插入图片描述

在这里插入图片描述

有了前期的准备我们就可以开始在IDEA里写spark了
一、
在这里插入图片描述
注：
1.创建的项目要是maven项目
2.要勾选上"create from archetype"这个小方块
3.jdk的版本选择1.8版本（如果电脑没有1.8，附录里有下载地址）

二、
在这里插入图片描述
自己取一个自己喜欢的如雷贯耳的项目名字。

三、修改自己的pom.xml文件：
这里附上我自己的pom.xml文件源码：（我尝试过很多配置文件，我这个不出意外没有问题，）

<properties>
        <maven.compiler.source>1.5</maven.compiler.source>
        <maven.compiler.target>1.5</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.1.0</spark.version>
    </properties>

    <dependencies>

        <!--scala-->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.spark-project.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>1.2.1.spark2</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>

        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.14</version>
        </dependency>

        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.14</version>
        </dependency>

    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <useFile>false</useFile>
                    <disableXmlReport>true</disableXmlReport>
                    <includes>
                        <include>**/*Test.*</include>
                        <include>**/*Suite.*</include>
                    </includes>
                </configuration>
            </plugin>

            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
            </plugin>
        </plugins>
    </build>

在这里插入图片描述

之后点击这个更新的小按钮就会自己下载配置文件了（这个过程因个人电脑而异，我的电脑比较慢，下载了将近二十分钟）。

在这里插入图片描述
下载之后如果遇到了这个问题，就是因为自己的maven中下载jar包的地址与系统给你设置的不匹配。

纠正方法：
在"File"->“settings"中选择"maven”
在这里插入图片描述

将：
1.user settings file的路径改为自己的maven文件下的conf文件下的settings.xml，并且在自己的settings.xml文件中添加进自己的maven相关jar包的路径（这个自己设置，在下图55行位置自行添加，这个路径就是"Local repository"的路径）
在这里插入图片描述
三、之后就可以测试spark代码：
1.开始创建（这里唯一要注意的是将Scala文件夹设置为"Resources Root"）（右键单击scala，在选项框"Mark Directory as"中选择"Resources Root"）

2.编写一个spark代码

我的students文件长这样：
在这里插入图片描述
点击运行：

跑出结果。