下载scala( 官网链接)

滑到底部选择所需版本(我这里选的是2.12-window)

在这里插入图片描述

IDEA安装scala插件(社区版)

在这里插入图片描述

配置Scala SDK位置

安装scala插件后可以new一个maven项目,创建之后点击项目名右键
在这里插入图片描述
在这里插入图片描述

设置sdk位置
在这里插入图片描述

选择上上步解压后的scala目录即可
在这里插入图片描述
这样一个scala项目就创建好了

编写spark wordcount(需对scala语法有一定的了解)

添加spark依赖,spark-core后版本要与自己下载的scala版本相对应,不然后面运行会出现一些问题

    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>2.4.4</version>
        </dependency>
    </dependencies>

创建一个文件
在这里插入图片描述

创建一个object

object SparkWordCount {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName("wordcount").setMaster("local")
    val context: SparkContext = new SparkContext(conf)
    context.textFile("./data/words").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).foreach(println)
  }
}

运行程序即可获得结果
在这里插入图片描述
如果scala版本和spark-core的版本不兼容会出现以下问题
在这里插入图片描述
在这里插入图片描述

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐