scala编写spark wordcount流程
scala编写spark wordcount完整流程下载scala( [官网链接](https://www.scala-lang.org/download/2.12.12.html))IDEA安装scala插件(社区版)配置Scala SDK位置编写spark wordcount(需对scala语法有一定的了解)下载scala( 官网链接)滑到底部选择所需版本(我这里选的是2.12-window)
·
scala编写spark wordcount完整流程
下载scala( 官网链接)
滑到底部选择所需版本(我这里选的是2.12-window)
IDEA安装scala插件(社区版)
配置Scala SDK位置
安装scala插件后可以new一个maven项目,创建之后点击项目名右键
设置sdk位置
选择上上步解压后的scala目录即可
这样一个scala项目就创建好了
编写spark wordcount(需对scala语法有一定的了解)
添加spark依赖,spark-core后版本要与自己下载的scala版本相对应,不然后面运行会出现一些问题
<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.4</version>
</dependency>
</dependencies>
创建一个文件
创建一个object
object SparkWordCount {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setAppName("wordcount").setMaster("local")
val context: SparkContext = new SparkContext(conf)
context.textFile("./data/words").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).foreach(println)
}
}
运行程序即可获得结果
如果scala版本和spark-core的版本不兼容会出现以下问题
更多推荐
已为社区贡献1条内容
所有评论(0)