CSDN学习社区

一、下载示例代码：

git clone https://github.com/melphi/spark-examples.git

从示例代码中可以看到 pox中引入了 Spark开发所需要的依赖。

二、把代码导入 IDE

IDE应该会识别这是 Maven项目，在IDE中打包：

打包后，在项目根目录中，target文件夹内会生成文件 first-example-1.0-SNAPSHOT.jar

运行该程序

命令为：
bin/spark-submit --class org.sparkexample.WordCount --master local[2] D:\first-example\target\spark-examples-1.0-SNAPSHOT.jar F:\test\input.txt F:\NJU\test\output

具体语法请见：http://spark.apache.org/docs/latest/submitting-applications.html

查看结果

F:\test\output 中能看到词频统计的结果

本文来源:https://github.com/melphi/spark-examples, 谢谢