hadoop2.7.7+spark2.4.3+idea2020.1.4搭建完全分布式集群，实现MR和Spark（基于scala）的简单使用，即以wordcount为例。可以作为初学MR分析和Spark分析的入门练习。

本学习笔记提供spark+python的local和yarn两种部署模式的讲解及使用示例。spark-local仅用1台虚拟机。spark on yarn仅需1台安装spark（用于任务提交yarn）的虚拟机，全部虚拟机需要配好hadoop完全分布式集群及python环境。