关于spark的集群有三种部署模式， mesos  yarn  standalone，对应着三种不同的资源管理方式，因为前段时间搭建了hadoop集群，所以先来了解下 on yarn的集群部署方式。首先启动集群start-all.sh测试：本地运行spark-shell程序：wh@master:/usr/local/spark/bin$ spark-shell --master local[2]#

上一篇博文介绍了在windows下同时安装python2和python3.而在工作的过程中，我习惯于用pycharm作为IDE。本文将记录如何在pycharm中选择python版本，并给相应的版本安装第三方库。选择版本可以在创建项目的时候进行，也可以在设置中进行设置——》打开file/default setting/project interpreter 。在右侧界面的设置图标处单机add l