准备三台配置hadoop集群的虚拟机下载spark，scala，anacondaspark下载地址scala下载地址Anaconda下载地址将下载的软件上传到虚拟机上local模式解压spark和scala，并重命名到program文件夹下tar -zxvfscala-2.12.15.tgztar -zxvfspark-3.0.3-bin-hadoop3.2.tgzmv scala-2.12.15

本文简单介绍了在pycharm中使用jupyter编写python程序的方法，以及配置过程中，在下载软件包package时遇到连接超时的问题

hadoop集群搭建local模式首先准备三台虚拟机（centos7版）配置网络和主机之间的映射关系，保证三台虚拟机之间能相互找到（需要root用户，三台虚拟机均需要配置）：vi/etc/hosts在后面添加网络和主机的映射：192.168.187.100 hadoop0192.168.187.101 hadoop1192.168.187.102 hadoop2检验：ping hadoop0pin