后续会将文章写出来，我这个项目的主题是疫情（虽然疫情快结束了，主要是分享思路，祝大家身体健康），数据来源于百度疫情（世界和我国各城市相关疫情数据）和一个私人的疫情网站（我国近十天的历史疫情数据），页面比较简陋，因为本人前端的功底比较薄弱。在以上基础上，可设置Linux的定时程序组合命令，实现实时爬取监控。1.部署爬虫到虚拟机（先在虚拟机中配置python环境）6.上传springboot项目到服务

JDK是java的开发工具包，hadoop是用java开发的，所以需要安装jdk直接去网上下载一个Linux用的jdk包就可以，这里使用的是1.8版本的jdk通过lrzsz命令上传包，没有此命令需要安装解压此包到servers下tar -xzvf jdk-8u161-linux-x64.tar.gz -C ../servers之后配置环境变量vi /etc/profile在文件的最下方添加如下内容

所有远程连接工具连接虚拟机都是通过ssh2协议进行连接的，ssh是secure shell的简称，它相对于早期的telnet和rsh的明文传输，提供了加密、校验和压缩，使得我们可以很安全的远程操作。使用该软件最好通过正规渠道购买，仅作学习用途也可以pj，教程这里不再赘述，网上有很多。说一下破解注意事项：在安装好软件之后不要立即启动，将压缩包下的keygen.exe拷贝到软件根目录下，然后用管理员身

使用wget命令下载mysql的yum源在此之前要先安装wget命令之后执行使用上面的命令就直接下载了安装用的Yum Repository然后用下面的命令更新升级GPG(可选)之后安装yum源即可然后再安装MySQL服务器（有可能会耗时比较长，耐心等待，或者去官网直接下载再拷贝）安装完毕之后启动mysql服务器即可启动成功！ 然后我们去修改mysql的密码先获取临时密码这里我们拿着临时密码去登录m

主机间映射关系建立

2.在开始安装python3之前，先要解决环境依赖问题，通过yum安装工具包，自动处理依赖关系，每个软件包通过空格分割提前安装好这些软件包，日后就不会出现很多坑。此时输入python调用的还是Linux自带的2.7.5版本，python3才是调用的刚刚安装的版本。此外如果要在虚拟机中部署scrapy，还要安装Twisted。1.先在虚拟机中创建一个用于放置python安装包的目录。然后source

2.在开始安装python3之前，先要解决环境依赖问题，通过yum安装工具包，自动处理依赖关系，每个软件包通过空格分割提前安装好这些软件包，日后就不会出现很多坑。此时输入python调用的还是Linux自带的2.7.5版本，python3才是调用的刚刚安装的版本。此外如果要在虚拟机中部署scrapy，还要安装Twisted。1.先在虚拟机中创建一个用于放置python安装包的目录。然后source