一、前情提要相信来看这篇深造爬虫文章的同学，大部分已经对爬虫有不错的了解了，也在之前已经写过不少爬虫了，但我猜爬取的数据量都较小，因此没有过多的关注爬虫的爬取效率。这里我想问问当我们要爬取的数据量为几十万甚至上百万时，我们会不会需要要等几天才能将数据全都爬取完毕呢？唯一的办法就是让爬虫可以 7×24 小时不间断工作。因此我们能做的就是多叫几个爬虫一起来爬数据，这样便可大大提升爬虫的效率。但在介绍P

还没有搭建Hadoop，欢迎看看我前面的一篇文章：Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1官网下载链接， 提取码：nzyuSqoop-1.4.6百度网盘下载 ， 提取码：82itJDBC驱动包官网下载链接， 提取码：7t8d以上三个的合集包百度网盘下载，提取码：m9dqMobaXte

相信很多小伙伴之前用的接口是uni.getUserInfo这个，但自4月13日起这个接口的返回参数不变，但开发者获取的userInfo为匿名信息。（详情：小程序接口调整说明）本人觉得这个更改虽然让接口的功能更加专注，但官方没有实现向下兼容，导致很多开发者需要费点心重新修改。新版接口自那时起就新增uni.getUserProfile来获取用户信息，这让用户多了一个手动授权的步骤。弹窗授权截图↓目录一

构建SSH连接的软件有几个比较常用，例如Xshell，MobaXterm，我们这里使用的是MobaXterm，为什么呢？因为其支持多种远程连接的方式例如Windows和MacOS的远程桌面连接等，并且内置了SFTP功能。如果电脑是MacOS系统的直接使用电脑命令行就能配置SSH连接了。目录一、查询Linux主机IP地址二 、构建SSH连接三 、配置静态IP地址一、查询Linux主机IP地址在你的虚