文章目录一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储数据分析、转化、演示二、环境配置1、JDK2、Hadoop集群3、zookeeper4、hive5、sqoop6、flume三、爬取数据1、创建项目2、编写主程序进行数据爬取3、编写pipelines，进行数据保存4、编写settings，进行相关配置5、编写items，进行字典定义6、爬取数据四、数据分析1、Flume收集日志2

适宜范围：IntelliJ IDEA、PyCharm和Webstorm等的激活。方法有两种，大同小异,下载所需要的JetBrains产品并安装，然后下载jetbrains-agent.jar包。下面开始介绍：步骤：1、下载jar包，然后把jia包放到程序的bin目录或者自己选择的目录。链接: https://pan.baidu.com/s/1-zlVN7rmcyZFapr4gqDKuw...

一、下载mysql1、centos7对应mysql版本 mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar2、打开winscp 连接虚拟机 将下载好的mysql拖到root目录下面3、解压mysql ：tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar4、使用ls命令查看mysql包里面的东西5、下载安装ne...