import itertoolsimport timeimport psutilimport osdef item(dataset):# 求第一次扫描数据库后的 候选集，（它没法加入循环）c1 = []# 存放候选集元素for x in dataset:# 就是求这个数据库中出现了几个元素，然后返回for y in x:if [y] not in c1:c1.appen......

springboot+echarts +mysql制作数据可视化大屏（六图）

指定日期为2015.05.20，输出这一天的日志。代码如下（日志文件自己找）

Hive是基于Hadoop的一个数据仓库工具，由Facebook开源用于解决海量结构化日志，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。（1）hive的本质是将HQL转化成为MapReduce（2）hive分析数据底层的实现是MapReduce；（3）hive处理的数据存储在HDFS上；（4）执行程序运行在yarn上；

一、前期准备1.1安装了jdk1.2安装了zookeeper分布式​​​​​​zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客1.3配置免密码登录Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客1.4机器准备主节点从节点hadoop01hadoop02hadoop02hadoop03笔记本性能不够，没有安装多的虚拟机，hadoop02重复使用。

目录一.安装准备二.安装配置三.验证安装一.安装准备1.安装好MySQLLinux安装MySQL5.7（CentOS7）_一个人的牛牛的博客-CSDN博客2.下载安装包点击连接下载Index of /hive3.版本选择我安装的是apache-hive-3.1.2-bin版本！二.安装配置1.上传安装包用MobaXterm_Protable上传，MobaXterm_Protable是Windows

目录一、前期准备1.1创建文件夹1.2设置环境变量1.3环境变量生效二、rsync文件分发脚本2.1下载rsync2.2编写文件分发脚本2.3测试三、群起脚本3.1编辑.bashrc3.2分发.bashrc3.3编写jps群起脚本3.4编写zookeeper群起脚本3.5编写kafka群起脚本注：本文综合了许多资料写成。注意：hadoop01,hadoop02,hadoop03是我的主机名，had

（1）pull（拉）模式：consumer采用从broker中主动拉取数据。Kafka采用了这种方式。（2）push（推）模式：Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。例如推送的速度是50m/s，Consumer1、Consumer2就来不及处理消息。pull模式不足之处是，如果Kafka没有数据，消费者可能会陷入循环中，一直返回空数据。

一：安装准备1.必须安装了zookeeperzookeeper安装操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客2.下载kafka可以通过这两个网站下载想要的版本http://kafka.apache.org/downloadshttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/或者下载和我一样的版本（我用的