简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Hive是基于Hadoop的一个数据仓库工具,由Facebook开源用于解决海量结构化日志,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。(1)hive的本质是将HQL转化成为MapReduce(2)hive分析数据底层的实现是MapReduce;(3)hive处理的数据存储在HDFS上;(4)执行程序运行在yarn上;
springboot+echarts +mysql制作数据可视化大屏(六图)
import itertoolsimport timeimport psutilimport osdef item(dataset):# 求第一次扫描数据库后的 候选集,(它没法加入循环)c1 = []# 存放候选集元素for x in dataset:# 就是求这个数据库中出现了几个元素,然后返回for y in x:if [y] not in c1:c1.appen......
一、前期准备1.1安装了jdk1.2安装了zookeeper分布式zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客1.3配置免密码登录Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客1.4机器准备主节点从节点hadoop01hadoop02hadoop02hadoop03笔记本性能不够,没有安装多的虚拟机,hadoop02重复使用。
目录一、安装准备1.1下载安装包1.2环境准备二、安装2.1解压2.2配置环境变量2.3环境变量生效三、验证一、安装准备1.1下载安装包官网:All Available Versions | The Scala Programming Language选择想要的版本下载,我的是2.11.81.2环境准备安装了java1.8以上没有的参考:Linux系统CentOS7安装jdk_一个人的牛牛的博客-
目录一、前期准备1.1安装MySQL二、基础知识2.1电商流程2.2SKU和SPU2.3涉及的表三、项目搭建3.1登录root用户3.2创建用户3.3创建数据库3.4建表一、前期准备1.1安装MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客二、基础知识2.1电商流程电商的主要业务流程涉及商品详情、用户个人中心、支付服务、订单后台服务。根据流程由此产生多个
目录一.安装准备二.安装配置三.验证安装一.安装准备1.安装好MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客2.下载安装包点击连接下载Index of /hive3.版本选择我安装的是apache-hive-3.1.2-bin版本!二.安装配置1.上传安装包用MobaXterm_Protable上传,MobaXterm_Protable是Windows
目录一、前期准备1.1创建文件夹1.2设置环境变量1.3环境变量生效二、rsync文件分发脚本2.1下载rsync2.2编写文件分发脚本2.3测试三、群起脚本3.1编辑.bashrc3.2分发.bashrc3.3编写jps群起脚本3.4编写zookeeper群起脚本3.5编写kafka群起脚本注:本文综合了许多资料写成。注意:hadoop01,hadoop02,hadoop03是我的主机名,had
(1)pull(拉)模式:consumer采用从broker中主动拉取数据。Kafka采用了这种方式。(2)push(推)模式:Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。pull模式不足之处是,如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。
一:安装准备1.必须安装了zookeeperzookeeper安装操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客2.下载kafka可以通过这两个网站下载想要的版本http://kafka.apache.org/downloadshttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/或者下载和我一样的版本(我用的