logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive笔记(一):hive概述-优点/缺点/构架原理/与数据库比较

Hive是基于Hadoop的一个数据仓库工具,由Facebook开源用于解决海量结构化日志,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。(1)hive的本质是将HQL转化成为MapReduce(2)hive分析数据底层的实现是MapReduce;(3)hive处理的数据存储在HDFS上;(4)执行程序运行在yarn上;

#hive#大数据#数据库
springboot+echarts +mysql制作数据可视化大屏(六图)

springboot+echarts +mysql制作数据可视化大屏(六图)

文章图片
#spring boot#echarts#mysql
Apriori算法python实现(数据挖掘学习笔记)

import itertoolsimport timeimport psutilimport osdef item(dataset):# 求第一次扫描数据库后的 候选集,(它没法加入循环)c1 = []# 存放候选集元素for x in dataset:# 就是求这个数据库中出现了几个元素,然后返回for y in x:if [y] not in c1:c1.appen......

文章图片
#python#数据挖掘#机器学习
Hadoop2X HA环境部署

一、前期准备1.1安装了jdk1.2安装了zookeeper分布式​​​​​​zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客1.3配置免密码登录Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客1.4机器准备主节点从节点hadoop01hadoop02hadoop02hadoop03笔记本性能不够,没有安装多的虚拟机,hadoop02重复使用。

文章图片
#hadoop#大数据#java
Linux安装Scala(CentOS7)

目录一、安装准备1.1下载安装包1.2环境准备二、安装2.1解压2.2配置环境变量2.3环境变量生效三、验证一、安装准备1.1下载安装包官网:All Available Versions | The Scala Programming Language选择想要的版本下载,我的是2.11.81.2环境准备安装了java1.8以上没有的参考:Linux系统CentOS7安装jdk_一个人的牛牛的博客-

文章图片
#java#scala#大数据
MySQL项目--电商平台--数据库搭建

目录一、前期准备1.1安装MySQL二、基础知识2.1电商流程2.2SKU和SPU2.3涉及的表三、项目搭建3.1登录root用户3.2创建用户3.3创建数据库3.4建表一、前期准备1.1安装MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客二、基础知识2.1电商流程电商的主要业务流程涉及商品详情、用户个人中心、支付服务、订单后台服务。根据流程由此产生多个

文章图片
#mysql#数据库#database
CentOS7安装hive(apache-hive-3.1.2-bin)

目录一.安装准备二.安装配置三.验证安装一.安装准备1.安装好MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客2.下载安装包点击连接下载Index of /hive3.版本选择我安装的是apache-hive-3.1.2-bin版本!二.安装配置1.上传安装包用MobaXterm_Protable上传,MobaXterm_Protable是Windows

文章图片
#hive#apache#hadoop
jps、kafka、zookeeper群起脚本和rsync文件分发脚本(超详细)

目录一、前期准备1.1创建文件夹1.2设置环境变量1.3环境变量生效二、rsync文件分发脚本2.1下载rsync2.2编写文件分发脚本2.3测试三、群起脚本3.1编辑.bashrc3.2分发.bashrc3.3编写jps群起脚本3.4编写zookeeper群起脚本3.5编写kafka群起脚本注:本文综合了许多资料写成。注意:hadoop01,hadoop02,hadoop03是我的主机名,had

文章图片
#javascript#linux#centos +1
kafka笔记(四):消费者-消费方式/消费者工作流程/消费者API/分区分配及平衡/手动、自动提交offset

(1)pull(拉)模式:consumer采用从broker中主动拉取数据。Kafka采用了这种方式。(2)push(推)模式:Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。pull模式不足之处是,如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。

#kafka#java#大数据
kafka单机和集群(全分布)的安装部署过程

一:安装准备1.必须安装了zookeeperzookeeper安装操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客2.下载kafka可以通过这两个网站下载想要的版本http://kafka.apache.org/downloadshttps://mirrors.tuna.tsinghua.edu.cn/apache/kafka/或者下载和我一样的版本(我用的

文章图片
#kafka#分布式#zookeeper +2
    共 23 条
  • 1
  • 2
  • 3
  • 请选择