logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据项目离线数仓(全)四(可视化代码版)

来咯来咯!你们要的可视化代码版来咯来咯!本文仅仅包含可视化的代码版,本项目的其他内容请关注我的博客!在专栏里!!!目录一、所需工具二、数据源准备三、项目框架搭建3.1新建springboot项目3.1.1进入官网3.1.2创建项目四、后端代码编写4.1根据需求修改pom.xml4.2配置数据源4.3创建目录结构4.4后端编写代码4.4.1entity类4.4.2dao4.4.3service4.4

文章图片
#大数据#java#c++ +1
Apriori算法python实现(数据挖掘学习笔记)

import itertoolsimport timeimport psutilimport osdef item(dataset):# 求第一次扫描数据库后的 候选集,(它没法加入循环)c1 = []# 存放候选集元素for x in dataset:# 就是求这个数据库中出现了几个元素,然后返回for y in x:if [y] not in c1:c1.appen......

文章图片
#python#数据挖掘#机器学习
springboot+echarts +mysql制作数据可视化大屏(六图)

springboot+echarts +mysql制作数据可视化大屏(六图)

文章图片
#spring boot#echarts#mysql
Hadoop2X HA环境部署

一、前期准备1.1安装了jdk1.2安装了zookeeper分布式​​​​​​zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客1.3配置免密码登录Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客1.4机器准备主节点从节点hadoop01hadoop02hadoop02hadoop03笔记本性能不够,没有安装多的虚拟机,hadoop02重复使用。

文章图片
#hadoop#大数据#java
CentOS7安装hive(apache-hive-3.1.2-bin)

目录一.安装准备二.安装配置三.验证安装一.安装准备1.安装好MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客2.下载安装包点击连接下载Index of /hive3.版本选择我安装的是apache-hive-3.1.2-bin版本!二.安装配置1.上传安装包用MobaXterm_Protable上传,MobaXterm_Protable是Windows

文章图片
#hive#apache#hadoop
kafka笔记(四):消费者-消费方式/消费者工作流程/消费者API/分区分配及平衡/手动、自动提交offset

(1)pull(拉)模式:consumer采用从broker中主动拉取数据。Kafka采用了这种方式。(2)push(推)模式:Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。pull模式不足之处是,如果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。

#kafka#java#大数据
springboot+mybatis+echarts +mysql制作数据可视化大屏

成果展示:1)可以使用自己的MySQL数据库;2)使用我提供的数据。(免费下载)gmall_report用于可视化的SQL文件-MySQL文档类资源-CSDN下载MySQLIDEAjdk1.8Maven创建springboot项目有二种方式:1)在IDEA中创建2)在官网上创建我喜欢在官网创建官网地址(记得收藏):https://start.spring.io/​ 注:1)注意红色框框的地方,选择

文章图片
#大数据#数据仓库#javascript
spark学习笔记(十二)——sparkStreaming-RDD队列/自定义数据源/kafka数据源/DStream转换/DStream输出/优雅关闭

继承Receiver,实现onStart、onStop方法来自定义数据源采集。//TODO 创建配置环境//采集数据//开始}/*自定义数据采集器1.继承Receiver,定义泛型,传递参数2.重写方法*///最初启动,读数据val message = "采集的数据为:" + new Random().nextInt(10).toString}}}//停止}}}结果://初始化Spark配置信息/

#spark#学习#大数据 +1
Kafka Eagle的安装(kafka-eagle-bin-1.3.7)

一、安装准备1.安装了kafka没有的可以参考:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka集群部署2.下载安装包官网地址:EFAK二、安装配置三、验证输入密码 admin/123456 登录即可...

文章图片
#kafka#分布式#zookeeper +2
到底了