介绍本文这里的hadoop3.1.3的集群仅仅指hadoop本身的搭建，不涉及到其他框架整合；Flink实时电商实战项目中HDFS部分是基于此版本，B站上有这个版本的安装视频：Flink实时电商项目实战项目框架整合下载提取码：whqf搭配环境VMware16（注意不要使用15，容易蓝屏，如果出现蓝屏，大概率是系统兼容性问题，建议改用16，激活码搜索即可，很方便）安装硬件，安装虚拟机；账户：root

Spark一般有四种安装模式：Local、Standalone、Yarn、Mesos/K8S部署模式；这里讲解前三种模式的部署和安装方式：本文讲解内容以Spark-3.0.0版本为例：本文内容参照尚硅谷Spark-3.0.0版本安装资料，在自己的集群上搭建完成；仅供复习时使用，如有搭建需求，请根据自己的集群修改对应文件名。1.1、Local（本地）模式1.1.1、 解压缩文件将 spark-3.0

DWD层业务数据分流回顾一下之前业务数据的处理；首先把脚本生成的业务数据发送到MySql数据库中，在表gmall0709中可以看到数据：这里就是生成的对应数据表，然后通过Maxwell把数据输入到Kafka中，保存在ods_base_db_m主题中；此时我们需要把这个kafka主题中的数据进行过滤和分流处理，过滤处理很容易，这里我们过滤掉data为空，或者是长度<3的数据内容，当然这个数据过

项目整体思路和架构本项目主要参考尚硅谷的Flink实时数仓项目完成，最近又重新跑了一遍，项目整体我会在后续上传到码云中，也会同步更新到博客中来，里面不仅包含了整体代码和整个集群搭建过程，也包含了一些我自己的理解和测试过程希望大家能喜欢，以后我也会把我整个的大数据学习过程和笔记做一个分享。非常欢迎一起学习大数据的朋友，大家可以一起交流和学习。实时数仓分层思想这里采用的架构和离线数仓架构不同，整个项目