common：公共类pojo：所有JavaBeangeteway：网关feign：调用auth：对接前端（如：登录功能）service*：各种业务

SCD1：更新旧数据SCD1 方式直接修改维度记录的属性值，维度属性表示员工当前状态。缺点在于丢失了维度属性的历史数据SCD2：增加新记录SCD2方式使用新记录存储更新的维度信息，能够保存维度历史信息，因此是最主要的缓慢变化维处理方式。在SCD2维表中可以加入"信息生效时间戳"和"信息失效时间戳"两个字段，通过这两个字段就可以还原出任意时间点员工信息的快照SCD3：增加新数据列SCD3方式使用新数

错误的原因是因为缺少slf4j日志组件jar包造成的，slf4j是一个开源的日志组件，和log4j类似，都是用来记录日志的开源组件。SLF4J，即简单日志门面（Simple Logging Facade for Java），不是具体的日志解决方案，它只服务于各种各样的日志系统。按照官方的说法，SLF4J是一个用于日志系统的简单Facade，允许最终用户在部署其应用时使用其所希望的日志系统。实际上，

错误的原因是因为缺少slf4j日志组件jar包造成的，slf4j是一个开源的日志组件，和log4j类似，都是用来记录日志的开源组件。SLF4J，即简单日志门面（Simple Logging Facade for Java），不是具体的日志解决方案，它只服务于各种各样的日志系统。按照官方的说法，SLF4J是一个用于日志系统的简单Facade，允许最终用户在部署其应用时使用其所希望的日志系统。实际上，

数据集主要特点Volume（大量）:数据量巨大，从TB到PB级别。Velocity（高速）:数据量在持续增加(两位数的年增长率)。Variety（多样）:数据类型复杂，超过80%的数据是非结构化的。Value（低密度高价值）:低成本创造高价值。其他特征数据来自大量源，需要做相关性分析。需要实时或者准实时的流式采集，有些应用90%写vs.10%读。数据需要长时间存储，非热点数据也会被随机访问。...

大数据_02【大数据基础知识】01 什么是服务器02 服务器类型03 存储磁盘（硬盘）服务器: 也称伺服器，是一种高性能计算机，提供计算服务的设备。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。服务器和电脑功能都是一样的，也可以将服务器称之为电脑，只是服务器对稳定性与

https://blog.csdn.net/gao_jun1/article/details/108213670?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164082478716780271957859%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.

前置需求的技术HadoopHiveHueSqoopOozie项目简介项目叫做：知行教育大数据分析平台（数仓开发项目）目的：对海量的业务数据进行指标分析。结果：对分析的结果做可视化的展示项目的痛点数据量比较大，传统的业务数据库比如MySQL难以支撑，我们需要：分布式的、支持SQL的一种数据库（Hive）数据分散，需要将数据集中存储数据设计是针对业务设计的，分析比较困难，我们需要将它转换为分析比较好用

查看路径首先要打开本机的配置文件hdfs-site.xml查看namenode属性名dfs.namenode.name.dir的是namenode的Fsimage文件路径属性名dfs.namenode.edits.dir的是namenode的Edits_Log文件路径SecondaryNameNode属性名dfs.namenode.checkpoint.dir的是namenode的Fsimage文

启动hive没有问题，但是当执行show tables或者create database xxx时，报错hive> create database spark;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to ins