一、数据质量概述什么是数据质量数据质量差的危害数据质量维度(数据六大评价标准)什么是数据质量测量数据质量测量必须要有目的数据质量测量必须可重复数据质量测量必须可解释什么是数据质量管理二、数据问题根因分析什么是根因分析为什么要进行根因分析产生数据问题的阶段规划设计阶段数据创建阶段数据使用阶段数据老化阶段数据消亡阶段产生问题的原因业务原因技术原因管理原因根因分析的方法根因分析的工具鱼骨图5WHY图故.

数据仓库命名规范目录1. 概述 32. 数据仓库命名规范 42.1. 命名规范 42.1.1. 表属性规范 42.1.2. 索引 92.1.3. 视图 102.1.4. 物化视图 102.1.5. 存储过程 102.1.6. 触发器 102.1.7. 函数 102.1.8. 数据包 102.1.9. 序列 102.1.10. 普通变量 102.1.11. 游标变量 ...

阿里四轮面试总结第一轮面试电话(**5** 月 6 号)：1.自我介绍，包括做过项目。2.有看过哪些 JDK 源码，了解哪些常用库。3.集合框架 HashMap 的扩容机制，ConcurrnetHashMap 的原理4.jvm 内存模型与 gc 内存回收机制5.classloader 结构，是否可以自己定义一个 java.lang.String 类，为什么？ 双亲代理机制。 ...

第1章 MapReduce概述1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 MapReduce优缺点1.2.1 优点1)MapReduce易于编程它简单的实现一些接口..

一.大数据模型8种常见的大数据分析模型：1、留存分析模型；2、漏斗分析模型；3、全行为路径分析；4、热图分析模型；5、事件分析模型；6、用户分群模型；7、用户分析模型；8、黏性分析模型。1、留存分析模型留存分析模型是一种用来分析用户参与情况/活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为，这是用来衡量产品对用户价值高低的重要方法。2、漏斗分析模型漏斗分析是一套流程...

第二步比较重要:对现有的数据做抽象,做主题分类最后一步分析字段比较麻烦,因为有时候数据库字段并没有注释,需要从前台系统插入数据一步步了解流程图viso自己画,业务系统调研-系统业务人员填写业务系统调研模板不需要录入系统的表调研表的模板调研字段模板政府案例政府三清单模板政府部门共享交换平台...

千万级订单的生成了解随订单量的提升，数据库系统经历了哪些变化，这些变化带来哪些痛点分库分表环境下，订单的id生成有哪些办法雪花算法的原理及实现支付环境下，对订单系统的架构设计带来哪些影响1. 架构体系深入剖析1.1 演进与背景随着数据量的增长，一般db的架构，经历如下演进：1)单库主从业务请求并发量大到一定量级后，单一主库无法承受，将读写剥离，从库诞生。挑战：开发层框架支持，...