本帖最后由 fc013 于 2016-12-3 19:42 编辑问题导读：1.什么是Hive?2.MapReduce框架实现SQL基本操作的原理是什么?3.Hive怎样实现SQL的词法和语法解析?Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据...

AWR (Automatic Workload Repository)一堆历史性能数据,放在SYSAUX表空间上, AWR和SYSAUX都是10g出现 的,是Oracle调优的关键特性;默认快照间隔1小时,10g保存7天、11g保存8天; 可以通过DBMS_WORKLOAD_REPOSITORY.MODIFY_SNAPSHOT_SETTINGS修改DBA_HIST_WR_CONTR...

库存信息：现有一表记录产品进出库product_id(产品代码) inoutdate（出入库日期）qty（数量）001202007011000120200703-800120200704-100120200705...

一.数据库设计的概念数据库设计是将数据库中的数据实体及这些数据实体之间的关系,进行规划和结构化的过程.二.数据库设计的重要性如果一个数据库没有进行一个良好的设计,那么这个数据库完成之后他的缺点是:1.效率会很低2更新和检索数据时会出现很多问题,反之,一个数据库被尽心策划了一番,具有良好的设计,那他的优点是:1.效率会很高.2.便于进一步扩展.3.使得应用程序的开发变...

数仓模型设计的整体流程涉及需求调研、模型设计、开发测试、模型上线四个主要环节，且规范设计了每个阶段的输出与输入文档。需求调研：收集和理解业务方需求，就特定需求的口径达成统一，在对需求中涉及到的业务系统或系统模块所承担的功能进行梳理后进行表字段级分析，并对数据进行验证，确保现有数据能够支持业务需求。模型设计：根据需求和业务调研结果对模型进行初步归类，选择合适的主题域进行模型存放；确...

数据仓库数据模型的设计1.方法选择数据模型是对现实世界数据特征的抽象，数据模型的设计方法就是对数据进行归纳和概括的方法。目前业界主要的模型设计方法论有两种，一是数据仓库之父 Bill Inmon 提出的范式建模方法，又叫 ER 建模，主张站在企业角度自上而下进行数据模型构建；二是 Ralph Kimball 大师倡导的维度建模方法，主张从业务需求出发自下而上构建数据模型。大数据环境下...

一、数据仓库关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出：中文定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。英文定义：A data warehouse is a subject-oriente

Kimball和Inmon是两种主流的数据仓库方法论，分别由 Ralph Kimbal大神 和 Bill Inmon大神提出，在实际数据仓库建设中，业界往往会相互借鉴使用两种开发模式Inmon和Kimball是数据仓库领域伟大的开拓者，他们均多年从事数据仓库的研究，Inmon还被称为“数据仓库之父”。Inmon的《数据仓库》和Kimball的《数据仓库工具箱》都是此领域的经典之作。后来人把这两..

我们通常所说的增量数据，其实更确切的说，应该是变量数据，包括对数据的增加、修改和删除。特别是当有些系统存在物理删除数据的情况时，这一点尤为重要。从各源系统获取增量数据，是DW/BI类相关应用所必需的环节，那么从源系统获取增量数据的方式究竟有哪些呢？哪些又是我们经常使用的呢？下面我们就来简单介绍介绍：这第一种可以是由源系统在数据处理过程当中由应用程序直接记录增量数据，产生增量数据文件。这种做法对源系

1.增量表：新增数据，增量数据是上次导出之后的新数据。（1）记录每次增加的量，而不是总量；（2）增量表，只报变化量，无变化不用报（3）每天一个分区2、全量表每天的所有的最新状态的数据。（1）全量表，有无变化，都要报（2）每次上报的数据都是所有的数据（变化的 + 没有变化的）（3）只有一个分区3、快照表按日分区，记录截止数据日期的全量数据（1）快照表，有无变化，都要报（2）每次上报的数据都是所有的数