oozie简介oozie的介绍Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。那么，对于OozieWorkflow中的一个个的action（可以理解成一个个MapReduce任务）Oozie是根据什么来对action的执行时间与执行顺序进行管理调度的呢？答案就是我们在数据结构中常见的有向无环图(DAGDirect A

zakaban的使用azkaban任务文件的注意事项：文件后缀需要是job，文件格式为无bom的utf8；写完任务文件后需要压缩为zip文件上传到azkaban的web界面以执行；任务文件中任何相对路径的引用文件需要和任务文件一起压缩到zip中。简单任务定义一个单任务，名称为foo，内容如下：type=commandcommand=echo 'foo'任务流任务流就是任务之间存在依赖关系（通过de

impala简介imala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine、Pregel、Dremel）当中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS

本节续写自第十八节数据仓库设计维度建模基本概念维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。维度表(dimension)维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析。这样的按…分析就构成一个维度。再比如"昨天下午我在星巴克花费20

安装

prettier-Code formatter