1、相关说明此脚本可以将json数据解析之后装载到Mysql;暂未进行大批量装载方面的优化处理；由于json的字段定义太灵活，所以暂时未进行太自动化的处理，要装载的表名也需要先手动建好。数据传入参数有：dbConfigName, tabName, jsonPath, fileName。依赖的库有：MySQLdb、json，尤其MySQLdb需要事先安装好。2、Python脚本及

在我们处理文件时，很多时候会用到查找与替换。当我们想将文件中某一部分替换替换文件中另一部分时，怎么办呢？下面正则表达式 给我提供方法。正则表达式，提供复杂 并且弹性的查找与替换注意: 不支持多行表达式 (involving \n, \r, etc).

大多数情况下，我们完成的数据体系却是依赖复杂、层级混乱的。在不知不觉的情况下，我们可能会做出一套表依赖结构混乱，甚至出现循环依赖的数据体系。我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题。我们将数据模型分为三层：数据运营层（ ODS ）、数据仓库层（DW）和数据应用层（APP）：ODS层存放的是接入的原始数据DW层是存放我们

拉链表是针对数据仓库设计中表存储数据的方式而定义的，所谓拉链，就是记录历史;记录一个事物从开始，一直到当前状态的所有变化的信息;与之相对应的算法就叫拉链算法！算法介绍：1采集当日全量数据到ND(NewDay)表；2从历史表中取出昨日全量数据存储到OD(OldDay)表;3(ND-OD)就是当日新增和变化的数据，也就是当天的增量，用W_I表示；4(OD-ND)为状态到此结束需要封链的数据，用W_U表

错误信息：Ended Job = job_1512373388022_42906SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/apps/apache-hive-2.0.0-bin/lib/hive-jdbc-2.0.0-standalone.jar!/org

一、相关参数设定默认情况下Mysql的profiling是关闭的，所以首先必须打开profiling。mysql> show variables like "%profiling%";+------------------------+-------+| Variable_name          | Value |+------------------------+----

cube和rollup的区别是CUBE会根据指定列进行所有组合，rollup会根据顺序从左到右进行组合可以使用grouping进行空值判断可以使用grouping__id进行粒度区分。

1、sqlldr_in.batsqlldr control=REPORT_DATA.ctl log=REPORT_DATA.log rows=10000 readsize=20000000 bindsize=20000000说明：这只是一个批处理，再要增加数据的调度，再下一行添加即可2、控制文件 (REPORT_DATA.ctl)OPTIONS(skip=1,rows=10000) --此处的参数

参考：https://blog.csdn.net/weixin_40444678/article/details/810836141、原始表CREATE EXTERNAL TABLE ods.user (user_num STRING COMMENT '用户编号',mobile STRING COMMENT '手机号码',reg_date STRING COMMENT '注册日期')COMMENT

一、什么是数据湖？ODS（operational data store, staging area）存储来自各业务系统（生产系统）的原始数据，即为数据湖。CDM(common dimension model)为经过整合、清洗的数据。其中的DWS汇总层，为面向主题的数据仓库（狭义），用于BI报表出数。简单来说，数据湖的定义就是原始数据保存区. 虽然这个概念国内谈的少，但绝大部分互联网公司都已经有了。