1、Oracle数据准备（1）将Oracle.sql文件导入到Oracle--在PLSQL中打开命令执行窗口@ @E:\实时数据仓库\2、脚本文件/Oracle.sql--脚本路径（2）查看表数据select * from base_province2、测试环境准备（1）创建文件夹，下面要用到E:\oracle\db_recovery_file_destE:\oracle\namespace（2）

1、数据倾斜原理mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长。这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在1.1、如何

1、linux常用高级命令1.1、top--实时查看内存1）第一行23：07：25 ： 当前系统时间；user : 用户个数；load average ： 三个数分别表示1分钟，五分钟，15分钟的负载状况***高于5表明系统在超负荷运转2）第二行task：任务（进程）–系统共有250个进程，1个在运行，249在休眠，0个stop，0个僵尸状态3）CPU状态us：用户空间占用CPU的百分比sy：内核

1、数据加工整体的流向1.1、业务交互数据 -后端埋点数据业务流程中产生的登录、订单、用户、商品、支付等数据，通常存储在DB中，MySQL、oracle中web/app业务交互 - 业务服务器 - mysql业务数据（业务日志数据） - sqoop上传到hdfs①业务数据上传到mysql数据库中，有些表需要每天进行更新，便于较少数据的增删改查；②mysql将数据通过sqoop上传到hdfs上，sq

1、linux常用高级命令1.1、top--实时查看内存1）第一行23：07：25 ： 当前系统时间；user : 用户个数；load average ： 三个数分别表示1分钟，五分钟，15分钟的负载状况***高于5表明系统在超负荷运转2）第二行task：任务（进程）–系统共有250个进程，1个在运行，249在休眠，0个stop，0个僵尸状态3）CPU状态us：用户空间占用CPU的百分比sy：内核

Ambari二次开发之集成Flink安装教程

1、数据加工整体的流向1.1、业务交互数据 -后端埋点数据业务流程中产生的登录、订单、用户、商品、支付等数据，通常存储在DB中，MySQL、oracle中web/app业务交互 - 业务服务器 - mysql业务数据（业务日志数据） - sqoop上传到hdfs①业务数据上传到mysql数据库中，有些表需要每天进行更新，便于较少数据的增删改查；②mysql将数据通过sqoop上传到hdfs上，sq

centos在vm15.5上配置

kafka专题之ACK/ISR/HW机制

Flink集成Kafka