Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、hbase等数据存储系统。导出数据：从hadoop的文件系统中导出数据到关系型数据库中。

目前的Hdfs版本来讲，其文件系统中的文件是不能做改变的，也就是说Hive的表只能进行删除和添加操作，而不能进行update。而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题了。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。缺点就是存储空间占用量太大太大了，如果对这边表每天都

它可以记录的范围非常广泛，可以记录各种与银行相关的活动的详细情况，包括交易数据，比如存款、提款、付款、收取信用卡年费、计算利息和费用、投诉、查询产品、查询地址、查询余额、网上交易等。银行是一个企业，同时也是一个机构，涉及企业机构就会有资产，财务的存在，银行有自己的产品（信用卡，黄金，期货等）有产品就需要有人进行买卖，买卖的人这就是当事人，进行的买卖就是销售，有销售就得有渠道（不管是线上还是线下），

总的来说，数据中台距离业务更近，数据复用能力更强，能为业务提供速度更快的服务，数据中台在数据仓库和数据平台的基础上，将数据生产为一个个数据API服务，以更高效的方式提供给业务。2）逻辑模型LDM：逻辑模型反映的是系统分析人员对数据存储的观点，是对概念模型的进一步分解和细化，逻辑模型是根据业务规则确定的，关于业务对象，业务对象的数据项以及业务对象之间关系的基本蓝图。面向主题的数据组织方式，就是在较高

1. Spark的版本和对应的新特性主要是spark3.0之后的sparksql的AQE和动态分区裁剪AQE里面涉及了动态合并shuffle partition ， 动态调整join 策略，动态优化倾斜join2. Clickhouse和ES对比3. 介绍项目4. 小文件问题HDFS的用户权限管理是怎么做的？文件夹权限744代表的是什么？HDFS的下载和上传命令是什么？如果我要下载HDFS上Yar

说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action?Hive的join操作原理，leftjoin、right join、inner join、outer join的异同?在删除HBase中的一个数据的时候，它什么时候真正的进行删除呢?Hive语句的运行机制，例如包含where、having、group by、orderby，整个的执行过

目前的Hdfs版本来讲，其文件系统中的文件是不能做改变的，也就是说Hive的表只能进行删除和添加操作，而不能进行update。而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题了。我们可以使用这张表拿到最新的当天的最新数据以及之前的历史数据。缺点就是存储空间占用量太大太大了，如果对这边表每天都

总的来说，数据中台距离业务更近，数据复用能力更强，能为业务提供速度更快的服务，数据中台在数据仓库和数据平台的基础上，将数据生产为一个个数据API服务，以更高效的方式提供给业务。2）逻辑模型LDM：逻辑模型反映的是系统分析人员对数据存储的观点，是对概念模型的进一步分解和细化，逻辑模型是根据业务规则确定的，关于业务对象，业务对象的数据项以及业务对象之间关系的基本蓝图。面向主题的数据组织方式，就是在较高