查看执行计划的6种方法1、explain plan for ：如果某SQL执行非常长时间才会出结果，甚至慢到返回不了结果，这时候看执行计划就只能用方法1,或者方法4；缺点：没有输出运行时的相关统计信息（产生多少逻辑读，多少次递归调用，多少次物理读的情况），无法判断是处理了多少行，无法判断表被访问了多少次2、set auto trace on：不一定是最真实得执行计划，但是能很容易的看出是否排序；缺

大数据开发方向偏业务侧方向-项目经理如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力数据湖是数仓的增强版本格式管理数据管理时间旅行manifestsschema演变分区演变

连接命令：一个application 大任务可以分解成 多个小任务 jobs， 一个job又可以分解成多个 stages 阶段，一个stage又可以分解成 多个tasks（可以认为是两个线程）standalone Zookeeper 高可用HA，集群中存在多个master，但最先注册的成为active，其它是standby，集群包含Worker、Driver、Applicationmaster由r

4.使用foreachpartition代替foreach，在foreachpartition内获取数据库连接。foreachpartition原理是 在每个分区中把iteritor传入func中，由func控制这批迭代。foreach原理是 在每个分区中在iteritor遍历一条然后调用的func处理。2.使用连接池，较少创建销毁的开销。

mapreduce中的排序算法即作用归并排序（Merge sort）是建立在归并操作上的一种有效、稳定的排序算法，该算法是采用分治法(Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并总结：归并是将子序列合并的意思，合并的方法是用辅助列实现。快速排序：使用递归的