控制好上游的埋点，就能在数仓范围上，更合理的规划模型。试想，如果把所有的埋点数据抽象到一个模型中，一个模型能满足所有的埋点查询需求，是不是解放了数仓的大量流量数据需求。埋点流程① 提出埋点需求产品运营预估未来的数据需求，并根据这些数据需求提出埋点。② 埋点评审产品运营+数据团队+开发团队，三方共同评审埋点的合理性。埋点评审评什么？有无埋点的必要？是否有除了埋点更好的方案？埋点内容的技术可行性？——

SparkUI是spark任务的重要工具，这里能看到spark任务的运行状态到底是如何的，它能给我们的调优工作提供大部分的线索。下面是一个spark任务在map、shuffle、reduce三个阶段的典型情况，供参考：Map Stage：Shuffle Stage：Reduce Stage：...