
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
[美团]大数据开发工程师技术面汇总面经
14.继续盘问了上一道手撕题目代码在hadoop底层的执行过程,每一段执行几轮map几轮reduce(没太懂在问什么,根据自己的理解大概说了说)第一道签到题,第二道主要考察专窗的应用,第三道主要考察聚合开窗的应用。5.讲述一个你曾经做大数据优化的经历,如何解决,达到了什么样的效果。13.一个难度较高,较怪异的手撕,需要发掘数据之间的联系,编程解决。11.学习大数据的过程中遇到了什么技术上的难题,如

[大数据基本功]数仓中某张表执行时间过慢的优化思路
可以在上游使用hint,通过使用coalesce或者repartition减少map阶段的task数量,从而控制上游产生的文件数,这时下游就不需要再去进行小文件合并了。参考:https://blog.csdn.net/zfxhz/article/details/140385442?3)找到对应sql, 对其中每个可能导致数据倾斜的字段,通过count(1)+group by的方式排查是哪个字段的某

到底了