logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[美团]大数据开发工程师技术面汇总面经

14.继续盘问了上一道手撕题目代码在hadoop底层的执行过程,每一段执行几轮map几轮reduce(没太懂在问什么,根据自己的理解大概说了说)第一道签到题,第二道主要考察专窗的应用,第三道主要考察聚合开窗的应用。5.讲述一个你曾经做大数据优化的经历,如何解决,达到了什么样的效果。13.一个难度较高,较怪异的手撕,需要发掘数据之间的联系,编程解决。11.学习大数据的过程中遇到了什么技术上的难题,如

文章图片
#大数据#数据仓库#hadoop +2
[大数据基本功]数仓中某张表执行时间过慢的优化思路

可以在上游使用hint,通过使用coalesce或者repartition减少map阶段的task数量,从而控制上游产生的文件数,这时下游就不需要再去进行小文件合并了。参考:https://blog.csdn.net/zfxhz/article/details/140385442?3)找到对应sql, 对其中每个可能导致数据倾斜的字段,通过count(1)+group by的方式排查是哪个字段的某

文章图片
#大数据#spark#数据仓库
到底了