写文章
- @qq_59662745
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
MapReduce任务优化 阿里云平台ODPS Join方法等等详细解析
1 计算机性能CPU,内存,磁盘健康,网络2 I/O操作优化-数据倾斜数据输入Map阶段Reduce阶段Map长尾:Map端读取数据由于带下分布不均匀,会导致一些Map Instance读取和处理的数据特别多,造成Map长尾;主要是由于Reduce长尾:主要是keyy的分布不均匀所导致,主要场景:Join长尾:主要场景为动态分区优化:动态分区带来的小文件过多的问题进行小文件合并开窗函数的优化:某个
到底了