logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hive优化—skew join优化原理详解

目录优化原理适用范围测试验证优化原理JOIN中倾斜键的处理思路最早是在HIVE-964中提出的,整体思路是使用独立的作业和mapjoin来处理倾斜的键。用以处理倾斜键的MR作业数是表的数量减一(we can stream the last table, so big keys in the last table will not be a problem)在执行JOIN的过程中,会将一个表中的大k

#大数据#hive
使用RPM方式安装docker

使用RPM方式安装docker通常网上提供的docker安装方式都是使用yum安装,但是如果一些环境无法连接外网(这种情况在生产环境很常见),通过离线安装方式安装docker就很有必要。本文主要介绍通过rpm方式安装docker。其中相关rpm包的下载地址来自:https://centos.pkgs.orghttps://yum.dockerproject.org/repo/main/

到底了