什么是数据倾斜Hadoop能够进行对海量数据进行批处理的核心，在于它的分布式思想，通过多台服务器（节点）组成集群，共同完成任务，进行分布式的数据处理。理想状态下，一个任务是由集群下所有机器共同承担执行任务，每个节点承担的任务应该相近，但实际上在并行处理过程中，分配到每台节点的数据量并不是均匀的，当大量的数据分配到某一个节点时（假设10个节点，5亿数据），那么原本只需要1小时完成的工作，变成了其中9

这是我的第二条博客，向大家推荐idea的便捷快乐使用方法。1.首先打开idea的安装包，双击安装（请忽略天选姬）2.可默认安装路径，也可新建一个，我这里是新建，然后提取安装。2。根据系统选择相应的安装选项，博主是64位3.安装好后打开ideaIdea在初次运行的时候会让你选择是否导入设置，如图初次使用或没有保存设置的大多需要重新设置使用默认设置，如果想偷懒可以右下角跳过设置关键的来了：这个免费使用

打开虚拟机点击左上角文件——创建，创建自定义虚拟机，硬件兼容性，可选择向下兼容，但不能选择向上兼容，一般win10选择15.x选择稍后安装，之后操作系统默认是windows，我这里选择用linux，版本CentOS67位跳转下一页面，注意！不要装C盘！！！选择容量大些的盘安装，最好再创建一个二级目录安装进去，根据需求以及自身配置选择处理器数量，核心，以及虚拟机的内存，我这里选择双处理器四核以及4G