1 官网地址链接地址2 MapReduce局限性1）繁杂：Map和Reduce两种操作2）处理效率低效。IO:Map中间结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据; 任务调度和启动开销大;进程级别Map端和Reduce端均需要排序3）不适合迭代计算(如机器学习、图计算等)，交互式处理(数据挖掘) 和流式处理(点击日志分析)...

1 概述对于压缩的好处可以从两方面考虑：Storage + Compute；1. Storage ：基于HDFS考虑，减少了存储文件所占空间，提升了数据传输速率；2. Compute：基于YARN上的计算(MapReduce/Hive/Spark/….)速度的提升；在hadoop大数据的背景下，这两点尤为重要，怎样达到一个高效的处理，选择什么样的压缩方式和存储格式（下篇博客介绍）是...

1.本机环境主机名iphadoop001192.168.137.200hadoop002192.168.137.201hadoop003192.168.137.2022. 3台机器执行命令ssh-keygen[root@hadoop001 ~]# ssh-keygenGenerating ...

1.进入虚拟机文件夹将hadoop01复制一份，重命名为hadoop022.进入VM主界面，打开hadoop02文件开启虚拟机3.打开终端vi /etc/udev/rules.d/70-persistent-net.rules# This file was automatically generated by the /lib/udev/write...

1 简介Docker是一个开源的应用容器引擎；是一个轻量级容器技术；Docker支持将软件编译成一个镜像；然后在镜像中各种软件做好配置，将镜像发布出去，其他使用者可以直接使用这个镜像；运行中的这个镜像称为容器，容器启动是非常快速的。2 核心概念docker主机(Host)：安装了Docker程序的机器（Docker直接安装在操作系统之上）；docker客户端(Client)：连接doc...

环境[root@localhost ~]# uname -r3.10.0-862.el7.x86_64net模式查看ip首先我们登录操作系统 用户名root 密码 123456然后我们输入ip查询命名 ip addr(ifconfig这个命令已经不能用了)：可以看出 ens33 没有 inet 这个属性，那么就没法通过IP地址连接虚拟机。接着来查看ens33网...

1.出现的问题使用ifconfig命令时，只有lo，没有eth0当前环境1.虚拟机上配置静态ip访问外网(NAT模式)因为作者换了网络，所以虚拟机目前上不了网，所以修改了vi /etc/sysconfig/networt-scripts/ifcfg-eth0目录下的DNS1（配置的静态ip，NAT模式，只需要修改DNS1即可），修改后我使用了service network res...

1 关闭window7防火墙打开控制面板选择Windows防火墙选择左边打开或者关闭防火墙，如下图关闭防火墙2 关闭CentOS防火墙查看防火墙： service iptables status关闭防火墙：service iptables stop查看防火墙开机启动状态：chkconfig iptables –list关闭防火墙开机启动：chkconfig ip...

1 日志框架介绍对于我们日常开发日志是经常使用的，当然以前的我们可能还傻傻的各种System.out.println("重要数据")在控制台输出各种重要数据呢，投入生产的时候再注释掉。到现在为止呢，已经有很多日志可供选择了，而市面上常见的日志框架有很多，比如：JCL、SLF4J、Jboss-logging、jUL、log4j、log4j2、log