最近在使用VMWare进行虚拟机克隆时，出现了克隆出的虚拟机不能联网的问题。不多废话，直接上解决方案：注：本人系统是CentOS 7 ，所涉及的命令都是CentOS 7 下的命令。如果您的系统是其它的系统版本，替换成对应系统的命令即可。一、查看IP配置：可以看出，当前网卡的名称是 ens33。二、修改网卡配置文件 /etc/sysconfig/network-scripts/ifcfg-eno16

本文目的：搭建 HDFS 2.x 高可用的 分布式集群环境。集群架构：集群组成：Namenode：2台Datanode：  3台Journalnode：3台Zookeeper： 3台ZKFC：2台ResourceManager：2台NodeManager：3台具体安排：         本文中准备node~4 四台虚拟机：

一、架构                     一共三台虚拟机：cdh1~cdh3。      其中Server部署在cdh1上，MySQL同样部署在cdh1上（因此cdh1的内存要大一些，其它两台主机的内存可稍小一点，笔者的内存配置是：6G、1G、1G）。IP分配如下：       cdh1:192.168.111.201       cdh2:192.168.111.20

无论是公司的生产环境，还是自己搭建的测试环境，Zookeeper集群的节点个数都是奇数个。至于为什么要是奇数个，以前只是模糊的知道是为了满足选举需要，并不知道详细的原因。最近重点学习zookeeper，了解到其中的原理，现将其整理记录下来。首先需要明确zookeeper选举的规则：leader选举，要求 可用节点数量 > 总节点数量/2 。注意 是 > , 不是 ≥。注

使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。动态分区的核心就是修改两个配置项。Hive动态分区步骤如下：1、建立某一个源表模拟数据源并插入一些数据create table t_test_p_source (...

常见端口汇总：Hadoop：        50070：HDFS WEB UI端口    8020 ： 高可用的HDFS RPC端口    9000 ： 非高可用的HDFS RPC端口    8088 ： Yarn 的WEB UI 接口    8485 ： JournalNode 的RPC端口    8019 ： ZKFC端口Zookeeper:    2181

笔者使用的系统是CentOS 6.5 , 使用yum安装mysql的默认版本是5.1，如果想安装指定版本的mysql，可以通过本帖的方式进行。本文以安装MySQL 5.6为例进行说明。1、从mysql的官网下载 rpm文档 （下载地址：MySQL官网下载地址）， 根据自己的系统下载响应的版本，下载下来的文件是一个rpm格式的压缩包。笔者下载的版本是：2、查看linux系统中是否有

笔者使用的系统是CentOS 6.5 , 使用yum安装mysql的默认版本是5.1，如果想安装指定版本的mysql，可以通过本帖的方式进行。本文以安装MySQL 5.6为例进行说明。1、从mysql的官网下载 rpm文档 （下载地址：MySQL官网下载地址）， 根据自己的系统下载响应的版本，下载下来的文件是一个rpm格式的压缩包。笔者下载的版本是：2、查看linux系统中是否有