需要阅读hive源代码了解hive运行原理修改hive部分代码来达到业务需求可以将hive源代码下载下来进行编译运行，在本地进行调试。1.环境准备开发需要在linux环境下可以在本机上装一个ubuntu操作系统或者一个虚拟机都可以。有条件的同学可以在macbook上开发也可以linux版本的eclipse2.开发环境hive2.3jdk 1.7mav

HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme:

docker离线环境在linux上一键部署启动java web项目部署企业应用经常会遇到一些问题，根据以往的经验大概罗列一下：离线环境。不能访问公网，不能下载各种包，特别是在linux中不能用yum来安装所需要的环境。实施人员对部署环境不能掌控。部署软件特别多的情况下，经常由于实施人员细节的小错误造成启动失败，以至于一直打电话排查原因。软件多繁杂。

做企业应用，有些场景下面是需要离线安装的环境，linux系统需要的一些rpm包就需要做离线安装。#修改yum设置，让rpm包缓存到本地vi /etc/yum.conf#修改keepcache为1keepcache=1#清空yum缓存yum clean all#安装你要离线安装的rpm包yum install xxx.rpm -y#rpm包缓存到了/var/cache/yum下面c

1.hbase读的过程1,Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息。2,根据namespace、表名和rowkey在meta表中找到对应的region信息3,找到这个region对应的regionserver4,查找对应的region5,先从MemSto

1、RegionServer决定本地的region分裂，并准备分裂工作。第一步是，在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode，并设为SPLITTING状态。2、Master通过父region-in-transition znode的watcher监测到刚刚创建的znode。3、RegionServer在HDFS中父r

elasticsearch配置安装1.安装环境centos 7.2(可以使用docker就可以，后面用docker启动插件)jdk1.8elasticsearch 5.62.安装jdk略3.安装elasticsearch

注：docker在centos6上面运行很不稳定，如果要在mesos上运行docker的话，建议用centos7根据官网说明安装的过程记录，linux不同版本操作系统安装不太一样，官网看这里mesosphere官网安装1.环境硬件环境192.168.1.24(master)（mesos,marathon,zookeeper）192.168.1.25(slave)（mesos）192

docker 安装参见 https://docs.docker.com/engine/installation/linux/centos/curl -fsSL https://get.docker.com/ | shdocker 常用命令docker服务## 启停重启服务service docker start(stop restart)## 开机启动systemctl enable do

swarm是什么碎一些闲篇，swarm貌似是从docker1.9版本开始就有了，但功能不完善、性能不稳定，一直不能登入生产环境，从1.12版本内置到了docker-engine中，可以直接使用docker swarm命令来操作swarm。swarm是什么，swarm是docker集群的资源管理工具。简单点理解，在很多台机器上部署docker，组成一个docker集群，并把整个集群的资源抽象成资源