简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
需要阅读hive源代码了解hive运行原理修改hive部分代码来达到业务需求可以将hive源代码下载下来进行编译运行,在本地进行调试。1.环境准备开发需要在linux环境下可以在本机上装一个ubuntu操作系统或者一个虚拟机都可以。有条件的同学可以在macbook上开发也可以linux版本的eclipse2.开发环境hive2.3jdk 1.7mav
HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme:
docker离线环境在linux上一键部署启动java web项目部署企业应用经常会遇到一些问题,根据以往的经验大概罗列一下:离线环境。不能访问公网,不能下载各种包,特别是在linux中不能用yum来安装所需要的环境。实施人员对部署环境不能掌控。部署软件特别多的情况下,经常由于实施人员细节的小错误造成启动失败,以至于一直打电话排查原因。软件多繁杂。
做企业应用,有些场景下面是需要离线安装的环境,linux系统需要的一些rpm包就需要做离线安装。#修改yum设置,让rpm包缓存到本地vi /etc/yum.conf#修改keepcache为1keepcache=1#清空yum缓存yum clean all#安装你要离线安装的rpm包yum install xxx.rpm -y#rpm包缓存到了/var/cache/yum下面c
1.hbase读的过程1,Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息。2,根据namespace、表名和rowkey在meta表中找到对应的region信息3,找到这个region对应的regionserver4,查找对应的region5,先从MemSto
1、RegionServer决定本地的region分裂,并准备分裂工作。第一步是,在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode,并设为SPLITTING状态。2、Master通过父region-in-transition znode的watcher监测到刚刚创建的znode。3、RegionServer在HDFS中父r
elasticsearch配置安装1.安装环境centos 7.2(可以使用docker就可以,后面用docker启动插件)jdk1.8elasticsearch 5.62.安装jdk略3.安装elasticsearch
注:docker在centos6上面运行很不稳定,如果要在mesos上运行docker的话,建议用centos7根据官网说明安装的过程记录,linux不同版本操作系统安装不太一样,官网看这里mesosphere官网安装1.环境硬件环境192.168.1.24(master)(mesos,marathon,zookeeper)192.168.1.25(slave)(mesos)192
docker 安装参见 https://docs.docker.com/engine/installation/linux/centos/curl -fsSL https://get.docker.com/ | shdocker 常用命令docker服务## 启停重启服务service docker start(stop restart)## 开机启动systemctl enable do
swarm是什么碎一些闲篇,swarm貌似是从docker1.9版本开始就有了,但功能不完善、性能不稳定,一直不能登入生产环境,从1.12版本内置到了docker-engine中,可以直接使用docker swarm命令来操作swarm。swarm是什么,swarm是docker集群的资源管理工具。简单点理解,在很多台机器上部署docker,组成一个docker集群,并把整个集群的资源抽象成资源