源码

https://github.com/wm5920/docker-platform

功能介绍

在centos7上实现单机一键部署hadoop大数据平台,同时基于flannel也可以平滑扩展到其他机器,包含简单的服务器资源监控

目录介绍

这里写图片描述

dockerdata

用于数据挂载,存放hadoop和mysql、redis产生的数据

dockerimage

用于存放基础docker镜像,如私服镜像registry.tar

lib

存放构建docker镜像必备的安装包和自定义脚本

centos7-ssh

顾名思义,基于centos7镜像加上了ssh免密码登录功能,hadoop镜像即依赖此镜像
Dockerfile

是创建镜像的文件

makessh.sh

主要用来产生秘钥

hadoop-zookeeper-hbase

将hadoop和zookeeper、hbase都集中在一个镜像里

hadoop-2.7.3\hbase-1.2.3

是官网的安装包

apache-phoenix-4.9.0-HBase-1.2-bin.tar.gz

是phoneix依赖包

zookeeper-3.4.6.tar.gz

是zookeeper依赖包

addhosts.sh脚本

是用来将master/node1/node2节点的ip添加到hosts中去,这样hbase就能正常访问了

config.sh

是用来修改hdfs/mapreduce/zookeeper/hbase的配置文件

create.sh

用来执行hbase表创建

Dockerfile

基础镜像构建文件

start.sh

快速操作hdfs、hbase、zookeeper

jdk-8u111-linux-x64

jdk依赖包,容器采用挂载的方式使用,降低镜像文件大小

mysql

create.sh

执行sql文件导入

web.sql

即mysql导出的sql文件,根据自己业务进行修改

tomcat-web

微服务dubbo镜像创建模块

apache-tomcat-7.0.69

tomcat安装包

dubbo-admin-2.8.4.war

dubbo服务控制管理页面

dubboadmin-monitor-Dockerfile

镜像创建基础文件

dubbo-monitor-simple-2.8.4-assembly.tar.gz

dubbo服务监控服务安装包

dubbo-start.sh

启动tomcat
启动monitor

monitor-web

是用golang写的基础监控项目,可以将gopath设置到此
src

源码部分,main.go实现了简单的web服务器,前台发送请求后执行webmonitor.sh脚本并返回结果

views

前端展示页面,用了vue作数据绑定

webmonitor

go已经编译过的linux执行脚本

webmonitor.sh

shell监控脚本,包含内容
内存占用统计
资源占用统计
硬盘占用情况
正在运行的docker
查看各容器资源占用情况
主机docker镜像

docker-start.sh

是主要脚本,./docker-start.sh help会提示所有操作
./docker-start.sh all即可实现一键单机部署,中间有部分交互操作按提示执行即可

主要执行
安装docker
安装etcd
安装flannel
创建centos7ssh镜像
创建并启动hadoop镜像
创建并启动mysql镜像
创建并启动redis镜像
创建并启动dubbo服务管理

系列文章

一、docker-platform介绍

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐