大数据管理平台DataSophon-1.1.1安装部署详细流程
DataSophon致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
1 DataSophon介绍
1.1 DataSophon愿景
DataSophon致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
1.2 DataSophon是什么
《三体》，这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知，其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平
作为三体中非常重要的角色，智子(Sophon)是将九维的质子进行二维展开，通过电路蚀刻改造成超级计算机后，再转回到微观的十一维来监控人类的一举一动，并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。
DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务
1.3 DataSophon主要特性
① 快速部署,可快速完成300个节点的大数据集群部署
② 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
③ 监控指标全面丰富，基于生产实践展示用户最关心的监控指标
④ 灵活便捷的告警服务，可实现用户自定义告警组和告警指标
⑤ 可扩展性强，用户可通过配置的方式集成或升级大数据组件
1.4 整体架构
1.5 集成组件
各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。
| 序号 | 名称 | 版本 | 描述 |
|---|---|---|---|
| 1 | HDFS | 3.3.3 | 分布式大数据存储 |
| 2 | YARN | 3.3.3 | 分布式资源调度与管理平台 |
| 3 | ZooKeeper | 3.5.10 | 分布式协调系统 |
| 4 | FLINK | 1.15.2 | 实时计算引擎 |
| 5 | DolphoinScheduler | 3.1.1 | 分布式易扩展的可视化工作流任务调度平台 |
| 6 | StreamPark | 1.2.3 | 流处理极速开发框架,流批一体&湖仓一体的云原生平台 |
| 7 | Spark | 3.1.3 | 分布式计算系统 |
| 8 | Hive | 3.1.0 | 离线数据仓库 |
| 9 | Kafka | 2.4.1 | 高吞吐量分布式发布订阅消息系统 |
| 10 | Trino | 367 | 分布式Sql交互式查询引擎 |
| 11 | Doris | 1.1.5 | 新一代极速全场景MPP数据库 |
| 12 | Hbase | 2.4.16 | 分布式列式存储数据库 |
| 13 | Ranger | 2.1.0 | 权限控制框架 |
| 14 | ElasticSearch | 7.16.2 | 高性能搜索引擎 |
| 15 | Prometheus | 2.17.2 | 高性能监控指标采集与告警系统 |
| 16 | Grafana | 9.1.6 | 监控分析与数据可视化套件 |
| 17 | AlertManager | 0.23.0 | 告警通知管理系统 |
2 环境准备
2.0 DataSophon安装包
链接：https://pan.baidu.com/s/1QWTMadCGLiAL-XqeS6AygQ
提取码：2gd2
选择需要安装的DataSophon版本，并选择对应的datasophon-manager版本。本文以最新的DataSophon-1.1.1版本为例。
2.1 网络要求
要求各机器各组件正常运行提供如下的网络端口配置：
| 组件 | 默认端口 | 说明 |
|---|---|---|
| DDHApplicationServer | 8081、2551、8586 | 8081为http server端口，2551为rpc通信端口，8586为jmx端口 |
| WorkerApplicationServer | 2552、9100、8585 2552 | rpc通信端口，8585为jmx端口，9100为主机数据采集器端口 |
| nginx | 8888 | 提供 UI 端通信端口 |
注：
① DDHApplicationServer为API接口层即web后端，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。
② WorkerApplicationServer负责执行DDHApplicationServer发送的指令，包括服务安装、启动、停止、重启等指令。
2.2 配置hosts
大数据集群所有机器需配置主机host。
配置主机名： hostnamectl set-hostname 主机名
配置/etc/hosts文件
2.3 关闭防火墙
2.4 集群免密
部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。
配置免密
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
集群之间完成免密
ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机
2.5 环境要求
Jdk环境需安装。建议mysql版本为5.7.X，并关闭ssl。
2.6 创建目录
mkdir -p /opt/datasophon/DDP/packages
将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。
注：需要将默认安装包建立在这个目录下，否则会报找不到目录错，如下：
3 部署
3.1 部署mysql
注意需关闭mysql ssl功能。在部署过程中，部分组件会执行sql生成库表，不同环境的mysql在配置上存在差异，可根据sql执行情况，变更mysql配置。
3.1.1 关闭ssl
#使用如下命令查看ssl是否关闭，如果have_ssl的值为YES，说明SSL已经开启
SHOW VARIABLES LIKE '%ssl%';
修改配置文件my.cnf，在MySQL的配置文件my.cnf中加入以下内容：
#disable_ssl
skip_ssl
这个配置的作用是告诉MySQL不要使用SSL协议。在修改配置文件之前，最好备份一下，以免出错后无法恢复。
重启mysql服务
修改了my.cnf文件之后，需要重启MySQL才能使修改生效。可以使用以下命令重启MySQL：
service mysqld restart
再次查看，可以发现此时have_ssl值为DISABLED
3.1.2 执行初始化脚本
执行如下数据库脚本：
CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to datasophon@"%" identified by 'datasophon' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'datasophon'@'%';
FLUSH PRIVILEGES;
执行datasophon-manager安装目录sql目录下datasophon.sql，创建数据表。
source datasophon.sql
3.2 解压
在安装目录下解压datasophon-manager-{version}.tar.gz，解压后可以看到如下安装目录：
tar -zxvf datasophon-manager-1.1.1.tar.gz
bin：启动脚本git
conf ：配置文件
lib ：项目依赖的jar包
logs:项目日志存放目录
jmx：jmx插件
3.3 安装并配置nginx
注：1.1.1之前的版本需要执行该步操作，需要配置nginx。1.1.1及以后版本可以跳过该步骤
3.3.1 安装依赖包
yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel
3.3.2 下载并解压
#创建一个文件夹
cd /usr/local
mkdir nginx
cd nginx
#下载tar包
wget http://nginx.org/download/nginx-1.13.7.tar.gz
tar -xvf nginx-1.13.7.tar.gz
3.3.3 安装nginx
#进入nginx目录
cd /usr/local/nginx/nginx-1.13.7
#执行命令 考虑到后续安装ssl证书 添加两个模块
./configure --with-http_stub_status_module --with-http_ssl_module
#执行make命令
make
#执行make install命令
make install
3.3.4 启动nginx服务
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
看到如下页面说明nginx安装成功
3.3.5配置nginx.conf
# 打开配置文件
vim /usr/local/nginx/conf/nginx.conf
注意：这里需要获取前端配置包dist.zip并解压
新增配置
server {
listen 8888;# 访问端口(自行修改)
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
location / {
root /usr/local/nginx/dist; # 前端解压的 dist 目录地址(自行修改)
index index.html index.html;
}
location /ddh {
proxy_pass http://doris-1:8081; # 接口地址(自行修改)
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 30s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
3.3.6 重启nginx
/usr/local/nginx/sbin -s reload
3.4 修改配置
修改 conf 目录下的application.yml 配置文件中数据库链接配置：
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql:192.168.5.189:3306/datasophon?useUnicode=true&characterEncoding=utf-8
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
3.4 启动服务
#启动
sh bin/datasophon-api.sh start api
#停止
sh bin/datasophon-api.sh stop api
#重启
sh bin/datasophon-api.sh restart api
部署成功后，可以进行日志查看，日志统一存放于logs文件夹内:
logs/
├── ddh-api.log
├── ddh-api-error.log
|—— api-{hostname}.out
3.5 访问页面
访问前端页面地址,接口ip(自行修改) [http://192.168.xx.xx:8081/ddh，默认用户名和密码为admin/admin123
4 创建集群
登录进入系统页面后在集群管理页面创建集群，DataSophon支持多集群管理和授予用户集群管理员权限
点击【创建集群】，输入集群名称，集群编码（集群唯一标识），集群框架。
创建成功后点击【配置集群】：
根据提示，输入主机列表（注意：主机名需与在准备环境中hostnamectl set-hostname 设置的主机名一致），ssh用户名默认为root和ssh端口默认为22。
配置完成后，点击【下一步】，系统开始链接主机并进行主机环境校验。
主机环境校验成功后点击【下一步】，主机agent分发步骤将自动分发datasophon-worker组件，并启动WorkerApplicationServer。
主机管理Agent分发完成后，点击【下一步】，开始部署服务。
初始化配置集群先选择部署AlertManager,Grafana和Prometheus三个组件。
点击【下一步】，分配AlertManager,Grafana和Prometheus服务的master服务角色部署节点，此三个组件需部署在同一台机器上。
点击【下一步】，分配AlertManager,Grafana和Prometheus服务的worker与client服务角色部署节点，没有worker和client服务角色的可以跳过之间点击【下一步】。
修改各服务配置。系统已给出默认配置，大部分情况下无需修改。
点击【下一步】开始服务安装，可实时查看服务安装进度。
点击【完成】，在集群管理页面点击【进入】，即可进入集群服务组件管理页面。
5 添加服务
5.1 安装ZK
选择添加服务，选择zk
分配ZooKeeper master服务角色部署节点，zk需部3台或5台。
Zk没有worker与client服务角色，直接点击【下一步】跳过。
根据实际情况修改Zk服务配置。
点击【下一步】，进行zk服务安装
安装成功后即可查看Zookeeper服务总览页面。
5.2 安装HDFS
部署HDFS，其中JournalNode需部署三台，NameNode部署两台，ZKFC和NameNode部署在相同机器上。如下图
点击【下一步】，选择DataNode部署节点。
根据实际情况修改配置，例如修改DataNode数据存储目录。
点击【下一步】，开始安装Hdfs。
安装成功后，即可查看HDFS服务总览页面。
5.3 添加Yarn服务
部署YARN，其中ResourceManager需部署两台作高可用。如下图：
点击【下一步】，选择NodeManager部署节点。
根据实际情况修改配置。
等待安装完成
安装成功后，即可查看YARN服务总览页面
5.4 添加hive服务
5.4.1 准备工作
1）在数据库中创建Hive数据库。
CREATE DATABASE IF NOT EXISTS hive DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to hive@"%" identified by 'hive' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
5.4.2 安装hive
选择需要安装hiveserver2和metastore角色的节点
选择需要安装hiveclient角色的节点
根据实际情况修改配置
等待安装完成，安装成功后即可查看YARN服务总览页面
5.5 安装dolphinscheduler服务
5.5.1 准备工作
1）初始化DolphinScheduler数据库。
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
flush privileges;
2）执行/opt/datasophon/DDP/packages目录下dolphinscheduler_mysql.sql创建dolphinscheduler数据库表
5.5.2 安装dolphinscheduler
添加dolphinscheduler服务
分配api-server/alert-server/master-server/worker-server角色
根据实际情况，修改DolphinScheduler配置。
开始安装DolphinScheduler，安装成功后可以看到DolphinScheduler总览页面
可以通过WebUi打开DolphinScheduler页面.
5.6 添加trino
点击【添加服务】，选择Trino。
选择TrinoCoordinator。
选择TrinoWorker。注意：TrinoCoordinator和TrinoWorker不要部署在同一台机器上。
注意"Trino最大堆内存"，"每个查询在单个节点可使用最大内存"这两个配置，其中"每个查询在单个节点可使用最大内存"不可超过"Trino最大堆内存"的80%，“总共可使用最大内存"为"每个查询在单个节点可使用最大内存”* TrinoWorker数.
点击【下一步】，开始安装Trino。等待安装完成，可以看到Trino总览页面
选择trino的webui，可以访问trino的连接
5.7 添加doris服务
点击【添加服务】，选择Doris。
分配FE服务角色部署节点。
分配BE服务角色部署节点。
根据需要修改Doris配置，其中FE优先网段和BE优先网段需要配置，如配置成172.31.86.0/24
点击【下一步】，开始安装Doris。
5.8 安装kafka
选择安装kafka服务broker角色的节点
根据实际情况调整Kafka参数。
Kafka安装成功后，即可在Kakfa服务总览页查看Kafka详情。
5.9 安装ranger
创建ranger数据库
CREATE DATABASE IF NOT EXISTS ranger DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to ranger@"%" identified by 'ranger' with grant option;
GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';
FLUSH PRIVILEGES;
点击【添加服务】，选择Ranger。
选择RangerAdmin部署节点。
输入数据库root用户密码，数据库地址，Ranger数据用户密码等配置信息。
安装成功后，即可在Kakfa服务总览页查看Ranger详情。
5.10 安装StreamPark
初始化StreamPark数据库。
CREATE DATABASE streampark DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'%' IDENTIFIED BY 'streampark';
GRANT ALL PRIVILEGES ON streampark.* TO 'streampark'@'localhost' IDENTIFIED BY 'streampark';
flush privileges;
执行/opt/datasophon/DDP/packages目录下streampark.sql创建streampark数据库表。
use streampark;
source /opt/datasophon/DDP/packages/streampark.sql
分配streampark角色
根据实际情况修改配置。
安装成功后可查看StreamPark总览页面，可通过WebUi跳转到StreamPark用户页面。
还有其他组件，如spark/flink/hbase/elasticsearch等，这里就不再一一例举安装了，感兴趣的小伙伴可以自己上手试一试。
6 多集群部署
DataSophon支持部署和管理集群，在管理页面点击创建新的集群，输入集群id等信息
部署其他集群的节点同样需要上述2.1-2.5的环境准备。
6.1 扫描节点和分发安装包
输入需要安装集群的节点ip
分发worker安装包
6.2 选择需要安装的服务
6.3 分配角色
6.4 确认服务配置参数
6.5 安装服务
6.6 进入集群2
安装成功之后，进入集群2查看总览页面
6.7 集群2中添加服务
在集群2中添加zk/kafka/doris服务
zk页面总览
kafka页面总览
doris页面总览
6.8 集群间切换
可以选择不同的集群id，查看对应不同集群的节点信息、组件安装信息、告警信息等
不同集群安装的服务和节点均可不一致：
集群1主机管理
集群2主机管理
大数据从业者之家,一起探索大数据的无限可能！
更多推荐
6
0- 0
已为社区贡献2条内容
所有评论(0)