最新dataSophon1.1.2保姆级安装

linux系统版本openEuler 22.03mysql8.0

我情豪溢

1371人浏览 · 2023-08-10 11:22:14

我情豪溢 · 2023-08-10 11:22:14 发布

1. 准备工作

1. linux环境

dataSophon1.1.2

linux系统版本openEuler 22.03

mysql8.0以上

2. 配置映射root用户

vim /etc/hosts

在这里插入图片描述

vim /etc/sysconfig/network

在这里插入图片描述

NETWORkING=yes

HOSTNAME=hadoop01

vim /etc/hostname

在这里插入图片描述

3. 重启服务器生效

reboot

使用root登陆所有机器创建 hadoop 用户

没有root权限使用sudo

创建hadoop用户

useradd bigdata

给hadoop用户修改密码，要求所有机器hadoop用户密码一致。

passwd bigdata

切换用户

su - bigdata

4. 免密登录

在root下面配置免密不然datasophon集群传不了文件

确认各机器是否已安装SSH文件

rpm -qa | grep ssh

安装 -免密登录客户端：

yum install -y openssh-clients

生成公钥跟私钥：

ssh-keygen -t rsa

发送公钥跟私钥：

ssh-copy-id bigdata03

发送有端口号的密钥

ssh-copy-id -p 30282 user@111.14.218.221

注意：不紧要给别人发，也给自己发一份

传完用 ssh 主机名登录下，不用密码就算成功

部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。

第二种方法

生成ssh 秘钥： ssh-keygen -m PEM -t rsa ，一路回车。

执行 ssh-copy-id 目标主机。

5. 关闭防火墙

查看： systemctl status firewalld.service

关闭： systemctl stop firewalld.service

永久关闭：systemctl disable firewalld.service

6. 下载DDP部署包

dataSophon下载
https://github.com/datavane/datasophon/releases/tag/v1.1.2

DDP部署包下载地址：

链接：https://pan.baidu.com/s/1AA8uUpiV8ejyYavjg2uTAw?pwd=hnn0 提取码：hnn0

在/opt/datasophon目录下创建目录

mkdir -p /opt/datasophon/DDP/packages

将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。

7. yum下载

openEuler的服务器全部得安装，不然执行会报错

yum install tar

2. mysql 安装

1. 解压mysql

切换到root用户

su - root

tar -xvf /home/bigdata/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz -C /usr/local/

8. 重命名

mv /usr/local/mysql-8.0.20-linux-glibc2.12-x86_64 /usr/local/mysql-8.0.20

9. 切换到mysql文件夹下

cd /usr/local/mysql-8.0.20

10. 安装

创建data文件夹存储文件

mkdir data

11. 创建用户组以及用户和密码

groupadd mysql

useradd -g mysql mysql

12. 授权用户

chown -R mysql.mysql /usr/local/mysql-8.0.20

13. 切换到bin目录下

cd bin

14. 编辑my.cnf文件

vi /etc/my.cnf

注释mysqld_safe,修改信息

[mysqld]

basedir=/usr/local/mysql-8.0.20

datadir=/usr/local/mysql-8.0.20/data

socket=/tmp/mysql.sock

character-set-server=UTF8MB4

#不区分大小写

lower_case_table_names = 1

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

15. 初始化基础信息

/usr/local/mysql-8.0.20/bin/mysqld --user=mysql --basedir=/usr/local/mysql-8.0.20/ --datadir=/usr/local/mysql-8.0.20/data/ --initialize

如果在这里报错:

./mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory

出现该问题首先检查该链接库文件有没有安装使用 rpm -qa|grep libaio命令进行核查

运行该命令后发现系统中无该链接库文件

使用命令安装

yum install libaio-devel.x86_64

出现这个错误

./mysql: error while loading shared libraries: libtinfo.so.5: cannot open shared object file: No such file or directory

ln -s /usr/lib64/libtinfo.so.6.3 /usr/lib64/libtinfo.so.5

安装成功后，继续运行数据库的初始化命令，成功后得到临时密码,记得保存，等会需要用
在这里插入图片描述

16. 添加mysqld服务到系统

这里要切换到安装目录下执行

cp -a /usr/local/mysql-8.0.20/support-files/mysql.server /etc/init.d/mysql

17. 授权以及添加服务

chmod +x /etc/init.d/mysql

chkconfig --add mysql

18. 启动mysql服务

service mysql start

19. 查看启动状态

service mysql status

在这里插入图片描述

20. 登录mysql

用临时密码登录

mysql -uroot -p

password填写刚才生产的临时密码，到此就说明安装成功了

21. 修改root密码

ALTER USER ‘root’@‘localhost’ IDENTIFIED WITH mysql_native_password BY ‘123456’;

其中123456是新的密码

执行 flush privileges; 使密码生效

选择mysql数据库

use mysql;

select User,authentication_string,Host from user;

修改远程连接并生效,退出

update user set host=‘%’ where user=‘root’;

flush privileges;

exit;

22. 配置环境

vim /etc/profile

#java

export JAVA_HOME=/home/bigdata/jdk1.8.0_271

export PATH= $P A T H :$ JAVA_HOME/bin

#mysql

export MYSQL_HOME=/usr/local/mysql-8.0.20

export PATH= $P A T H :$ MYSQL_HOME/bin

3. datasohpn安装部署

1. 关闭ssl

#使用如下命令查看ssl是否关闭，如果have_ssl的值为YES，说明SSL已经开启SHOW VARIABLES LIKE ‘%ssl%’;

注意需关闭mysql ssl功能。在部署过程中，部分组件会执行sql生成库表，不同环境的mysql在配置上存在差异，可根据sql执行情况，变更mysql配置。

在这里插入图片描述

修改配置文件vim /etc/my.cnf，在MySQL的配置文件my.cnf中加入以下内容：

#disable_ssl

skip_ssl

这个配置的作用是告诉MySQL不要使用SSL协议。在修改配置文件之前，最好备份一下，以免出错后无法恢复。

重启mysql服务

修改了my.cnf文件之后，需要重启MySQL才能使修改生效。可以使用以下命令重启MySQL：

service mysqld restart

再次查看，可以发现此时have_ssl值为DISABLED

2. 执行sql脚本

创建数据库

CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;

创建用户datasophon并且设置密码

CREATE USER ‘datasophon’@‘%’ IDENTIFIED BY ‘datasophon’;

将所有权限授予该用户

GRANT ALL PRIVILEGES ON . TO ‘datasophon’@‘%’ WITH GRANT OPTION;

刷新权限

FLUSH PRIVILEGES;

Datasophin1.2里面的sql文件夹在conf/db里面官网没有写

执行datasophon-manager目录下conf/db里面的sql文件，创建数据表。官网没写

第一步

source /opt/datasophon/DDP/packages/datasophon-manager-1.1.2/conf/db/migration/1.1.0/V1.1.0_0__DDL_datasophon.sql

第二步

source /opt/datasophon/DDP/packages/datasophon-manager-1.1.2/conf/db/migration/1.1.0/V1.1.0_1__DML_datasophon.sql

添加字段不然安装后会报错，官网没写
ALTER TABLE t_ddh_cluster_service_instance_role_group ADD need_restart INT(2);
在这里插入图片描述

3. 创建目录

mkdir -p /opt/datasophon/DDP/packages

将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。

注：需要将默认安装包建立在这个目录下，否则会报找不到目录错，如下：
在这里插入图片描述

23. 解压

tar -zxvf /home/bigdata/datasophon-manager-1.1.2.tar.gz -C /opt/datasophon/DDP/packages/
在这里插入图片描述

bin：启动脚本git

conf ：配置文件

lib ：项目依赖的jar包

logs:项目日志存放目录

jmx：jmx插件

24. 修改配置

修改 conf 目录下的application.yml 配置文件中数据库链接配置：

spring:

datasource:

type: com.alibaba.druid.pool.DruidDataSource

url: jdbc:mysql:bigdata01ZZ:3306/datasophon?useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai

username: root

password: 123456

driver-class-name: com.mysql.jdbc.Driver

提示

如果使用MySQL8.x，请替换datasophon-manager-{version}/lib/mysql-connector-java-5.1.34.jar, 同时url连接串种必须有时区参数&serverTimezone=Asia/Shanghai

25. 启动服务

启动：

sh /opt/datasophon/DDP/packages/datasophon-manager-1.1.2/bin/datasophon-api.sh start api

停止：

sh /opt/datasophon/DDP/packages/datasophon-manager-1.1.2/bin/datasophon-api.sh stop api

重启：

sh /opt/datasophon/DDP/packages/datasophon-manager-1.1.2/bin/datasophon-api.sh restart api

部署成功后，可以进行日志查看，日志统一存放于logs文件夹内:

访问页面一般需要启动3分钟左右

http://192.168.0.101:8081/ddh

admin/admin123

4. 创建集群

登录进入系统页面后在集群管理页面创建集群，DataSophon支持多集群管理和授予用户集群管理员权限。

在这里插入图片描述

26. 创建集群

输入集群名称，集群编码（集群唯一标识），集群框架。

在这里插入图片描述

成功后配置集群,根据提示，输入主机列表（注意：主机名需与在准备环境中hostnamectl set-hostname 设置的主机名一致），ssh用户名默认为root和ssh端口默认为22。

root用户也需要配置免密登录在这里插入图片描述

在这里插入图片描述

主机分发

在这里插入图片描述

主机管理Agent分发完成后，点击【下一步】，开始部署服务。

初始化配置集群先选择部署AlertManager,Grafana和Prometheus三个组件。DataSophon依赖此三个组件实现系统监控告警管理。

在这里插入图片描述

点击【下一步】，分配AlertManager,Grafana和Prometheus服务的master服务角色部署节点，此三个组件需部署在同一台机器上。
在这里插入图片描述

点击【下一步】，分配AlertManager,Grafana和Prometheus服务的worker与client服务角色部署节点，没有worker和client服务角色的可以跳过之间点击【下一步】。

在这里插入图片描述

修改各服务配置。系统已给出默认配置，大部分情况下无需修改。

在这里插入图片描述

点击【下一步】开始服务安装，可实时查看服务安装进度。

在这里插入图片描述

完成后

组件。DataSophon依赖此三个组件实现系统监控告警管理。

在这里插入图片描述
后续会有安装hadoop hive的文章

华为云开发者联盟

为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。

更多推荐

通过HPA+CronHPA组合应对业务复杂弹性伸缩场景

华为云开发者联盟

FT-FMEA融合混沌演练，零售运营系统韧性架构在线验证实践

华为云开发者联盟

如何使用Python和Plotly绘制3D图形

华为云开发者联盟

所有评论(0)

查看更多评论

我情豪溢

@qq_41969200

已为社区贡献1条内容

最新dataSophon1.1.2保姆级安装

我情豪溢

1. 准备工作

1. linux环境

2. 配置映射root用户

3. 重启服务器生效

4. 免密登录

5. 关闭防火墙

6. 下载DDP部署包

7. yum下载

2. mysql 安装

1. 解压mysql

8. 重命名

9. 切换到mysql文件夹下

10. 安装

11. 创建用户组以及用户和密码

12. 授权用户

13. 切换到bin目录下

14. 编辑my.cnf文件

15. 初始化基础信息

16. 添加mysqld服务到系统

17. 授权以及添加服务

18. 启动mysql服务

19. 查看启动状态

20. 登录mysql

21. 修改root密码

22. 配置环境

3. datasohpn安装部署

1. 关闭ssl

2. 执行sql脚本

3. *创建目录*

23. *解压*

24. 修改配置

25. 启动服务

4. 创建集群

26. 创建集群

所有评论(0)

我情豪溢

3. 创建目录

23. 解压