从git上下载最新的azkban稳定版代码

git clone https://github.com/azkaban/azkaban.git -b 3.74.3
这里还有个问题,如何把这个代码放到自己的git上,我放到公司的gitlab上之后,编译的名字就变了,很奇怪。

构建Azkaban

./gradlew clean
./gradlew build -x test
-x是指不做单元测试,不加这个会特别慢
这里我构建了很多次,用公司配制好的服务器构建,文件名老是不对
名字老是azkaban-web-server-0.1.0-SNAPSHOT.tar.gz和azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

后来还是直接clone官网上的代码来构建

配置mysql

需要用mysql的root用户创建一个azkban数据库,我这里创建的数据库名为azkban3
然后 从编译文件夹里:
在azkaban/azkaban-db/build/sql下找到create-all-sql-3.74.3.sql
然后再mysql命令行:
create database azkaban3;
use azkaban3
source /home/data-platform/create-all-sql-3.74.3.sql
这样就把azkaban的所有表都创建完了

创建用户名为azkban的用户,用户名为azkban@123
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban@123'; #创建用户
grant all on azkaban3.* to azkaban@'%' identified by 'azkaban@123'; #授权azkaban3给azkaban
flush privileges #s刷新

启动azkban-exec-server

cd /opt/azkaban/azkaban-exec-server-3.74.3 && ./bin/start-exec.sh

这里有个问题:
直接启动exec-server后启动web-server,webserver会找不到活跃的excutor
报错信息为:

2019/07/04 14:32:08.532 +0800 INFO [ExecutorManager] [Azkaban] Initializing executors from database.
2019/07/04 14:32:08.535 +0800 ERROR [ExecutorManager] [Azkaban] No active executors found
2019/07/04 14:32:08.536 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2019/07/04 14:32:08.536 +0800 ERROR [StdOutErrRedirect] [Azkaban] azkaban.executor.ExecutorManagerException: No active executors found
2019/07/04 14:32:08.536 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ActiveExecutors.setupExecutors(ActiveExecutors.java:52)
2019/07/04 14:32:08.537 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.setupExecutors(ExecutorManager.java:197)
2019/07/04 14:32:08.537 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:131)
2019/07/04 14:32:08.537 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.executor.ExecutorManager.start(ExecutorManager.java:145)
2019/07/04 14:32:08.537 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/07/04 14:32:08.538 +0800 ERROR [StdOutErrRedirect] [Azkaban]       at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)

解决办法:
手动激活exec-server
curl http://${executorHost}:${executorPort}/executor?action=activate
executorHost:就是安装服务器的IP
executorPort:就是启动azkban-exec-server后,产生的executor.port里的端口号

启动azkaban-web-server

cd /opt/azkaban/azkaban-web-server-3.74.3 && ./bin/start-web.sh

注意

启动server必须要到azkaban-web-server-3.74.3这个目录,因为默认启动找的配置文件为 conf/azkaban.properties

转载于:https://www.cnblogs.com/goldenSky/p/11132838.html

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐