Flink-HighAviliability(高可用)
Flink-HighAviliableFlink可以部署在不同的集群管理器上,如:yarnk8sstandaloneMesos本篇主要简单介绍在standalone与yarn部署模式下的HA的简单实践,后续会持续添加其他模式的HA1-standalone第一步:修改flink-conf.yaml,masters,slaves配置文件masters#指定JobManager节...
·
Flink-HighAviliable
Flink可以部署在不同的集群管理器上,如:
- yarn
- k8s
- standalone
- Mesos
本篇主要简单介绍在standalone与yarn部署模式下的HA的简单实践,后续会持续添加其他模式的HA
1-standalone
第一步:修改flink-conf.yaml,masters,slaves配置文件
masters
#指定JobManager节点
shufang101:8081
shufang102:8081
slaves
#指定TaskManager节点
shufang101
shufang102
shufang103
Flink-conf.yaml
#指定初始化的jobmanager配置
jobmanager.rpc.address: shufang101
jobmanager.rpc.port: 6123
high-availability: zookeeper
high-availability.storageDir: hdfs://flow/flink/ha/
high-availability.zookeeper.quoram: shufang101:2181,shufang102:2181....
high-availability.zookeeper.client.acl: open
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one
第二步:将所有配置文件通过scp或者rsync分发到不同的脚本
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环同步
for((host=101; host<104; host++)); do
echo --------------------- shufang$host ----------------
rsync -rvl $pdir/$fname $user@shufang$host:$pdir
done
第三步:启动flink集群
2-yarn
第一步:修改yarn-site.xml添加如下配置信息
<!-- vim yarn-site.xml -->
<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
<description>配置提交的应用程序最大的尝试次数</description>
</property>
第二步:分发该配置文件到其他节点上
–通过以上的xsync.sh脚本进行分发,或者原生的scp
第三步:修改flink-conf.yaml配置文件
high-avaliability: zookeeper
high-avaliability.zookeeper.quorum: shufang101:2181,shufang102:2181,shufang103:2181
high-avaliability.storageDir: hdfs://flow/flink/ha-yarn
high-avaliability.zookeeper.path.root: /flink-yarn
yarn.application-attempt: 4
第四步:启动hadoop分布式集群
第五步:启动yarn-session,并验证
bin/yarn-session.sh -h #可以通过该命令查看yarn-session的命令配置参数
#这步实际上是预先在yarn的资源中开辟出一个session的资源空间,前期条件是flink必须是带有hadoop支持的
bin/yarn-session.sh
-n(--container) 2 #taskmanager的数量
-s (--slots) 2 #taskmanager的slot数量
-jm 1024 #jobmanager的内存
-tm 1024 #taskmanager的内存
-nm test #出现在yarn界面上的名字-AppName
-d #后台运行
#开启完之后就可以提交作业了
#手动kill yarn session常驻进程
sbin/yarn application -kill application_id
第六步:验证进程
YarnSessionClusterEntryPoint #JobManager的进程
//
更多推荐
已为社区贡献3条内容
所有评论(0)