大数据flink篇之三-flink运行环境安装后续一yarn-session安装
具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。
·
前提：
Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。
具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。
flink Session-Cluster
在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会驻在yarn集群中，除非手工停止。
首先确保在/etc/profile中添加了配置项
export HADOOP_CLASSPATH=`hadoop classpath`
初始化启动
./bin/yarn-session.sh --detached
提交作业
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar
停止作业
echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX
这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。
后续继续补充另外两种：Per-Job和Application Mode。
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)