Flink run application 提交 job

1. 上传 flink 相关 plugins 到hdfs2. 上传 flink 相关依赖到 hdfs3. 上传用户 jar 到 hdfs4. 提交任务flink run-application -t yarn-application \-c com.sm.analysis.rdw.SdkDataEtlOdsToDwd \-Djobmanager.memory.process.size=1600m

訾零

2158人浏览 · 2021-02-20 17:54:59

訾零 · 2021-02-20 17:54:59 发布

1. 上传 flink 相关 plugins 到hdfs

2. 上传 flink 相关依赖到 hdfs

根据自己业务需求上传相关的 jar

3. 上传用户 jar 到 hdfs

减少网络传输，当然也可以指定服务器上的jar

4. 提交任务

flink run-application -t yarn-application \
-c com.sm.analysis.rdw.SdkDataEtlOdsToDwd \
-Djobmanager.memory.process.size=1600m \
-Dtaskmanager.memory.process.size=2048m \
-Dtaskmanager.numberOfTaskSlots=2 \
-Dparallelism.default=2 \
-Dyarn.provided.lib.dirs="hdfs://BigdataTestCluster/flink/libs;hdfs://BigdataTestCluster/flink/plugins" \
-Dyarn.application.name="rdw.SdkDataEtlOdsToDwd" \
hdfs://BigdataTestCluster/flink/user-libs/realtime-flink-platform-1.0-jar-with-dependencies.jar