安装hadoop客户端
我们一般在dinky或streampark上开发和提交flink任务，故其部署节点需要hadoop客户端程序。将hadoop集群的安装文件夹整体打包scp到该台机器：
|
scp hadooptest01:/data/apps/hadoop-3.4.1.tar.gz /data/apps
tar -xzvf /data/apps/hadoop-3.4.1.tar.gz -C /data/apps
ln -s /data/apps/hadoop-3.4.1 /data/hadoop
cat > /etc/profile.d/hadoop.sh << \EOF
#!/bin/bash
export HADOOP_HOME=/data/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CLASSPATH=`hadoop classpath`
EOF
|
在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中设置：
|
export HADOOP_CLASSPATH=`hadoop classpath`
|
安装flink on yarn
解压安装包：
|
tar -czvf /data/downloads/flink-1.18.1-bin-scala_2.12.tgz -C /data/apps
ln -s /data/apps/flink-1.18.1 /data/flink
cat > /etc/profile.d/flink.sh << \EOF
#!/bin/bash
export FLINK_HOME=/data/hadoop
export PATH=$FLINK_HOME/bin:$PATH
EOF
|
由于flink on yarn对于flink是没有自己的集群的，依靠yarn提供的资源调配能力。所以，我们只安装flink客户端就好了。至于是session、per-job、application三种的哪一种，取决于之后提交任务。（session需要执行flink-session.sh提前启动）
2
0
已为社区贡献6条内容
所有评论(0)