目录
一.环境准备
二.Flink集群安装步骤
三.Flink On Yarn
一.环境准备
需要提前安装配置JDK，Hadoop
二.Flink集群安装步骤
1.下载安装包
下载地址 ：Index of /dist/flink (apache.org)
根据自己所需选择版本，一个是scala版本为2.11，一个是scala版本为2.12，我下载的是flink-1.14.0-bin-scala_2.12.tgz
2.解压安装包
将下载完成的安装包上传至/opt/software目录，然后解压到/opt/servers目录
[root@master ~]# tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/servers/
为了方便，我将解压后的目录重命名为flink
[root@master ~]# mv /opt/servers/flink-1.14.0/ /opt/servers/flink
3.配置环境变量
修改/etc/profile文件
[root@master ~]# vi /etc/profile
#添加以下内容
export FLINK_HOME=/opt/server/flink export PATH=$PATH:$FLINK_HOME/bin
:wq保存退出，要记得生效： source /etc/profile
4.修改flink-conf.yaml文件
进入flink的conf目录，修改flink-conf.yaml文件，设置jobmanager.rpc.address为master节点
cd /opt/servers/flink/conf/
vi ./flink-conf.yaml
修改masters，workers文件，内容如下：
[root@master conf]# vi ./masters
master:8081 [root@master conf]# vi ./workers
slave1
slave2
5.分发文件
将flink目录分发至slave1，slave2
scp -r /opt/servers/flink/ slave1:/opt/servers/
scp -r /opt/servers/flink/ slave2:/opt/servers/
分发/etc/profile文件，并分别在slave1，slave2生效（source /etc/profile）
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile
6.启动flink standalone集群
#启动
start-cluster.sh
#关闭
stop-cluster.sh
使用jps查看节点进程
7.测试官方案例
启动flink standalone集群后，可以使用flink client向该集群master节点提交任务
[root@master ~]# flink run -m master:8081 /opt/servers/flink/examples/batch/WordCount.jar
三.Flink On Yarn
在完成flink standalone集群部署后，使用Yarn模式提交作业，flink on yarn不需要启动flink集群，只需要启动hadoop集群即可
在测试官方案例之前，需要在flink-conf.yaml文件添加：
classloader.check-leaked-classloader: false
在命令行直接输入以下内容：
[root@master flink]# export HADOOP_CLASSPATH=`hadoop classpath`
使用Per-Job模式启动单个作业（要提前启动hadoop集群，命令：start-all.sh）：
[root@master flink]# flink run -m yarn-cluste /opt/servers/flink/examples/batch/WordCount.jar
精彩链接
您阅读本篇文章共花了：
发表评论