前面讲了Flink On Kubernetes如何进行技术的选型,这边的话目前选用的是Flink On Kubernetes Application模式,这种模式最好的是资源隔离,就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源,不会影响其他任务。

很多人可能有疑问,使用Flink On Kubernetes为啥需要先安装Flink Kubernetes Operator?

Flink Kubernetes Operator 扩展了 Kubernetes API,使其具有管理和操作 Flink 的能力。具有以下特点:

部署和监控 Flink 应用程序和会话部署升级、暂停和删除部署完整的日志记录和指标集成灵活的部署以及与 Kubernetes 工具的原生集成

综合而言,Flink Kubernetes Operator作为一个Kubernetes的Control plane控制平面,它管理Flink应用程序的完整部署生命周期。尽管Flink也提供Native原生的方式在k8s上部署Flink应用程序,但使用自定义资源CRD和Operator模式才是官方主推的Flink On K8s部署方式。

一、首先安装Flink Kubernetes Operator,在安装前先要现在Flink kubernetes operator和Flink的版本;

组件 版本号 说明 Flink Operator 1.6 支持Operator高可用部署,修复了大量Bug,稳定性好 支持Flink v1.13, v1.14, v1.15, v1.16 Flink 1.16.0 v1.16.0是当前主流用得比较多的版本

二、官方下载安装

Flink主页: https://flink.apache.org/

Flink Operator主页: https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/

flink-kubernetes-operator heml包下载网站:https://downloads.apache.org/flink/

flink-kubernetes-operator 源码下载网站:https://github.com/apache/flink-kubernetes-operator/tags

三、下载helm文件之后,第一步先安装helm。

配置Helm:Helm是一个Kubernetes上的包管理器,它可以帮助你轻松地安装和管理Kubernetes应用程序。首先,你需要安装Helm客户端,并配置Helm的服务端(即Tiller)

解压helm

tar -zxvf helm-v3.8.2-linux-amd64.tar.gz

然后将helm移动到/usr/local/bin下面,这样的话就可以直接使用heml命令了

mv linux-amd64/helm /usr/local/bin/

四、添加常用的helm源

helm repo add flink-operator-repo https://downloads.apache.org/flink/flink-kubernetes-operator-1.3.1/

helm repo add stable http://mirror.azure.cn/kubernetes/charts

helm repo add bitnami https://charts.bitnami.com/bitnami

helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

五、安装cert-manager,flink-webhook需要从cert-manager获取证书,/validate和/mutate使用https协议

kubectl apply -f /root/flink-operators/cert-manager.yaml

六、配置Flink On Kubernetes chart:Flink提供了一个Helm chart,用于在Kubernetes上安装和管理Flink集群。首先,你需要下载并解压Flink发行包。然后,你需要修改values.yaml文件,根据你的需求配置Flink集群的参数,如副本数量、资源限制等。

开始安裝Flink Kubernetes Operator,这里使用helm本地安装,这种方式可以对flink Operator的配置进行修改

(1)从官网下载flink-kubernetes-operator heml包,上传到/root/flink-operators,并解压

tar -zxvf flink-kubernetes-operator-1.3.1-helm.tgz

(2)如果担心网络原因拉取不了flink operator的镜像,则修改flink operator helm目录下的values.yaml文件,修改repository地址

repository: registry.cn-hangzhou.aliyuncs.com/cm_ns01/flink-kubernetes-operator

(3)安装

helm install -f values.yaml flink-kubernetes-operator . --namespace flink --create-namespace

(4)检查

kubectl get all -n flink

helm list -n flink

这样的话,Flink Kubernetes Operator的安装就完成了。

精彩内容

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: