当前位置:网站首页>Flink的安装部署

Flink的安装部署

2020-11-09 17:46:45 程序猿欧文

一. Flink的下载

安装包下载地址 ,选择对应Hadoop的Flink版本下载

 

 

 

 Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。

二. Local模式

对于 Local 模式来说,JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。如果要验证一个简单的应用,Local 模式是最方便的。实际应用中大多使用 Standalone 或者 Yarn Cluster,而local模式只是将安装包解压启动(./bin/start-local.sh)即可,在这里不在演示。

三. Standalone HA模式

Standalone模式顾名思义,是在本地集群上调度执行,不依赖于外部调度机制例如YARN, 一般需要配置为HA,防止Jobmanager突然挂掉,导致整个集群或者任务执行失败的情况发生。下面介绍一下Standalone HA模式的搭建安装

当Flink程序运行时,如果jobmanager崩溃,那么整个程序都会失败。为了防止jobmanager的单点故障,借助于zookeeper的协调机制,可以实现jobmanager的HA配置—-1主(leader)多从(standby)。这里的HA配置只涉及standalone模式,yarn模式暂不考虑。 

本例中规划Jobmanager:hadoop01,hadoop02(一个active,一个standby);Taskmanager:hadoop02hadoop03;zookeeper集群

1.  集群部署规划

节点名称 master worker zookeeper
hadoop01 master  worker zookeeper
hadoop02 master worker zookeeper
hadoop03   woker zookeeper

 

 

 

 

 

 

 

2. 解压

[hadoop@hadoop01 apps]$ tar -zxvf flink-1.7.2-bin-scala_2.11.tgz -C ./

  [hadoop@hadoop01 apps]$ ls
  azkaban flink-1.7.2 flink-1.7.2-bin-scala_2.11.tgz flume-1.8.0 hadoop-2.7.4 jq kafka_2.11-0.11 zkdata zookeeper-3.4.10 zookeeper.out

3. 修改配置文件

配置masters文件

  该文件用于指定主节点及其web访问端口,表示集群的Jobmanager,vi masters,添加master:8081

[hadoop@hadoop01 conf]$ vim masters hadoop01:8081
hadoop02:8081

配置slaves文件,该文件用于指定从节点,表示集群的taskManager。添加以下内容

[hadoop@hadoop01 conf]$ vim slaveshadoop01hadoop02hadoop03

配置文件flink-conf.yaml

版权声明
本文为[程序猿欧文]所创,转载请带上原文链接,感谢
https://my.oschina.net/mikeowen/blog/4710218