1、本地啟動非集群模式
最簡單的啟動方式,其實是不搭建集群,直接本地啟動。本地部署非常簡單,直接解壓安裝包就可以使用,不用進(jìn)行任何配置;一般用來做一些簡單的測試。
具體安裝步驟如下:
1.1 下載安裝包
進(jìn)入 Flink 官網(wǎng),下載 1.13.0 版本安裝包 flink-1.13.0-bin-scala_2.12.tgz,注意此處選用對
應(yīng) scala 版本為 scala 2.12 的安裝包。
1.2 解壓
在 node102 節(jié)點服務(wù)器上創(chuàng)建安裝目錄/app/apps/flink,將 flink 安裝包放在該目錄下,并
執(zhí)行解壓命令,解壓至當(dāng)前目錄。
$ tar -zxvf flink-1.13.0-bin-scala_2.12.tgz
……
1.3 配置文件
看到 masters
文件內(nèi)容是localhost:8081
,服務(wù)啟動之后通過此地址可訪問flink。
workers
文件內(nèi)容是localhost
,表示單節(jié)點啟動。
1.4 啟動
進(jìn)入解壓后的目錄,執(zhí)行啟動命令,并查看進(jìn)程。
$ cd flink-1.13.0/
$ bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host node102.
Starting taskexecutor daemon on host node102.
$ jps
10369 StandaloneSessionClusterEntrypoint
10680 TaskManagerRunner
10717 Jps
1.5 訪問 Web UI
啟動成功后,訪問 http://192.168.137.102:8081,可以對 flink 集群和任務(wù)進(jìn)行監(jiān)控管理,如圖 3-2
所示。
2、集群搭建(會話模式)
Flink 本地啟動非常簡單,直接執(zhí)行 start-cluster.sh 就可以了。如果我們想要擴(kuò)展成集群,其實啟動命令是不變的,主要是需要指定節(jié)點之間的主從關(guān)系。
Flink 是典型的 Master-Slave 架構(gòu)的分布式數(shù)據(jù)處理框架,其中 Master 角色對應(yīng)著JobManager,Slave 角色則對應(yīng) TaskManager。我們對三臺節(jié)點服務(wù)器的角色分配如下表所示。
節(jié)點服務(wù)器 | 192.168.137.102 | 192.168.137.103 | 192.168.137.104 |
---|---|---|---|
角色 | JobManager | TaskManager | TaskManager |
所以需要在另外兩個節(jié)點上也安裝flink。
2.1 下載并解壓安裝包
具體操作與上節(jié)相同。
2.2 修改集群配置
(1)進(jìn)入 conf 目錄下,修改 flink-conf.yaml 文件,修改 jobmanager.rpc.address
參數(shù)為192.168.137.102
,如下所示:
$ cd conf/
$ vim flink-conf.yaml
# JobManager 節(jié)點地址 修改為如下內(nèi)容
jobmanager.rpc.address: 192.168.137.102
這就指定了 192.168.137.102
節(jié)點服務(wù)器為 JobManager 節(jié)點。
(2)修改 workers 文件,將另外兩臺節(jié)點服務(wù)器添加為本 Flink 集群的 TaskManager 節(jié)點,具體修改如下:
$ vim workers
192.168.137.103
192.168.137.104
這樣就指定了 192.168.137.103
和 192.168.137.104
為 TaskManager 節(jié)點。
(3)另外,在 flink-conf.yaml
文件中還可以對集群中的 JobManager 和 TaskManager 組件進(jìn)行優(yōu)化配置,主要配置項如下:
- jobmanager.memory.process.size:對 JobManager 進(jìn)程可使用到的全部內(nèi)存進(jìn)行配置,包括JVM元空間和其他開銷,默認(rèn)為 1600M,可以根據(jù)集群規(guī)模進(jìn)行適當(dāng)調(diào)整。
- taskmanager.memory.process.size:對 TaskManager 進(jìn)程可使用到的全部內(nèi)存進(jìn)行配置,包括JVM 元空間和其他開銷,默認(rèn)為 1600M,可以根據(jù)集群規(guī)模進(jìn)行適當(dāng)調(diào)整。
- taskmanager.numberOfTaskSlots:對每個 TaskManager 能夠分配的 Slot 數(shù)量進(jìn)行配置,默認(rèn)為 1,可根據(jù) TaskManager 所在的機(jī)器能夠提供給 Flink 的 CPU 數(shù)量決定。所謂Slot 就是TaskManager 中具體運(yùn)行一個任務(wù)所分配的計算資源。
- parallelism.default:Flink 任務(wù)執(zhí)行的默認(rèn)并行度,優(yōu)先級低于代碼中進(jìn)行的并行度配
置和任務(wù)提交時使用參數(shù)指定的并行度數(shù)量。
2.3 分發(fā)安裝目錄
配置修改完畢后,將 Flink 安裝目錄發(fā)給另外兩個節(jié)點服務(wù)器。
./xsync.sh /app/apps/flink-1.13.0/ node103
./xsync.sh /app/apps/flink-1.13.0/ node104
2.4 啟動集群
(1)在 node102 節(jié)點服務(wù)器上執(zhí)行 start-cluster.sh
啟動 Flink 集群:文章來源:http://www.zghlxwxcb.cn/news/detail-814529.html
$ bin/start-cluster.sh
# 輸出內(nèi)容
Starting cluster.
Starting standalonesession daemon on host hadoop102.
Starting taskexecutor daemon on host hadoop103.
Starting taskexecutor daemon on host hadoop104.
(2)查看進(jìn)程情況:文章來源地址http://www.zghlxwxcb.cn/news/detail-814529.html
[root@node102 flink-1.13.0]$ jps
13859 Jps
13782 StandaloneSessionClusterEntrypoint
[root@node103 flink-1.13.0]$ jps
12215 Jps
32
33
12124 TaskManagerRunner
[root@node104 flink-1.13.0]$ jps
11602 TaskManagerRunner
11694 Jps
2.5 關(guān)閉集群
/app/apps/flink-1.13.0/bin/stop-cluster.sh
到了這里,關(guān)于flink1.13環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!