?申明: 未經(jīng)許可,禁止以任何形式轉(zhuǎn)載,若要引用,請標(biāo)注鏈接地址。 全文共計2391字,閱讀大概需要3分鐘
??更多學(xué)習(xí)內(nèi)容, 歡迎??關(guān)注??【文末】我的個人微信公眾號:不懂開發(fā)的程序猿
個人網(wǎng)站:https://jerry-jy.co/
一、實驗?zāi)康?/h2>
掌握Standalone集群搭建的過程。
掌握Flink的三種部署模式
二、實驗內(nèi)容
1、搭建Flink集群–Standalone運行模式
2、集群的啟動,停止、提交作業(yè)
三、實驗原理
獨立模式是獨立運行的,不依賴任何外部的資源管理平臺;
當(dāng)然獨立也是有代價的:如果資源不足,或者出現(xiàn)故障,沒有自動擴展或重分配資源的保證,必須手動處理。所以獨立模式一般只用在開發(fā)測試或作業(yè)非常少的場景下。
四、實驗環(huán)境
硬件:x86_64 CentOS 7.5 服務(wù)器
軟件:JDK1.8,F(xiàn)link-1.17.1,Hadoop-3.3.3,IntelliJ Idea-2022
五、實驗步驟
開始實驗之前需要先了解Flink集群部署的三種模式
5.1 部署模式
在一些應(yīng)用場景中,對于集群資源分配和占用的方式,可能會有特定的需求。Flink為各種場景提供了不同的部署模式,主要有以下三種:會話模式(Session Mode)、單作業(yè)模式(Per-Job Mode)、應(yīng)用模式(Application Mode)。
它們的區(qū)別主要在于:集群的生命周期以及資源的分配方式;以及應(yīng)用的main方法到底在哪里執(zhí)行——客戶端(Client)還是JobManager。
5.1.1 會話模式(Session Mode)
5.1.2 單作業(yè)模式(Per-Job Mode)
5.1.3 應(yīng)用模式(Application Mode)
這里我們所講到的部署模式,相對是比較抽象的概念。實際應(yīng)用時,一般需要和資源管理平臺結(jié)合起來,選擇特定的模式來分配資源、部署應(yīng)用。
5.2 Standalone運行模式
5.2.1 會話模式部署
我們在上一節(jié)用的就是Standalone集群的會話模式部署。
提前啟動集群,并通過Web頁面客戶端提交任務(wù)(可以多個任務(wù),但是集群資源固定)。
5.2.2 單作業(yè)模式部署
Flink的Standalone集群并不支持單作業(yè)模式部署。因為單作業(yè)模式需要借助一些資源管理平臺。
5.2.3 應(yīng)用模式部署
應(yīng)用模式下不會提前創(chuàng)建集群,所以不能調(diào)用start-cluster.sh
腳本。我們可以使用同樣在bin目錄下的standalone-job.sh
來創(chuàng)建一個JobManager。
具體步驟如下:
(0)環(huán)境準(zhǔn)備。在hadoop102中執(zhí)行以下命令啟動netcat。
[root@hadoop102 flink-1.17.1]$ nc -lk 7777
(1)進(jìn)入到Flink的安裝路徑下,將應(yīng)用程序的jar包放到lib/目錄下。
[root@hadoop102 flink-1.17.1]$ mv FlinkTutorial-1.0-SNAPSHOT.jar lib/
(2)執(zhí)行以下命令,啟動JobManager。
[root@hadoop102 flink-1.17.1]$ bin/standalone-job.sh start --job-classname com.jerry.wordcount.WordCountUnboundedDemo
這里我們直接指定作業(yè)入口類,腳本會到lib目錄掃描所有的jar包。
(3)同樣是使用bin目錄下的腳本,啟動TaskManager。
[root@hadoop102 flink-1.17.1]$ bin/taskmanager.sh start
(4)在hadoop102上模擬發(fā)送單詞數(shù)據(jù)。
[root@hadoop102 ~]$ nc -lk 7777
hello java
hello flink
(5)在hadoop102:8081地址中觀察輸出數(shù)據(jù)
(6)如果希望停掉集群,同樣可以使用腳本,命令如下。文章來源:http://www.zghlxwxcb.cn/news/detail-612866.html
[root@hadoop102 flink-1.17.1]$ bin/taskmanager.sh stop
[root@hadoop102 flink-1.17.1]$ bin/standalone-job.sh stop
–end–文章來源地址http://www.zghlxwxcb.cn/news/detail-612866.html
到了這里,關(guān)于Flink集群運行模式--Standalone運行模式的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!