国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink集群運行模式--Standalone運行模式

這篇具有很好參考價值的文章主要介紹了Flink集群運行模式--Standalone運行模式。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

?申明: 未經(jīng)許可,禁止以任何形式轉(zhuǎn)載,若要引用,請標(biāo)注鏈接地址。 全文共計2391字,閱讀大概需要3分鐘
??更多學(xué)習(xí)內(nèi)容, 歡迎??關(guān)注??【文末】我的個人微信公眾號:不懂開發(fā)的程序猿
個人網(wǎng)站:https://jerry-jy.co/

一、實驗?zāi)康?/h2>

掌握Standalone集群搭建的過程。
掌握Flink的三種部署模式

二、實驗內(nèi)容

1、搭建Flink集群–Standalone運行模式
2、集群的啟動,停止、提交作業(yè)

三、實驗原理

獨立模式是獨立運行的,不依賴任何外部的資源管理平臺;
當(dāng)然獨立也是有代價的:如果資源不足,或者出現(xiàn)故障,沒有自動擴展或重分配資源的保證,必須手動處理。所以獨立模式一般只用在開發(fā)測試或作業(yè)非常少的場景下。

四、實驗環(huán)境

硬件:x86_64 CentOS 7.5 服務(wù)器
軟件:JDK1.8,F(xiàn)link-1.17.1,Hadoop-3.3.3,IntelliJ Idea-2022

五、實驗步驟

開始實驗之前需要先了解Flink集群部署的三種模式

5.1 部署模式

在一些應(yīng)用場景中,對于集群資源分配和占用的方式,可能會有特定的需求。Flink為各種場景提供了不同的部署模式,主要有以下三種:會話模式(Session Mode)、單作業(yè)模式(Per-Job Mode)、應(yīng)用模式(Application Mode)。
它們的區(qū)別主要在于:集群的生命周期以及資源的分配方式;以及應(yīng)用的main方法到底在哪里執(zhí)行——客戶端(Client)還是JobManager。

5.1.1 會話模式(Session Mode)

Flink集群運行模式--Standalone運行模式,Flink,flink,數(shù)據(jù)庫,大數(shù)據(jù)

5.1.2 單作業(yè)模式(Per-Job Mode)

Flink集群運行模式--Standalone運行模式,Flink,flink,數(shù)據(jù)庫,大數(shù)據(jù)

5.1.3 應(yīng)用模式(Application Mode)


Flink集群運行模式--Standalone運行模式,Flink,flink,數(shù)據(jù)庫,大數(shù)據(jù)


這里我們所講到的部署模式,相對是比較抽象的概念。實際應(yīng)用時,一般需要和資源管理平臺結(jié)合起來,選擇特定的模式來分配資源、部署應(yīng)用。

5.2 Standalone運行模式

5.2.1 會話模式部署

我們在上一節(jié)用的就是Standalone集群的會話模式部署。
提前啟動集群,并通過Web頁面客戶端提交任務(wù)(可以多個任務(wù),但是集群資源固定)。


Flink集群運行模式--Standalone運行模式,Flink,flink,數(shù)據(jù)庫,大數(shù)據(jù)


5.2.2 單作業(yè)模式部署

Flink的Standalone集群并不支持單作業(yè)模式部署。因為單作業(yè)模式需要借助一些資源管理平臺。

5.2.3 應(yīng)用模式部署

應(yīng)用模式下不會提前創(chuàng)建集群,所以不能調(diào)用start-cluster.sh腳本。我們可以使用同樣在bin目錄下的standalone-job.sh來創(chuàng)建一個JobManager。


Flink集群運行模式--Standalone運行模式,Flink,flink,數(shù)據(jù)庫,大數(shù)據(jù)


具體步驟如下:
(0)環(huán)境準(zhǔn)備。在hadoop102中執(zhí)行以下命令啟動netcat。

[root@hadoop102 flink-1.17.1]$ nc -lk 7777

(1)進(jìn)入到Flink的安裝路徑下,將應(yīng)用程序的jar包放到lib/目錄下。

[root@hadoop102 flink-1.17.1]$ mv FlinkTutorial-1.0-SNAPSHOT.jar lib/

(2)執(zhí)行以下命令,啟動JobManager。

[root@hadoop102 flink-1.17.1]$ bin/standalone-job.sh start --job-classname com.jerry.wordcount.WordCountUnboundedDemo

這里我們直接指定作業(yè)入口類,腳本會到lib目錄掃描所有的jar包。
(3)同樣是使用bin目錄下的腳本,啟動TaskManager。

[root@hadoop102 flink-1.17.1]$ bin/taskmanager.sh start

(4)在hadoop102上模擬發(fā)送單詞數(shù)據(jù)。

[root@hadoop102 ~]$ nc -lk 7777
hello java
hello flink

(5)在hadoop102:8081地址中觀察輸出數(shù)據(jù)

(6)如果希望停掉集群,同樣可以使用腳本,命令如下。

[root@hadoop102 flink-1.17.1]$ bin/taskmanager.sh stop
[root@hadoop102 flink-1.17.1]$ bin/standalone-job.sh stop

–end–文章來源地址http://www.zghlxwxcb.cn/news/detail-612866.html

到了這里,關(guān)于Flink集群運行模式--Standalone運行模式的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 深入理解 Flink(五)Flink Standalone 集群啟動源碼剖析

    深入理解 Flink(五)Flink Standalone 集群啟動源碼剖析

    深入理解 Flink 系列文章已完結(jié),總共八篇文章,直達(dá)鏈接: 深入理解 Flink (一)Flink 架構(gòu)設(shè)計原理 深入理解 Flink (二)Flink StateBackend 和 Checkpoint 容錯深入分析 深入理解 Flink (三)Flink 內(nèi)核基礎(chǔ)設(shè)施源碼級原理詳解 深入理解 Flink (四)Flink Time+WaterMark+Window 深入分析 深入

    2024年02月02日
    瀏覽(31)
  • 【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 運行模式

    【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 運行模式

    集群規(guī)劃: 具體安裝部署步驟如下: 1、下載并解壓安裝包 (1)下載安裝包 flink-1.17.0-bin-scala_2.12.tgz,將該 jar 包上傳到 hadoop102 節(jié)點服務(wù)器的 /opt/software 路徑上。 (2)在 /opt/software 路徑上解壓 flink-1.17.0-bin-scala_2.12.tgz 到 /opt/module 路徑上。 2、修改集群配置 (1)進(jìn)入 conf 路

    2024年01月18日
    瀏覽(36)
  • 206.Flink(一):flink概述,flink集群搭建,flink中執(zhí)行任務(wù),單節(jié)點、yarn運行模式,三種部署模式的具體實現(xiàn)

    206.Flink(一):flink概述,flink集群搭建,flink中執(zhí)行任務(wù),單節(jié)點、yarn運行模式,三種部署模式的具體實現(xiàn)

    Flink官網(wǎng)地址:Apache Flink? — Stateful Computations over Data Streams | Apache Flink Flink是一個 框架 和 分布式處理引擎 ,用于對 無界 和 有界 數(shù)據(jù)流進(jìn)行 有狀態(tài)計算 。 無界流(流): 有定義流的開始,沒有定義結(jié)束。會無休止產(chǎn)生數(shù)據(jù) 無界流數(shù)據(jù)必須持續(xù)處理 有界流(批): 有定

    2024年02月11日
    瀏覽(21)
  • Flink-----Standalone會話模式作業(yè)提交流程

    1.Flink的Slot特點: 均分隔離內(nèi)存,不隔離CPU 可以共享: 同一個job中,不同算子的子任務(wù)才可以共享同一個slot,同時在運行的前提是,屬于同一個slot共享組,默認(rèn)都是“default” 2.Slot的數(shù)量 與 并行度 的關(guān)系 slot 是一種靜態(tài)的概念,表示最大的并發(fā)上線 并行度是個動態(tài)的概念

    2024年02月12日
    瀏覽(24)
  • 大數(shù)據(jù)Flink(五十六):Standalone偽分布環(huán)境(開發(fā)測試)

    大數(shù)據(jù)Flink(五十六):Standalone偽分布環(huán)境(開發(fā)測試)

    文章目錄 Standalone偽分布環(huán)境(開發(fā)測試) 一、架構(gòu)圖 二、環(huán)境準(zhǔn)備

    2024年02月13日
    瀏覽(19)
  • Flink的Standalone部署實戰(zhàn)

    Flink的Standalone部署實戰(zhàn)

    在Flink是通用的框架,以混合和匹配的方式支持部署不同場景,而Standalone單機部署方便快速部署,記錄本地部署過程,方便備查。 環(huán)境要求 1)JDK1.8及以上 2)flink-1.14.3 3)CentOS7 Flink相關(guān)信息可到 Flink官網(wǎng)下載和查看相關(guān)信息。 第一步、下載并解壓 推薦使用 wget 方式,本次選

    2024年02月12日
    瀏覽(25)
  • Flink 集群部署模式

    Flink 集群部署模式

    Flink支持多種集群部署模式,以滿足不同場景和需求。以下是Flink的主要集群部署模式: 會話模式(Session Mode) : 在會話模式下,用戶首先啟動一個長期運行的Flink集群,然后在這個會話中提交多個作業(yè)。 集群資源在啟動時就已經(jīng)確定,提交的作業(yè)會競爭集群中的資源,直到

    2024年03月19日
    瀏覽(35)
  • Flink--2、Flink部署(Yarn集群搭建下的會話模式部署、單作業(yè)模式部署、應(yīng)用模式部署)

    Flink--2、Flink部署(Yarn集群搭建下的會話模式部署、單作業(yè)模式部署、應(yīng)用模式部署)

    ?????????????????????? 星光下的趕路人star的個人主頁 ?????????????????????? 你必須贏過,才可以說不在乎輸贏 Flink提交作業(yè)和執(zhí)行任務(wù),需要幾個關(guān)鍵組件: 客戶端(Client):代碼由客戶端獲取并做轉(zhuǎn)換,之后提交給

    2024年02月09日
    瀏覽(23)
  • 說說Flink運行模式

    說說Flink運行模式

    1.開發(fā)者模式 ? ??在idea中運行Flink程序的方式就是開發(fā)模式。 2.local-cluster模式 ? ??Flink中的Local-cluster(本地集群)模式,單節(jié)點運行,主要用于測試, 學(xué)習(xí)。 3.Standalone模式 ????????獨立集群模式,由Flink自身提供計算資源。 4.Yarn模式 把Flink應(yīng)用提交給Yarn的ResourceManager Flin

    2024年02月10日
    瀏覽(16)
  • Flink三種模式介紹&集群的搭建

    Flink三種模式介紹&集群的搭建

    目錄 Flink是什么? Flink部署模式 會話模式(Session Mode ) 單作業(yè)模式(Per-Job Mode) 應(yīng)用模式(Application Mode) Flink集群搭建 Standalone運行模式? 會話模式 單作業(yè)模式部署 應(yīng)用模式部署 YARN運行模式 ?會話模式部署 單作業(yè)模式部署 應(yīng)用模式部署 Flink是“數(shù)據(jù)流上的有狀態(tài)計算”

    2024年02月09日
    瀏覽(30)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包