国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink-----Standalone會(huì)話模式作業(yè)提交流程

這篇具有很好參考價(jià)值的文章主要介紹了Flink-----Standalone會(huì)話模式作業(yè)提交流程。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1.Flink的Slot特點(diǎn):

    1. 均分隔離內(nèi)存,不隔離CPU
    1. 可以共享:
    • 同一個(gè)job中,不同算子的子任務(wù)才可以共享同一個(gè)slot,同時(shí)在運(yùn)行的前提是,屬于同一個(gè)slot共享組,默認(rèn)都是“default”

2.Slot的數(shù)量 與 并行度 的關(guān)系

    1. slot 是一種靜態(tài)的概念,表示最大的并發(fā)上線
    • 并行度是個(gè)動(dòng)態(tài)的概念,表示 實(shí)際運(yùn)行 占用了 幾個(gè)
    1. 要求:slot數(shù)量 >= job并行度(算子最大并行度),job才能運(yùn)行
    • 注意:如果是yarn模式,動(dòng)態(tài)申請(qǐng)
      申請(qǐng)的TM數(shù)量 = job并行度 / 每個(gè)TM的 slot 數(shù),向上取整
      比如session:一開始 0 個(gè)TaskManager,0個(gè)slot
      提交一個(gè)job,并行度10, 每個(gè)tm設(shè)置3個(gè)slot,10/3,向上取整,申請(qǐng)4個(gè)tm,使用10個(gè)slot,剩余2個(gè)slot

Standalone會(huì)話模式作業(yè)提交流程

1)腳本啟動(dòng)執(zhí)行,客戶端先解析參數(shù)比如-t,-p,-c會(huì)進(jìn)行解析等,之后多了一個(gè)細(xì)節(jié),就涉及到Flink一個(gè)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-657280.html

到了這里,關(guān)于Flink-----Standalone會(huì)話模式作業(yè)提交流程的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • flink 單作業(yè)模式部署提交作業(yè)爆:Trying to access closed classloader. Please check if you store classloaders direc

    flink 單作業(yè)模式部署提交作業(yè)爆:Trying to access closed classloader. Please check if you store classloaders direc

    指令信息 報(bào)錯(cuò)信息:Exception in thread “Thread-5” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library and cannot be fixed immediately, you can disable this check with the configu

    2024年02月16日
    瀏覽(28)
  • Flink 本地單機(jī)/Standalone集群/YARN模式集群搭建

    Flink 本地單機(jī)/Standalone集群/YARN模式集群搭建

    本文簡(jiǎn)述 Flink 在 Linux 中安裝步驟,和示例程序的運(yùn)行。需要安裝 JDK1.8 及以上版本。 下載地址:下載 Flink 的二進(jìn)制包 點(diǎn)進(jìn)去后,選擇如下鏈接: 解壓 flink-1.10.1-bin-scala_2.12.tgz ,我這里解壓到 soft 目錄 解壓后進(jìn)入 Flink 的 bin 目錄執(zhí)行如下腳本即可 進(jìn)入 Flink 頁(yè)面看看,如果

    2024年02月05日
    瀏覽(26)
  • Flink(二)1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    Flink(二)1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說(shuō)明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語(yǔ)、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年02月16日
    瀏覽(29)
  • 2、Flink1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    2、Flink1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說(shuō)明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語(yǔ)、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年02月05日
    瀏覽(23)
  • 【flink】使用flink-web-ui提交作業(yè)報(bào)錯(cuò)

    【flink】使用flink-web-ui提交作業(yè)報(bào)錯(cuò)

    使用WebUI提交作業(yè)出現(xiàn)錯(cuò)誤。 錯(cuò)誤截圖: ?彈框信息: 在彈框中是無(wú)法看到具體錯(cuò)誤信息的。 需要去?job-manager/logs中看詳細(xì)信息: Failed to create checkpoint storage at checkpoint coordinator side 無(wú)法在檢查點(diǎn)協(xié)調(diào)器端創(chuàng)建檢查點(diǎn)存儲(chǔ) ?怎么還沒(méi)有辦法創(chuàng)建呢???? 看一下我的StateBa

    2024年02月14日
    瀏覽(15)
  • 【Flink】Flink提交流程

    【Flink】Flink提交流程

    我們通常在學(xué)習(xí)的時(shí)候需要掌握大數(shù)據(jù)組件的原理以便更好的掌握這個(gè)大數(shù)據(jù)組件,F(xiàn)link實(shí)際生產(chǎn)開發(fā)過(guò)程中最常見的就是提交到y(tǒng)arn上進(jìn)行調(diào)度,模式使用的 Per-Job模式,下面我們就給大家講下Flink提交Per-Job任務(wù)到y(tǒng)arn上的流程,流程圖如下 ?(1)客戶端將作業(yè)提交給 YARN 的資

    2024年02月11日
    瀏覽(14)
  • Flink|《Flink 官方文檔 - 部署 - 命令行界面 - 提交 PyFlink 作業(yè)》學(xué)習(xí)筆記

    學(xué)習(xí)文檔:《Flink 官方文檔 - 部署 - 命令行界面 - 提交 PyFlink 作業(yè)》 學(xué)習(xí)筆記如下: 當(dāng)前,用戶可以通過(guò) CLI 提交 PyFlink 作業(yè)。對(duì)于通過(guò) flink run 提交的 Python 作業(yè),F(xiàn)link 會(huì)執(zhí)行 python 命令。因此,在啟動(dòng) Python 作業(yè)前,需要先確定當(dāng)前環(huán)境中的 python 命令指向 3.7+ 版本的 Pyt

    2024年02月22日
    瀏覽(23)
  • 【Flink】詳解Flink任務(wù)提交流程

    【Flink】詳解Flink任務(wù)提交流程

    通常我們會(huì)使用 bin/flink run -t yarn-per-job -c com.xxx.xxx.WordCount/WordCount.jar 方式啟動(dòng)任務(wù);我們看一下 flink 文件中到底做了什么,以下是其部分源碼 可以看到,第一步將相對(duì)地址轉(zhuǎn)換成絕對(duì)地址;第二步獲取 Flink 配置信息,這個(gè)信息放在 bin 目錄下的 config. sh 中;第三步獲取 JV

    2024年02月14日
    瀏覽(17)
  • Flink通過(guò)Java API提交作業(yè)到keberos認(rèn)證的Yarn

    背景 作為數(shù)據(jù)中臺(tái)與大數(shù)據(jù)底座交互層,系統(tǒng)需要要提供一個(gè)rest api,供上層應(yīng)用提交到flink作業(yè)到kerberos認(rèn)證yarn上,網(wǎng)上資料多是通過(guò)flink run命令,記錄下怎么通過(guò)api的方式把一個(gè)任務(wù)以application的方法提交到y(tǒng)arn集群,最重要的是可以通過(guò)springboot 就可以提交程序到y(tǒng)arn上面

    2024年03月11日
    瀏覽(25)
  • flink1.14.5使用CDH6.3.2的yarn提交作業(yè)

    flink1.14.5使用CDH6.3.2的yarn提交作業(yè)

    使用CDH6.3.2安裝了hadoop集群,但是CDH不支持flink的安裝,網(wǎng)上有CDH集成flink的文章,大都比較麻煩;但其實(shí)我們只需要把flink的作業(yè)提交到y(tǒng)arn集群即可,接下來(lái)以CDH yarn為基礎(chǔ),flink on yarn模式的配置步驟。 一、部署flink 1、下載解壓 官方下載地址:Downloads | Apache Flink 注意:CD

    2024年01月16日
    瀏覽(25)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包