1.Flink的Slot特點(diǎn):
-
- 均分隔離內(nèi)存,不隔離CPU
-
- 可以共享:
- 同一個(gè)job中,不同算子的子任務(wù)才可以共享同一個(gè)slot,同時(shí)在運(yùn)行的前提是,屬于同一個(gè)slot共享組,默認(rèn)都是“default”
2.Slot的數(shù)量 與 并行度 的關(guān)系
-
- slot 是一種靜態(tài)的概念,表示最大的并發(fā)上線
- 并行度是個(gè)動(dòng)態(tài)的概念,表示 實(shí)際運(yùn)行 占用了 幾個(gè)
-
- 要求:slot數(shù)量 >= job并行度(算子最大并行度),job才能運(yùn)行
- 注意:如果是yarn模式,動(dòng)態(tài)申請(qǐng)
申請(qǐng)的TM數(shù)量 = job并行度 / 每個(gè)TM的 slot 數(shù),向上取整
比如session:一開始 0 個(gè)TaskManager,0個(gè)slot
提交一個(gè)job,并行度10, 每個(gè)tm設(shè)置3個(gè)slot,10/3,向上取整,申請(qǐng)4個(gè)tm,使用10個(gè)slot,剩余2個(gè)slot
Standalone會(huì)話模式作業(yè)提交流程
1)腳本啟動(dòng)執(zhí)行,客戶端先解析參數(shù)比如-t,-p,-c會(huì)進(jìn)行解析等,之后多了一個(gè)細(xì)節(jié),就涉及到Flink一個(gè)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-657280.html
文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-657280.html
到了這里,關(guān)于Flink-----Standalone會(huì)話模式作業(yè)提交流程的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!