目錄
Flink是什么?
Flink部署模式
會(huì)話(huà)模式（Session Mode ）
單作業(yè)模式（Per-Job Mode）
應(yīng)用模式（Application Mode）
Flink集群搭建
Standalone運(yùn)行模式?
會(huì)話(huà)模式
單作業(yè)模式部署
應(yīng)用模式部署
YARN運(yùn)行模式
?會(huì)話(huà)模式部署
單作業(yè)模式部署
應(yīng)用模式部署
Flink是什么?
Flink是“數(shù)據(jù)流上的有狀態(tài)計(jì)算”
具體說(shuō)明是:Apache Flink 是一個(gè)框架和分布式處理引擎，用于對(duì)無(wú)界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算。
?
Flink部署模式
會(huì)話(huà)模式（Session Mode ）、單作業(yè)模式（Per-Job Mode）、應(yīng)用模式（Application Mode）
它們的區(qū)別主要在于：集群的生命周期以及資源的分配方式；以及應(yīng)用的main方法到底在哪里執(zhí)行——客戶(hù)端（Client）還是JobManager。
會(huì)話(huà)模式（Session Mode ）
會(huì)話(huà)模式是最符合常規(guī)思維的，我們需要先啟動(dòng)一個(gè)集群，保持一個(gè)會(huì)話(huà)，在這個(gè)會(huì)話(huà)中通過(guò)客戶(hù)端提交作業(yè)。集群?jiǎn)?dòng)時(shí)所有資源就都已經(jīng)確定，所以所有提交的作業(yè)會(huì)競(jìng)爭(zhēng)集群中的資源。
?會(huì)話(huà)模式比較適用于單個(gè)規(guī)模小、執(zhí)行時(shí)間短的大量作業(yè)
單作業(yè)模式（Per-Job Mode）
單作業(yè)模式是每提交一個(gè)作業(yè)啟動(dòng)一個(gè)集群，實(shí)現(xiàn)資源的隔離。作業(yè)完成后，集群就會(huì)關(guān)閉，所有資源也會(huì)釋放。單作業(yè)模式在生產(chǎn)環(huán)境運(yùn)行更加的穩(wěn)定，所有也是實(shí)際應(yīng)用的首選模式。
Flink本身無(wú)法直接這樣運(yùn)行，需要借助一些資源管理框架來(lái)啟動(dòng)集群，比如yarn、Kubernetes(K8S)
應(yīng)用模式（Application Mode）
前面提到的兩種模式 下，應(yīng)用代碼都是在容廣端上執(zhí)行，然后由客廣端提交給JobManager。但是這種方式客戶(hù)端需要占用大量網(wǎng)絡(luò)帶寬，去下載依賴(lài)和把二進(jìn)制數(shù)據(jù)發(fā)送給JobManager；加上很多情況下我們提交作業(yè)用的是同一個(gè)客戶(hù)端，就會(huì)加重客戶(hù)端所在節(jié)點(diǎn)的資源消耗。
所以解決辦法就是，我們不要客戶(hù)端了，直接把應(yīng)用提交到JobManager 上運(yùn)行。而這也就代表著，我們需要為每一個(gè)提交的應(yīng)用單獨(dú)啟動(dòng)一個(gè)JobManager，也就是創(chuàng)建一個(gè)集群。這個(gè)JobManager只為執(zhí)行這一個(gè)應(yīng)用而存在，執(zhí)行結(jié)束之后JobManager也就關(guān)閉了，這就是所謂的應(yīng)用模式。
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-708856.html
?應(yīng)用模式與單作業(yè)模式，都是提交作業(yè)之后才創(chuàng)建集群；單作業(yè)模式是通過(guò)客戶(hù)端來(lái)提交的，客戶(hù)端解析出的每一個(gè)作業(yè)對(duì)應(yīng)一個(gè)集群；而文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-708856.html
到了這里，關(guān)于Flink三種模式介紹&集群的搭建的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
