国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink State backend狀態(tài)后端

這篇具有很好參考價(jià)值的文章主要介紹了Flink State backend狀態(tài)后端。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

概述

Flink在v1.12到v1.14的改進(jìn)當(dāng)中,其狀態(tài)后端也發(fā)生了變化。老版本的狀態(tài)后端有三個(gè),分別是MemoryStateBackend、FsStateBackend、RocksDBStateBackend,在flink1.14中,這些狀態(tài)已經(jīng)被廢棄了,新版本的狀態(tài)后端是 HashMapStateBackend、EmbeddedRocksDBStateBackend。

1、檢查點(diǎn)

有狀態(tài)流應(yīng)用中的檢查點(diǎn)(checkpoint),其實(shí)就是所有任務(wù)的狀態(tài)在某個(gè)時(shí)間點(diǎn)的一個(gè)快照(一份拷貝)。簡單來講,就是一次 存盤,讓我們之前處理數(shù)據(jù)的進(jìn)度不要丟掉。在一個(gè)流應(yīng)用程序運(yùn)行時(shí),F(xiàn)link會(huì)定期保存檢查點(diǎn),在檢查點(diǎn)中會(huì)記錄每個(gè)算子的id和狀態(tài),如果發(fā)生故障,F(xiàn)link就會(huì)用最近一次成功保存的檢查點(diǎn)來恢復(fù)應(yīng)用的狀態(tài),重新啟動(dòng)處理流程,就如同 讀檔 一樣。

2、狀態(tài)后端

在 Flink 中,狀態(tài)的存儲(chǔ)、訪問以及維護(hù),都是由一個(gè)可插拔的組件決定的,這個(gè)組件就叫作狀態(tài)后端(state backend)。狀態(tài)后端主要負(fù)責(zé)兩件事:一是本地的狀態(tài)管理,二是將檢查點(diǎn)(checkpoint)寫入遠(yuǎn)程的持久化存儲(chǔ)。

2.1、狀態(tài)后端的分類

Flink 中提供了兩類不同的狀態(tài)后端,一種是“哈希表狀態(tài)后端”(HashMapStateBackend),另一種是“內(nèi)嵌 RocksDB ?狀態(tài)后端”(EmbeddedRocksDBStateBackend)。如果沒有特別配置,系統(tǒng)默認(rèn)的狀態(tài)后端是HashMapStateBackend。

  • 哈希表狀態(tài)后端(Ha文章來源地址http://www.zghlxwxcb.cn/news/detail-824329.html

到了這里,關(guān)于Flink State backend狀態(tài)后端的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 大數(shù)據(jù)-玩轉(zhuǎn)數(shù)據(jù)-Flink狀態(tài)后端(下)

    大數(shù)據(jù)-玩轉(zhuǎn)數(shù)據(jù)-Flink狀態(tài)后端(下)

    每傳入一條數(shù)據(jù),有狀態(tài)的算子任務(wù)都會(huì)讀取和更新狀態(tài)。由于有效的狀態(tài)訪問對(duì)于處理數(shù)據(jù)的低延遲至關(guān)重要,因此每個(gè)并行任務(wù)(子任務(wù))都會(huì)在本地維護(hù)其狀態(tài),以確??焖俚臓顟B(tài)訪問。 狀態(tài)的存儲(chǔ)、訪問以及維護(hù),由一個(gè)可插入的組件決定,這個(gè)組件就叫做狀態(tài)后端(

    2024年02月09日
    瀏覽(21)
  • Flink State 狀態(tài)原理解析

    State 用于記錄 Flink 應(yīng)用在運(yùn)行過程中,算子的中間計(jì)算結(jié)果或者元數(shù)據(jù)信息。運(yùn)行中的 Flink 應(yīng)用如果需要上次計(jì)算結(jié)果進(jìn)行處理的,則需要使用狀態(tài)存儲(chǔ)中間計(jì)算結(jié)果。如 Join、窗口聚合場景。 Flink 應(yīng)用運(yùn)行中會(huì)保存狀態(tài)信息到 State 對(duì)象實(shí)例中,State 對(duì)象實(shí)例通過 StateBac

    2024年02月05日
    瀏覽(25)
  • 【狀態(tài)管理|概述】Flink的狀態(tài)管理:為什么需要state、怎么保存state、對(duì)于state過大怎么處理

    按照數(shù)據(jù)的劃分和擴(kuò)張方式,F(xiàn)link中大致分為2類: Keyed States:記錄每個(gè)Key對(duì)應(yīng)的狀態(tài)值 因?yàn)橐粋€(gè)任務(wù)的并行度有多少,就會(huì)有多少個(gè)子任務(wù),當(dāng)key的范圍大于并行度時(shí),就會(huì)出現(xiàn)一個(gè)subTask上可能包含多個(gè)Key(),但不同Task上不會(huì)出現(xiàn)相同的Key(解決了shuffle的問題?) ? 常

    2024年02月01日
    瀏覽(19)
  • Flink狀態(tài)詳解:什么是時(shí)狀態(tài)(state)?狀態(tài)描述(StateDescriptor)及其重要性

    Flink狀態(tài)詳解:什么是時(shí)狀態(tài)(state)?狀態(tài)描述(StateDescriptor)及其重要性

    了解Flink中的狀態(tài)概念及其在流處理中的重要性。探討狀態(tài)在有狀態(tài)計(jì)算中的作用,狀態(tài)描述符(StateDescriptor)的基本概念和用法。理解狀態(tài)在Flink任務(wù)中的維護(hù)、恢復(fù)和與算子的關(guān)聯(lián)。

    2024年02月08日
    瀏覽(28)
  • Flink 狀態(tài)后端

    狀態(tài)后端 (state backend) : 負(fù)責(zé)管理本地狀態(tài)的存儲(chǔ)方式, 位置 Flink 的狀態(tài)后端有兩類 : 哈希表狀態(tài)后端 (HashMapStateBackend) : 狀態(tài)放在內(nèi)存 內(nèi)嵌 RocksDB 狀態(tài)后端 (EmbeddedRocksDBStateBackend) : 狀態(tài)放在 RocksDB 數(shù)據(jù)庫 哈希表狀態(tài)后端 : 實(shí)現(xiàn) : 將狀態(tài)當(dāng)作對(duì)象 (objects) , 保存在 Taskmanager 的

    2024年02月13日
    瀏覽(25)
  • 209.Flink(四):狀態(tài),按鍵分區(qū),算子狀態(tài),狀態(tài)后端。容錯(cuò)機(jī)制,檢查點(diǎn),保存點(diǎn)。狀態(tài)一致性。flink與kafka整合

    算子任務(wù)可以分為有狀態(tài)、無狀態(tài)兩種。 無狀態(tài):filter,map這種,每次都是獨(dú)立事件 有狀態(tài):sum這種,每次處理數(shù)據(jù)需要額外一個(gè)狀態(tài)值來輔助。這個(gè)額外的值就叫“狀態(tài)” (1)托管狀態(tài)(Managed State)和原始狀態(tài)(Raw State) 托管狀態(tài) 就是由Flink統(tǒng)一管理的,狀態(tài)的存儲(chǔ)訪問

    2024年02月06日
    瀏覽(22)
  • 【flink番外篇】7、flink的State(Keyed State和operator state)介紹及示例(2) - operator state

    【flink番外篇】7、flink的State(Keyed State和operator state)介紹及示例(2) - operator state

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年01月22日
    瀏覽(29)
  • 【flink番外篇】7、flink的State(Keyed State和operator state)介紹及示例(1) - Keyed State

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年01月17日
    瀏覽(23)
  • 【flink番外篇】7、flink的State(Keyed State和operator state)介紹及示例 - 完整版

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年02月03日
    瀏覽(34)
  • flink學(xué)習(xí)之state

    state作用 保留當(dāng)前key的歷史狀態(tài)。 state用法 ListStateInteger vipList = getRuntimeContext().getListState(new ListStateDescriptorInteger(\\\"vipList\\\", TypeInformation.of(Integer.class))); 有valueState listState mapstate 。冒失沒有setstate state案例 比如起點(diǎn)的小說不能被下載。別人只能通過截屏,提取文字的方式盜版小

    2024年02月09日
    瀏覽(17)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包