国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink狀態(tài)編程之按鍵分區(qū)狀態(tài)

這篇具有很好參考價值的文章主要介紹了Flink狀態(tài)編程之按鍵分區(qū)狀態(tài)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

簡介

在實際應用中,我們一般都需要將數據按照某個 key 進行分區(qū),然后再進行計算處理;所
以最為常見的狀態(tài)類型就是 Keyed State。之前介紹到 keyBy 之后的聚合、窗口計算,算子所
持有的狀態(tài),都是 Keyed State。
另外,我們還可以通過富函數類(Rich Function)對轉換算子進行擴展、實現自定義功能,
比如 RichMapFunction、RichFilterFunction。在富函數中,我們可以調用.getRuntimeContext()
獲取當前的運行時上下文(RuntimeContext),進而獲取到訪問狀態(tài)的句柄;這種富函數中自
定義的狀態(tài)也是 Keyed State。

什么是Key State

按鍵分區(qū)狀態(tài)(Keyed State)顧名思義,是任務按照鍵(key)來訪問和維護的狀態(tài)。它
的特點非常鮮明,就是以 key 為作用范圍進行隔離。
在進行按鍵分區(qū)之后,具有相同鍵的所有數據,都會分配到同一個并行子任務中;所以如
果當前任務定義了狀態(tài),Flink 就會在當前并行子任務實例中,為每個鍵值維護一個狀態(tài)的實
例。于是當前任務就會為分配來的所有數據,按照 key 維護和處理對應的狀態(tài)。
在底層,Keyed State 類似于一個分布式的映射(map)數據結構,所有的狀態(tài)會根據 key
保存成鍵值對(key-value)的形式。這樣當一條數據到來時,任務就會自動將狀態(tài)的訪問范圍
限定為當文章來源地址http://www.zghlxwxcb.cn/news/detail-824409.html

到了這里,關于Flink狀態(tài)編程之按鍵分區(qū)狀態(tài)的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • 【Flink】Flink 的八種分區(qū)策略(源碼解讀)

    【Flink】Flink 的八種分區(qū)策略(源碼解讀)

    Flink 包含 8 種分區(qū)策略,這 8 種分區(qū)策略(分區(qū)器)分別如下面所示,本文將從源碼的角度解讀每個分區(qū)器的實現方式。 GlobalPartitioner ShufflePartitioner RebalancePartitioner RescalePartitioner BroadcastPartitioner ForwardPartitioner KeyGroupStreamPartitioner CustomPartitionerWrapper 該分區(qū)器會將所有的數據都

    2024年04月10日
    瀏覽(30)
  • flink重溫筆記(四):Flink 流批一體 API 開發(fā)——物理分區(qū)(上)

    flink重溫筆記(四):Flink 流批一體 API 開發(fā)——物理分區(qū)(上)

    前言:今天是學習flink的第四天啦!學習了物理分區(qū)的知識點,這一次學習了前4個簡單的物理分區(qū),稱之為簡單分區(qū)篇! Tips:我相信自己會越來會好的,明天攻克困難分區(qū)篇,加油! 3. 物理分區(qū) 3.1 Global Partitioner 該分區(qū)器會將所有的數據都發(fā)送到下游的某個算子實例(subta

    2024年02月19日
    瀏覽(23)
  • flink重溫筆記(五):Flink 流批一體 API 開發(fā)——物理分區(qū)(下)

    flink重溫筆記(五):Flink 流批一體 API 開發(fā)——物理分區(qū)(下)

    前言 :今天是學習 flink 的第五天啦! 主要學習了物理分區(qū)較難理解的部分,在這個部分的三個分區(qū)的學習中, rescale partition 和 forward partition 其原理可以歸類 pointwise 模式,其他的 partition 其原理可以歸類 all_to_all 模式,而比較有趣的是 custom partitioning,這個可以進行根據值

    2024年02月19日
    瀏覽(21)
  • Flink系列之:動態(tài)發(fā)現新增分區(qū)

    為了在不重新啟動 Flink 作業(yè)的情況下處理主題擴展或主題創(chuàng)建等場景,可以將 Kafka 源配置為在提供的主題分區(qū)訂閱模式下定期發(fā)現新分區(qū)。要啟用分區(qū)發(fā)現,請為屬性partition.discovery.interval.ms設置一個非負值。 flink程序增加自動發(fā)現分區(qū)參數: flink.partition-discovery.interval-mil

    2024年02月13日
    瀏覽(17)
  • Flink學習6-自定義分區(qū)器介紹

    Flink學習6-自定義分區(qū)器介紹

    背景說明 我們都知道自定義source是可以自定義并行度的,數據讀寫有幾個并行度就意味著有幾個分區(qū)。那么怎么控制我想要的數據流入到指定分區(qū)呢?flink1.12官方文檔給我們提供了一下幾種方式,接下來我們分別進行討論。 partitionCustom分區(qū)器 按照官方的原話翻譯過來就是使

    2023年04月14日
    瀏覽(19)
  • Flink 學習七 Flink 狀態(tài)(flink state)

    Flink 學習七 Flink 狀態(tài)(flink state)

    流式計算邏輯中,比如sum,max; 需要記錄和后面計算使用到一些歷史的累計數據, 狀態(tài)就是 :用戶在程序邏輯中用于記錄信息的變量 在Flink 中 ,狀態(tài)state 不僅僅是要記錄狀態(tài);在程序運行中如果失敗,是需要重新恢復,所以這個狀態(tài)也是需要持久化;一遍后續(xù)程序繼續(xù)運行 1.1 row state 我

    2024年02月09日
    瀏覽(33)
  • Flink 中KeyBy、分區(qū)、分組的正確理解

    Flink 中KeyBy、分區(qū)、分組的正確理解

    在Flink中,KeyBy作為我們常用的一個聚合類型算子,它可以按照相同的Key對數據進行重新分區(qū),分區(qū)之后分配到對應的子任務當中去。 源碼解析 keyBy 得到的結果將不再是 DataStream,而是會將 DataStream 轉換為 KeyedStream(鍵控流),KeyedStream 可以認為是“分區(qū)流”或者“鍵控流”,它

    2024年02月04日
    瀏覽(21)
  • Flink KafkaSink分區(qū)配置的不同版本對比

    Flink KafkaSink分區(qū)配置的不同版本對比

    Flink KafkaSink分區(qū)配置的不同版本對比 在不同版本的Flink中,KafkaSink 分區(qū)默認配置方式可能會有一些變化。以下是摘自Flink官方文檔不同版本的原文: 1. Flink版本:1.12~1.19 Sink 分區(qū) # 配置項 sink.partitioner 指定了從 Flink 分區(qū)到 Kafka 分區(qū)的映射關系。 默認情況下,Flink 使用 Kafka

    2024年04月24日
    瀏覽(21)
  • 【flink番外篇】2、flink的23種算子window join 和interval join 數據傾斜、分區(qū)介紹及詳細示例(3)- 數據傾斜處理、分區(qū)示例

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識點,并輔以具體的示例進行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關基礎內容。 2、Flink基礎系列 本部分介紹Flink 的基礎部分,比如術語、架構、編程模型、編程指南、基本的datastream api用法、四大基石等內容。 3、

    2024年02月03日
    瀏覽(34)
  • 07-Flink的keyby怎么實現的分區(qū)?分區(qū)、分組的區(qū)別是什么?

    Keyby實現原理: 對指定的key調用自身的hashCode方法=》hash1 調用murmruhash算法,進行第二次hash =》鍵組ID 通過一個公式,計算出當前數據應該去往哪個下游分區(qū): 鍵組id * 下游算子并行度 / 最大并行度(默認128) 分區(qū):算子的一個并行實例可以理解成一個分區(qū),是物理上的資源

    2024年02月11日
    瀏覽(18)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包