国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink-【時間語義、窗口、水位線】

這篇具有很好參考價值的文章主要介紹了Flink-【時間語義、窗口、水位線】。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

1. 時間語義

1.1 事件時間:數(shù)據(jù)產(chǎn)生的事件(機器時間);

1.2 處理時間:數(shù)據(jù)處理的時間(系統(tǒng)時間)。

??:可樂

可樂的生產(chǎn)日期?= 事件時間(可樂產(chǎn)生的時間);

可樂被喝的時間 = 處理時間(可樂被處理【喝掉=處理】的時間)。

機器時間:可能不準確(例如:A可樂廠的時鐘比較慢,B可樂廠的時鐘比較快,但實際上B產(chǎn)生可樂的時間比A產(chǎn)生可樂的時間慢,卻被先處理了)

系統(tǒng)時間:相對準確(處理機器設(shè)置的時間,一般無誤【當然分布式可能會有誤差,但是一般會先校準同一個時鐘再處理數(shù)據(jù)】)

2. 窗口

2.1 滑動窗口:設(shè)置窗口大小,步長大??;

??:窗口大小5,步長2

Flink-【時間語義、窗口、水位線】,大數(shù)據(jù)處理,flink,大數(shù)據(jù)

2.2 滾動窗口:一般設(shè)置窗口大小即可;

??:窗口大小5

Flink-【時間語義、窗口、水位線】,大數(shù)據(jù)處理,flink,大數(shù)據(jù)

2.3 會話窗口:設(shè)置會話窗口大小;

Flink-【時間語義、窗口、水位線】,大數(shù)據(jù)處理,flink,大數(shù)據(jù)

2.4 計數(shù)窗口:設(shè)置窗口處理數(shù)據(jù)的數(shù)目。

Flink-【時間語義、窗口、水位線】,大數(shù)據(jù)處理,flink,大數(shù)據(jù)

3. 水位線

水位線是Flink窗口處理數(shù)據(jù)的臨界線;一般為了處理延遲數(shù)據(jù),還會搭配一個容忍時間。

例如:使用滾動窗口,水位線為5,容忍時間為2,處理如下。

Flink-【時間語義、窗口、水位線】,大數(shù)據(jù)處理,flink,大數(shù)據(jù)

滾動窗口有兩個,分別是【1,5)和【5,10)

處理時間有7個,分別是:1,2,7,3,6,5,20

1,2處理時間事件到達后,交給【1,5)窗口處理;

7處理時間事件到達后,由于7-2=5大于【1,5)這個窗口了(處理時間 - 容忍時間),所以關(guān)閉【1,5)窗口,進行計算...(就好比上課,有些同學沒到,老師說晚2分鐘再開始上課,7這個處理時間已經(jīng)是在2分鐘后了,所以開始講課,不等了),7歸類到【5,10)窗口進行計算;

3處理時間時間到達后,由于他是在【1,5)窗口的,但是該窗口已經(jīng)關(guān)閉計算了,所以此時的3處理時間事件只能丟棄;

后面6,5,20處理時間事件分析同上...文章來源地址http://www.zghlxwxcb.cn/news/detail-789459.html

到了這里,關(guān)于Flink-【時間語義、窗口、水位線】的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 【API篇】十一、Flink水位線傳遞與遲到數(shù)據(jù)處理

    【API篇】十一、Flink水位線傳遞與遲到數(shù)據(jù)處理

    上游task處理完水位線,時鐘改變后,要把數(shù)據(jù)和當前水位線繼續(xù)往下游算子的task發(fā)送。當一個任務(wù)接收到多個上游并行任務(wù)傳遞來的水位線時,以 最小的那個作為當前任務(wù)的事件時鐘 。如圖:上游算子并行度為4,: 總結(jié): 接收到上游多個,取最小 往下游多個發(fā)送,廣播

    2024年02月08日
    瀏覽(22)
  • flink水位線傳播及任務(wù)事件時間

    flink水位線傳播及任務(wù)事件時間

    本文來講解一下flink的水位線傳播及對其對任務(wù)事件時間的影響 首先flink是通過從源頭生成水位線記錄的方式來實現(xiàn)水位線傳播的,也就是說水位線是嵌入在正常的記錄流中的特殊記錄,攜帶者水位線的時間戳,以下我們就通過圖片的方式來講解下水位線是如何傳播以及更新

    2024年02月16日
    瀏覽(21)
  • [AIGC] 深入理解Flink中的窗口、水位線和定時器

    Apache Flink是一種流處理和批處理的混合引擎,它提供了一套豐富的APIs,以滿足不同的數(shù)據(jù)處理需求。在本文中,我們主要討論Flink中的三個核心機制:窗口(Windows)、水位線(Watermarks)和定時器(Timers)。 在流處理應(yīng)用中,一種常見的需求是計算某個時間范圍內(nèi)的數(shù)據(jù),這

    2024年03月27日
    瀏覽(27)
  • flink生成水位線記錄方式--周期性水位線生成器

    在flink基于事件的時間處理中,水位線記錄的生成是一個很重要的環(huán)節(jié),本文就來記錄下幾種水位線記錄的生成方式的其中一種:周期性水位線生成器 1.1 BoundedOutOfOrdernessTimeStampExtractor 他會接收一個表示最大延遲的參數(shù),比如1分鐘,意味著如果到達的元素的事件時間和之前到

    2024年02月07日
    瀏覽(21)
  • flink生成水位線記錄方式--基于特殊記錄的水位線生成器

    在flink基于事件的時間處理中,水位線記錄的生成是一個很重要的環(huán)節(jié),本文就來記錄下幾種水位線記錄的生成方式的其中一種:基于特殊記錄的水位線生成器 我們發(fā)送的事件中,如果帶有某條特殊記錄的元素代表了某種進度的標識的話,我們可以基于這條特殊的記錄生成水

    2024年02月07日
    瀏覽(21)
  • flink水位線

    flink水位線

    目錄 一、什么是水位線 1》有序流中的水位線 2》亂序流中的水位線 3》水位線特性 二、水位線和窗口的工作原理 1》窗口 三、 生成水位線 1》生成水位線的總體原則 2》水位線生成策略 3》?Flink內(nèi)置水位線 四、自定義水位線生成器 1》周期性水位線生成器(Periodic Generator)

    2024年04月23日
    瀏覽(20)
  • 【FLink】水位線(Watermark)

    【FLink】水位線(Watermark)

    目錄 1、關(guān)于時間語義 1.1事件時間 1.2處理時間?編輯 2、什么是水位線 2.1 順序流和亂序流 2.2亂序數(shù)據(jù)的處理 2.3 水位線的特性 3 、水位線的生成 3.1 生成水位線的總體原則 3.2 水位線生成策略 3.3 Flink內(nèi)置水位線 3.3.1?有序流中內(nèi)置水位線設(shè)置 3.4.2?斷點式水位線生成器(Punc

    2024年02月21日
    瀏覽(19)
  • 【入門Flink】- 09Flink水位線Watermark

    【入門Flink】- 09Flink水位線Watermark

    在 窗口的處理過程 中,基于數(shù)據(jù)的時間戳,自定義一個 “邏輯時鐘” 。這個時鐘的時間不會自動流逝;它的時間進展,就是靠著新到數(shù)據(jù)的時間戳來推動的。 用來衡量 事件時間 進展的標記,就被稱作 “水位線”(Watermark) 。 具體實現(xiàn)上,水位線可以看作一條 特殊的數(shù)

    2024年01月17日
    瀏覽(23)
  • Flink之Watermark水印、水位線

    在Apache Flink中,Watermark(水?。┦且环N用于處理事件時間(eventtime)的時間指示器。它模擬了事件流中事件時間進展的概念。 事件時間是指事件實際發(fā)生的時間,在分布式流處理中經(jīng)常用于處理無序事件流。然而,由于網(wǎng)絡(luò)延遲、亂序事件的到達以及分布式處理的特點,事件

    2024年02月08日
    瀏覽(22)
  • Flink-水位線的設(shè)置以及傳遞

    Flink-水位線的設(shè)置以及傳遞

    6.2.1 概述 分類 有序流 無序流 判斷的時間延遲 延遲時間判定 6.2.2 水位線的設(shè)置 分析 DataStream下的assignTimstampsAndWatermarks方法,返回SingleOutputStreamOperator本質(zhì)還是個算子,傳入的參數(shù)是WatermarkStrategy的生成策略 但是WatermarkStrategy是一個接口 有序流 因此調(diào)用靜態(tài)方法forMonotonousT

    2023年04月15日
    瀏覽(27)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包