1. 時間語義
1.1 事件時間:數(shù)據(jù)產(chǎn)生的事件(機器時間);
1.2 處理時間:數(shù)據(jù)處理的時間(系統(tǒng)時間)。
??:可樂
可樂的生產(chǎn)日期?= 事件時間(可樂產(chǎn)生的時間);
可樂被喝的時間 = 處理時間(可樂被處理【喝掉=處理】的時間)。
機器時間:可能不準確(例如:A可樂廠的時鐘比較慢,B可樂廠的時鐘比較快,但實際上B產(chǎn)生可樂的時間比A產(chǎn)生可樂的時間慢,卻被先處理了)
系統(tǒng)時間:相對準確(處理機器設(shè)置的時間,一般無誤【當然分布式可能會有誤差,但是一般會先校準同一個時鐘再處理數(shù)據(jù)】)
2. 窗口
2.1 滑動窗口:設(shè)置窗口大小,步長大??;
??:窗口大小5,步長2
2.2 滾動窗口:一般設(shè)置窗口大小即可;
??:窗口大小5
2.3 會話窗口:設(shè)置會話窗口大小;
2.4 計數(shù)窗口:設(shè)置窗口處理數(shù)據(jù)的數(shù)目。
3. 水位線
水位線是Flink窗口處理數(shù)據(jù)的臨界線;一般為了處理延遲數(shù)據(jù),還會搭配一個容忍時間。
例如:使用滾動窗口,水位線為5,容忍時間為2,處理如下。
滾動窗口有兩個,分別是【1,5)和【5,10)
處理時間有7個,分別是:1,2,7,3,6,5,20
1,2處理時間事件到達后,交給【1,5)窗口處理;
7處理時間事件到達后,由于7-2=5大于【1,5)這個窗口了(處理時間 - 容忍時間),所以關(guān)閉【1,5)窗口,進行計算...(就好比上課,有些同學沒到,老師說晚2分鐘再開始上課,7這個處理時間已經(jīng)是在2分鐘后了,所以開始講課,不等了),7歸類到【5,10)窗口進行計算;
3處理時間時間到達后,由于他是在【1,5)窗口的,但是該窗口已經(jīng)關(guān)閉計算了,所以此時的3處理時間事件只能丟棄;文章來源:http://www.zghlxwxcb.cn/news/detail-789459.html
后面6,5,20處理時間事件分析同上...文章來源地址http://www.zghlxwxcb.cn/news/detail-789459.html
到了這里,關(guān)于Flink-【時間語義、窗口、水位線】的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!