国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

大數據-玩轉數據-Flink窗口函數

這篇具有很好參考價值的文章主要介紹了大數據-玩轉數據-Flink窗口函數。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

一、Flink窗口函數

前面指定了窗口的分配器, 接著我們需要來指定如何計算, 這事由window function來負責. 一旦窗口關閉, window function 去計算處理窗口中的每個元素.
window function 可以是ReduceFunction,AggregateFunction,or ProcessWindowFunction中的任意一種.
ReduceFunction,AggregateFunction更加高效, 原因就是Flink可以對到來的元素進行增量聚合 . ProcessWindowFunction 可以得到一個包含這個窗口中所有元素的迭代器, 以及這些元素所屬窗口的一些元數據信息.
ProcessWindowFunction不能被高效執(zhí)行的原因是Flink在執(zhí)行這個函數之前, 需要在內部緩存這個窗口上所有的元素。
除了一些簡單聚合,比如 sum,max,min,maxBay,minBay ,有以下窗口聚合函數。

二、ReduceFunction(增量聚合函數)

輸入和輸出必須一致文章來源地址http://www.zghlxwxcb.cn/news/detail-677273.html

package com.lyh.flink07;

import com.lyh.bean.WaterSensor;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;

public class Window_s_function {
   
    public static void main(String[] args) throws Exception {
   
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.socketTextStream("hadoop100",9999)
                .map(line -> {
   
                    String[] data = line.split(",");
                    return new WaterSensor(
                            data[0],
                            Long.valueOf(data[1]),
                            Integer.valueOf(data[2])
                    );
                })
                .keyBy(WaterSensor::getId

到了這里,關于大數據-玩轉數據-Flink窗口函數的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!

本文來自互聯(lián)網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • [實時流基礎 flink] 窗口函數

    [實時流基礎 flink] 窗口函數

    尚硅谷學習筆記 增量聚合函數(ReduceFunction / AggregateFunction) 窗口將數據收集起來,最基本的處理操作當然就是進行聚合。我們可以每來一個數據就在之前結果上聚合一次,這就是“增量聚合”。 典型的增量聚合函數有兩個:ReduceFunction和AggregateFunction。 ReduceFunction可以解決

    2024年04月12日
    瀏覽(27)
  • 【API篇】八、Flink窗口函數

    【API篇】八、Flink窗口函數

    上一節(jié)的窗口分配器,指明了窗口類型,知道了數據屬于哪個窗口并收集。而窗口函數,則是定義如何對這些數據做計算操作。 增量聚合 : 來一條數據,計算一條數據 ,窗口觸發(fā)的時候輸出計算結果 全窗口函數 : 數據來了不計算,存起來 ,窗口觸發(fā)的時候,計算并輸出

    2024年02月08日
    瀏覽(15)
  • 大數據-玩轉數據-Flink營銷對賬

    大數據-玩轉數據-Flink營銷對賬

    在電商網站中,訂單的支付作為直接與營銷收入掛鉤的一環(huán),在業(yè)務流程中非常重要。對于訂單而言,為了正確控制業(yè)務流程,也為了增加用戶的支付意愿,網站一般會設置一個支付失效時間,超過一段時間不支付的訂單就會被取消。另外,對于訂單的支付,我們還應保證用

    2024年02月11日
    瀏覽(20)
  • 大數據-玩轉數據-Flink 容錯機制

    大數據-玩轉數據-Flink 容錯機制

    在分布式架構中,當某個節(jié)點出現(xiàn)故障,其他節(jié)點基本不受影響。在 Flink 中,有一套完整的容錯機制,最重要就是檢查點(checkpoint)。 在流處理中,我們可以用存檔讀檔的思路,把之前的計算結果做個保存,這樣重啟之后就可以繼續(xù)處理新數據、而不需要重新計算了。所以

    2024年02月07日
    瀏覽(22)
  • 大數據-玩轉數據-Flink RedisSink

    大數據-玩轉數據-Flink RedisSink

    具體版本根據實際情況確定 參見大數據-玩轉數據-Redis 安裝與使用 可以根據要寫入的redis的不同數據類型進行調整

    2024年02月13日
    瀏覽(16)
  • 大數據-玩轉數據-Flink定時器

    基于處理時間或者事件時間處理過一個元素之后, 注冊一個定時器, 然后指定的時間執(zhí)行. Context和OnTimerContext所持有的TimerService對象擁有以下方法: currentProcessingTime(): Long 返回當前處理時間 currentWatermark(): Long 返回當前watermark的時間戳 registerProcessingTimeTimer(timestamp: Long): Unit 會注

    2024年02月10日
    瀏覽(20)
  • 大數據-玩轉數據-Flink惡意登錄監(jiān)控

    大數據-玩轉數據-Flink惡意登錄監(jiān)控

    對于網站而言,用戶登錄并不是頻繁的業(yè)務操作。如果一個用戶短時間內頻繁登錄失敗,就有可能是出現(xiàn)了程序的惡意攻擊,比如密碼暴力破解。 因此我們考慮,應該對用戶的登錄失敗動作進行統(tǒng)計,具體來說,如果同一用戶(可以是不同IP)在2秒之內連續(xù)兩次登錄失敗,就

    2024年02月07日
    瀏覽(14)
  • 大數據-玩轉數據-Flink狀態(tài)編程(上)

    大數據-玩轉數據-Flink狀態(tài)編程(上)

    有狀態(tài)的計算是流處理框架要實現(xiàn)的重要功能,因為稍復雜的流處理場景都需要記錄狀態(tài),然后在新流入數據的基礎上不斷更新狀態(tài)。 SparkStreaming在狀態(tài)管理這塊做的不好, 很多時候需要借助于外部存儲(例如Redis)來手動管理狀態(tài), 增加了編程的難度。 Flink的狀態(tài)管理是它的優(yōu)

    2024年02月09日
    瀏覽(92)
  • Flink--7、窗口(窗口的概念、分類、API、分配器、窗口函數)、觸發(fā)器、移除器

    Flink--7、窗口(窗口的概念、分類、API、分配器、窗口函數)、觸發(fā)器、移除器

    ?????????????????????? 星光下的趕路人star的個人主頁 ?????????????????????? 內心的平靜始于不再讓他人掌控你的感情 在批處理統(tǒng)計中,我們可以等待一批數據都到齊后,統(tǒng)一處理。但是在實時處理統(tǒng)計中,我們是來一

    2024年02月08日
    瀏覽(24)
  • 大數據-玩轉數據-Flink狀態(tài)后端(下)

    大數據-玩轉數據-Flink狀態(tài)后端(下)

    每傳入一條數據,有狀態(tài)的算子任務都會讀取和更新狀態(tài)。由于有效的狀態(tài)訪問對于處理數據的低延遲至關重要,因此每個并行任務(子任務)都會在本地維護其狀態(tài),以確保快速的狀態(tài)訪問。 狀態(tài)的存儲、訪問以及維護,由一個可插入的組件決定,這個組件就叫做狀態(tài)后端(

    2024年02月09日
    瀏覽(21)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包