相關(guān)文章

• 

  Flink 狀態(tài)概述

  算子任務(wù)分 : 無(wú)狀態(tài) : 根據(jù)輸入轉(zhuǎn)換為輸出 , 如 : map , filter , flatMap 有狀態(tài) : 根據(jù)輸入 , 狀態(tài) 轉(zhuǎn)換為輸出 , 如 : 聚合算子 , 窗口算子 有狀態(tài)算子的處理流程 : 算子任務(wù)接收到上游發(fā)來(lái)的數(shù)據(jù) 獲取當(dāng)前狀態(tài) 根據(jù)業(yè)務(wù)邏輯進(jìn)行計(jì)算，更新?tīng)顟B(tài) 得到計(jì)算結(jié)果，輸出發(fā)送到下游任務(wù)

  2024年02月10日

  瀏覽(27)
• 

  Flink 系列二 Flink 狀態(tài)化流處理概述

  本篇作為Flink系列的第二篇，第一篇是環(huán)境準(zhǔn)備，需要的同學(xué)可以看：https://blog.csdn.net/lly576403061/article/details/130358449?spm=1001.2014.3001.5501。希望可以通過(guò)系統(tǒng)的學(xué)習(xí)鞏固該方面的知識(shí)，豐富自己的技能樹(shù)。廢話不多說(shuō)咱們開(kāi)始吧。 在我們的日常生活中數(shù)據(jù)和數(shù)據(jù)處理無(wú)處不在，

  2024年02月11日

  瀏覽(24)
• 

  Flink的狀態(tài)是否支持任務(wù)間共享

  在日常編寫(xiě)代碼的過(guò)程中，我們經(jīng)常會(huì)在方法內(nèi)部new很多的其他類(lèi)對(duì)象來(lái)進(jìn)行編碼工作，那么對(duì)于這種情況怎么讓new出來(lái)的對(duì)象是一個(gè)我們特意創(chuàng)建出來(lái)的一個(gè)mock實(shí)例，從而讓我們能完全控制new出來(lái)的對(duì)象的所有行為呢？本文就來(lái)講解下如何在powermock中mock類(lèi)的構(gòu)造函數(shù)。 首

  2024年02月13日

  瀏覽(16)
• 

  Flink作業(yè)任務(wù)的9種狀態(tài)簡(jiǎn)單介紹

  ? 當(dāng)創(chuàng)建一個(gè)Flink任務(wù)后，該任務(wù)可能會(huì)經(jīng)歷多種狀態(tài)。目前Flink給任務(wù)共定義了9種狀態(tài)，包括： Created ， Running ， Finished ， Cancelling ， Canceled ， Restarting ， Failing ， Failed ， Suspended 。下面這張圖詳細(xì)展示了一個(gè)Job可能會(huì)經(jīng)歷的所有狀態(tài)。 最簡(jiǎn)單的一種狀態(tài)就是：作業(yè)啟動(dòng)

  2024年02月02日

  瀏覽(20)
• 

  206.Flink（一）：flink概述，flink集群搭建，flink中執(zhí)行任務(wù)，單節(jié)點(diǎn)、yarn運(yùn)行模式，三種部署模式的具體實(shí)現(xiàn)

  Flink官網(wǎng)地址：Apache Flink? — Stateful Computations over Data Streams | Apache Flink Flink是一個(gè) 框架 和 分布式處理引擎 ，用于對(duì) 無(wú)界 和 有界 數(shù)據(jù)流進(jìn)行 有狀態(tài)計(jì)算 。 無(wú)界流（流）： 有定義流的開(kāi)始，沒(méi)有定義結(jié)束。會(huì)無(wú)休止產(chǎn)生數(shù)據(jù) 無(wú)界流數(shù)據(jù)必須持續(xù)處理 有界流（批）： 有定

  2024年02月11日

  瀏覽(21)

• 【狀態(tài)管理｜概述】Flink的狀態(tài)管理：為什么需要state、怎么保存state、對(duì)于state過(guò)大怎么處理

  按照數(shù)據(jù)的劃分和擴(kuò)張方式，F(xiàn)link中大致分為2類(lèi)： Keyed States：記錄每個(gè)Key對(duì)應(yīng)的狀態(tài)值 因?yàn)橐粋€(gè)任務(wù)的并行度有多少，就會(huì)有多少個(gè)子任務(wù)，當(dāng)key的范圍大于并行度時(shí)，就會(huì)出現(xiàn)一個(gè)subTask上可能包含多個(gè)Key（），但不同Task上不會(huì)出現(xiàn)相同的Key（解決了shuffle的問(wèn)題？） ? 常

  2024年02月01日

  瀏覽(20)

• Flink復(fù)習(xí)3-2-4-6-1(v1.17.0)： 應(yīng)用開(kāi)發(fā) - DataStream API - 狀態(tài)和容錯(cuò) - 數(shù)據(jù)類(lèi)型&序列化 - 概述

  Apache Flink handles data types and serialization in a unique way, containing its own type descriptors, generic type extraction, and type serialization framework. This document describes the concepts and the rationale behind them. Apache Flink以獨(dú)特的方式處理數(shù)據(jù)類(lèi)型和序列化，包含自己的類(lèi)型描述符、泛型類(lèi)型提取和類(lèi)型序列化

  2024年02月12日

  瀏覽(25)
• 

  Flink源算子、轉(zhuǎn)換算子和輸出算子（DataSet）

  Flink是一種一站式處理的框架，既可以進(jìn)行批處理（DataSet），也可以進(jìn)行流處理（DataStream） 將Flink的算子分為兩大類(lèi)：DataSet 和 DataStream 1.1 fromCollection 從本地集合讀取數(shù)據(jù) 1.2 readTextFile 從文件中讀取 1.3 readTextFile 遍歷目錄 對(duì)一個(gè)文件目錄內(nèi)的所有文件，包括所有子目錄中的

  2024年04月23日

  瀏覽(22)
• 

  【Flink-1.17-教程】-【四】Flink DataStream API（2）轉(zhuǎn)換算子（Transformation）【基本轉(zhuǎn)換算子、聚合算子】

  數(shù)據(jù)源讀入數(shù)據(jù)之后，我們就可以使用各種轉(zhuǎn)換算子，將一個(gè)或多個(gè) DataStream 轉(zhuǎn)換為新的 DataStream。 map 是大家非常熟悉的大數(shù)據(jù)操作算子，主要用于將數(shù)據(jù)流中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，形成新的數(shù)據(jù)流。簡(jiǎn)單來(lái)說(shuō)，就是一個(gè) “一 一映射”，消費(fèi)一個(gè)元素就產(chǎn)出一個(gè)元素 。 我們只

  2024年01月23日

  瀏覽(19)
• 

  [flink 實(shí)時(shí)流基礎(chǔ)]源算子和轉(zhuǎn)換算子

  Flink可以從各種來(lái)源獲取數(shù)據(jù)，然后構(gòu)建DataStream進(jìn)行轉(zhuǎn)換處理。一般將數(shù)據(jù)的輸入來(lái)源稱為數(shù)據(jù)源（data source），而讀取數(shù)據(jù)的算子就是源算子（source operator）。所以，source就是我們整個(gè)處理程序的輸入端。 在Flink1.12以前，舊的添加source的方式，是調(diào)用執(zhí)行環(huán)境的addSource()方

  2024年04月11日

  瀏覽(23)