国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

flink sql checkpoint 調優(yōu)配置

這篇具有很好參考價值的文章主要介紹了flink sql checkpoint 調優(yōu)配置。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

- `execution.checkpointing.interval`: 檢查點之間的時間間隔(以毫秒為單位)。在此間隔內,系統(tǒng)將生成新的檢查點

SET?execution.checkpointing.interval?=?6000;

- `execution.checkpointing.tolerable-failed-checkpoints`: 允許的連續(xù)失敗檢查點的最大數量。如果連續(xù)失敗的檢查點數量超過此值,作業(yè)將失敗。

SET?execution.checkpointing.tolerable-failed-checkpoints?=?10;

- `execution.checkpointing.timeout`: 檢查點的超時時間(以毫秒為單位)。如果在此時間內未完成檢查點操作,作業(yè)將失敗。

SET?execution.checkpointing.timeout?=600000;

- `execution.checkpointing.externalized-checkpoint-retention`: 外部化檢查點的保留策略。`RETAIN_ON_CANCELLATION`表示在作業(yè)取消時保留外部化檢查點。

SET?execution.checkpointing.externalized-checkpoint-retention?=?RETAIN_ON_CANCELLATION;

- `execution.checkpointing.mode`: 檢查點模式。`EXACTLY_ONCE`表示每個檢查點只會在作業(yè)處理完全一次時生成。

SET?execution.checkpointing.mode?=?EXACTLY_ONCE;

- `execution.checkpointing.unaligned`: 檢查點是否對齊。如果設置為`true`,則檢查點將在作業(yè)的所有任務完成之前生成。

SET?execution.checkpointing.unaligned?=?true;

- `execution.checkpointing.max-concurrent-checkpoints`: 并發(fā)生成檢查點的最大數量。在此數量的檢查點生成之前,不會生成新的檢查點。

SET?execution.checkpointing.max-concurrent-checkpoints?=?1;

- `state.checkpoints.num-retained`: 保留的檢查點數量。超過此數量的檢查點將被刪除

SET?state.checkpoints.num-retained?=?3;

暫未使用

SET?execution.checkpointing.interval?=?6000;

SET?execution.checkpointing.tolerable-failed-checkpoints?=?10;

SET?execution.checkpointing.timeout?=600000;

SET?execution.checkpointing.externalized-checkpoint-retention?文章來源地址http://www.zghlxwxcb.cn/news/detail-664220.html

到了這里,關于flink sql checkpoint 調優(yōu)配置的文章就介紹完了。如果您還想了解更多內容,請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網!

本文來自互聯(lián)網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉載,請注明出處: 如若內容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • Flink|《Flink 官方文檔 - 部署 - 內存配置 - 調優(yōu)指南 & 常見問題》學習筆記

    學習文檔: 《Flink 官方文檔 - 部署 - 內存配置 - 調優(yōu)指南》 《Flink 官方文檔 - 部署 - 內存配置 - 常見問題》 學習筆記如下: 獨立部署模式(Standalone Deployment)下的內存配置 通常無需配置進程總內存,因為不管是 Flink 還是部署環(huán)境都不會對 JVM 開銷進行限制,它只與機器的

    2024年02月19日
    瀏覽(24)
  • flink任務內存調優(yōu),TaskManager、JobManager內存配置

    flink任務內存調優(yōu),TaskManager、JobManager內存配置

    ????????Flink是基于java的JVM運行,擁有高效的數據處理能力,但是考慮到用戶在 Flink 上運行的應用的多樣性,盡管flink框架已經為所有配置項提供合理的默認值,仍無法滿足所有情況下的需求。 為了給用戶生產提供最大化的價值, Flink 允許用戶在整體上以及細粒度上對集

    2024年02月06日
    瀏覽(37)
  • Flink非對齊checkpoint原理(Flink Unaligned Checkpoint)

    Flink非對齊checkpoint原理(Flink Unaligned Checkpoint)

    為什么提出Unaligned Checkpoint(UC)? 因為反壓嚴重時會導致Checkpoint失敗,可能導致如下問題 恢復時間長-服務效率低 非冪等和非事務會導致數據重復 持續(xù)反壓導致任務加入死循環(huán)(可能導致數據丟失,例如超過kafka的過期時間無法重置offset) UC的原理 UC有兩個階段(UC主要是

    2024年02月14日
    瀏覽(28)
  • Spark參數配置和調優(yōu),Spark-SQL、Config

    一、Hive-SQL / Spark-SQL參數配置和調優(yōu) 二、shell腳本spark-submit參數配置 三、sparkSession中配置參數

    2024年02月13日
    瀏覽(20)
  • 【flink】Checkpoint expired before completing.
使用flink同步數據出現錯誤Checkpoint expired before completing.

    【flink】Checkpoint expired before completing. 使用flink同步數據出現錯誤Checkpoint expired before completing.

    任務超時了: 重新把任務配置參數,配置如下: 或者修改 flink的 配置文件flink-conf.yaml?

    2024年02月12日
    瀏覽(35)
  • Flink本地checkpoint測試

    Flink本地checkpoint測試

    在本地IDEA測試中,使用本地文件存儲系統(tǒng),作為checkpoint的存儲系統(tǒng),將備份數據存儲到本地文件中,作業(yè)停止后,從本地備份數據啟動Flink程序。 主要分為兩步: 1)備份數據 2)從備份數據啟動 備份數據的配置,和使用HDFS文件體統(tǒng)類似,只不過路徑填寫成本地文件系統(tǒng)的

    2024年02月15日
    瀏覽(18)
  • Flink: checkPoint

    依據1.17.1 最新版本的內容研究下期運作原理,總的來說其實就是設置一些參數,這些參數就會影響到如何存儲checkpoint的問題.用起來沒什么難的,參數配置的組合到是挺多cuiyaonan2000@163.com 參考資料: Checkpointing | Apache Flink State Backends | Apache Flink Flink 中的每個方法或算子都能夠是 有

    2024年02月12日
    瀏覽(21)
  • 【Flink入門修煉】2-3 Flink Checkpoint 原理機制

    【Flink入門修煉】2-3 Flink Checkpoint 原理機制

    如果讓你來做一個有狀態(tài)流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什么不同的問題? Flink Checkpoint 是做什么用的?原理是什么? Checkpoint 是對當前運行狀態(tài)的完整記錄。程序重啟后能從 Checkpoint 中恢復出輸入數據讀取到哪了,各個算子原來的狀態(tài)是什么,并

    2024年04月25日
    瀏覽(25)
  • Flink 學習八 Flink 容錯機制 & checkpoint & savepoint

    Flink 學習八 Flink 容錯機制 & checkpoint & savepoint

    https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/concepts/stateful-stream-processing/ 上一節(jié)講述 狀態(tài)后端 ;Flink是一個 帶狀態(tài)stateful 的數據處理系統(tǒng),在處理數據的過程中,各個算子的記錄的狀態(tài)會隨著算子處理的狀態(tài)而改變 ; 狀態(tài)后端 負責將狀態(tài)保存在內存或外部持久化存儲中 (內存

    2024年02月09日
    瀏覽(22)
  • Flink源碼之Checkpoint執(zhí)行流程

    Flink源碼之Checkpoint執(zhí)行流程

    Checkpoint完整流程如上圖所示: JobMaster的CheckpointCoordinator向所有SourceTask發(fā)送RPC觸發(fā)一次CheckPoint SourceTask向下游廣播CheckpointBarrier SouceTask完成狀態(tài)快照后向JobMaster發(fā)送快照結果 非SouceTask在Barrier對齊后完成狀態(tài)快照向JobMaster發(fā)送快照結果 JobMaster保存SubTask快照結果 JobMaster收到所

    2024年02月11日
    瀏覽(44)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包