国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【Flink】FlinkSQL中執(zhí)行計劃以及如何用代碼看執(zhí)行計劃

這篇具有很好參考價值的文章主要介紹了【Flink】FlinkSQL中執(zhí)行計劃以及如何用代碼看執(zhí)行計劃。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

FilnkSQL怎么查詢優(yōu)化

Apache Flink 使用并擴展了 Apache Calcite 來執(zhí)行復(fù)雜的查詢優(yōu)化。 這包括一系列基于規(guī)則和成本的優(yōu)化,例如:

? 基于 Apache Calcite 的子查詢解相關(guān)

? 投影剪裁

? 分區(qū)剪裁

? 過濾器下推

? 子計劃消除重復(fù)數(shù)據(jù)以避免重復(fù)計算

? 特殊子查詢重寫,包括兩部分:

? 將 IN 和 EXISTS 轉(zhuǎn)換為 left semi-joins

? 將 NOT IN 和 NOT EXISTS 轉(zhuǎn)換為 left anti-join

? 可選 join 重新排序

? 通過 table.optimizer.join-reorder-enabled 啟用

注意: 當前僅在子查詢重寫的結(jié)合條件下支持 IN / EXISTS / NOT IN / NOT EXISTS。

優(yōu)化器不僅基于計劃,而且還基于可從數(shù)據(jù)源獲得的豐富統(tǒng)計信息以及每個算子(例如 io,cpu,網(wǎng)絡(luò)和內(nèi)存)的細粒度成本來做出明智的決策。

高級用戶可以通過 CalciteConfig 對象提供自定義優(yōu)化,可以通過調(diào)用 TableEnvironment#getConfig#setPlannerConfig 將其提供給 TableEnvironment。

FilnkSQL用什么代碼查看優(yōu)化

Table API 提文章來源地址http://www.zghlxwxcb.cn/news/detail-410213.html

到了這里,關(guān)于【Flink】FlinkSQL中執(zhí)行計劃以及如何用代碼看執(zhí)行計劃的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • Flink 學(xué)習十 FlinkSQL

    Flink 學(xué)習十 FlinkSQL

    flink sql 基于flink core ,使用sql 語義方便快捷的進行結(jié)構(gòu)化數(shù)據(jù)處理的上層庫; 類似理解sparksql 和sparkcore , hive和mapreduce 1.1 工作流程 整體架構(gòu)和工作流程 數(shù)據(jù)流,綁定元數(shù)據(jù) schema ,注冊成catalog 中的表 table / view 用戶使用table Api / table sql 來表達計算邏輯 table-planner利用 apache calci

    2024年02月10日
    瀏覽(17)
  • Flink 優(yōu)化(六) --------- FlinkSQL 調(diào)優(yōu)

    Flink 優(yōu)化(六) --------- FlinkSQL 調(diào)優(yōu)

    FlinkSQL 官網(wǎng)配置參數(shù): https://ci.apache.org/projects/flink/flink-docs-release-1.13/dev/table/config.html Flink SQL 新手有可能犯的錯誤,其中之一就是忘記設(shè)置空閑狀態(tài)保留時間導(dǎo)致狀態(tài)爆炸。列舉兩個場景: ? FlinkSQL 的 regular join(inner、left、right),左右表的數(shù)據(jù)都會一直保存在狀態(tài)里,不

    2024年02月14日
    瀏覽(21)
  • Flink:FlinkSql解析嵌套Json

    Flink:FlinkSql解析嵌套Json

    日常開發(fā)中都是用的簡便json格式,但是偶爾也會遇到嵌套json的時候,因此在用flinksql的時候就有點麻煩,下面用簡單例子簡單定義處理下 1,數(shù)據(jù)是網(wǎng)上摘抄,但包含里常用的大部分格式 { ?? ?\\\"afterColumns\\\": { ?? ??? ?\\\"created\\\": \\\"1589186680\\\", ?? ??? ?\\\"extra\\\": { ?? ??? ??? ?\\\"

    2023年04月09日
    瀏覽(25)
  • Flink實戰(zhàn)-(6)FlinkSQL實現(xiàn)CDC

    FlinkSQL說明 Flink SQL 是 Flink 實時計算為簡化計算模型,降低用戶使用實時計算門檻而設(shè)計的一套符合標準 SQL 語義的開發(fā)語言。 自 2015 年開始,阿里巴巴開始調(diào)研開源流計算引擎,最終決定基于 Flink 打造新一代計算引擎,針對 Flink 存在的不足進行優(yōu)化和改進,并且在 2019 年初

    2023年04月26日
    瀏覽(26)
  • flink學(xué)習35:flinkSQL查詢mysql

    flink學(xué)習35:flinkSQL查詢mysql

    import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.table.api.EnvironmentSettings import org.apache.flink.table.api.bridge.scala.{StreamTableEnvironment, tableConversions} object sqlQueryTable { ? def main(args: Array[String]): Unit = { ??? //create env ??? val env = StreamExecutionEnvironment.getExecutionEnv

    2023年04月23日
    瀏覽(19)
  • flink執(zhí)行環(huán)境和讀取kafka以及自定義數(shù)據(jù)源操作

    flink執(zhí)行環(huán)境和讀取kafka以及自定義數(shù)據(jù)源操作

    目錄 創(chuàng)建執(zhí)行環(huán)境 1. getExecutionEnvironment 2. createLocalEnvironment 3. createRemoteEnvironment ?執(zhí)行模式(Execution Mode) 1. BATCH 模式的配置方法 2. 什么時候選擇 BATCH 模式 觸發(fā)程序執(zhí)行 數(shù)據(jù)源操作 讀取kafka數(shù)據(jù)源操作? 自定義Source ? ????????編 寫 Flink 程 序 的 第 一 步 , 就 是 創(chuàng) 建 執(zhí)

    2023年04月10日
    瀏覽(41)
  • 【Flink系列七】TableAPI和FlinkSQL初體驗

    【Flink系列七】TableAPI和FlinkSQL初體驗

    Apache Flink 有兩種關(guān)系型 API 來做流批統(tǒng)一處理:Table API 和 SQL Table API 是用于 Scala 和 Java 語言的查詢API,它可以用一種非常直觀的方式來組合使用選取、過濾、join 等關(guān)系型算子。 ?Flink SQL 是基于?Apache Calcite?來實現(xiàn)的標準 SQL。無論輸入是連續(xù)的(流式)還是有界的(批處理

    2024年02月03日
    瀏覽(22)
  • 【華為OD機試真題 Python語言】469、測試用例執(zhí)行計劃 | 機試真題+思路參考+代碼解析(C卷)

    ??個人博客首頁: KJ.JK ? ??專欄介紹: 華為OD機試真題匯總,定期更新華為OD各個時間階段的機試真題,每日定時更新,本專欄將使用Python語言進行更新解答,包含真題,思路分析,代碼參考,歡迎大家訂閱學(xué)習 ??題目描述

    2024年01月21日
    瀏覽(27)
  • 【Flink】FlinkSQL讀取Mysql表中時間字段相差13個小時

    問題:Flink版本1.13,在我們使用FlinkSQL讀取Mysql中數(shù)據(jù)的時候,發(fā)現(xiàn)讀取出來的時間字段中的數(shù)據(jù)和Mysql表中的數(shù)據(jù)相差13個小時,Mysql建表語句及插入的數(shù)據(jù)如下; CREATE TABLE `mysql_example` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT \\\'自增ID\\\', `name` varchar(64) DEFAULT NULL COMMENT \\\'姓名\\\'

    2024年01月19日
    瀏覽(20)
  • FlinkSQL-- sql-client及源碼解析 -- flink-1.13.6

    FlinkSQL-- sql-client及源碼解析 -- flink-1.13.6

    本文基于flink-1.13.6 SQL Client: Init scripts and Statement Sets 這個版本極大地改進了 SQL 客戶端的功能?,F(xiàn)在 SQL Client 和 SQL 腳本都支持 通過Java 應(yīng)用程序執(zhí)行的幾乎所有操作(從 TableEnvironment 以編程方式啟動查詢)。這意味著 SQL 用戶在 SQL 部署中需要的代碼少了很多。其中最核心的功能

    2023年04月27日
    瀏覽(30)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包