国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

hudi的bucket.index相關(guān)配置

這篇具有很好參考價(jià)值的文章主要介紹了hudi的bucket.index相關(guān)配置。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

hudi的bucket.index相關(guān)配置的源碼文件為 HoodieIndexConfig.java 。

  • 通用配置
配置項(xiàng)名 默認(rèn)值 說明 引入版本
hoodie.index.type 默認(rèn)值和引擎有關(guān),F(xiàn)link上默認(rèn)值為FLINK_STATE,Spark上默認(rèn)值為SIMPLE,Java應(yīng)用的默認(rèn)值為INMEMORY 索引類型,可取值:HBASE、INMEMORY、BLOOM、GLOBAL_BLOOM、SIMPLE、GLOBAL_SIMPLE、BUCKET、FLINK_STATE
hoodie.index.class “” 指定索引類,必須為 HoodieIndex 的子類,自帶的有 SparkHoodieHBaseIndex、HoodieBloomIndex、FlinkInMemoryStateIndex、HoodieSimpleBucketIndex、HoodieSparkConsistentBucketIndex
  • BUCKET索引配置
配置項(xiàng)名 默認(rèn)值 說明 引入版本
hoodie.index.bucket.engine SIMPLE 用于指定 BUCKET 索引類型 0.11.0,可取值 SIMPLE 或 CONSISTENT_HASHING
hoodie.bucket.index.hash.field 無默認(rèn)值 用來分桶的字段名,如果沒有設(shè)置則使用 hoodie.datasource.write.recordkey.field 的值
hoodie.bucket.index.num.buckets 桶的個(gè)數(shù)
hoodie.bucket.index.min.num.buckets 最小桶數(shù),僅針對(duì)一致性哈希BUCKET索引有效 0.13.0
hoodie.bucket.index.max.num.buckets 最大桶數(shù),僅針對(duì)一致性哈希BUCKET索引有效 0.13.0
hoodie.bucket.index.split.threshold 2.0 控制一致性哈希索引的分裂,如果一個(gè)文件大小達(dá)到 hoodie.xxxx.max.file.size * threshold 則觸發(fā)分裂 0.13.0
hoodie.bucket.index.merge.threshold 0.2 控制一致性哈希索引的合并,如果一個(gè)文件大小小于 hoodie.xxxx.max.file.size * threshold 則觸發(fā)合并 0.13.0

上表中的 xxxx 可取值:parquet、orc、hfile,相關(guān)定義的文件 HoodieStorageConfig.java 中。文章來源地址http://www.zghlxwxcb.cn/news/detail-438011.html

到了這里,關(guān)于hudi的bucket.index相關(guān)配置的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 【CS202計(jì)算機(jī)組成原理】一次性搞懂cache中size, block, index, offset, tag相關(guān)計(jì)算

    【CS202計(jì)算機(jī)組成原理】一次性搞懂cache中size, block, index, offset, tag相關(guān)計(jì)算

    首先應(yīng)該弄懂一個(gè)概念叫:按字節(jié)編址或?qū)ぶ贰?指的是存儲(chǔ)空間的 最小編址單位是字節(jié)(byte) ,也就是說一個(gè)地址對(duì)應(yīng)1 byte的內(nèi)存空間。同理,按字編址,是指存儲(chǔ)空間的最小編址單位是字(word)。 以下舉例均為(Direct Mapped Cache)。 Memory Size :就是內(nèi)存的大小,最小單位根據(jù)(

    2024年02月02日
    瀏覽(26)
  • ES-index索引配置

    ??index索引配置項(xiàng)使用。 index_options ??Index 有4中配置,可以控制倒排索引的內(nèi)容。 ??Text類型默認(rèn)記錄positions,其他默認(rèn)docs。記錄的內(nèi)容越多,所占用的空間越大。 ??Index 有4中配置如下: docs ??記錄 doc id 。 freqs ??記錄 doc id 和 term frequencies 。 positions ??記錄

    2023年04月08日
    瀏覽(16)
  • Elasticsearch之Index Setting:索引的靜態(tài)配置與動(dòng)態(tài)配置

    ????????索引的配置項(xiàng)按是否可以更改分為靜態(tài)配置與動(dòng)態(tài)配置,所謂的 靜態(tài)配置即索引創(chuàng)建后不能修改。 索引靜態(tài)配置? 【索引創(chuàng)建后不能修改】 index.number_of_shards:索引分片的數(shù)量。在ES層面可以通過es.index.max_number_of_shards屬性設(shè)置索引最大的分片數(shù),默認(rèn)為1024,in

    2024年02月16日
    瀏覽(26)
  • [C++項(xiàng)目] Boost文檔 站內(nèi)搜索引擎(4): 搜索的相關(guān)接口的實(shí)現(xiàn)、線程安全的單例index接口、cppjieba分詞庫的使用、綜合調(diào)試...

    [C++項(xiàng)目] Boost文檔 站內(nèi)搜索引擎(4): 搜索的相關(guān)接口的實(shí)現(xiàn)、線程安全的單例index接口、cppjieba分詞庫的使用、綜合調(diào)試...

    有關(guān) Boost 文檔搜索引擎的項(xiàng)目的前三篇文章, 已經(jīng)分別介紹分析了: 項(xiàng)目背景: ??[C++項(xiàng)目] Boost文檔 站內(nèi)搜索引擎(1): 項(xiàng)目背景介紹、相關(guān)技術(shù)棧、相關(guān)概念介紹… 文檔解析、處理模塊 parser 的實(shí)現(xiàn): ??[C++項(xiàng)目] Boost文檔 站內(nèi)搜索引擎(2): 文檔文本解析模塊parser的實(shí)現(xiàn)、如何對(duì)

    2024年02月14日
    瀏覽(29)
  • Elasticsearch bucket_script、bucket_selector、bucket_sort 區(qū)別和應(yīng)用場(chǎng)景?

    Elasticsearch bucket_script、bucket_selector、bucket_sort 區(qū)別和應(yīng)用場(chǎng)景?

    請(qǐng)教老師, 上面的是我在es保存的數(shù)據(jù), 想寫一個(gè)dsl, 求出來 beijing 占比 50%, shanghai 占比 50%。 死磕Elasticsearch知識(shí)星球 https://t.zsxq.com/0bqpcJiLL 類似問題,樣例數(shù)據(jù)單看計(jì)算不復(fù)雜,“beijing” 2 個(gè),“上海” 2 個(gè),“beijing”占比: 2/(2+2) = 50%; \\\"shanghai\\\"同樣計(jì)算,占比 50%。 業(yè)

    2023年04月09日
    瀏覽(25)
  • 基于數(shù)據(jù)湖的流批一體:flink1.15.3與Hudi0.12.1集成,并配置基于CDH6.3.2的hive catalog

    基于數(shù)據(jù)湖的流批一體:flink1.15.3與Hudi0.12.1集成,并配置基于CDH6.3.2的hive catalog

    前言:為實(shí)現(xiàn)基于數(shù)據(jù)湖的流批一體,采用業(yè)內(nèi)主流技術(shù)棧hudi、flink、CDH(hive、spark)。flink使用sql client與hive的catalog打通,可以與hive共享元數(shù)據(jù),使用sql client可操作hive中的表,實(shí)現(xiàn)批流一體;flink與hudi集成可以實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)入湖;hudi與hive集成可以實(shí)現(xiàn)湖倉一體,用flink實(shí)

    2024年02月12日
    瀏覽(26)
  • Failed to resolve import “@/views/index.vue“ from “src\router\index.ts“ vue3 路由配置@找不到文件

    ?在main.ts中引入router 報(bào)錯(cuò)提示找不到路徑 解決: 修改vite.config.ts配置 安裝 path模塊 三種方式,我用的第一種。 配置完成以后運(yùn)行 解決,撒花!

    2024年02月06日
    瀏覽(91)
  • MongoDB聚合:$bucket

    $bucket 將輸入文檔按照指定的表達(dá)式和邊界進(jìn)行分組,每個(gè)分組為一個(gè)文檔,稱為“桶”,每個(gè)桶都有一個(gè)唯一的 _id ,其值為文件桶的下線。每個(gè)桶中至少要包含一個(gè)輸入文檔,也就是沒有空桶。 語法 groupBy 對(duì)文檔進(jìn)行分組的表達(dá)式。若指定字段路徑,需要在字段名前加上

    2024年01月23日
    瀏覽(16)
  • 【算法】桶排序(Bucket Sort)詳解

    【算法】桶排序(Bucket Sort)詳解

    桶排序(Bucket Sort)又稱箱排序,是一種比較常用的排序算法。其算法原理是將數(shù)組分到有限數(shù)量的桶里,再對(duì)每個(gè)桶分別排好序(可以是遞歸使用桶排序,也可以是使用其他排序算法將每個(gè)桶分別排好序),最后一次將每個(gè)桶中排好序的數(shù)輸出。 桶排序的思想就是把待排序

    2024年01月24日
    瀏覽(25)
  • 4EVER-Bucket 優(yōu)于市場(chǎng)的優(yōu)勢(shì)

    分散存儲(chǔ) 用戶可以將數(shù)據(jù)存儲(chǔ)在去中心化存儲(chǔ)系統(tǒng)中,而無需考慮數(shù)據(jù)的中央孤島。此外,與集中式存儲(chǔ)解決方案相比,分散化有助于提高隱私和安全性。此外,它利用運(yùn)營商和用戶的對(duì)等網(wǎng)絡(luò)來管理數(shù)據(jù)。 因此,它有助于在存儲(chǔ)和傳輸過程中確保數(shù)據(jù)安全。它還使用了基

    2024年02月02日
    瀏覽(20)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包