hudi的bucket.index相關(guān)配置的源碼文件為 HoodieIndexConfig.java 。文章來源:http://www.zghlxwxcb.cn/news/detail-438011.html
- 通用配置
配置項(xiàng)名 | 默認(rèn)值 | 說明 | 引入版本 |
---|---|---|---|
hoodie.index.type | 默認(rèn)值和引擎有關(guān),F(xiàn)link上默認(rèn)值為FLINK_STATE,Spark上默認(rèn)值為SIMPLE,Java應(yīng)用的默認(rèn)值為INMEMORY | 索引類型,可取值:HBASE、INMEMORY、BLOOM、GLOBAL_BLOOM、SIMPLE、GLOBAL_SIMPLE、BUCKET、FLINK_STATE | |
hoodie.index.class | “” | 指定索引類,必須為 HoodieIndex 的子類,自帶的有 SparkHoodieHBaseIndex、HoodieBloomIndex、FlinkInMemoryStateIndex、HoodieSimpleBucketIndex、HoodieSparkConsistentBucketIndex |
- BUCKET索引配置
配置項(xiàng)名 | 默認(rèn)值 | 說明 | 引入版本 |
---|---|---|---|
hoodie.index.bucket.engine | SIMPLE | 用于指定 BUCKET 索引類型 | 0.11.0,可取值 SIMPLE 或 CONSISTENT_HASHING |
hoodie.bucket.index.hash.field | 無默認(rèn)值 | 用來分桶的字段名,如果沒有設(shè)置則使用 hoodie.datasource.write.recordkey.field 的值 | |
hoodie.bucket.index.num.buckets | 桶的個(gè)數(shù) | ||
hoodie.bucket.index.min.num.buckets | 最小桶數(shù),僅針對(duì)一致性哈希BUCKET索引有效 | 0.13.0 | |
hoodie.bucket.index.max.num.buckets | 最大桶數(shù),僅針對(duì)一致性哈希BUCKET索引有效 | 0.13.0 | |
hoodie.bucket.index.split.threshold | 2.0 | 控制一致性哈希索引的分裂,如果一個(gè)文件大小達(dá)到 hoodie.xxxx.max.file.size * threshold 則觸發(fā)分裂 |
0.13.0 |
hoodie.bucket.index.merge.threshold | 0.2 | 控制一致性哈希索引的合并,如果一個(gè)文件大小小于 hoodie.xxxx.max.file.size * threshold 則觸發(fā)合并 |
0.13.0 |
上表中的 xxxx 可取值:parquet、orc、hfile,相關(guān)定義的文件 HoodieStorageConfig.java 中。文章來源地址http://www.zghlxwxcb.cn/news/detail-438011.html
到了這里,關(guān)于hudi的bucket.index相關(guān)配置的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!