親愛的社區(qū)小伙伴們，Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式發(fā)布。該版本針對(duì) 2.1.0 版本出現(xiàn)的問題進(jìn)行較為全面的優(yōu)化，提交了若干改進(jìn)項(xiàng)以及問題修復(fù)，進(jìn)一步提升了系統(tǒng)的性能及穩(wěn)定性，歡迎大家下載體驗(yàn)。

• 立即下載： https://doris.apache.org/download/

• GitHub Release: https://github.com/apache/doris/releases

1 行為變更

1. 改變了 Float 類型字段返回值序列化的方式，可以提升大數(shù)據(jù)量下 Float 返回的性能。

2. 將部分 Table Valued Function 變更為系統(tǒng)表 active_queries(), workload_groups()。

3. 由于 show query``/l``oad profile stmt 語(yǔ)句在實(shí)際用戶場(chǎng)景中使用較少，該語(yǔ)句將不再支持與維護(hù)。同時(shí)該功能在 Pipeline 與 PipelineX 引擎中不支持。

4. 升級(jí) Arrow Flight 版本至 15.0.2，同時(shí)用戶需要使用 ADBC 15.0.2 版本訪問 Doris。

2 升級(jí)問題

1. 修復(fù)了從 2.0.x 滾動(dòng)升級(jí)至 2.1.x 的過程中，部分 BE 節(jié)點(diǎn)升級(jí)出現(xiàn) Core 的問題。

2. 修復(fù)了在 2.0.x 滾動(dòng)升級(jí)至 2.1.x 過程中，使用 JDBC Catalog 會(huì)出現(xiàn) Query 報(bào)錯(cuò)的問題。

3 新功能

1. 默認(rèn)開啟列級(jí)權(quán)限。

2. Pipeline 和 PipelineX 引擎能夠在 K8S 下準(zhǔn)確獲取 CPU 核數(shù)。

3. 支持讀取 Parquet INT96 類型

4. 支持 IP 透?jìng)鞯膮f(xié)議，以方便在 FE 之前啟用代理的同時(shí)還能獲取客戶端準(zhǔn)確的 IP 地址，實(shí)現(xiàn)白名單權(quán)限控制。

5. 增加對(duì) Workload Queue 檢測(cè)指標(biāo)。

6. 增加系統(tǒng)表 backend_active_tasks ，以實(shí)時(shí)監(jiān)測(cè)每個(gè) BE 上活躍任務(wù)以及消耗的資源信息。

7. 在 Spark Doris Connector 中增加 IPV4 和 IPV6 的支持。

8. CCR 支持倒排索引。

9. 支持查詢 Experimental 的 Session Variable。

10. 支持建立 bitmap_union(bitmap_from_array()) 函數(shù)的物化視圖。

11. 支持對(duì) Hive 中 HIVE_DEFAULT_PARTITION 分區(qū)進(jìn)行列裁剪。

12. 支持 set variable 語(yǔ)句中使用函數(shù)。

13. Arrow 序列化方式增加對(duì) Variant 類型的支持。

4 改進(jìn)與優(yōu)化

1. 當(dāng)系統(tǒng)自動(dòng)重啟或者滾動(dòng)升級(jí)之后，自動(dòng)啟動(dòng) Routine Load 導(dǎo)入任務(wù)。

2. 優(yōu)化了 Routine Load 任務(wù)在各個(gè) BE 上的分布方式，讓各個(gè) BE 負(fù)載更加均衡。

3. 升級(jí) Spark 的版本，解決部分 Spark Load 的安全問題。

4. 在冷熱分離過程中，自動(dòng)跳過被刪除的 Tablet.

5. Workload Group 支持對(duì) Routine Load 的資源進(jìn)行限制。

6. 大幅度優(yōu)化多表物化視圖查詢改寫性能。

7. 優(yōu)化 Broker Load 任務(wù)對(duì) FE 的內(nèi)存使用

8. 優(yōu)化 Partition 的裁剪邏輯。

9. 優(yōu)化 Tablet Schema Cache 對(duì) BE 內(nèi)存使用。

10. 多表物化視圖增加更多對(duì) JOIN 類型的支持，包括 INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOIN

5 Bugs 修復(fù)

1. 修復(fù) TopN 下推導(dǎo)致的問題。

2. 修復(fù) JAVA UDF 帶來的內(nèi)存泄露問題。

3. 修復(fù) ODBC 表備份恢復(fù)問題。

4. 修復(fù)對(duì) Variant 類型進(jìn)行運(yùn)算時(shí)常量折疊會(huì)導(dǎo)致 BE 出錯(cuò)的問題

5. 修復(fù)了部分導(dǎo)入任務(wù)失敗時(shí) Routine Load 卡住的問題。

6. 修復(fù) SEMI JOIN 結(jié)果不正確的問題。

7. 當(dāng)列的數(shù)據(jù)為空時(shí)，修復(fù)建立倒排索引會(huì)出錯(cuò)的問題。

8. 修復(fù)<=> join 操作會(huì)出現(xiàn) Core 的問題。

9. 修復(fù)部分列更新在有 Sequence 列結(jié)果準(zhǔn)確性的問題。

10. 修復(fù) Select Outfile 導(dǎo)出到 Parquet 或者 ORC 格式的列類型映射問題。

11. 修復(fù)在 Restore 過程中 BE 有時(shí)候會(huì) Core 的問題。

12. 修復(fù) array_agg 函數(shù)結(jié)果不對(duì)的問題。

13. 使 Variant 類型應(yīng)當(dāng)一直是 nullable.

14. 修復(fù) Schema Change 沒有正確處理空 Block 的問題。

15. 修復(fù)使用 json_length() 函數(shù)時(shí)部分場(chǎng)景會(huì)出錯(cuò)的問題。

16. 修復(fù) Iceberg 表沒有正確處理 Date Cast 轉(zhuǎn)換的問題。

17. 修復(fù) Variant 類型建立 Index 時(shí)出現(xiàn)的部分 Bug。

18. 修復(fù)當(dāng)多個(gè) map_agg 函數(shù)同時(shí)使用時(shí)結(jié)果不正確的問題。

19. 修復(fù) money_format 函數(shù)的返回結(jié)果不正確的問題。

20. 修復(fù)在高并發(fā)的建立鏈接時(shí)部分請(qǐng)求會(huì)卡住的問題。文章來源地址http://www.zghlxwxcb.cn/news/detail-850477.html

到了這里，關(guān)于Apache Doris 2.1.1 版本正式發(fā)布！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！