歡迎來到袋鼠云08期產(chǎn)品功能更新報告！在瞬息萬變的市場環(huán)境中，我們深知客戶的需求與期待，因此，我們及時推出袋鼠云最新產(chǎn)品更新及優(yōu)化，包括數(shù)據(jù)治理中心、Hive SQL 性能優(yōu)化、新插件等，助力企業(yè)在數(shù)字世界中勇往直前。

以下為袋鼠云產(chǎn)品功能更新報告08期內(nèi)容，更多探索，請繼續(xù)閱讀。

離線開發(fā)平臺

新增功能更新

1.支持對接 Inceptor 表權(quán)限的申請和審批

背景：客戶使用的是平臺的 web 層權(quán)限管控方案，期望 Inceptor 表也能支持 web 層權(quán)限管控。

新增功能說明：

如圖所示，當(dāng)表權(quán)限通過后，用戶則在離線中擁有審批通過后的 Inceptor 表權(quán)限。權(quán)限主要分為以下三點：

? DQL：主要是 select 語句，只讀權(quán)限

? DML：主要是 insert update 語句，只寫權(quán)限

? DDL：主要是 alter 語句，變更表記錄

2.批量操作支持按基線進(jìn)行任務(wù)的篩選

背景：客戶希望在基線功能的基礎(chǔ)上進(jìn)行擴(kuò)展，除了實現(xiàn)破線告警功能外，還希望能夠支持批量設(shè)置資源租。這樣，當(dāng)某條基線出現(xiàn)錯誤時，可以更快地進(jìn)行恢復(fù)。

新增功能說明：在批量操作處，增加基線篩選項。

3.任務(wù)優(yōu)先級

背景：任務(wù)如果不出現(xiàn)異常（出錯或延遲），集群資源一般是能夠支持任務(wù)的正常運行，極少出現(xiàn)正常運行時的任務(wù)的大面積阻塞的情況。但如果任務(wù)依賴樹比較復(fù)雜，上游幾個重要任務(wù)出現(xiàn)異常且修復(fù)耗時長，會導(dǎo)致恢復(fù)后下游任務(wù)扎堆跑，那么就可能出現(xiàn)任務(wù)擠兌的情況，所以任務(wù)優(yōu)先級的設(shè)置就顯得尤為重要。

新增功能說明：支持在基線管理中對任務(wù)設(shè)置1-5個級別的優(yōu)先級，數(shù)值越大，任務(wù)運行的優(yōu)先級越高。優(yōu)先級越高的任務(wù)，在調(diào)度資源緊張的情況下，將優(yōu)先獲得調(diào)度資源。

為基線設(shè)置優(yōu)先級后，基線上所有任務(wù)及其有效上游任務(wù)自動賦予該優(yōu)先級，配置優(yōu)先級后將會在T+1生成的周期實例中生效。

4.任務(wù)發(fā)布對接審批中心

背景：部分客戶對任務(wù)發(fā)布至生產(chǎn)項目的安全性要求較高，希望能夠?qū)徟笤偻瓿砂l(fā)布。

新增功能說明：開啟發(fā)布審批流程后，在離線執(zhí)行發(fā)布動作后，審批人需要先在審批中心進(jìn)行審批后，發(fā)布流程才可繼續(xù)進(jìn)行。

5.項目支持綁定數(shù)據(jù)庫賬號

背景：部分客戶遇到這樣的場景，不同的項目由不同的團(tuán)隊負(fù)責(zé)，對應(yīng)的數(shù)據(jù)權(quán)限也不同，因此希望能夠在項目維度進(jìn)行數(shù)據(jù)庫賬號的綁定。

新增功能說明：RDB 類的數(shù)據(jù)庫賬號支持在項目中進(jìn)行設(shè)置。在控制臺還可設(shè)置集群、個人層面的數(shù)據(jù)庫賬號，這三者間的優(yōu)先關(guān)系是個人>項目>集群。

功能優(yōu)化

1.Hive SQL 性能優(yōu)化

背景：在客戶側(cè)運行 Hive SQL 時，反饋 Hive SQL 任務(wù)執(zhí)行較慢。

體驗優(yōu)化說明：性能優(yōu)化后，簡單查詢的速率有顯著提升，具體用例和時間對比如下：

? SELECT * FROM putong0629.dl_user WHERE id > 0;（表有18個字段，10w條數(shù)據(jù)）

? SELECT * FROM putong0629.dl_user WHERE id is not null LIMIT 1;（表有18個字段，10w條數(shù)據(jù)）

2.SQL 編輯器格式化優(yōu)化，且支持回撤

? ctrl+Z/command+Z 進(jìn)行格式化內(nèi)容回撤

? 格式化后格式參考競品和其他開源代碼編輯器格式化方式進(jìn)行了優(yōu)化調(diào)整

3.日志實時打印優(yōu)化

背景：間隔2.5s輪詢?nèi)蝿?wù)日志，任務(wù)結(jié)束后未再繼續(xù)輪詢?nèi)罩?，會?dǎo)致丟失日志中的關(guān)鍵信息。

體驗優(yōu)化說明：日志實時打印優(yōu)化，任務(wù)失敗后會再輪詢打印一次日志。

4.離線開發(fā) IDE 界面右側(cè)菜單抽屜支持左右動態(tài)拉伸

背景：以前的交互邏輯如圖所示，右側(cè)抽屜是固定的，當(dāng)填寫參數(shù)等字段信息較多的參數(shù)時，非常不方便需要來回拉動查看信息。

體驗優(yōu)化說明：可以自由拉伸右側(cè)抽屜的寬度，調(diào)整至舒服的寬度再進(jìn)行填寫。

5.SQL 查詢結(jié)果空值優(yōu)化

背景：目前離線展示的查詢結(jié)果有問題，不管是空還是字符串都顯示為空，用戶無法進(jìn)行區(qū)分。

體驗優(yōu)化說明：查詢結(jié)果對 「對象為字符串為“null” 」「對象為字符串為“” 」「對象為空」三種情況做了區(qū)分。

6.任務(wù)下線時提示當(dāng)前下游依賴的任務(wù)

背景：任務(wù)被下線時，會影響到當(dāng)前任務(wù)的所有下游任務(wù)，用戶通常沒有很好的方式能夠去判斷具體影響了哪些下游任務(wù)。

體驗優(yōu)化說明：對任務(wù)進(jìn)行下線操作時，會出現(xiàn)彈窗顯示當(dāng)前影響的任務(wù)范圍。

7.GitLab 代碼同步功能優(yōu)化

? 適配 GitLab 版本15.7.8

? 項目拉取改為異步操作，防止拉取超時

? 任務(wù)推送從“保存后再推送"修改為“推送完成后再保存”

? 支持按照任務(wù)目錄拉取

? 按文件類型選擇時，修改為選填

? 批量操作希望支持批量推送和拉取

8.SQL 查詢結(jié)果優(yōu)化

? 離線元數(shù)據(jù)同步支持視圖同步：離線數(shù)據(jù)源頁面的元數(shù)據(jù)同步功能，支持元數(shù)據(jù)同步同步視圖

? 支持?jǐn)?shù)據(jù)源本地數(shù)據(jù)導(dǎo)入

? 查詢返回行數(shù)

? 查詢結(jié)果支持排序

? 查詢結(jié)果表名標(biāo)識字段類型標(biāo)記

9.調(diào)度周期為月時，支持選擇最后一天

調(diào)度周期為“月”時，時間支持選擇“每月最后一天”。

10.Inceptor 讀取支持范圍分區(qū)

背景：在數(shù)據(jù)同步中，離線 Inceptor 讀取不支持范圍分區(qū)（Range Partitioning），僅支持了單值分區(qū)（Single-Value Partitioning）。

體驗優(yōu)化說明：在離線數(shù)據(jù)同步選擇 Inceptor 數(shù)據(jù)源讀取時，支持選擇范圍分區(qū)。

實時開發(fā)平臺

新增功能更新

1.TBDS 賬號

有 TBDS 賬號的用戶，往集群提交任務(wù)時以個人賬號提交，其余統(tǒng)一以默認(rèn)賬號提交。

2.全局/任務(wù)告警新增“啟停策略執(zhí)行失敗”觸發(fā)方式

背景：目前平臺無法感知到啟停策略是否執(zhí)行成功，比如運行中的任務(wù)是否按照啟停策略正常停止了，停止的任務(wù)是否按照啟停策略重新啟動了。

新增功能說明：配置規(guī)則后可以在告警內(nèi)容中看到具體失敗的原因。

3.支持用戶自定義角色

背景：目前用戶在平臺內(nèi)使用的角色和對應(yīng)權(quán)限點是內(nèi)置固定的，當(dāng)不同用戶對角色應(yīng)有的權(quán)限點或者角色種類與平臺提供的想法不一致時，無法根據(jù)自身需求進(jìn)行修改。

新增功能說明：支持在「角色管理」中新增自定義角色并編輯相應(yīng)角色權(quán)限點，并優(yōu)化了項目內(nèi)操作成員的權(quán)限。

4.Flink1.16 任務(wù)支持 on k8s 運行

支持在控制臺-集群配置中配置采集類型為 NFS 的 k8s，配置步驟在「整體說明-調(diào)度支持」中查看。

5.新增 Hudi 作為 FlinkSQL 的源表/結(jié)果表

支持引入 HMS 數(shù)據(jù)源，并且可以在 FlinkSQL 向?qū)Ｊ降脑幢?結(jié)果表選擇 Hudi 表。

6.新增 HBase/ElasticSearch HuaweiCloud 作為 FlinkSQL 的維表/結(jié)果表

支持在結(jié)果表/維表中選擇使用適配 fusioninsight/MRS 集群的 HBase/ES HuaweiCloud 數(shù)據(jù)源。

7.實時任務(wù)的 sql query、調(diào)試和售前 demo 任務(wù)通過的 session 模式提交

背景：目前實時平臺的任務(wù)提交默認(rèn)均走 perjob 模式，但是對于實時 sql query、調(diào)試、demo 任務(wù)的場景，需要更快速的產(chǎn)出數(shù)據(jù)，并不需要持續(xù)長時間的運行，perjob 模式的優(yōu)勢就利用不上了。并且 perjob 模式的劣勢在于提交流程較長，也不符合此類場景。

新增功能說明：session 配置新增以下三個配置項來支持實時的任務(wù)場景：

8.源表新增 Upsert Kafka 插件

新增 Upsert Kafka 插件做為 FlinkSQL 的源表和結(jié)果表。

9.新增【實時湖倉】模塊

新增【實時湖倉】模塊，支持對湖表的管理和計算。

功能優(yōu)化

1.增強(qiáng) IDE 中 FlinkSQL 語法解析的準(zhǔn)確性

背景：之前的語法解析，對于很多 SQL 正確的寫法依然會高亮報錯。

體驗優(yōu)化說明：提高對 SQL 語法解析的準(zhǔn)確性。

2.Starrocks 結(jié)果表，向?qū)Ｊ街С指履Ｊ?/p>

背景：Starrocks 插件支持 upsert 定義主鍵，但平臺向?qū)Ｊ讲恢С?，需要在向?qū)Ｊ綄Ω履Ｊ竭M(jìn)行調(diào)整適配。

體驗優(yōu)化說明：向?qū)Ｊ竭m配 Starrocks 數(shù)據(jù)源并適配 upsert 自定義主鍵。

3.新增 oushu 目標(biāo)表

結(jié)果表支持 oushuDB 數(shù)據(jù)源。

4.日志打印中的業(yè)務(wù)數(shù)據(jù)問題

背景：目前實時任務(wù)的運行日志中會打印業(yè)務(wù)數(shù)據(jù)，存在數(shù)據(jù)安全風(fēng)險，需要屏蔽掉。

體驗優(yōu)化說明：運行日志、task manager 日志、歷史日志里是否存在打印業(yè)務(wù)數(shù)據(jù)，如果存在，對打印的業(yè)務(wù)數(shù)據(jù)做隱藏。

5.新增【任務(wù)下線】功能、新增【任務(wù)停止時間】列

優(yōu)化部分任務(wù)運維的交互體驗，新增【任務(wù)下線】功能，在任務(wù)列表新增【任務(wù)停止時間】列。

6.向?qū)Ｊ降母鞣N數(shù)據(jù)源統(tǒng)一開放自定義參數(shù)配置

背景：目前結(jié)果表中部分?jǐn)?shù)據(jù)源的「添加自定義參數(shù)」和「更新策略」配置項是缺失的。

體驗優(yōu)化說明：

? 結(jié)果表—Sql server維表—mysql、oracle、sql server、Postgresql、kingbaseES8、greatdb、doris0.14.x(http)、doris0.14.x(jdbc)starrocks、impala、clinkhouse、inceptor、ES6.x、ES7.x、TBDS_HBASE、argodb、vastbase 對以上數(shù)據(jù)源添加開放自定義參數(shù)配置。

? 結(jié)果表—涉及數(shù)據(jù)源：Sql server、Postgresql、kingbaseES8，對以上數(shù)據(jù)源新增更新策略。

7.【任務(wù)運維】健康分模型優(yōu)化

對于任務(wù)運維做功能上優(yōu)化，新增任務(wù)扣分項說明、常見問題排查指導(dǎo)，用戶可通過健康分查看具體扣分項進(jìn)行完善，方便于用戶進(jìn)行問題排查。

8.【實時開發(fā)】任務(wù)導(dǎo)入導(dǎo)出功能優(yōu)化

背景：實時任務(wù)的導(dǎo)入導(dǎo)出功能，在做任務(wù)資源組信息替換時，用了數(shù)據(jù)庫的序號，而沒用名稱，導(dǎo)致跨環(huán)境導(dǎo)入時會報錯。（因為跨環(huán)境的這些信息，在數(shù)據(jù)庫的id大概率是不一樣的）

體驗優(yōu)化說明：任務(wù)導(dǎo)入導(dǎo)出時，需要做信息替換的如資源組、數(shù)據(jù)源等信息，均使用名稱進(jìn)行替換。這樣只需要保障兩個環(huán)境維護(hù)的名稱一致，就可以實現(xiàn)跨環(huán)境的政策導(dǎo)入導(dǎo)出。

數(shù)據(jù)資產(chǎn)平臺

新增功能更新

1.Trino 支持元數(shù)據(jù)同步

離線、指標(biāo)、標(biāo)簽等其他產(chǎn)品模塊創(chuàng)建項目生成的 Trino meta 數(shù)據(jù)源資產(chǎn)支持自動引入，且 Trino meta 數(shù)據(jù)源支持質(zhì)量項目授權(quán)。

2.支持通過 Trino 實現(xiàn) TDSQL 和 Inceptor 表的跨源比對

背景：Inceptor 表的比對中之前沒有考慮 hyperbase、hyperbase drive、search 的支持。

新增功能說明：數(shù)據(jù)質(zhì)量可通過 Trino 實現(xiàn) TDSQL 和 Inceptor（hyperbase、hyperbase drive、search） 表的跨源比對。

3.分區(qū)表支持在表結(jié)構(gòu)中顯示分區(qū)信息

若該數(shù)據(jù)表為分區(qū)表，則在表詳情-表結(jié)構(gòu)中，新增展示表的分區(qū)信息。

4.支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的上線、下線審批操作

數(shù)據(jù)標(biāo)準(zhǔn)模塊普通用戶創(chuàng)建的數(shù)據(jù)標(biāo)準(zhǔn)需要經(jīng)過審批中心審核完成后才可進(jìn)行上線、下線，上線后的數(shù)據(jù)標(biāo)準(zhǔn)才可進(jìn)行標(biāo)準(zhǔn)映射及標(biāo)準(zhǔn)綁定操作。

5.元數(shù)據(jù)同步支持配置自動同步過濾規(guī)則

背景：針對監(jiān)聽離線 ddl 語句并實時同步表進(jìn)入資產(chǎn)的邏輯，客戶元數(shù)據(jù)同步任務(wù)是添加了過濾條件的，不想采集 tmp 表到數(shù)據(jù)地圖，通過元數(shù)據(jù)同步任務(wù)是可以過濾掉的，但是實時 ddl 監(jiān)聽的邏輯是沒有地方添加過濾條件的，所以離線跑任務(wù)的時候，里面的 tmp 表還是會被采集到資產(chǎn)中。

新增功能說明：在元數(shù)據(jù)同步模塊新增【自動同步】功能，用于配置自動同步的過濾規(guī)則。

6.greenplum 數(shù)據(jù)源支持視圖同步

greenplum 數(shù)據(jù)源支持進(jìn)行視圖同步，gp 視圖與 gp 數(shù)據(jù)表共用一個元模型，元模型中新增源表名（視圖特有）、視圖描述（視圖特有）技術(shù)屬性，在選擇 gp 類數(shù)據(jù)源下的數(shù)據(jù)時，可選中具體視圖進(jìn)行元數(shù)據(jù)同步、數(shù)據(jù)脫敏等操作。

7.資產(chǎn)支持 MySQL 類型數(shù)據(jù)源的自動引入

針對離線創(chuàng)建項目時生成的 meta 數(shù)據(jù)源，資產(chǎn)支持 MySQL 類型數(shù)據(jù)源的自動引入，自動引入后需自動創(chuàng)建周期任務(wù)。

8.【數(shù)據(jù)治理】治理工作臺、治理配置功能

背景：數(shù)據(jù)治理的意義是為推動用戶依據(jù)規(guī)范標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)開發(fā)，從計算、存儲、質(zhì)量、規(guī)范、價值五個維度進(jìn)行數(shù)據(jù)治理，目的是優(yōu)化存儲成本、節(jié)約計算資源、推動標(biāo)準(zhǔn)規(guī)范，讓用戶通過數(shù)據(jù)治理看到問題、看到效果。

新增功能說明：本次迭代支持從計算、存儲維度進(jìn)行數(shù)據(jù)治理，支持自動同步離線開發(fā)模塊創(chuàng)建的項目信息，可通過配置治理任務(wù)對項目進(jìn)行周期治理，并對產(chǎn)生的待處理問題分配處理人進(jìn)行處理，實現(xiàn)問題的閉環(huán)管理。

功能優(yōu)化

1.告警郵件內(nèi)容增加實例的計劃時間

在告警郵件中增加“計劃時間”，原來的“調(diào)度時間”修改為“開始時間”，便于用戶直接通過郵件等通知觀察到具體是哪一天的質(zhì)量任務(wù)校驗失敗。

2.數(shù)據(jù)源顯示優(yōu)化

? 已接入的數(shù)據(jù)源，按數(shù)據(jù)源數(shù)量-庫數(shù)量-表數(shù)據(jù)-存儲大小的優(yōu)先級排降序

? 數(shù)據(jù)目錄分布中，根據(jù)當(dāng)前租戶對接的子產(chǎn)品模塊來顯示數(shù)據(jù)資源內(nèi)容

3.數(shù)據(jù)安全開啟時 web 層表權(quán)限的申請入口脫敏入口去掉

當(dāng)數(shù)據(jù)安全子模塊中開啟權(quán)限管控策略時，以數(shù)據(jù)安全模塊配置的權(quán)限策略為準(zhǔn)，資產(chǎn)模塊的表權(quán)限的申請入口隱藏。

若數(shù)據(jù)安全子模塊中開啟了針對 hive/sparkthrift/trino 的脫敏策略，則脫敏入口中的脫敏應(yīng)用，不可選擇這些類型的數(shù)據(jù)源下的數(shù)據(jù)表。

4.表生命周期 IDE 腳本同步

離線開發(fā)模塊支持通過 IDE 腳本進(jìn)行生命周期配置，當(dāng)生命周期有變更時，可同步到資產(chǎn)，在元數(shù)據(jù)模塊查看表詳情時可展示生命周期信息。

5.數(shù)據(jù)脫敏管理優(yōu)化

數(shù)據(jù)脫敏規(guī)則配置完成后，在進(jìn)行脫敏應(yīng)用配置頁面支持編輯操作。

6.規(guī)范性規(guī)則校驗優(yōu)化

規(guī)范性規(guī)則邏輯優(yōu)化，例如設(shè)置最小長度=20，邏輯為字符串長度大于等于20算符合規(guī)則（最大長度函數(shù)邏輯同理）。

7.【數(shù)據(jù)地圖】數(shù)據(jù)表展示優(yōu)化

數(shù)據(jù)表的列表展示中，展示內(nèi)容為“數(shù)據(jù)源·數(shù)據(jù)庫”調(diào)整為展示“數(shù)據(jù)源 ｜ 數(shù)據(jù)庫”，鼠標(biāo)懸浮提示“數(shù)據(jù)源 ｜ 數(shù)據(jù)庫”。

若數(shù)據(jù)源存在多個，展示第一個數(shù)據(jù)源名稱的完整信息，其他的用“…”表示，例如“mysql_test1… | dbtest1”；針對 Trino 數(shù)據(jù)源，展示內(nèi)容為“數(shù)據(jù)源 ｜ catalog ｜ 數(shù)據(jù)庫”。

表詳情頁面，在技術(shù)屬性一欄，“表名”字段的下方，新增字段為“數(shù)據(jù)源”，展示該數(shù)據(jù)表的所屬數(shù)據(jù)源信息，多個數(shù)據(jù)源之間用英文分號分割。元數(shù)據(jù)模型中的技術(shù)屬性頁面，新增技術(shù)屬性“數(shù)據(jù)源”。

8.表結(jié)構(gòu)字段列表編輯交互優(yōu)化

背景：字段列表里可編輯的內(nèi)容要一個個點編輯比較麻煩，優(yōu)化成整表點編輯后所有位置可編輯，編輯完以后整表保存。

體驗優(yōu)化說明：

? 標(biāo)簽添加的交互邏輯優(yōu)化

? 支持批量編輯字段描述及字段標(biāo)簽

數(shù)據(jù)服務(wù)平臺

新增功能更新

1.API 調(diào)用各階段組成及耗時分析

測試 API 頁面和生成 API 測試界面添加調(diào)用分析 tab，可通過瀑布圖看到總耗時以及執(zhí)行的內(nèi)容，以及函數(shù)報錯等問題的具體原因。

服務(wù)編排與生成 API 類似增加調(diào)用分析，可查看具體的耗時及失敗原因。

每次調(diào)用記錄增加保存入?yún)?nèi)容（生成 API、注冊 API、服務(wù)編排、服務(wù)分析）和調(diào)用分析（生成 API、注冊 API、服務(wù)編排），且支持查看調(diào)用分析邏輯與生成 API 調(diào)用入?yún)⒁恢隆?/p>

2.服務(wù)編排支持 JAVA

服務(wù)編排由 python 節(jié)點變?yōu)楹瘮?shù)節(jié)點，函數(shù)節(jié)點可選擇是哪個函數(shù)類型，python2.7、python3.9 以及 JAVA 函數(shù)，入?yún)⒎绞脚c原來相同。

函數(shù)類型新增 Java8，當(dāng)函數(shù)類型選擇 JAVA8 時，跳轉(zhuǎn)至 JAR 包上傳界面，python 函數(shù)與原來一致。Java 函數(shù)跳轉(zhuǎn)后，先上傳 JAR 包或 zip 文件，大小小于50MB，再進(jìn)行填寫類名與類方法。在輸入?yún)?shù)時，點擊參數(shù)解析，可自動解析字段類型，參數(shù)名稱等。

3.服務(wù)編排支持顯示結(jié)果返回樣例

服務(wù)編排高級配置中增加顯示返回結(jié)果樣例及將測試結(jié)果作為 json 樣例保存。

4.支持 API 路徑前綴自定義

此部分實現(xiàn)主要通過配置項變更和代碼邏輯兼容，配置項變更如下（同名配置項服務(wù)之間配置的值必須保證完全一樣）：

api-web變更：
(廢棄) gateway.url
(新增) gateway.url.host = http://gateway-default-api530-api.base53.devops.dtstack.cn
(新增) gateway.url.custom.prefix = /custom/data
(新增) gateway.url.custom.open = true

gateway變更：
(新增) gateway.url.custom.open = true
(新增) gateway.url.custom.prefix = /custom/data

nginx變更/conf/conf.d/apigw.conf:
（localtion后面的配置需要基礎(chǔ)運維進(jìn)行提取變量，支持通過em進(jìn)行配置項的變更，變更值與api配置文件中g(shù)ateway.url.custom.prefix保持一致）
#location /api/gateway {
-> 修改成：
#location /custom/data {
      proxy_max_temp_file_size         0k;
      fastcgi_buffers 32 8k;
      proxy_http_version 1.1;
      proxy_set_header X-Real-IP       $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header Host            $host;
      proxy_pass http://real-rdos-api-gw;

      if ($request_method = 'OPTIONS') {
            return 204;
      }
  }

配置項說明：

? gateway.url.custom.open ：是否使用自定義 url 前綴，默認(rèn) false

? gateway.url.host ：請求 url，組成為 http(https)??/hostname:port

? gateway.url.custom.prefix ：自定義前綴，以斜杠開頭，支持多級，默認(rèn) /api/gateway

5.API 支持批量提交、發(fā)布、撤回

支持 API 可以批量提交、批量發(fā)布、批量撤回等操作，提高 API 的操作效率。

功能優(yōu)化

1.API 入?yún)⒅С侄鄠€參數(shù)至少填寫幾個的方式來請求

非必填字段可以選擇必填幾個字段來進(jìn)行入?yún)?。例如：手機(jī)號，姓名，身份證。該功能可限制必須填入的字段個數(shù)，數(shù)字框為2，則必填倆個，可填寫手機(jī)號或姓名，身份證或手機(jī)號，即可獲得返回參數(shù)，否則調(diào)用失敗。

2.API 文檔導(dǎo)出時支持選擇導(dǎo)出的內(nèi)容

API 文檔導(dǎo)出時支持選擇導(dǎo)出的內(nèi)容，且可支持選擇目錄中的部分 API 進(jìn)行文檔導(dǎo)出。

3.注冊 API 返回結(jié)果是否帶平臺默認(rèn)結(jié)構(gòu)支持配置

背景：目前在數(shù)據(jù)服務(wù)注冊的 API 會外面包一層內(nèi)容，導(dǎo)致注冊以后的返回結(jié)果與原生 API 不一致。

體驗優(yōu)化說明：后端增加一個配置項，可配置返回結(jié)果是否加上我們自己的內(nèi)容，默認(rèn)加上。

4.支持 API 做熔斷和降級的策略創(chuàng)建

支持創(chuàng)建熔斷降級的策略:

創(chuàng)建后可以在單個 API 進(jìn)行選擇應(yīng)用:

客戶數(shù)據(jù)洞察平臺

新增功能更新

1.標(biāo)簽?zāi)夸浿С峙可蟼?、下載

背景：客戶開發(fā)標(biāo)簽通常存在兩套環(huán)境：生產(chǎn)環(huán)境、測試環(huán)境，在測試環(huán)境創(chuàng)建的標(biāo)簽?zāi)夸浧谕苯幽芡降缴a(chǎn)環(huán)境，省去重復(fù)操作的過程。

新增功能說明：

? 進(jìn)入項目A的標(biāo)簽?zāi)夸浟斜碇?，點擊「目錄下載」下載目錄文件

? 進(jìn)入項目B的標(biāo)簽?zāi)夸浟斜碇校c擊「目錄上傳」上傳目錄文件

? 上傳 CSV 格式目錄文件，系統(tǒng)將根據(jù)目錄名稱、目錄級別、上級目錄名稱做增量更新，需保證上級目錄在文件或線上目錄中已存在。文件目錄采用異步方式更新，更新過程中，目錄不可修改。

2.標(biāo)簽跨項目/實體復(fù)制

背景：在測試環(huán)境與生產(chǎn)環(huán)境同在的情況下，想要實現(xiàn)在測試環(huán)境進(jìn)行標(biāo)簽加工測試功能無誤后，將該標(biāo)簽以簡單的方式在生產(chǎn)環(huán)境設(shè)置一遍。

新增功能說明：

? 「新建標(biāo)簽」時可以通過「跨項目復(fù)制」將當(dāng)前項目下其他實體或是其他項目的標(biāo)簽復(fù)制到當(dāng)前實體下快速創(chuàng)建標(biāo)簽

? 選中特定標(biāo)簽后，將進(jìn)入標(biāo)簽創(chuàng)建頁面，將復(fù)制標(biāo)簽的配置信息快速填充至當(dāng)前新標(biāo)簽的配置中，若其中涉及當(dāng)前實體尚未配置的表/標(biāo)簽，則需手動重新選擇一遍。

3.數(shù)據(jù)同步支持同步到 Inceptor，生成 hyperbase 格式的表

背景：數(shù)棧底層支持使用 TDH，上層對應(yīng)的數(shù)據(jù)客戶存儲到了 Inceptor，相應(yīng)的，數(shù)據(jù)同步結(jié)果需要同步到 Inceptor。

新增功能說明：API 訪問數(shù)據(jù)源設(shè)置中，可設(shè)置 Inceptor 數(shù)據(jù)源。

功能優(yōu)化

1.標(biāo)簽 SQL 優(yōu)化，partition 相關(guān)字段拆分提高加工效率

背景：歷史 SQL 拼接是基于全表做數(shù)據(jù)查詢，數(shù)據(jù)量大時會存在內(nèi)存溢出場景，導(dǎo)致報錯。

體驗優(yōu)化說明：SQL 優(yōu)化調(diào)整為優(yōu)先確定所需分區(qū)，再對該特定分區(qū)做數(shù)據(jù)查詢，從而避免報錯情況出現(xiàn)。

2.實體增加源表說明信息

背景：實體內(nèi)涉及到的表信息歷史均是以表名做展示，英文的形式不方便直觀理解，補(bǔ)充展示表說明內(nèi)容。

體驗優(yōu)化說明：

? 實體詳情內(nèi)展示表說明信息

? 新建/編輯實體，展示表說明信息

3.標(biāo)簽配置、標(biāo)簽市場、標(biāo)簽圈群頁面展示標(biāo)簽名稱+描述信息

4.列表優(yōu)化

標(biāo)簽圈群實例列表頁、群組詳情群體列表頁、群組交并差等頁面，頁面滑動至列表區(qū)域，列表區(qū)域可全幅顯示，展示更多內(nèi)容。

指標(biāo)管理平臺

新增功能更新

1.指標(biāo)結(jié)果表歷史數(shù)據(jù)支持行級更新

背景：績效考核場景下，績效分配規(guī)則由業(yè)務(wù)人員制定，通常規(guī)則的推出具有滯后性，即，規(guī)則是2023年4月1日推出，規(guī)則的生效時間從2023年1月1日開始執(zhí)行，此時就需要對自2023年1月1日以來的數(shù)據(jù)做更新。全表更新的方式效率慢、占用資源大，只對受影響的行做更新將可縮短更新周期，對業(yè)務(wù)正常使用影響也相對較小。

新增功能說明：

行更新的整體操作流程如下：

? 創(chuàng)建數(shù)據(jù)模型時，對于源表涉及到行更新的 hudi 表，將其設(shè)置為需要行更新，創(chuàng)建模型后，系統(tǒng)將為該表提供一個接口，供傳入變更數(shù)據(jù)條件

? 根據(jù)需要創(chuàng)建對應(yīng)的指標(biāo)，因模型中使用到了行更新表，后續(xù)指標(biāo)都將通過 Spark 計算，存儲為 Hudi 表，同時，因 Spark 暫不支持并發(fā)寫 Hudi 表，調(diào)度中涉及到的跨周期依賴內(nèi)容需要選擇自依賴

? 調(diào)用該表的行更新接口，傳入變更條，接口信息可通過「數(shù)據(jù)源管理」中的表詳情查看。系統(tǒng)將根據(jù)提前設(shè)置好的更新頻率，針對已經(jīng)接收到的變更記錄，自動識別所有指標(biāo)表中受影響的行，計算出新的結(jié)果后對歷史數(shù)據(jù)做批量更新，若數(shù)據(jù)的行更新具有緊迫性，也可點擊「行更新」立即執(zhí)行

? 【數(shù)據(jù)源管理】模塊中查詢相關(guān)記錄變更后的后續(xù)指標(biāo)的行更新進(jìn)度

2.指標(biāo)目錄支持進(jìn)行權(quán)限控制

背景：基于指標(biāo)安全級別，需要將不同的指標(biāo)授權(quán)給不同的人使用，通常指標(biāo)目錄是按業(yè)務(wù)劃分，考慮操作的復(fù)雜性，計劃將指標(biāo)授權(quán)功能放到指標(biāo)目錄曾經(jīng)，通過指標(biāo)目錄控制目錄下所有指標(biāo)的查看/編輯權(quán)限。

新增功能說明：

點擊目錄右側(cè)的「授權(quán)」按鈕，打開目錄授權(quán)窗口。

授權(quán)頁面，系統(tǒng)會默認(rèn)將新創(chuàng)建的目錄設(shè)置為全員可編輯，在此基礎(chǔ)上，可修改為全員可查看、部分用戶可編輯；也可關(guān)閉全員設(shè)置，只對部分用戶開放查看、編輯操作。

授予權(quán)限的用戶可看到該目錄下的所有指標(biāo)，新建/編輯指標(biāo)時也可選擇有權(quán)限的目錄。

3.指標(biāo)支持自定義添加 UDF 函數(shù)

背景：系統(tǒng)目前支持的函數(shù)均為 Trino 支持的系統(tǒng)函數(shù)，在此基礎(chǔ)上，會有部分場景需要用到用戶自定義的函數(shù)，如：取上周一所在日期，該內(nèi)容需要通過自定義函數(shù)來實現(xiàn)。

新增功能說明：

針對 Trino385 版本，可在「函數(shù)管理」模塊創(chuàng)建 Trino 自定義函數(shù)，創(chuàng)建成功的自定義函數(shù)可在自定義指標(biāo)中被引用。

第一步：在平臺創(chuàng)建自定義函數(shù)前，需要先寫好自定義函數(shù)插件，并將文件打包成 zip 包。

第二步：點擊「新建自定義函數(shù)」進(jìn)入函數(shù)設(shè)置窗口，配置函數(shù)信息并將打包好的文件上傳。

第三步：進(jìn)入自定義指標(biāo)新建/編輯頁面，編寫 SQL 并調(diào)用自定義函數(shù)。

4.統(tǒng)計周期增加時間參數(shù)：上季初、上月初、上月末、上年初

背景：績效考核場景下，統(tǒng)計周期涉及統(tǒng)計上月、上季、上年的匯總數(shù)據(jù)，對應(yīng)的時間參數(shù)需要支持 yyyyMMdd、yyyy-MM-dd 格式的上季初、上月初、上月末、上年初參數(shù)。

新增功能說明：

? 上季初：bdp.system.preqrtrstart、bdp.system.preqrtrstart2

? 上月初：bdp.system.premonthstart、bdp.system.premonthstart2

? 上月末：bdp.system.premonthend、bdp.system.premonthend2

? 上年初：bdp.system.preyrstart、bdp.system.preyrstart2

5.支持基于指標(biāo)結(jié)果表生成的新模型做行更新

背景：績效考核場景下，存在根據(jù)模型1創(chuàng)建指標(biāo)1，并將指標(biāo)1的結(jié)果作為模型2的數(shù)據(jù)源表，需要實現(xiàn)模型1的表進(jìn)行行更新后，指標(biāo)1和模型2的指標(biāo)均可進(jìn)行行更新。

新增功能說明：指標(biāo)提供行更新狀態(tài)跟進(jìn)接口，業(yè)務(wù)通過接口調(diào)用狀態(tài)，再調(diào)用下一個模型進(jìn)行更新。

? 數(shù)據(jù)模型設(shè)置的表選自 Hive Catalog 時，不需要設(shè)置行更新、更新方式可修改；選擇 Hudi Catalog 時，需要設(shè)置行更新

? 數(shù)據(jù)源管理中僅展示 Hudi 數(shù)據(jù)源

? 需要行更新的表，設(shè)置刪除方式可選擇兩種：

1）物理刪除：表的數(shù)據(jù)刪除是直接做刪除。此時需要保證表開啟 CDC 或文件存儲方式是 op_key_only/data_before_after，否則，系統(tǒng)將無法追蹤到變更前后的數(shù)據(jù)差異

2）邏輯刪除：表的數(shù)據(jù)刪除是以某一刪除字段的值變化做區(qū)分，此時需要指定刪除字段，以及對應(yīng)取值

? 對應(yīng)的查詢各指標(biāo)行更新進(jìn)度可通過接口查詢：

1）入?yún)ⅲ罕硇畔?、請求id、行更新涉及模型標(biāo)識/指標(biāo)標(biāo)識/API 名稱

2）出參：模型/指標(biāo)/API 針對所需表&所需請求批次的更新狀態(tài)、表數(shù)據(jù)更新開始時間、表數(shù)據(jù)更新結(jié)束時間

? 行更新相關(guān)的指標(biāo) Hudi 表的建表語句做相應(yīng)調(diào)整

功能優(yōu)化

1.指標(biāo)共享增加詳情信息顯示

背景：指標(biāo)共享模塊功能改版，不方便查看已共享指標(biāo)/模型的共享規(guī)則。

體驗優(yōu)化說明：點擊共享的指標(biāo)/模型名稱，可查看對應(yīng)的內(nèi)容詳情，包括共享信息及共享規(guī)則。

2.指標(biāo)共享生成的視圖創(chuàng)建規(guī)則調(diào)整

背景：基于行更新功能產(chǎn)生 Spark 讀寫數(shù)據(jù)的場景，因 Spark 暫不支持查詢 Trino 視圖，需將視圖從由 Trino 創(chuàng)建改為由 Spark 創(chuàng)建。

體驗優(yōu)化說明：

? 指標(biāo)/模型共享過程中涉及到的視圖改為通過 Spark 創(chuàng)建

? 共享指標(biāo)、模型生成的視圖名稱變更
1）模型視圖名稱：表名_項目id_模型 code_index_view
2）指標(biāo)視圖名稱：指標(biāo)結(jié)果表_項目 id_index_view

3.模型/指標(biāo)更新的下游聯(lián)動更新

背景：指標(biāo)加工過程中，存在上游配置項變更的情況，此時，下游對應(yīng)的對應(yīng) SQL 需做同步更新，以保證全局高效配置，功能統(tǒng)一，代表使用場景如下：

? 客戶使用過程中，會存在模型的表的分區(qū)字段/維度對象屬性配置等信息變更的情況，編輯的技術(shù)信息變更后，當(dāng)前只針對維度勾選上的增減做下游聯(lián)動更新，其余技術(shù)信息的變更也需要聯(lián)動更新

? 客戶計算指標(biāo)時，存在同一指標(biāo)不同統(tǒng)計區(qū)間內(nèi)的加工口徑不一樣的情況，此時，表內(nèi)將根據(jù)口徑作用時間同時存在兩個口徑下的數(shù)據(jù)，如：2022年數(shù)據(jù)是口徑1的結(jié)果，2023年數(shù)據(jù)是口徑2的結(jié)果

體驗優(yōu)化說明：

? 模型修改表關(guān)聯(lián)后，原子指標(biāo)、派生指標(biāo)聯(lián)動更新 SQL，將模型部分的 SQL 更新至新版本，同時，若落表的模型選擇的表發(fā)生變更，模型結(jié)果表將采用刪表新建表的方式更新模型表

? 模型中的選擇維度修改關(guān)聯(lián)維度對象、關(guān)聯(lián)維度屬性后，原子指標(biāo)引用的維度對象、維度屬性信息同步更新

? 模型中修改上游任務(wù)依賴，派生指標(biāo)中的上游任務(wù)配置同步調(diào)整

? 模型/指標(biāo)維度減少，導(dǎo)致下游指標(biāo)用到的維度消失時，使用刪表、重新建表的方式進(jìn)行更新指標(biāo)表

? 模型使用的源表字段類型發(fā)生變更時，后續(xù)引用該字段的指標(biāo)表使用刪表、重新建表的方式進(jìn)行更新指標(biāo)表

4.行更新性能優(yōu)化

第一版行更新是以分區(qū)為單位進(jìn)行優(yōu)化，整體速度較慢，本次優(yōu)化定位到分區(qū)內(nèi)的特定行進(jìn)行優(yōu)化，提升整體行更新效率。

《數(shù)棧產(chǎn)品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm

《數(shù)據(jù)治理行業(yè)實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想了解或咨詢更多有關(guān)大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbky文章來源地址http://www.zghlxwxcb.cn/news/detail-747672.html

到了這里，關(guān)于袋鼠云產(chǎn)品功能更新報告08期｜近百項全新功能和優(yōu)化，你要的都在這里！的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！