今天，Apache DolphinScheduler 3.2.0 版本在萬眾期待中終于發(fā)布了！在之前的預(yù)告中，包括《重磅預(yù)告！Apache DolphinScheduler 3.2.0 新功能“劇透”》、《3.2.0 版本預(yù)告！Apache DolphinScheduler API 增強(qiáng)相關(guān)功能》、《3.2.0 版本預(yù)告！遠(yuǎn)程日志解決 Worker 故障獲取不到日志的問題》，以及《3.2.0 終極預(yù)告！云原生支持新增 Spark on k8S 支持》文章匯總已經(jīng)大致覆蓋了 3.2.0 版本的全新功能和優(yōu)化。
現(xiàn)在，來看看新版本的全新“樣貌”吧！
Release Note: https://github.com/apache/dolphinscheduler/releases/tag/3.2.0
下載地址： https://dolphinscheduler.apache.org/en-us/download/3.2.0
主要更新包括：
- 添加默認(rèn)租戶
- 新增多種數(shù)據(jù)源
- 新增任務(wù)類型
- 重跑任務(wù)時(shí)指定工作流向前、向后運(yùn)行
- 增加遠(yuǎn)程日志功能
- 參數(shù)優(yōu)化
- 資源中心
- 增強(qiáng)頁面易用性
- 云原生支持新增 Spark on k8S 支持
- 增加了部分 Restful API
- 注冊(cè)中心增加 ETCD、JDBC 注冊(cè)中心
- 架構(gòu)優(yōu)化
添加默認(rèn)租戶
在之前的版本中，用戶部署完畢后必須手動(dòng)添加租戶。3.2.0 版本中添加了默認(rèn)租戶，方便用戶更直接地使用 Apache DolphinScheduler。
新增多種數(shù)據(jù)源
新增了多個(gè)數(shù)據(jù)源，如 Snowflake、Databend、Kyuubi、Doris、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena、，并且更新了部分?jǐn)?shù)據(jù)源，如 Redshift 增加 Access key。
新增任務(wù)類型
新增了多個(gè)任務(wù)類型，包括：
-
-
通用模塊中，增加?Remote-shell組件、Java Task
-
Cloud?模塊中，新增 Amazon DMS、Azure Datafactory、AWS Database Migration，增強(qiáng)與各種云的互聯(lián)互通
-
機(jī)器學(xué)習(xí)模塊中，新增?Kubeflow組件（基于云原生構(gòu)建的機(jī)器學(xué)習(xí)任務(wù)工具大合集）
-
其他模塊中，增加 AmazonDatasync、Apache Linkis
-
并更新了部分任務(wù)，如 DataX 支持 Presto，http任務(wù)增加output 參數(shù)傳遞，運(yùn)行批量同時(shí) kill 多個(gè) Yarn 任務(wù)：
Dependent 支持依賴自己：
支持了 Zeppelin 鑒權(quán)；
此外，任務(wù)現(xiàn)在可以支持緩存；
Sqoop 日志支持隱藏密碼；
以及 SQL 任務(wù)支持默認(rèn)切割符：
新增遠(yuǎn)程日志功能
3.2.0 版本增加了遠(yuǎn)程日志功能，并同時(shí)支持了 Google Cloud Storage、Amazon S3、阿里云 OSS 日志存儲(chǔ)，用戶可以通過編輯配置文件，把日志存儲(chǔ)到云端，解決萬一意外情況發(fā)生，Woker 日志不存在，用戶無法查看日志的問題。
詳情參加《3.2.0 版本預(yù)告！遠(yuǎn)程日志解決 Worker 故障獲取不到日志的問題》。
參數(shù)優(yōu)化
- 增加了項(xiàng)目級(jí)別參數(shù)
- 調(diào)整參數(shù)優(yōu)先級(jí)，啟動(dòng)參數(shù)最高
- 增加了內(nèi)置參數(shù)計(jì)算規(guī)則
- 增加了文件類型的參數(shù)
云原生相關(guān)
- 支持 KEDA 做 worker 自動(dòng)擴(kuò)縮容
- 支持 Terraform 部署到 AWS
- zk 和 pg 支持多架構(gòu)
- 提交 Spark 任務(wù)到 Kubernetes（詳情見《3.2.0 終極預(yù)告！云原生支持新增 Spark on k8S 支持》）
- 獲取 pod 實(shí)時(shí)日志
- 自定義 k8s 任務(wù)標(biāo)簽
資源中心
增加了 Alibaba Cloud OSS 、Huawei Cloud OBS、Azure Blob Storage的支持，重構(gòu)資源中心并設(shè)計(jì)默認(rèn)使用本地作為存儲(chǔ)介質(zhì)，重新支持了 re-upload。
資源中心容許覆蓋上傳，優(yōu)化文件路徑，顯示文件的全部路徑。另外，之前版本中資源中心已經(jīng)上傳的同類型文件只能刪除后重新上傳，新版本中對(duì)本功能進(jìn)行了優(yōu)化，可以點(diǎn)擊上傳按鈕進(jìn)行上傳。
支持 reupload 文件
API 增強(qiáng)
3.2.0 版本中，增加了部分 Restful API，包括 taskInstance、workflow state、workflowInstance、workflow and schedule、task relation，且API 觸發(fā)工作流運(yùn)行可以獲得 instance ID，從而使得 Apache DolphinScheduler 的 API 能力得到顯著增強(qiáng)。
詳情參見：《3.2.0 版本預(yù)告！Apache DolphinScheduler API 增強(qiáng)相關(guān)功能》
增加頁面易用性
3.2.0 增加了頁面易用性和便利性，如增加 workflow instance 跳轉(zhuǎn)到當(dāng)前工作流、復(fù)制工作流名稱、調(diào)整列寬等操作。
跳轉(zhuǎn)到工作流實(shí)例
復(fù)制工作流名稱
調(diào)整列表名稱寬度
默認(rèn)情況下會(huì)有 default 租戶和本地資源中心，安裝后就能使用。
默認(rèn)租戶
允許在 workflow instance 中重新運(yùn)行任務(wù)，任務(wù)運(yùn)行日志更加明確。
可以重新運(yùn)行任務(wù)
json 導(dǎo)出可閱讀性加強(qiáng)。
注冊(cè)中心
增加了 ETCD、JDBC 注冊(cè)中心。
架構(gòu)
- Alert 支持 HA
- 單線程更新 Kerberos
- Worker server 移除了 dao 依賴
- 接管 task instance 失敗的任務(wù)
- 增加動(dòng)態(tài)任務(wù)組配置
- 重構(gòu)了邏輯任務(wù)和遠(yuǎn)程命令
- 資源限制（cpu 內(nèi)存）從原來絕對(duì)值改成百分比
- 支持了 SSO
其中，支持了 SSO 后，用戶可以通過 Casdoor 實(shí)現(xiàn) SSO 登錄。Casdoor 是基于 OAuth 2.0、OIDC、SAML 和 CAS 的面向 UI 的身份訪問管理（IAM）/單點(diǎn)登錄（SSO）平臺(tái)，需要先部署 Casdoor 并獲取 `Client ID` 和 `Client secret` 兩個(gè)字段，再修改 dolphinscheduler-api/src/main/resources/application.yaml 文件配置 SSO。
可以通過以下步驟通過 Casdoor 為 Apache Dolphinscheduler 添加 SSO 功能：
security:
? authentication:
? ? # Authentication types (supported types: PASSWORD,LDAP,CASDOOR_SSO)
? ? type: CASDOOR_SSO
casdoor:
? # Your Casdoor server url
? endpoint:
? client-id:
? client-secret:
? # The certificate may be multi-line, you can use `|-` for ease
? certificate:?
? # Your organization name added in Casdoor
? organization-name:
? # Your application name added in Casdoor
? application-name:
? # Doplhinscheduler login url
? redirect-url: http://localhost:5173/login?貢獻(xiàn)者列表
感謝@zhongjiajie對(duì)此次發(fā)版的指導(dǎo)，以及下列貢獻(xiàn)者的支持：文章來源：http://www.zghlxwxcb.cn/news/detail-797495.html
106umao, Abingcbc, AliceXiaoLu, BongBongBang, CallMeKingsley97, Chris-Arith, DarkAssassinator, EricGao888, EricPyZhou, FlechazoW, Gallardot, GavinGYM, IT-Kwj, LiXuemin, LucasClt, Mukvin, NoSuchField, Orange-Summer, QuantumXiecao, Radeity, Rianico, SYSU-Coder, SbloodyS, Tianqi-Dotes, TyrantLucifer, ZhongJinHacker, Zzih, ahuljh, alei1206, alextinng, amaoisnb, arlendp, baihongbin, bmk15897, boy-xiaozhang, c3Vu, caishunfeng, calvinjiang, darrkz, davidzollo, dddyszy, devosend, ediconss, eye-gu, fengjian1129, fuchanghai, guowei-su, haibingtown, hantmac, hdygxsj, hezean, hiSandog, hoey94, hstdream, huage1994, imizao, insist777, iuhoay, jackfanwan, jbampton, jieguangzhou, kezhenxu94, kingbabingge, labbomb, lenian, ly109974, lynn-illumio, moonkop, muggleChen, pandong2011, pppppjcc, qianli2022, qindongliang, qingwli, rickchengx, ruanwenjun, sandiegoe, seedscoder, shangeyao, shenyun, simsicon, sketchmind, stalary, tracehh, whhe, xdu-chenrj, xiaomin0322, xinxingi, xuchunlai, xxjingcd, yeahhhz, youzipi, zhangfane, zhangkuantian, zhaohehuhu,zhoufanglu, zhuangchong, zhutong6688, zhuxt2015, zzzhangqi 本文由 白鯨開源科技 提供發(fā)布支持！文章來源地址http://www.zghlxwxcb.cn/news/detail-797495.html
到了這里，關(guān)于Apache DolphinScheduler 官方發(fā)布3.2.0版本！大數(shù)據(jù)調(diào)度【重磅更新】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
