我們很高興向大家宣布,2023年4月14日,Taier 正式發(fā)布 1.4 版本。自2022年2月份 Taier 正式開源以來,收到了很多開發(fā)者和行業(yè)用戶的積極評價,在諸多生產(chǎn)環(huán)境中已得到充分應用。Taier 1.4版本正是吸收了各類實踐經(jīng)驗及大家的建議,進行了此次迭代優(yōu)化。
本次更新不僅包含了性能優(yōu)化和穩(wěn)定性的提升,還新增了各類任務類型、完善大量任務功能,優(yōu)化使用場景,持續(xù)增強開源產(chǎn)品化技術(shù)能力和應用能力。
Taier 是一款好用又強大的大數(shù)據(jù)分布式可視化的 DAG 任務調(diào)度系統(tǒng),旨在降低 ETL 開發(fā)成本、提高大數(shù)據(jù)平臺穩(wěn)定性。它讓大數(shù)據(jù)開發(fā)人員可以在 Taier 直接進行業(yè)務邏輯的開發(fā),而不用關(guān)心任務錯綜復雜的依賴關(guān)系與底層的大數(shù)據(jù)平臺的架構(gòu)實現(xiàn),將工作的重心更多地聚焦在業(yè)務之中。
截至目前(2023 年 4 月 17 日),Taier 在 GitHub 的 Star 數(shù)已經(jīng)突破 1.1 k,并擁有37名社區(qū)貢獻者,我們在此對所有參與到 Taier 項目及社區(qū)建設(shè)的朋友們表達由衷的感謝。
目前新版本已在 Github 與 Gitee 上線,歡迎大家前往體驗。
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社區(qū)官網(wǎng):
https://dtstack.github.io/Taier/
Taier 1.4 版本更新亮點
新增任務類型
· 新增 DataX 組件,在無 Hadoop 環(huán)境的情況下,Taier 可以通過執(zhí)行 DataX 的任務來實現(xiàn)異構(gòu)數(shù)據(jù)源之間高速穩(wěn)定的數(shù)據(jù)同步的能力,增強 Taier 在單機模式下的基礎(chǔ)功能。
· 新增 Greenplum、GaussDB、MySQL、Postgresql、Sqlserver、TiDB、Vertica、Maxcompute 等任務類型,完善 Taier 相關(guān) SQL 任務類型。
· 新增 Hadoop MR 任務類型,可以通過自行編寫 Map/Reduce 的代碼,來執(zhí)行對應的數(shù)據(jù)集的處理。
完善任務功能
· Script 組件新增 Standalone 模式, 支持 Python、Shell 任務本地執(zhí)行,移除腳本任務對 Hadoop 環(huán)境的強依賴。
· 數(shù)據(jù)同步任務支持 Hive3 的數(shù)據(jù)源向?qū)J脚渲谩?/p>
· HiveSQL、Spark SQL 的臨時查詢表支持定時清理。
優(yōu)化使用場景
· 兼容 Taier 在 Window 環(huán)境下部署運行的環(huán)境問題。
· 優(yōu)化 Taier 部分元數(shù)據(jù)表結(jié)構(gòu)信息、完善表結(jié)構(gòu)備注信息。
· 優(yōu)化控制臺組件配置參數(shù)信息,移除環(huán)境相關(guān)參數(shù)信息,Spark 組件支持自動上傳 SqlProxy 包,減少組件配置依賴。
接下來
Taier 1.4 版本的發(fā)布是又一個全新的開始,開發(fā)團隊不會停下腳步,未來將根據(jù)用戶反饋加速迭代持續(xù)優(yōu)化,完善 Taier 的功能和文檔,滿足用戶更多場景的使用,推進國內(nèi)開源生態(tài)的發(fā)展。
Taier 此前的成績離不開每一位參與者的貢獻與支持,踏上這個新的起點,Taier 的未來也仍需大家共同努力,讓 Taier 朝著好用又強大的 DAG 任務調(diào)度系統(tǒng)的目標繼續(xù)前進。
《數(shù)據(jù)治理行業(yè)實踐白皮書》下載地址:https://fs80.cn/380a4b
想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友,瀏覽袋鼠云官網(wǎng):https://www.dtstack.com/?src=szbky文章來源:http://www.zghlxwxcb.cn/news/detail-419473.html
同時,歡迎對大數(shù)據(jù)開源項目有興趣的同學加入「袋鼠云開源框架釘釘技術(shù)qun」,交流最新開源技術(shù)信息,qun號碼:30537511,項目地址:https://github.com/DTStack文章來源地址http://www.zghlxwxcb.cn/news/detail-419473.html
到了這里,關(guān)于新起點!大數(shù)據(jù)分布式可視化的 DAG 任務調(diào)度系統(tǒng) Taier 正式發(fā)布1.4版本的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!