項(xiàng)目背景

數(shù)字金融是數(shù)字經(jīng)濟(jì)的重要支撐和驅(qū)動(dòng)力。近年來，我國針對數(shù)字金融的發(fā)展政策頻頻出臺(tái)，《金融科技發(fā)展規(guī)劃 （2022-2025年）》、《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》、《關(guān)于銀行業(yè)保險(xiǎn)業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)意見》、《金融標(biāo)準(zhǔn)化“十 四五”發(fā)展規(guī)劃》等相繼發(fā)布，頂層設(shè)計(jì)逐步完善。

2024年，政府工作報(bào)告也提出要大力發(fā)展科技金融、綠色金融、 普惠金融、養(yǎng)老金融、數(shù)字金融，未來數(shù)字金融是我國金融發(fā)展重點(diǎn)之一。

我國金融業(yè)正在步入數(shù)字化轉(zhuǎn)型的關(guān)鍵階段，同時(shí)在發(fā)展中面臨著諸多挑戰(zhàn)與難點(diǎn)，如數(shù)字基礎(chǔ)設(shè)施建設(shè)不足、數(shù)字安全保障機(jī)制不健全等。

某國有銀行地區(qū)性分行（以下簡稱“銀行”）主動(dòng)融入數(shù)字經(jīng)濟(jì)新浪潮，搶抓機(jī)遇、乘勢而上，不斷深化數(shù)字化轉(zhuǎn)型升級，積極加快金融產(chǎn)品融合創(chuàng)新，但是在發(fā)展中仍面臨顯著困難。

痛點(diǎn)與挑戰(zhàn)

具體到業(yè)務(wù)上，銀行需要對總行分發(fā)的數(shù)據(jù)進(jìn)行加載和轉(zhuǎn)換，每日任務(wù)約 3000。隨著新業(yè)務(wù)不斷增加，任務(wù)總量在 1 萬左右。銀行的業(yè)務(wù)場景涉及到接收上游系統(tǒng)提供的文件數(shù)據(jù)，并將數(shù)據(jù)導(dǎo)入到 GreenPlum 等分析數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)分析。此前，銀行使用自研的調(diào)度系統(tǒng)來進(jìn)行任務(wù)的調(diào)度，但隨著數(shù)據(jù)量急劇增長和全新業(yè)務(wù)場景的出現(xiàn)，這個(gè)調(diào)度系統(tǒng)陳舊、性能不夠的缺點(diǎn)暴露出來。

總的來說，銀行在數(shù)據(jù)調(diào)度上面臨著以下痛點(diǎn)問題：

1. 前期自研系統(tǒng)系統(tǒng)靈活性較差，系統(tǒng)維護(hù)工作量巨大，跑批出現(xiàn)問題時(shí)對業(yè)務(wù)正常開展產(chǎn)生影響的風(fēng)險(xiǎn)較大，且對于新支持新增業(yè)務(wù)的需求，需要投入研發(fā)人員定制開發(fā)；
2. 不支持分布式系統(tǒng)，擴(kuò)展性能差，面對急劇增長的數(shù)據(jù)量無法快速完成擴(kuò)容；
3. 業(yè)務(wù)方涉及不同部門，對程序理解不同，使用習(xí)慣也不同，難以滿足所有業(yè)務(wù)部門的使用需求；
4. 上游文件數(shù)量多，來源廣，并且到達(dá)時(shí)間不定，需要隨時(shí)監(jiān)控?cái)?shù)據(jù)到達(dá)情況，并在發(fā)生異常情況時(shí)及時(shí)發(fā)出告警；
5. 跨部門使用場景多，需要跨項(xiàng)目依賴和準(zhǔn)確的影響分析查詢，便于追溯完整的上下游關(guān)系；
6. 多業(yè)務(wù)部門使用調(diào)度時(shí)，無法高效復(fù)用已有調(diào)度，并限制相關(guān)權(quán)限；
7. 銀行對于信創(chuàng)環(huán)境支持的需求越來越緊迫，但苦于原系統(tǒng)無法進(jìn)行改造以支持信創(chuàng)操作系統(tǒng)、信創(chuàng)服務(wù)器、信創(chuàng)數(shù)據(jù)庫等信創(chuàng)環(huán)境。

項(xiàng)目需求

銀行將緊跟總行的企架各批次分行特色系統(tǒng)建設(shè)計(jì)劃，推進(jìn)信創(chuàng)化建設(shè)，并發(fā)揮科技賦能作用。目標(biāo)是滿足公司數(shù)據(jù)體系建設(shè)中數(shù)據(jù)處理任務(wù)的統(tǒng)一調(diào)度和監(jiān)控需求，同時(shí)推動(dòng)建設(shè)信創(chuàng)下的統(tǒng)一調(diào)度管理平臺(tái)。

為了實(shí)現(xiàn)這一目標(biāo)，銀行將建立每日流水線任務(wù)的集中定義和集中控制機(jī)制，允許用戶靈活地配置多種類型的作業(yè)任務(wù)，并統(tǒng)一調(diào)度和監(jiān)控運(yùn)維。這個(gè)統(tǒng)一調(diào)度管理平臺(tái)需要具備高性能、高可靠性，同時(shí)易于擴(kuò)展的特點(diǎn)，以滿足銀行在多樣化功能上的開發(fā)需求。

最重要的是，流水線任務(wù)統(tǒng)一調(diào)度管理平臺(tái)使銀行能夠全面監(jiān)控和跟蹤管理各數(shù)據(jù)加工節(jié)點(diǎn)的處理過程，幫助銀行更有效地管理數(shù)據(jù)處理任務(wù)，實(shí)現(xiàn)對任務(wù)的全面掌控。

針對這些需求，調(diào)度系統(tǒng)需要滿足以下要求：

• 支持分布式的架構(gòu)及資源控制等方法，實(shí)現(xiàn)高可靠性，高處理性能。

• 支持多種豐富的任務(wù)類型，包括Shell、MR、Spark等。

• 具有良好的管理接口，易于管理，達(dá)到簡單易用，使得用戶有流暢的產(chǎn)品體驗(yàn)。

• 提供強(qiáng)大的任務(wù)執(zhí)行功能，支持指定任務(wù)的運(yùn)行、空跑測試功能等能力。

• 提供參數(shù)管理和數(shù)據(jù)源的統(tǒng)一維護(hù)能力及日歷管理能力和工作流配置管理能力。

• 提供完善的監(jiān)控和告警能力，支持工作流和任務(wù)的運(yùn)行情況統(tǒng)計(jì)和監(jiān)控、任務(wù)日志在線查看、服務(wù)器資源監(jiān)控、數(shù)據(jù)質(zhì)量檢測和告警。

• 提供監(jiān)控和統(tǒng)計(jì)以及權(quán)限管理功能，支持統(tǒng)一的數(shù)據(jù)監(jiān)控、運(yùn)維服務(wù)需求等。

除此之外，調(diào)度系統(tǒng)還需要支持用戶的個(gè)性化需求，比如通過產(chǎn)品的多樣化結(jié)構(gòu)配置，滿足對接銀行行內(nèi)登錄、權(quán)限組件、短信接口、行信接口、個(gè)性化展示頁面，以及20條存量工作流遷移等工作需求。

WhaleScheduler解決方案

白鯨開源自主研發(fā)的WhaleScheduler國產(chǎn)信創(chuàng)化調(diào)度平臺(tái)可支持銀行在數(shù)據(jù)體系建設(shè)中不同場景的任務(wù)調(diào)度需求，滿足金融行業(yè)企業(yè)級用戶對系統(tǒng)的穩(wěn)定性、可靠性、合規(guī)性、高性能、支持信創(chuàng)環(huán)境等要求。WhaleScheduler為銀行批處理任務(wù)制定統(tǒng)一的開發(fā)規(guī)范、運(yùn)維方法，對各系統(tǒng)的批量任務(wù)進(jìn)行統(tǒng)一管理、調(diào)度和監(jiān)控，符合銀行不同業(yè)務(wù)應(yīng)用環(huán)境的性能需求，并提供了私有化部署和開發(fā)支持。

01 無中心化架構(gòu)設(shè)計(jì)

白鯨開源WhaleScheduler采用先進(jìn)的無中心架構(gòu)的設(shè)計(jì)思想，通過注冊中心發(fā)現(xiàn)服務(wù)，服務(wù)之間可以互為備份，保證了系統(tǒng)的高可靠性的同時(shí)，也可以做到水平擴(kuò)展服務(wù)數(shù)量，以保持銀行業(yè)務(wù)的穩(wěn)定性，很好地支持千萬級別的任務(wù)數(shù)量。

WhaleScheduler 架構(gòu)圖

02 分布式部署

WhaleScheduler為銀行提供的所有服務(wù)均采用分布式部署，支持高穩(wěn)定性、高性能和高容錯(cuò)性，保證提供可持續(xù)使用的服務(wù)。

集群部署架構(gòu)圖

03 多種任務(wù)類型

WhaleScheduler支持包括Shell、MR、Spark、SQL(MySQL、PostgreSQL、Hive、SparkSQL)、Python、Sub_Process、Procedure等任務(wù)類型，同時(shí)具備跨項(xiàng)目依賴和補(bǔ)數(shù)功能。

04 全模式DAG開發(fā)能力

系統(tǒng)采用全“所見即所得”設(shè)計(jì)模式，用戶可以通過拖拽，快速生成復(fù)雜的DAG任務(wù)工作流，而無需掌握大量代碼和大數(shù)據(jù)底層知識(shí)。

05 強(qiáng)大的任務(wù)執(zhí)行功能

支持指定任務(wù)的運(yùn)行、空跑測試功能，支持日期參數(shù)的輸入，支持多個(gè)前置任務(wù)狀態(tài)的邏輯判斷或前置任務(wù)的輸出參數(shù)判斷，支持SSH遠(yuǎn)程登錄目標(biāo)服務(wù)器并在其上執(zhí)行任務(wù)等能力。

06 豐富的工作流配置管理能力

支持工作流Excel文件的導(dǎo)入導(dǎo)出、模板與實(shí)例分離、多種環(huán)境運(yùn)行任務(wù)、靈活的參數(shù)定義和傳參功能，以及工作流詳情展示和多種運(yùn)行策略。

07 監(jiān)控本地/遠(yuǎn)程服務(wù)器文件

系統(tǒng)通過Trigger任務(wù)類型支持監(jiān)控本地/遠(yuǎn)程服務(wù)器文件到達(dá)事件、數(shù)據(jù)庫條件成立事件，并提供全局Dashboard，項(xiàng)目Dashboard，支持工作流和任務(wù)的運(yùn)行情況統(tǒng)計(jì)和監(jiān)控、任務(wù)日志在線查看、服務(wù)器資源監(jiān)控，數(shù)據(jù)質(zhì)量檢測，以及郵件、釘釘、企業(yè)微信、HTTP、腳本等十余種告警方式，自定義告警類型也可以輕松做到。

08 多樣化的日歷功能

WhaleScheduler提供強(qiáng)大的日歷管理功能，支持不同項(xiàng)目配置獨(dú)立的日歷?？梢暬諝v配置和模板導(dǎo)入導(dǎo)出的維護(hù)方式對于銀行工作人員的用戶體驗(yàn)來說也是非常友好的，創(chuàng)建、編輯、刪除、導(dǎo)入導(dǎo)出等操作方式一目了然。如果有需要，用戶還可以按日歷進(jìn)行調(diào)度，也可以基于日歷或翻牌任務(wù)獲取日期數(shù)據(jù)。

09 任務(wù)級血緣分析

銀行跨部門的使用場景需要跨項(xiàng)目依賴和準(zhǔn)確的影響分析查詢，這一點(diǎn)非常重要。對此，WhaleScheduler提供了完善的系統(tǒng)影響分析功能，可以分析任務(wù)級的血緣，血緣分析包括工作流、任務(wù)，工作中的子流程，以及子流程中嵌套的依賴等，讓用戶可以查看完整的任務(wù)上下游關(guān)系。

10 數(shù)據(jù)質(zhì)量檢測

銀行的上游數(shù)據(jù)類型多，來源復(fù)雜，數(shù)據(jù)質(zhì)量檢測是重要的一環(huán)。WhaleScheduler支持?jǐn)?shù)據(jù)質(zhì)量檢測，檢測規(guī)則包括不限于空值檢測、枚舉值檢測、表行數(shù)校驗(yàn)、兩表值比對校驗(yàn)等檢測規(guī)則。如果檢測錯(cuò)誤的數(shù)據(jù)條數(shù)超過閾值，需要告警出來或者工作流失敗停止，用戶可以設(shè)置超過閾值告警或讓工作流失敗。

11 用戶角色菜單權(quán)限管控

支持用戶操作審計(jì)，設(shè)置用戶、角色、資源、權(quán)限來設(shè)計(jì)不同部門的功能權(quán)限，滿足銀行對安全與權(quán)限的特殊需求。

12 高可伸縮性支持

調(diào)度集群能夠隨任務(wù)量的增加及時(shí)增加資源，持續(xù)提供服務(wù)。

13 任務(wù)維護(hù)人員配置

系統(tǒng)設(shè)計(jì)有完整的用戶管理體系，可以進(jìn)行任務(wù)維護(hù)人員的添加、修改和刪除等配置圖片

同時(shí)，針對銀行提出的個(gè)性化功能開發(fā)，包括對接行內(nèi)登錄、權(quán)限組件、短信接口、行信接口、個(gè)性化展示頁面以及20條存量工作流遷移等工作和現(xiàn)場安裝、調(diào)試等工作，白鯨開源派出項(xiàng)目經(jīng)驗(yàn)豐富的團(tuán)隊(duì)，采用符合PMI標(biāo)準(zhǔn)的項(xiàng)目管理制度，以滿足銀行不同業(yè)務(wù)應(yīng)用環(huán)境對性能的需求。

白鯨開源WhaleScheduler為銀行提供了高可靠性、高性能、多場景支持、支持全站華部署運(yùn)行的強(qiáng)大調(diào)度功能，不但可以到銀行各規(guī)模、各層次的高可靠性、高安全性、可擴(kuò)展性和可管理性的要求，還充分考慮到銀行未來3-5年的發(fā)展需要，可適應(yīng)銀行不斷發(fā)展的業(yè)務(wù)和管理需求。

白鯨開源

白鯨開源科技是一家由多名 Apache Software Foundation Member, Apache DolphinScheduler 和 Apache SeaTunnel 核心成員組建的公司。我們致力于打造下一代云原生 DataOps 平臺(tái)，助力企業(yè)在大數(shù)據(jù)和云時(shí)代，智能化地完成海量數(shù)據(jù)的處理、調(diào)度和治理，以提高企業(yè)解決數(shù)據(jù)問題的效率，提升企業(yè)分析洞察能力和決策能力。

本文由 白鯨開源 提供發(fā)布支持！文章來源地址http://www.zghlxwxcb.cn/news/detail-855113.html

到了這里，關(guān)于WhaleScheduler為銀行業(yè)全信創(chuàng)環(huán)境打造統(tǒng)一調(diào)度管理平臺(tái)解決方案的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！