引言
離上次發(fā)文已經(jīng)有接近三個月了，這三個月主要在開發(fā)數(shù)睿通的數(shù)據(jù)生產(chǎn)模塊，同時優(yōu)化了一下數(shù)據(jù)集成，目前已經(jīng)基本開發(fā)完畢了，集成了 Flink，Hadoop，可以在線開發(fā) FlinkSql 作業(yè)任務(wù)，同時支持 Sql 任務(wù)開發(fā)，使平臺初步具備了拉數(shù)，造數(shù)的能力，正值新年，在這里給大家拜年了，祝大家新年快樂！
平臺截止到現(xiàn)在的功能都是我一個人開發(fā)的，包括前后臺，測試等，其他小伙伴年底了工作都忙，顧不上。不得不說，一個人做起來沒有那么簡單，因為我是后端出身，所以前端做的比較吃力，不過現(xiàn)在也逐漸適應(yīng)了，平臺前端使用的是 VUE3，后臺使用的是 SpringCloud Alibaba，都是當(dāng)前比較流行的技術(shù)架構(gòu)，關(guān)于平臺的具體使用，我會錄一個視頻講解，下面我們來一起看下平臺目前所具備的功能模塊吧。
數(shù)據(jù)集成
數(shù)據(jù)庫管理
數(shù)據(jù)庫管理模塊可以自己新增和管理數(shù)據(jù)源，目前支持的數(shù)據(jù)源多達(dá)十幾種，主要是常用的關(guān)系型數(shù)據(jù)庫，日后考慮擴(kuò)展 NoSql 數(shù)據(jù)庫：
文件管理
文件管理模塊可以上傳下載文件：
數(shù)據(jù)接入
數(shù)據(jù)接入模塊可以自定義 ETL 任務(wù)，支持表名和字段映射，同步數(shù)據(jù)源數(shù)據(jù)到指定數(shù)據(jù)庫或中臺庫，支持調(diào)度執(zhí)行：
貼源數(shù)據(jù)
貼源數(shù)據(jù)可以查看通過數(shù)據(jù)接入同步的數(shù)據(jù)表，數(shù)據(jù)以及接入日志
數(shù)據(jù)開發(fā)
數(shù)據(jù)生產(chǎn)
數(shù)據(jù)生產(chǎn)模塊可以進(jìn)行 Sql 和 FlinkSql 的代碼化開發(fā)，支持聯(lián)系上下文的 sql 校驗，并且全面接管 FlinkSql 的歷史任務(wù)，日志監(jiān)控等，讓 FlinkSql 開發(fā)縱享絲滑。
sql 作業(yè)開發(fā)
sql 作業(yè)開發(fā)可以自行編寫 sql 語句，數(shù)據(jù)源可以選擇自己維護(hù)的數(shù)據(jù)源或者中臺庫。
FlinkSql 作業(yè)開發(fā)
FlinkSql 作業(yè)支持 sql-client 所具備的全部功能，同時加強了語法，可以使用 := 來定義全局變量，通過 ADD JAR 添加本地 jar 包，防止依賴包過多導(dǎo)致依賴沖突，支持 local（本地），standalone（flink實例集群），yarn-session，yarn-per-job 和 yarn-application 模式執(zhí)行 job 任務(wù)。
若想要實時同步數(shù)據(jù)，可以使用 flink-cdc 來進(jìn)行數(shù)據(jù)的實時同步操作，F(xiàn)linkSql 作業(yè)開發(fā)會在視頻中詳細(xì)講解。
調(diào)度中心
調(diào)度中心可以對作業(yè)任務(wù)進(jìn)行拖拽流程設(shè)計，同時支持設(shè)置節(jié)點權(quán)重，支持定時執(zhí)行流程，流程圖中可以根據(jù)實際業(yè)務(wù)結(jié)合 Sql 和 FlinkSql 作業(yè)，更加靈活的操作處理數(shù)據(jù)。
調(diào)度記錄可以查看調(diào)度日志，可以查看總體和每個節(jié)點的執(zhí)行情況。
運維中心
運維中心可以查看作業(yè)的執(zhí)行記錄，如果是 FlinkSql 作業(yè)，會實時更新 FlinkSql 實例的狀態(tài)，并且支持對作業(yè)進(jìn)行 savepoint，實現(xiàn)斷點續(xù)傳，查看執(zhí)行結(jié)果，錯誤日志等。
資源中心
資源中心主要用于管理 Flink 實例 和 Hadoop 集群，平臺本身不依賴 Flink 或 Hadoop 就可以正常啟動，但如果要運行 FlinkSql 任務(wù)，則需要配置 Flink 集群，Yarn 模式下則需要配置 Hadoop 集群。
配置中心
配置中心主要用于配置 FlinkSql 執(zhí)行所需的參數(shù)，視頻中會講解，在此不做贅述。
其他模塊
其他模塊就不再一一介紹了，這兩個多月主要是完成了數(shù)據(jù)集成和數(shù)據(jù)生產(chǎn)兩個大的模塊，同時也實現(xiàn)了多租戶管理，不同的租戶之間實現(xiàn)了數(shù)據(jù)隔離，互不影響。
結(jié)語
本次中臺的新功能介紹就到此結(jié)束了，現(xiàn)在平臺更像一個數(shù)據(jù)開發(fā)平臺，這也是數(shù)據(jù)中臺的一個重要組成部分，其實數(shù)據(jù)中臺主要是三個核心：數(shù)據(jù)集成抽取數(shù)據(jù)，數(shù)據(jù)開發(fā)加工數(shù)據(jù)，數(shù)據(jù)服務(wù)提供數(shù)據(jù)，除此之外，用戶可以根據(jù)自身需求，自行擴(kuò)展功能模塊，結(jié)合業(yè)務(wù)，打破數(shù)據(jù)壁壘，實現(xiàn)數(shù)據(jù)賦能，讓數(shù)據(jù)產(chǎn)生價值。文章來源：http://www.zghlxwxcb.cn/news/detail-782743.html
想要了解更多的朋友請關(guān)注公眾號 螺旋編程極客 發(fā)送 數(shù)據(jù)中臺咨詢 獲取 最新源碼，快速部署指南，部署包，使用講解視頻，源碼講解視頻 等，平臺在不斷更新，不斷完善之中，感謝您的支持與關(guān)注。文章來源地址http://www.zghlxwxcb.cn/news/detail-782743.html
到了這里，關(guān)于新年快樂—數(shù)睿通2.0數(shù)據(jù)中臺全新功能模塊發(fā)布的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
