一、當(dāng)前數(shù)據(jù)處理待痛點分析
- 1、當(dāng)前生產(chǎn)環(huán)境因source端數(shù)據(jù)更改，導(dǎo)致后續(xù)計算重新運行情況時有發(fā)生，這樣不僅牽扯開發(fā)精力而且十分消耗資源。
- 2、現(xiàn)有的數(shù)據(jù)處理方式不能更好的面向未來日益增多的需求。
- 3、業(yè)務(wù)線數(shù)據(jù)模型混亂，數(shù)據(jù)使用成本特別高。
- 4、需求驅(qū)動的煙囪式開發(fā)，完全沒有復(fù)用的可能性，計算成本居高不下。
- 5、分析計算后的數(shù)據(jù)下沉到Mysql中，查詢和保障方面不靈活。
二、流批一體化架構(gòu)方案
1、流批一體化架構(gòu)方案分析
目前流批一體化架構(gòu)比較完美的實現(xiàn)方式是采用流計算+交互式分析雙引擎架構(gòu)，在這個架構(gòu)中，流計算負(fù)責(zé)的是基礎(chǔ)數(shù)據(jù)，而交互式分析引擎是中心，流計算引擎對數(shù)據(jù)進(jìn)行實時ETL工作，與離線相比，降低了ETL過程的latency，交互式分析引擎自帶存儲，通過計算存儲的協(xié)同化，實現(xiàn)高寫入TPS、高查詢QPS和低查詢latency，從而做到全鏈路的實時化和SQL化，這樣就可以用批的方式實現(xiàn)實時分析和按需分析，并能快速的響應(yīng)業(yè)務(wù)的變化，兩者配合，實現(xiàn)1+1>2的效果，文章來源地址http://www.zghlxwxcb.cn/news/detail-622731.html
文章來源：http://www.zghlxwxcb.cn/news/detail-622731.html
到了這里，關(guān)于大數(shù)據(jù)流批一體化架構(gòu)設(shè)計的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
