国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<optgroup id="kxlnn"><optgroup id="kxlnn"></optgroup></optgroup>

<kbd id="kxlnn"></kbd>

數(shù)據(jù)倉庫架構(gòu)詳解

2年前作者：王博1999分類：Toy博客閱讀(16)違法舉報

這篇具有很好參考價值的文章主要介紹了數(shù)據(jù)倉庫架構(gòu)詳解。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

一、基本概念

數(shù)據(jù)倉庫（Data Warehouse）是一個為數(shù)據(jù)分析而設計的企業(yè)級數(shù)據(jù)管理系統(tǒng)。數(shù)據(jù)倉庫可集中、整合多個信息源的大量數(shù)據(jù)，借助數(shù)據(jù)倉庫的分析能力，為企業(yè)指定決策，幫助企業(yè)改進業(yè)務流程、提高產(chǎn)品數(shù)量

一般數(shù)倉分為離線數(shù)倉（spark）和實時數(shù)倉（flink）

二、核心框架

數(shù)據(jù)倉庫架構(gòu),大數(shù)據(jù),數(shù)據(jù)倉庫,架構(gòu)
數(shù)據(jù)采集

數(shù)據(jù)通過DataX或者sqoop可以將業(yè)務數(shù)據(jù)等導入到數(shù)據(jù)倉庫，通過Flume可以將用戶行為數(shù)據(jù)等導入到數(shù)據(jù)倉庫；

數(shù)據(jù)分析

數(shù)據(jù)通過處理獲取有用的數(shù)據(jù)指標

ODS層：原始數(shù)據(jù)層，用來數(shù)據(jù)備份
DWD層：明細數(shù)據(jù)層，用來數(shù)據(jù)清洗
DWS層：匯總數(shù)據(jù)層，用來數(shù)據(jù)預聚合
ADS層：數(shù)據(jù)應用層，用來數(shù)據(jù)統(tǒng)計和計算
DIM層：公共維度層，用來數(shù)據(jù)分類的

數(shù)據(jù)可視化

將處理好的數(shù)據(jù)指標用在各種模塊中

可視化的報表
用戶畫像
推薦系統(tǒng)
機器學習

三、數(shù)倉大數(shù)據(jù)架構(gòu)詳解（流程）

流程圖
數(shù)據(jù)倉庫架構(gòu),大數(shù)據(jù),數(shù)據(jù)倉庫,架構(gòu)

數(shù)據(jù)采集

業(yè)務數(shù)據(jù)通過Nginx采集到業(yè)務服務器（Springboot）然后再寫到mysql中，用戶行為數(shù)據(jù)通過Nginx采集到日志服務器（Springboot）寫入到日志文件中（注：主要由JavaWeb人員負責）
日志文件的用戶行為數(shù)據(jù)通過Flume將數(shù)據(jù)先寫入kafka（主要作用為消峰），再通過Flume將kafka的數(shù)據(jù)寫入到hdfs
Mysql的業(yè)務行為數(shù)據(jù)通過DataX（全量的同步）將數(shù)據(jù)寫入到hdfs中，也可以使用Maxwell（增量同步）將數(shù)據(jù)寫入到hdfs中

離線數(shù)倉

將HDFS中的數(shù)據(jù)進行建模進行各種數(shù)據(jù)分層處理如： ODS層、DIM層、DWD層、DWS層、ADS層等，（基本上都是Sql語句），所以需要DolphinScheduler進行任務調(diào)度管理
處理之后數(shù)據(jù)，通過DataX（每日同步）結(jié)果數(shù)據(jù)寫入到MySQL中
然后再通過Superset的可視化工具進行數(shù)據(jù)的展示

實時數(shù)倉文章來源地址http://www.zghlxwxcb.cn/news/detail-579636.html

Flink讀取kakfa中的數(shù)據(jù)，而kafka中主題數(shù)據(jù)即為ODS層
Flink從kafka中讀取的數(shù)據(jù)進行清洗即為DWD層，再次寫回到kafka中
Flink讀取kafka中DWD層的數(shù)據(jù)，進行維數(shù)數(shù)據(jù)的處理，通過Hbase存儲處理的數(shù)據(jù)，由于Flume和kafka會造成數(shù)據(jù)的重復，那么Flink在消費kafka數(shù)據(jù)的時候可以進行精準一次去重。如果數(shù)據(jù)量比較小可以不用Flink，而使用Redis旁路緩存去重，即為DIM層
維度的數(shù)據(jù)可以通過Redis或者Hbase進行查詢
Flink將上面數(shù)據(jù)寫入到ClickHouse進行預聚合，即為DWS層
最后對ClickHouse數(shù)據(jù)進行查詢，然后通過Springboot（JavaWeb）數(shù)據(jù)接口服務將查詢數(shù)據(jù)寫入到Sugar，進行實時數(shù)據(jù)的可視化

到了這里，關(guān)于數(shù)據(jù)倉庫架構(gòu)詳解的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權(quán)，不承擔相關(guān)法律責任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務器費用

數(shù)據(jù)倉庫【2】：架構(gòu)
將數(shù)據(jù)從來源端經(jīng)過抽?。╡xtract）、交互轉(zhuǎn)換（transform）、加載（load）至目的端的過程構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去 ETL 規(guī)則的設計和實施約占整個數(shù)據(jù)倉庫搭
2024年02月04日
瀏覽(21)
淺談數(shù)據(jù)倉庫架構(gòu)設計
個人認為數(shù)據(jù)中臺本質(zhì)上是一種新的適配大數(shù)據(jù)技術(shù)發(fā)展的新的“數(shù)據(jù)倉庫-決策支持（商業(yè)智能）”架構(gòu)。這個架構(gòu)是構(gòu)建在傳統(tǒng)的架構(gòu)基礎(chǔ)之上，對傳統(tǒng)架構(gòu)的一種新的發(fā)展。數(shù)據(jù)中臺從企業(yè)的視角出發(fā)，要求企業(yè)在構(gòu)建數(shù)據(jù)倉庫到?jīng)Q策支持系統(tǒng)的過程中構(gòu)建一個服務型
2024年02月15日
瀏覽(19)
BDCC - 閑聊數(shù)據(jù)倉庫的架構(gòu)
按自下而上的順序，分別為 ETL（Extract-Transform-Load）層 ODS（Operational Data Store）層 CDM（Common Dimensional Model）層 ADS（Application Data Store）層。其中CDM層主要包括DWD層（Data Warehouse Detail）和DWS層（Data Warehouse Summary）兩部分。 ODS（Operational Data Store）：操作數(shù)據(jù)存儲，主要用于存放
2024年02月10日
瀏覽(12)
銀行數(shù)據(jù)倉庫體系實踐（2）--系統(tǒng)架構(gòu)
????????UML對系統(tǒng)架構(gòu)的定義是：系統(tǒng)的組織結(jié)構(gòu)，包括系統(tǒng)分解的組成部分，它們的關(guān)聯(lián)性，交互，機制和指導原則，例如對系統(tǒng)群就是定義各子系統(tǒng)的功能和職責，如貸款系統(tǒng)群可能分為進件申請、核額、交易賬務、貸后管理、管理臺等子系統(tǒng)，對于系統(tǒng)就是定義各模
2024年01月18日
瀏覽(19)
從數(shù)據(jù)倉庫到數(shù)據(jù)結(jié)構(gòu)：數(shù)據(jù)架構(gòu)的演變之路
在上個世紀，從電子商務巨頭到醫(yī)療服務機構(gòu)和政府部門，數(shù)據(jù)已成為每家組織的生命線。有效地收集和管理這些數(shù)據(jù)可以為組織提供寶貴的洞察力，以幫助決策，然而這是一項艱巨的任務。盡管數(shù)據(jù)很重要，但CIOinsight聲稱，只有10%的組織認為自己擅長數(shù)據(jù)分析管理。組織
2024年02月13日
瀏覽(12)
微信萬億數(shù)據(jù)倉庫架構(gòu)設計與實現(xiàn)
安全策略開發(fā)流程安全業(yè)務的核心邏輯在安全策略中實現(xiàn)。整個的策略開發(fā)流程包括特征數(shù)據(jù)的收集，安全策略的編寫實現(xiàn)，和策略的反饋評估。其中特征數(shù)據(jù)的收集是必不可少的環(huán)節(jié)，數(shù)據(jù)的質(zhì)量將直接影響安全策略的效果。特征數(shù)據(jù)收集主要包括：數(shù)據(jù)接入、特征的計
2024年02月16日
瀏覽(19)
數(shù)據(jù)倉庫系列：StarRocks 下一代高性能分析數(shù)據(jù)倉庫的架構(gòu)、數(shù)據(jù)存儲及表設計
本文是學習StarRocks的讀書筆記，讓你快速理解下一代高性能分析數(shù)據(jù)倉庫的架構(gòu)、數(shù)據(jù)存儲及表設計。 StarRocks的架構(gòu)相對簡單。整個系統(tǒng)只包含兩種類型的組件，前端(FE)和后端(BE)，StarRocks不依賴任何外部組件，簡化了部署和維護。 FE和BE可以在不停機的情況下橫向擴展。
2024年02月16日
瀏覽(29)
高效數(shù)據(jù)湖構(gòu)建與數(shù)據(jù)倉庫融合：大規(guī)模數(shù)據(jù)架構(gòu)最佳實踐
??歡迎來到云計算技術(shù)應用專欄~高效數(shù)據(jù)湖構(gòu)建與數(shù)據(jù)倉庫融合：大規(guī)模數(shù)據(jù)架構(gòu)最佳實踐 ☆* o(≧▽≦)o *☆嗨~我是IT·陳寒?? ?博客主頁：IT·陳寒的博客 ??該系列文章專欄：云計算技術(shù)應用 ??其他專欄：Java學習路線 Java面試技巧 Java實戰(zhàn)項目 AIGC人工智能數(shù)據(jù)結(jié)構(gòu)學習
2024年02月09日
瀏覽(24)
數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖，你的企業(yè)更適合哪種數(shù)據(jù)管理架構(gòu)？
建設企業(yè)級數(shù)據(jù)平臺，首先需要了解企業(yè)數(shù)據(jù)，確認管理需求，并選擇一個數(shù)據(jù)管理架構(gòu)。那么面對紛繁復雜的數(shù)據(jù)來源，多元化的數(shù)據(jù)結(jié)構(gòu)，以及他們的管理使用需求，企業(yè)數(shù)據(jù)平臺建設該從何處入手呢？哪個數(shù)據(jù)管理架構(gòu)適合自己的企業(yè)呢？本篇將介紹數(shù)據(jù)倉庫、數(shù)據(jù)集
2023年04月09日
瀏覽(31)
[架構(gòu)之路-174]-《軟考-系統(tǒng)分析師》-5-數(shù)據(jù)庫系統(tǒng)-7-數(shù)據(jù)倉庫技術(shù)與數(shù)據(jù)挖掘技術(shù)
數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。近年來，人們對數(shù)據(jù)倉庫技術(shù)的關(guān)注程度越來越尚，其原因是過去的幾十年中，建設了無數(shù)的應用系統(tǒng)，積累了大量的數(shù)據(jù)，但這些數(shù)據(jù)沒有得到很好的利用，有時反而成為企
2023年04月23日
瀏覽(94)

<track id="iomyk"></track>