數(shù)據(jù)倉(cāng)庫(kù)DW

數(shù)據(jù)倉(cāng)庫(kù)具備 采集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、分析和計(jì)算 的功能，最后得出一些有用的數(shù)據(jù)，一些目標(biāo)數(shù)據(jù)來(lái)使用。

采集來(lái)自不同源的數(shù)據(jù)，然后對(duì)這些數(shù)據(jù)進(jìn)行分析和計(jì)算得出一些有用的指標(biāo)，提供數(shù)據(jù)決策支持。

數(shù)據(jù)的來(lái)源有：系統(tǒng)的業(yè)務(wù)數(shù)據(jù)、用戶的行為數(shù)據(jù)、爬蟲(chóng)數(shù)據(jù)等。

數(shù)據(jù)倉(cāng)庫(kù)包含：實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、離線數(shù)據(jù)倉(cāng)庫(kù)。

數(shù)倉(cāng)分層

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般經(jīng)過(guò)以下幾層處理，每層都對(duì)數(shù)據(jù)進(jìn)行特定的處理：參考來(lái)自

其實(shí)這個(gè)分層只是主流是這樣的，具體要分幾層，怎么分，還是要根據(jù)自己的業(yè)務(wù)來(lái)，怎么分層好分析數(shù)據(jù)，就怎么分。

1.ODS
ODS主要完成：

（1）保持?jǐn)?shù)據(jù)原貌不做任何修改，保留歷史數(shù)據(jù)，儲(chǔ)存起到備份數(shù)據(jù)作用，采集過(guò)來(lái)是什么數(shù)據(jù)就存儲(chǔ)什么數(shù)據(jù)；

（2）數(shù)據(jù)一般采用lzo、Snappy、parquet等壓縮格式；

（3）創(chuàng)建分區(qū)表，防止后續(xù)的全表掃描，減少集群資源訪問(wèn)數(shù)倉(cāng)的壓力，一般按天存儲(chǔ)在數(shù)倉(cāng)中。

2.DWD

DWD主要完成：

1. 數(shù)據(jù)清洗
（1）去除空值、臟數(shù)據(jù)、超過(guò)極限范圍的數(shù)據(jù)。
（2）過(guò)濾核心字段無(wú)意義的數(shù)據(jù)，比如訂單表中訂單 id 為 null，支付表中支付 id 為空
（3）將用戶行為寬表和業(yè)務(wù)表進(jìn)行數(shù)據(jù)一致性處理

? ? ? ? 清洗的手段包括Sql、mr、rdd、kettle、Python等等。清洗掉數(shù)據(jù)不能太多也不能很少。合理范圍：1 萬(wàn)條數(shù)據(jù)清洗掉 1 條。

2. 脫敏
? ? ? ? 對(duì)手機(jī)號(hào)（181****7089）、身份證號(hào)等敏感數(shù)據(jù)脫敏

3. 維度退化
? ? ? ? 對(duì)業(yè)務(wù)數(shù)據(jù)傳過(guò)來(lái)的表進(jìn)行維度退化和降維。（商品一級(jí)二級(jí)三級(jí)、省市縣、年月日）

4. 壓縮

? ? ? ? LZO，列式存儲(chǔ) parquet

3.DWS

? ? ? ? 以DWD為基礎(chǔ)，進(jìn)行輕度的匯總。預(yù)聚合。
? ? ? ? DWS層就是關(guān)于各個(gè)主題的加工和使用，這層是寬表聚合值，是各個(gè)事實(shí)表的聚合值。這里做輕度的匯總會(huì)讓以后的計(jì)算更加的高效，如：統(tǒng)計(jì)各個(gè)主題對(duì)象計(jì)算7天、30天、90天的行為， 應(yīng)對(duì)特殊需求（例如，購(gòu)買(mǎi)行為，統(tǒng)計(jì)商品復(fù)購(gòu)率）會(huì)快很多不必走ODS層反復(fù)拿數(shù)據(jù)做加工。 ? ??

? ? ? ? 這層會(huì)把每個(gè)用戶單日的行為聚合起來(lái)組成一張多列寬表，以便之后關(guān)聯(lián)用戶維度信息后進(jìn)行，不同角度的統(tǒng)計(jì)分析。

? ? ? ? 涉及的主題包括：訪客主題、用戶主題、商品主題、優(yōu)惠券主題、活動(dòng)主題、地區(qū)主題等

? ? ??

4.DWT
? ? ? ? 這層涉及的主題和DWS層一樣包括：訪客主題、用戶主題、商品主題、優(yōu)惠券主題、活動(dòng)主題、地區(qū)主題等。只不過(guò)DWS層的粒度是對(duì)當(dāng)日用戶匯總信息，而DWT層是對(duì)截止到當(dāng)日、或者近7日、近30日等的匯總信息。

? ? ? ? 以用戶主題這個(gè)來(lái)舉列：

*DWS層：用戶主題層是記錄某一個(gè)用戶在某一天的匯總行為。

*DWT層：用戶主題層是記錄某一個(gè)用戶截止在當(dāng)日的匯總行為。

5.ADS

統(tǒng)計(jì)指標(biāo)。
ADS層數(shù)據(jù)是專(zhuān)門(mén)給業(yè)務(wù)使用的數(shù)據(jù)層，這層是面向業(yè)務(wù)定制的應(yīng)用數(shù)據(jù)層。

ADS主要完成：

（1）提供為數(shù)據(jù)產(chǎn)品使用的結(jié)果數(shù)據(jù)、指標(biāo)等。

（2）提供給數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析使用的數(shù)據(jù)，一般會(huì)存放在 ES、MySQL等系統(tǒng)中供線上系統(tǒng)使用，也可能會(huì)存在 Hive 或者 Druid 中供數(shù)據(jù)分析和數(shù)據(jù)挖掘使用。如報(bào)表數(shù)據(jù)，或者說(shuō)那種大寬表。

? ? ? ? 這個(gè)項(xiàng)目中ADS層也是包含有多個(gè)主題：設(shè)備主題、會(huì)員主題、商品主題、營(yíng)銷(xiāo)主題、地區(qū)主題、訪客主題、用戶主題、訂單主題、優(yōu)惠券主題、活動(dòng)主題等等。每個(gè)主題都包含多個(gè)指標(biāo)的計(jì)算。

離線數(shù)倉(cāng)

通常是批處理數(shù)據(jù)，數(shù)據(jù)可能一直產(chǎn)生，也有可能斷斷續(xù)續(xù)的產(chǎn)生，但是這些數(shù)據(jù)我先攢著，攢成一批后再處理。一般攢一天處理一次，所以是批處理數(shù)據(jù)量大，處理時(shí)間長(zhǎng)。

離線數(shù)倉(cāng)架構(gòu)參考圖

業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在MySQL，用戶行為數(shù)據(jù)存儲(chǔ)在日志文件中。這兩個(gè)數(shù)據(jù)源都要先采集進(jìn)來(lái)然后進(jìn)行分析計(jì)算等，因?yàn)閿?shù)據(jù)量會(huì)比較大，所以采用Hadoop的HDFS存儲(chǔ)。

業(yè)務(wù)數(shù)據(jù)在MySQL中，由于是離線數(shù)倉(cāng)，所以每天進(jìn)行全量同步一次數(shù)據(jù)到HDFS中即可，這邊我也不知道為啥還要進(jìn)行增量同步到kafka中，然后由消費(fèi)者發(fā)送給HDFS存儲(chǔ)。

日志文件由flume監(jiān)控采集，又因?yàn)槿罩疚募容^大，如果flume采集完就直接發(fā)送給HDFS效率不好，所以flume采集完先發(fā)送給kafka的主題中，接著flume消費(fèi)者訂閱這個(gè)主題，消費(fèi)日志文件發(fā)送給HDFS存儲(chǔ)，kafka消息隊(duì)列在這起消峰的作用。

經(jīng)過(guò)上面的步驟后，數(shù)據(jù)就全部來(lái)到了HDFS中供使用。數(shù)據(jù)經(jīng)過(guò)ODS、DWD、DWS、ADS層層處理產(chǎn)生想要的結(jié)果后，數(shù)據(jù)處理經(jīng)過(guò)這些層，這些層總要有先后，定時(shí)任務(wù)調(diào)度的作用就是：如果數(shù)據(jù)在ODS處理好了，就可以自動(dòng)進(jìn)入到下一層DWD繼續(xù)處理。層層處理后的想要結(jié)果由DataX將結(jié)果每日同步到MySQL中方便進(jìn)行后續(xù)的使用，比如Superset可視化展示。

實(shí)時(shí)數(shù)倉(cāng)

數(shù)據(jù)源源不斷的來(lái)，和離線數(shù)倉(cāng)相反，數(shù)據(jù)不攢了，一有數(shù)據(jù)來(lái)我就處理，數(shù)據(jù)跟流水一樣來(lái)，所以是流式處理數(shù)據(jù)，處理時(shí)間較短。

實(shí)時(shí)數(shù)倉(cāng)用來(lái)處理那些實(shí)時(shí)性高的數(shù)據(jù)。

實(shí)時(shí)數(shù)倉(cāng)架構(gòu)參考圖

實(shí)時(shí)的話，創(chuàng)建flink消費(fèi)者從kafka中取出數(shù)據(jù)，那我就理解了為啥業(yè)務(wù)數(shù)據(jù)也要增量同步發(fā)給kafka了，因?yàn)閷?shí)時(shí)處理需要，所以kafka就是ods層，flink進(jìn)行簡(jiǎn)單處理后發(fā)送給DWD層。

flume采集文件案例

以下的架構(gòu)就是一個(gè)實(shí)時(shí)數(shù)倉(cāng)的簡(jiǎn)單架構(gòu)，flume一直監(jiān)控?cái)?shù)據(jù)文件，只要一有文件來(lái)，就會(huì)被flume采集然后發(fā)給kafka主題，接著就會(huì)被flink消費(fèi)。

用戶行為數(shù)據(jù)：用戶在使用產(chǎn)品過(guò)程中，通過(guò)埋點(diǎn)收集與客戶端產(chǎn)品交互過(guò)程中產(chǎn)生的數(shù)據(jù)，并發(fā)往日志服務(wù)器進(jìn)行保存。比如頁(yè)面瀏覽、點(diǎn)擊、停留、評(píng)論、點(diǎn)贊、收藏等。由于用戶的行為數(shù)據(jù)比較多，所以用戶行為數(shù)據(jù)通常存儲(chǔ)在日志文件中。

?在flume的家目錄中，采集一個(gè)job文件夾存放flume的配置文件，file_to_kafka.conf：

a1.sources = r1
a1.channels = c1

#配置source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /mydata/spoolingDir

#配置channel         org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = 192.168.10.128:9092
a1.channels.c1.kafka.topic = topic_log
a1.channels.c1.parseAsFlumeEvent = false

#組裝 
a1.sources.r1.channels = c1

啟動(dòng)：

bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf -Dflume.root.logger=info,console

• bin/flume-ng：這是啟動(dòng) Flume 的可執(zhí)行文件。
• agent：指定要運(yùn)行的 Flume 組件類(lèi)型，這里是代理（agent）。
• -n a1：指定代理的名稱，這里是 "a1"。
• -c conf/：指定配置文件的目錄，F(xiàn)lume 會(huì)在該目錄下查找配置文件。
• -f job/file_to_kafka.conf：指定要使用的配置文件的路徑，這是 Flume 的配置文件，它描述了數(shù)據(jù)傳輸?shù)呐渲谩?/li>
• -Dflume.root.logger=info,console：設(shè)置 Flume 的日志級(jí)別和輸出方式。在此設(shè)置中，日志級(jí)別為 "info"，并將日志輸出到控制臺(tái)。

數(shù)倉(cāng)技術(shù)選型

數(shù)據(jù)采集：如果數(shù)據(jù)是以文件形式存在可以使用flume監(jiān)控采集，MySQL中的數(shù)據(jù)可以使用DataX采集

數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)量比較小可以用MySQL存儲(chǔ)，數(shù)據(jù)量大用HDFS

數(shù)據(jù)計(jì)算：實(shí)時(shí)性要求高用flink流式處理

ETL和ELT

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-725118.html

到了這里，關(guān)于數(shù)據(jù)倉(cāng)庫(kù)DW-理論知識(shí)儲(chǔ)備的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！