ETL 和 ELT 有很多共同點，從本質(zhì)上講，每種集成方法都可以將數(shù)據(jù)從源端抽取到數(shù)據(jù)倉庫中，兩者的區(qū)別在于數(shù)據(jù)在哪里進(jìn)行轉(zhuǎn)換。

01 ETL

ETL – 抽取、轉(zhuǎn)換、加載

從不同的數(shù)據(jù)源抽取信息，將其轉(zhuǎn)換為根據(jù)業(yè)務(wù)定義的格式，然后將其加載到其他數(shù)據(jù)庫或數(shù)據(jù)倉庫中。另一種 ETL 集成方法是反向 ETL，它將結(jié)構(gòu)化數(shù)據(jù)從數(shù)據(jù)倉庫中加載到業(yè)務(wù)數(shù)據(jù)庫中，如我們常用數(shù)據(jù)倉庫加工好的報表，推送到報表系統(tǒng)的數(shù)據(jù)庫中。

02 ELT

ELT – 抽取、加載、轉(zhuǎn)換

同樣的從一個或多個數(shù)據(jù)源中抽取數(shù)據(jù)，然后將其加載到目標(biāo)數(shù)據(jù)倉庫中，此時不需要進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換。在 ELT 過程中，數(shù)據(jù)的轉(zhuǎn)換發(fā)生在目標(biāo)數(shù)據(jù)倉庫中。ELT 對遠(yuǎn)程資源的要求較少，只需要它們的原始數(shù)據(jù)即可。

03 ELT的演變

ELT 已經(jīng)存在了一段時間，但 Hadoop 等大數(shù)據(jù)技術(shù)出現(xiàn)后，更加活躍了。像以前轉(zhuǎn)換 PB 級原始數(shù)據(jù)這樣的大型任務(wù)無法處理，現(xiàn)在可以被分成小作業(yè)，進(jìn)行處理，然后再加載到目標(biāo)數(shù)據(jù)庫中。同時，處理能力也提高了，尤其是以私有云集群的方式，把處理、加工數(shù)據(jù)可以在一個數(shù)據(jù)倉庫中完成了。

04 ELT的工作原理

與 ETL 不同，ELT是從多個數(shù)據(jù)源收集信息，將其加載到數(shù)據(jù)倉庫（或者數(shù)據(jù)湖）中，然后將其轉(zhuǎn)換為可操作的商業(yè)智能的過程。

抽取——在ELT和ETL兩種數(shù)據(jù)管理方法中的原理相似。一般我們會采用增量抽取，對于一些維表數(shù)據(jù)量比較小的也會采用全量抽取。

加載——這是 ELT 和 ETL 開始不同的地方了。ELT 不是在抽取大量原始數(shù)據(jù)的過程中將其轉(zhuǎn)換，而是將所有數(shù)據(jù)都加在到湖倉中，然后統(tǒng)一進(jìn)行轉(zhuǎn)換，這樣做加快了抽取的效率，但也意味著數(shù)據(jù)變得有用之前還有很多工作要做。

轉(zhuǎn)換——數(shù)據(jù)湖或數(shù)據(jù)倉庫對數(shù)據(jù)進(jìn)行規(guī)范化，將部分或全部數(shù)據(jù)保留在湖倉中，并可用于定制報告。存儲海量數(shù)據(jù)的開銷更高，但也是為了后續(xù)能夠更加快速的進(jìn)行數(shù)據(jù)挖掘和報表展現(xiàn)，也就是我們常說的用空間換時間。

05 什么時候我們選擇ELT

這取決于公司現(xiàn)有的網(wǎng)絡(luò)和技術(shù)架構(gòu)、預(yù)算以及它已經(jīng)利用云和大數(shù)據(jù)技術(shù)的程度。如果是有下面三個需求場景時，那么ELT就是正確的選擇~

1.當(dāng)抽取速度是第一選擇時

因為 ELT 不必等待數(shù)據(jù)在抽取過程中進(jìn)行轉(zhuǎn)換后再加載，那么抽取過程要快得多。

2.當(dāng)需要隨時訪問原始數(shù)據(jù)時

有很多場景，我們需要保留所有歷史數(shù)據(jù)，分析師可以根據(jù)時間、銷售模式、季節(jié)性趨勢或任何對業(yè)務(wù)變得重要的新興指標(biāo)進(jìn)行挖掘。由于數(shù)據(jù)在加載之前未進(jìn)行轉(zhuǎn)換，因此您可以訪問所有原始數(shù)據(jù)。比如，數(shù)據(jù)倉庫一般都有一個原始數(shù)據(jù)層，很多數(shù)據(jù)科學(xué)家更喜歡訪問原始數(shù)據(jù)，而業(yè)務(wù)用戶更喜歡使用分析后的應(yīng)用層或者模型層數(shù)據(jù)。

3.當(dāng)需要隨時可擴(kuò)展數(shù)據(jù)湖倉時

當(dāng)您使用 Hadoop 或云數(shù)據(jù)倉庫等數(shù)據(jù)處理引擎時，ELT 可以利用本機(jī)處理能力實現(xiàn)更高的可擴(kuò)展性。

06 數(shù)據(jù)湖是不是很好的ELT落腳點

首先，我們思考一下數(shù)倉為什么會出現(xiàn)？其實是數(shù)據(jù)量的飛速增長，以至于當(dāng)時的數(shù)據(jù)存儲計算引擎，不能很好的滿足分析需求；于是數(shù)倉概念和經(jīng)典的理論出現(xiàn)了，很好的解決了當(dāng)時的問題，用“規(guī)范+存儲”來解決了當(dāng)時的問題。

那么現(xiàn)在大數(shù)據(jù)時代，隨著技術(shù)的不斷發(fā)展，很多新技術(shù)出現(xiàn)了，大批量的存儲和計算不再是那么難了，那么我們放棄數(shù)倉那一套是否可行呢？從一哥現(xiàn)在處理的業(yè)務(wù)看，如果你的業(yè)務(wù)系統(tǒng)相對較單一，沒有幾十個業(yè)務(wù)系統(tǒng)每天往數(shù)倉里灌數(shù)據(jù)，那么數(shù)據(jù)湖可以滿足你的需求，并且對于“數(shù)據(jù)驅(qū)動”更“敏捷”。如果一線的業(yè)務(wù)系統(tǒng)較復(fù)雜，那么現(xiàn)在使用數(shù)據(jù)湖也會一不小心會變成“數(shù)據(jù)沼澤”。

數(shù)據(jù)湖治理策略沒有明確前，還不要急著就上數(shù)據(jù)湖，并不是適用于每個公司的業(yè)務(wù)場景的！

07 結(jié)語

ELT和ETL都有各自的應(yīng)用場景，可以說現(xiàn)在大數(shù)據(jù)環(huán)境下，很多已經(jīng)是ELT架構(gòu)了，所以這也是我近幾年一直不看好很多廠商在推“拖拉拽”的ETL工具或者平臺，未來肯定是需要一種通用語言來實現(xiàn)所有的ELT過程。

參考

你真的了解數(shù)據(jù)倉庫的ELT和ETL嗎？文章來源地址http://www.zghlxwxcb.cn/news/detail-852837.html

到了這里，關(guān)于數(shù)據(jù)倉庫的ELT/ETL的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！