国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

離線數(shù)倉中，為什么用兩個flume，一個kafka

2年前作者：青云游子分類：Toy博客閱讀(19)違法舉報

這篇具有很好參考價值的文章主要介紹了離線數(shù)倉中，為什么用兩個flume，一個kafka。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

實時數(shù)倉中，為什么沒有零點漂移問題？
1. 因為flink直接取的事件時間
用kafka是為了速度快，并且數(shù)據(jù)不丟，那為什么既用了kafkachannel，也用了kafka，而不只用kafkachannel呢？
1. 因為需要削峰填谷
離線數(shù)倉中，為什么用兩個flume，一個kafka，直接用taildirsource,kafkachannel,hdfssink不行嗎？
1. 不行
2. kafka可以削峰填谷
3. 如果用kafkachannel，那么數(shù)據(jù)寫到kafka，只剩event，沒有header，無法解決零點漂移問題，而多加一個flume，可以在kafkasource中添加攔截器。

文章來源地址http://www.zghlxwxcb.cn/news/detail-622910.html

到了這里，關(guān)于離線數(shù)倉中，為什么用兩個flume，一個kafka的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔相關(guān)法律責任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

阿里云生態(tài)離線數(shù)倉
? ? ? ? 功能齊全：10多年大數(shù)據(jù)建設(shè)沉淀完整的平臺，覆蓋數(shù)據(jù)開發(fā)治理的全生命周期 ? ? ? ? 簡單易用：全圖形化界面，SQL為主的數(shù)據(jù)開發(fā)方式 ? ? ? ? 安全穩(wěn)定：雙11日千萬級任務(wù)穩(wěn)定調(diào)度，金融級數(shù)據(jù)安全保障 ? ? ? ? 開放兼容：?支持多種大數(shù)據(jù)引擎綁定，開放
2024年02月05日
瀏覽(21)
離線數(shù)倉同步數(shù)據(jù)1
com.atguigu.gmall.flume.interceptor.TimestampInterceptor$Builder
2024年02月10日
瀏覽(27)
離線數(shù)倉建設(shè)之數(shù)據(jù)導出
為了方便報表應(yīng)用使用數(shù)據(jù)，需將ADS各項指標統(tǒng)計結(jié)果導出到MySQL，方便熟悉 SQL 人員使用。創(chuàng)建car_data_report數(shù)據(jù)庫： 1.1.2 創(chuàng)建表 ① 里程相關(guān)統(tǒng)計創(chuàng)建ads_mileage_stat_last_month表，存儲里程相關(guān)統(tǒng)計數(shù)據(jù)。 ② 告警相關(guān)統(tǒng)計創(chuàng)建ads_alarm_stat_last_month表，存儲告警相關(guān)的統(tǒng)計數(shù)據(jù)。
2024年03月16日
瀏覽(19)
【從0開始離線數(shù)倉項目】——新能源汽車數(shù)倉項目介紹
目錄 1、數(shù)據(jù)倉庫概念 2、項目需求及架構(gòu)設(shè)計 3、集群資源規(guī)劃設(shè)計 ?4、車輛日志字段說明數(shù)據(jù)倉庫（Data Warehouse）是為企業(yè)提供數(shù)據(jù)支持，用以協(xié)助企業(yè)制定決策、改進業(yè)務(wù)流程和提高產(chǎn)品質(zhì)量等方面的工具。它可以接收多種類型的輸入數(shù)據(jù)，如業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)和爬蟲
2024年02月13日
瀏覽(23)
尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》筆記002
?視頻地址：尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》_嗶哩嗶哩_bilibili 目錄 P025 P026 P027 P028 P029 P030 P031 P032 P033 P034 P035 P036 P037 P038 P025 在Hive所在節(jié)點部署Spark P026 3 ）Hive on Spark 測試（1）啟動hive客戶端 [atguigu@hadoop102 hive]$ hive （2）創(chuàng)建一張測試表 hive (default) create table stud
2024年02月12日
瀏覽(49)
尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》筆記004
視頻地址：尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》_嗶哩嗶哩_bilibili 目錄第9章數(shù)倉開發(fā)之DWD層 P049 P050 P051 P052 P053 P054 P055 P056 P057 P058 P059 P060 P061 P062 P063 P064 P065 P066 P067 P068 P069 P070 P049 第9章數(shù)倉開發(fā)之DWD層 DWD層設(shè)計要點：（1）DWD層的設(shè)計依據(jù)是維度建模理論，該層存儲
2024年02月10日
瀏覽(35)
尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》筆記006
視頻地址：尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》_嗶哩嗶哩_bilibili 目錄第11章數(shù)倉開發(fā)之ADS層 P087 P088 P089 P090 P091 P092 P093 P094 P095 P096 P097 P098 P099 P100 P101 P102 P103 P104 P105 P106 P107 P108 P109 P110 P111 P087 第11章數(shù)倉開發(fā)之ADS層 11.1 流量主題 11.1.1 各來源流量統(tǒng)計 [atguigu@node001 ~]
2024年02月09日
瀏覽(55)
【從0開始離線數(shù)倉項目】——數(shù)據(jù)倉庫的環(huán)境搭建（1）
目錄一、服務(wù)器環(huán)境準備 1.2 編寫集群分發(fā)腳本xsync 1.3 SSH無密登錄配置 1.4 JDK準備 1.5 環(huán)境變量配置說明二、集群所有進程查看腳本三、Zookeeper安裝 3.1 分布式安裝部署 3.2 ZK集群啟動停止腳本 3.3 客戶端命令行操作 CentOS 7 怎么從命令行模式切換到圖形界面模式切換至root權(quán)限
2024年02月13日
瀏覽(21)
尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》筆記007
視頻地址：尚硅谷大數(shù)據(jù)項目《在線教育之離線數(shù)倉》_嗶哩嗶哩_bilibili 目錄第12章報表數(shù)據(jù)導出 P112 01、創(chuàng)建數(shù)據(jù)表 02、修改datax的jar包 03、ads_traffic_stats_by_source.json文件 P113 P114 P115 P116 P117 P118 P119 P120 P121 P122【122_在線教育數(shù)倉開發(fā)回顧 04:23】 P112 01、創(chuàng)建數(shù)據(jù)表 02、修改d
2024年02月09日
瀏覽(30)
看這篇就明白大數(shù)據(jù)實時數(shù)倉、離線數(shù)倉、數(shù)據(jù)湖之間的關(guān)系
??20世紀70年代，MIT(麻省理工)的研究員致力于研究一種優(yōu)化的技術(shù)架構(gòu)，該架構(gòu)試圖將業(yè)務(wù)處理系統(tǒng)和分析系統(tǒng)分開，即將業(yè)務(wù)處理和分析處理分為不同層次，針對各自的特點采取不同的架構(gòu)設(shè)計原則，MIT的研究員認為這兩種信息處理的方式具有顯著差別，以至于必須采取完
2024年02月08日
瀏覽(21)