国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句

這篇具有很好參考價(jià)值的文章主要介紹了一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一、目的

由于Hive處理好的結(jié)果數(shù)據(jù)要同步到ClickHouse中,因此需要在在海豚調(diào)度器中執(zhí)行ClickHouse的ADS層的建庫建表語句

二、執(zhí)行步驟

(一)情形一:ClickHouse和海豚在同一服務(wù)器上

1、直接在海豚中創(chuàng)建執(zhí)行SQL文件腳本的工作流

(1)第一步,在資源中心上傳ADS層的建庫建表SQL文件

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

(2)第二步,在項(xiàng)目里建工作流,添加運(yùn)行SQL文件的腳本

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

#! /bin/bash
source /etc/profile

clickhouse-client --user default --password hurys@123 -d default --multiquery <basic_ads.sql

(3)第三步,保存并執(zhí)行工作流

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

(二)情形二:ClickHouse和海豚不在同一服務(wù)器上

1、在ClickHouse數(shù)據(jù)源里執(zhí)行建庫建表SQL語句(一個(gè)任務(wù)一條SQL

(1)第一步,在海豚中創(chuàng)建ClickHouse的數(shù)據(jù)源

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

(2)第二步,創(chuàng)建海豚工作流,執(zhí)行建庫建表SQL

注意:建庫和建表分開,然后一個(gè)任務(wù)一條建表SQL

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

A、建庫案例

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

create database if not exists hurys_dc_ads;

B、建表案例

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

--1.2 統(tǒng)計(jì)數(shù)據(jù)流量表——?jiǎng)討B(tài)分區(qū)——1小時(shí)周期
create ?table ?if not exists ?hurys_dc_ads.ads_statistics_volume_1hour(
? ? device_no ? ? ? String ? ? ? ? ? ? ? ? ? comment '設(shè)備編號(hào)',
? ? name ? ? ? ? ? ?Nullable(String) ? ? ? ? comment '場景',
? ? lane_no ? ? ? ? Nullable(int) ? ? ? ? ? ?comment '車道編號(hào)',
? ? lane_direction ?Nullable(String) ? ? ? ? comment '車道流向',
? ? section_no ? ? ?Nullable(Float32) ? ? ? ?comment '斷面編號(hào)',
? ? coil_no ? ? ? ? Nullable(Float32) ? ? ? ?comment '線圈編號(hào)',
? ? direction ? ? ? Nullable(String) ? ? ? ? comment '雷達(dá)朝向',
? ? sum_volume_hour Nullable(int) ? ? ? ? ? ?comment '每小時(shí)總流量',
? ? start_time ? ? ?DateTime ? ? ? ? ? ? ? ? comment '開始時(shí)間',
? ? end_time ? ? ? ?DateTime ? ? ? ? ? ? ? ? comment '結(jié)束時(shí)間',
? ? day ? ? ? ? ? ? Date ? ? ? ? ? ? ? ? ? ? comment '日期'
)ENGINE = MergeTree
PARTITION BY (day)
PRIMARY KEY day
order by day
TTL day + toIntervalMonth(12)
SETTINGS index_granularity = 8192;

(3)第三步,保存并執(zhí)行工作流

一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句,ClickHouse,大數(shù)據(jù)調(diào)度工具,clickhouse

對(duì)于海豚調(diào)度器和ClickHouse在不在同一服務(wù)器上,ADS層建庫建表語句會(huì)有不同的工作流配置方式。

注意,由于海豚調(diào)度器中的ClickHouse數(shù)據(jù)源,一個(gè)任務(wù)只能一條SQL語句,即一個(gè);? 因此不能把多個(gè)建表SQL放在一個(gè)任務(wù)中,否則會(huì)運(yùn)行報(bào)錯(cuò),因此海豚中的ClickHouse沒有區(qū)分分段執(zhí)行文章來源地址http://www.zghlxwxcb.cn/news/detail-723376.html

到了這里,關(guān)于一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 高通sm7250與765G芯片是什么關(guān)系?(一百八十一)

    高通sm7250與765G芯片是什么關(guān)系?(一百八十一)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 優(yōu)質(zhì)專欄: 多媒體系統(tǒng)工程師系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑

    2024年01月18日
    瀏覽(31)
  • Android14之Android Rust模塊編譯語法(一百八十七)

    Android14之Android Rust模塊編譯語法(一百八十七)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 優(yōu)質(zhì)專欄: 多媒體系統(tǒng)工程師系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑

    2024年02月22日
    瀏覽(47)
  • Android14之解決Pixel手機(jī)聯(lián)網(wǎng)出現(xiàn)感嘆號(hào)(一百八十)

    Android14之解決Pixel手機(jī)聯(lián)網(wǎng)出現(xiàn)感嘆號(hào)(一百八十)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 優(yōu)質(zhì)專欄: 多媒體系統(tǒng)工程師系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑

    2024年01月22日
    瀏覽(25)
  • XUbuntu22.04之解決藍(lán)牙鼠標(biāo)不停掉線問題(追兇過程)(一百八十五)

    XUbuntu22.04之解決藍(lán)牙鼠標(biāo)不停掉線問題(追兇過程)(一百八十五)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑,只有行動(dòng)才是治療恐懼和懶惰的唯一良藥. 更多原創(chuàng),歡迎關(guān)注:An

    2024年02月16日
    瀏覽(27)
  • XUbuntu22.04之Linux剪切板和selection primary區(qū)域(一百八十七)

    XUbuntu22.04之Linux剪切板和selection primary區(qū)域(一百八十七)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑,只有行動(dòng)才是治療恐懼和懶惰的唯一良藥. 更多原創(chuàng),歡迎關(guān)注:An

    2024年02月15日
    瀏覽(31)
  • 一百八十八、Hive——HiveSQL查詢表中的日期是星期幾(親測(cè),附截圖)

    一百八十八、Hive——HiveSQL查詢表中的日期是星期幾(親測(cè),附截圖)

    指標(biāo)需要查詢以工作日和周末維度的數(shù)據(jù)統(tǒng)計(jì),因此需要根據(jù)數(shù)據(jù)的日期判斷這一天屬于星期幾,周一到周五為工作日,周六到周日為周末 今天是2023年9月26日,周二! 2023-05-02為任意一天的周二,不是選周一或者周日,這個(gè)可以自行驗(yàn)證!

    2024年02月07日
    瀏覽(29)
  • Android14之Selinux報(bào)錯(cuò):unknown type qemu_device at token (一百八十三)

    Android14之Selinux報(bào)錯(cuò):unknown type qemu_device at token (一百八十三)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 優(yōu)質(zhì)專欄: 多媒體系統(tǒng)工程師系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑

    2024年03月13日
    瀏覽(59)
  • Android14之a(chǎn)db remount報(bào)錯(cuò):Cannot use remount when a checkpoint is in progress(一百八十四)

    Android14之a(chǎn)db remount報(bào)錯(cuò):Cannot use remount when a checkpoint is in progress(一百八十四)

    簡介: CSDN博客專家,專注Android/Linux系統(tǒng),分享多mic語音方案、音視頻、編解碼等技術(shù),與大家一起成長! 優(yōu)質(zhì)專欄: Audio工程師進(jìn)階系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 優(yōu)質(zhì)專欄: 多媒體系統(tǒng)工程師系列 【 原創(chuàng)干貨持續(xù)更新中…… 】?? 人生格言: 人生從來沒有捷徑

    2024年04月28日
    瀏覽(28)
  • 一百八十六、大數(shù)據(jù)離線數(shù)倉完整流程——步驟五、在Hive的DWS層建動(dòng)態(tài)分區(qū)表并動(dòng)態(tài)加載數(shù)據(jù)

    一百八十六、大數(shù)據(jù)離線數(shù)倉完整流程——步驟五、在Hive的DWS層建動(dòng)態(tài)分區(qū)表并動(dòng)態(tài)加載數(shù)據(jù)

    經(jīng)過6個(gè)月的奮斗,項(xiàng)目的離線數(shù)倉部分終于可以上線了,因此整理一下離線數(shù)倉的整個(gè)流程,既是大家提供一個(gè)案例經(jīng)驗(yàn),也是對(duì)自己近半年的工作進(jìn)行一個(gè)總結(jié)。 1、Hive的DWS層建庫建表語句 --如果不存在則創(chuàng)建hurys_dc_dws數(shù)據(jù)庫 create database if not exists hurys_dc_dws; --使用hurys_

    2024年02月07日
    瀏覽(19)
  • 一百八十二、大數(shù)據(jù)離線數(shù)倉完整流程——步驟一、用Kettle從Kafka、MySQL等數(shù)據(jù)源采集數(shù)據(jù)然后寫入HDFS

    一百八十二、大數(shù)據(jù)離線數(shù)倉完整流程——步驟一、用Kettle從Kafka、MySQL等數(shù)據(jù)源采集數(shù)據(jù)然后寫入HDFS

    經(jīng)過6個(gè)月的奮斗,項(xiàng)目的離線數(shù)倉部分終于可以上線了,因此整理一下離線數(shù)倉的整個(gè)流程,既是大家提供一個(gè)案例經(jīng)驗(yàn),也是對(duì)自己近半年的工作進(jìn)行一個(gè)總結(jié)。 項(xiàng)目行業(yè)屬于交通行業(yè),因此數(shù)據(jù)具有很多交通行業(yè)的特征,比如轉(zhuǎn)向比數(shù)據(jù)就是統(tǒng)計(jì)車輛左轉(zhuǎn)、右轉(zhuǎn)、直行

    2024年02月07日
    瀏覽(20)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包