一、目的
由于Hive處理好的結(jié)果數(shù)據(jù)要同步到ClickHouse中,因此需要在在海豚調(diào)度器中執(zhí)行ClickHouse的ADS層的建庫建表語句
二、執(zhí)行步驟
(一)情形一:ClickHouse和海豚在同一服務(wù)器上
1、直接在海豚中創(chuàng)建執(zhí)行SQL文件腳本的工作流
(1)第一步,在資源中心上傳ADS層的建庫建表SQL文件
(2)第二步,在項(xiàng)目里建工作流,添加運(yùn)行SQL文件的腳本
#! /bin/bash
source /etc/profile
clickhouse-client --user default --password hurys@123 -d default --multiquery <basic_ads.sql
(3)第三步,保存并執(zhí)行工作流
(二)情形二:ClickHouse和海豚不在同一服務(wù)器上
1、在ClickHouse數(shù)據(jù)源里執(zhí)行建庫建表SQL語句(一個(gè)任務(wù)一條SQL)
(1)第一步,在海豚中創(chuàng)建ClickHouse的數(shù)據(jù)源
(2)第二步,創(chuàng)建海豚工作流,執(zhí)行建庫建表SQL
注意:建庫和建表分開,然后一個(gè)任務(wù)一條建表SQL
A、建庫案例
create database if not exists hurys_dc_ads;
B、建表案例
--1.2 統(tǒng)計(jì)數(shù)據(jù)流量表——?jiǎng)討B(tài)分區(qū)——1小時(shí)周期
create ?table ?if not exists ?hurys_dc_ads.ads_statistics_volume_1hour(
? ? device_no ? ? ? String ? ? ? ? ? ? ? ? ? comment '設(shè)備編號(hào)',
? ? name ? ? ? ? ? ?Nullable(String) ? ? ? ? comment '場景',
? ? lane_no ? ? ? ? Nullable(int) ? ? ? ? ? ?comment '車道編號(hào)',
? ? lane_direction ?Nullable(String) ? ? ? ? comment '車道流向',
? ? section_no ? ? ?Nullable(Float32) ? ? ? ?comment '斷面編號(hào)',
? ? coil_no ? ? ? ? Nullable(Float32) ? ? ? ?comment '線圈編號(hào)',
? ? direction ? ? ? Nullable(String) ? ? ? ? comment '雷達(dá)朝向',
? ? sum_volume_hour Nullable(int) ? ? ? ? ? ?comment '每小時(shí)總流量',
? ? start_time ? ? ?DateTime ? ? ? ? ? ? ? ? comment '開始時(shí)間',
? ? end_time ? ? ? ?DateTime ? ? ? ? ? ? ? ? comment '結(jié)束時(shí)間',
? ? day ? ? ? ? ? ? Date ? ? ? ? ? ? ? ? ? ? comment '日期'
)ENGINE = MergeTree
PARTITION BY (day)
PRIMARY KEY day
order by day
TTL day + toIntervalMonth(12)
SETTINGS index_granularity = 8192;
(3)第三步,保存并執(zhí)行工作流
對(duì)于海豚調(diào)度器和ClickHouse在不在同一服務(wù)器上,ADS層建庫建表語句會(huì)有不同的工作流配置方式。文章來源:http://www.zghlxwxcb.cn/news/detail-723376.html
注意,由于海豚調(diào)度器中的ClickHouse數(shù)據(jù)源,一個(gè)任務(wù)只能一條SQL語句,即一個(gè);? 因此不能把多個(gè)建表SQL放在一個(gè)任務(wù)中,否則會(huì)運(yùn)行報(bào)錯(cuò),因此海豚中的ClickHouse沒有區(qū)分分段執(zhí)行文章來源地址http://www.zghlxwxcb.cn/news/detail-723376.html
到了這里,關(guān)于一百八十九、ClickHouse——在海豚調(diào)度器中執(zhí)行ClickHouse建庫建表語句的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!