SQL 提示（SQL Hints）是和 SQL 語句一起使用來改變執(zhí)行計劃的。本章介紹如何使用 SQL 提示來實現(xiàn)各種干預。
SQL 提示一般可以用于以下：
- 增強 planner：沒有完美的 planner， SQL 提示讓用戶更好地控制執(zhí)行；
- 增加元數(shù)據(jù)（或者統(tǒng)計信息）：如"已掃描的表索引"和"一些混洗鍵（shuffle keys）的傾斜信息"的一些統(tǒng)計數(shù)據(jù)對于查詢來說是動態(tài)的，用提示來配置它們會非常方便，因為我們從 planner
獲得的計劃元數(shù)據(jù)通常不那么準確；- 算子（Operator）資源約束：在許多情況下，我們會為執(zhí)行算子提供默認的資源配置，即最小并行度或托管內(nèi)存（UDF 資源消耗）或特殊資源需求（GPU 或 SSD 磁盤）等，可以使用 SQL 提示非常靈活地
為每個查詢（非作業(yè)）配置資源。
?文章來源地址http://www.zghlxwxcb.cn/news/detail-858073.html
一. create table hints
動態(tài)表選項允許動態(tài)地指定或覆蓋表選項，不同于用 SQL DDL 或 連接 API 定義的靜態(tài)表選項，這些選項可以在每個查詢的每個表范圍內(nèi)靈活地指定。
因此，它非常適合用于交互式終端中的特定查詢，例如，在 SQL-CLI 中，你可以通過添加動態(tài)選項/*+ OPTIONS('csv.ignore-parse-errors'='true') */來指定忽略 CSV 源的解析錯誤。
?
1. 語法
為了不破壞 SQL 兼容性，我們使用 Oracle 風格的 SQL hints 語法：
table_path /*+ OPTIONS(key=val [, key=val]*) */
key: string字符
val: string字符
?
2. 示例
CREATE TABLE kafka_table1 (id BIGINT, name STRING, age INT) WITH (...);
CREATE TABLE kafka_table2 (id BIGINT, name STRING, age INT) WITH (...);
-- `覆蓋`查詢語句中源表的選項
select id, name from kafka_table1 /*+ OPTIONS('scan.startup.mode'='earliest-offset') */;
-- 覆蓋 join 中源表的選項
select * from
kafka_table1 /*+ OPTIONS('scan.startup.mode'='earliest-offset') */ t1
join
kafka_table2 /*+ OPTIONS('scan.startup.mode'='earliest-offset') */ t2
on t1.id = t2.id;
-- 覆蓋插入語句中結(jié)果表的選項
insert into kafka_table1 /*+ OPTIONS('sink.partitioner'='round-robin') */ select * from kafka_table2;
?
3. 注意
create table hints 傳遞的連接器中catalog的相關(guān)參數(shù)，即create table with下參數(shù)，具體到源代碼是：context.getCatalogTable().getOptions() 。
?
如果傳參無效且在日志中看到參數(shù)已經(jīng)設(shè)置成功，那
可能將context.getConfiguration()中的參數(shù)傳遞到with參數(shù)下，比如：
hive連接器下：table.exec.hive.sink.statistic-auto-gather.enable參數(shù)由DefaultDynamicTableContext的configuration來接收。此參數(shù)為flink sql的全局參數(shù)，此時可以通過set table.exec.hive.sink.statistic-auto-gather.enable=false語法來設(shè)定參數(shù)。
?
二. 實戰(zhàn)：簡化hive連接器參數(shù)設(shè)置
對于hive連接器，F(xiàn)link實現(xiàn)了通過catalog的方式來管理hive表，在使用hive表時需要使用hive相關(guān)語法，此時需要聲明，hive dialect，如下:
CREATE CATALOG myhive WITH (
'type' = 'hive',
'default-database' = 'aaa',
'hive-conf-dir' = '/usr/bin/hadoop/software/hive/conf'
);
SET table.sql-dialect=hive;
-- 因為需要使用hive連接器中的寫特性，所以需要create table ，此時sql語法為hive語法
CREATE TABLE hive_table (
user_id STRING,
order_amount DOUBLE
) PARTITIONED BY (dt STRING, hr STRING) STORED AS parquet TBLPROPERTIES (
'partition.time-extractor.timestamp-pattern'='$dt $hr:00:00',
'sink.partition-commit.trigger'='partition-time',
'sink.partition-commit.delay'='1 h',
'sink.partition-commit.policy.kind'='metastore,success-file'
);
-- 對于某些框架例如chunjun，此處不能很好的適配:
--
SET table.sql-dialect=default;
CREATE TABLE kafka_table (
user_id STRING,
order_amount DOUBLE,
log_ts TIMESTAMP(3),
WATERMARK FOR log_ts AS log_ts - INTERVAL '5' SECOND -- 在 TIMESTAMP 列聲明 watermark。
) WITH (...);
-- streaming sql, insert into hive table
INSERT INTO TABLE myhive.aaa.hive_table
SELECT user_id, order_amount, DATE_FORMAT(log_ts, 'yyyy-MM-dd'), DATE_FORMAT(log_ts, 'HH')
FROM kafka_table;
如下可以把寫hive的一些行為通過sql hint方式，放到Flink sql語句中，如下整個Flink sql 會清爽很多。
CREATE CATALOG myhive WITH (
'type' = 'hive',
'default-database' = 'database_name',
'hive-conf-dir' = '/usr/bin/hadoop/software/hive/conf'
);
CREATE TABLE source_kafka (
`pv` string,
`uv` string,
`p_day_id` string
) WITH (
'connector' = 'kafka-x'
,'topic' = 'hive_kafka'
,'properties.bootstrap.servers' = 'xxx:9092'
,'properties.group.id' = 'luna_g'
,'scan.startup.mode' = 'earliest-offset'
,'json.timestamp-format.standard' = 'SQL'
,'json.ignore-parse-errors' = 'true'
,'format' = 'json'
,'scan.parallelism' = '1'
);
insert into
myhive.database_name.table_name /*+ OPTIONS('partition.time-extractor.timestamp-pattern'='$p_day_id:00:00','sink.partition-commit.policy.kind'='metastore,success-file','sink.partition-commit.success-file.name'='_SUCCESS_gao111') */
select * from source_kafka;
?
三. select hints(ing)
查詢提示（Query Hints）用于為優(yōu)化器修改執(zhí)行計劃提供建議，該修改只能在當前查詢提示所在的查詢塊中生效（Query block, 什么是查詢塊）。 目前，F(xiàn)link 查詢提示只支持聯(lián)接提示（Join Hints）。
具體見：官網(wǎng)
https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/dev/table/sql/queries/hints/#%E6%9F%A5%E8%AF%A2%E6%8F%90%E7%A4%BA文章來源：http://www.zghlxwxcb.cn/news/detail-858073.html
?
到了這里，關(guān)于【Flink實戰(zhàn)】Flink hint更靈活、更細粒度的設(shè)置Flink sql行為與簡化hive連接器參數(shù)設(shè)置的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
