Flink 系列文章
一、Flink 專欄
Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn)，并輔以具體的示例進(jìn)行說明。
-
1、Flink 部署系列
本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 -
2、Flink基礎(chǔ)系列
本部分介紹Flink 的基礎(chǔ)部分，比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 -
3、Flik Table API和SQL基礎(chǔ)系列
本部分介紹Flink Table Api和SQL的基本用法，比如Table API和SQL創(chuàng)建庫、表用法、查詢、窗口函數(shù)、catalog等等內(nèi)容。 -
4、Flik Table API和SQL提高與應(yīng)用系列
本部分是table api 和sql的應(yīng)用部分，和實(shí)際的生產(chǎn)應(yīng)用聯(lián)系更為密切，以及有一定開發(fā)難度的內(nèi)容。 -
5、Flink 監(jiān)控系列
本部分和實(shí)際的運(yùn)維、監(jiān)控工作相關(guān)。
二、Flink 示例專欄
Flink 示例專欄是 Flink 專欄的輔助說明，一般不會(huì)介紹知識(shí)點(diǎn)的信息，更多的是提供一個(gè)一個(gè)可以具體使用的示例。本專欄不再分目錄，通過鏈接即可看出介紹的內(nèi)容。
兩專欄的所有文章入口點(diǎn)擊：Flink 系列文章匯總索引
本文簡單的介紹了flink的配置文件內(nèi)容及配置項(xiàng)說明。
一、目錄結(jié)構(gòu)說明
安裝完成后的目錄結(jié)構(gòu)如下：
conf文件夾下的文件目錄
安裝目錄下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。
二、基礎(chǔ)配置
# jobManager 的IP地址
jobmanager.rpc.address: localhost
# JobManager 的端口號(hào)
jobmanager.rpc.port: 6123
# JobManager JVM heap 內(nèi)存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 內(nèi)存大小
taskmanager.heap.size: 1024m
# 每個(gè) TaskManager 提供的任務(wù) slots 數(shù)量大小
taskmanager.numberOfTaskSlots: 1
# 程序默認(rèn)并行計(jì)算的個(gè)數(shù)
parallelism.default: 1
# 文件系統(tǒng)來源
# fs.default-scheme
三、高可用性配置
# 可以選擇 'NONE' 或者 'zookeeper'.
# high-availability: zookeeper
# 文件系統(tǒng)路徑，讓 Flink 在高可用性設(shè)置中持久保存元數(shù)據(jù)
# high-availability.storageDir: hdfs:///flink/ha/
# zookeeper 集群中仲裁者的機(jī)器 ip 和 port 端口號(hào)
# high-availability.zookeeper.quorum: localhost:2181
# 默認(rèn)是 open，如果 zookeeper security 啟用了該值會(huì)更改成 creator
# high-availability.zookeeper.client.acl: open
四、容錯(cuò)和檢查點(diǎn) 配置
# 用于存儲(chǔ)和檢查點(diǎn)狀態(tài)
# state.backend: filesystem
# 存儲(chǔ)檢查點(diǎn)的數(shù)據(jù)文件和元數(shù)據(jù)的默認(rèn)目錄
# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
# savepoints 的默認(rèn)目標(biāo)目錄(可選)
# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints
# 用于啟用/禁用增量 checkpoints 的標(biāo)志
# state.backend.incremental: false
五、web 前端配置
# 基于 Web 的運(yùn)行時(shí)監(jiān)視器偵聽的地址.
#jobmanager.web.address: 0.0.0.0
# Web 的運(yùn)行時(shí)監(jiān)視器端口
rest.port: 8081
# 是否從基于 Web 的 jobmanager 啟用作業(yè)提交
# jobmanager.web.submit.enable: false
六、高級(jí)配置
# io.tmp.dirs: /tmp
# 是否應(yīng)在 TaskManager 啟動(dòng)時(shí)預(yù)先分配 TaskManager 管理的內(nèi)存
# taskmanager.memory.preallocate: false
# 類加載解析順序，是先檢查用戶代碼 jar（“child-first”）還是應(yīng)用程序類路徑（“parent-first”）。 默認(rèn)設(shè)置指示首先從用戶代碼 jar 加載類
# classloader.resolve-order: child-first
# 用于網(wǎng)絡(luò)緩沖區(qū)的 JVM 內(nèi)存的分?jǐn)?shù)。 這決定了 TaskManager 可以同時(shí)擁有多少流數(shù)據(jù)交換通道以及通道緩沖的程度。 如果作業(yè)被拒絕或者您收到系統(tǒng)沒有足夠緩沖區(qū)的警告，請(qǐng)?jiān)黾哟酥祷蛳旅娴淖钚?最大值。 另請(qǐng)注意，“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能會(huì)覆蓋此分?jǐn)?shù)
# taskmanager.network.memory.fraction: 0.1
# taskmanager.network.memory.min: 67108864
# taskmanager.network.memory.max: 1073741824
七、Flink 集群安全配置
# 指示是否從 Kerberos ticket 緩存中讀取
# security.kerberos.login.use-ticket-cache: true
# 包含用戶憑據(jù)的 Kerberos 密鑰表文件的絕對(duì)路徑
# security.kerberos.login.keytab: /path/to/kerberos/keytab
# 與 keytab 關(guān)聯(lián)的 Kerberos 主體名稱
# security.kerberos.login.principal: flink-user
# 以逗號(hào)分隔的登錄上下文列表，用于提供 Kerberos 憑據(jù)（例如，`Client，KafkaClient`使用憑證進(jìn)行 ZooKeeper 身份驗(yàn)證和 Kafka 身份驗(yàn)證）
# security.kerberos.login.contexts: Client,KafkaClient
八、Zookeeper 安全配置
# 覆蓋以下配置以提供自定義 ZK 服務(wù)名稱
# zookeeper.sasl.service-name: zookeeper
# 該配置必須匹配 "security.kerberos.login.contexts" 中的列表（含有一個(gè)）
# zookeeper.sasl.login-context-name: Client
九、HistoryServer
# 你可以通過 bin/historyserver.sh (start|stop) 命令啟動(dòng)和關(guān)閉 HistoryServer
# 將已完成的作業(yè)上傳到的目錄
# jobmanager.archive.fs.dir: hdfs:///completed-jobs/
# 基于 Web 的 HistoryServer 的地址
# historyserver.web.address: 0.0.0.0
# 基于 Web 的 HistoryServer 的端口號(hào)
# historyserver.web.port: 8082
# 以逗號(hào)分隔的目錄列表，用于監(jiān)視已完成的作業(yè)
# historyserver.archive.fs.dir: hdfs:///completed-jobs/
# 刷新受監(jiān)控目錄的時(shí)間間隔（以毫秒為單位）
# historyserver.archive.fs.refresh-interval: 10000
十、查看下另外兩個(gè)配置 workers / master
1、workers
里面是每個(gè) worker 節(jié)點(diǎn)的 IP/Hostname，每一個(gè) worker 節(jié)點(diǎn)之后都會(huì)運(yùn)行一個(gè) TaskManager，一個(gè)一行。文章來源：http://www.zghlxwxcb.cn/news/detail-668695.html
2、masters
host:port
十一、zoo.cfg
# 每個(gè) tick 的毫秒數(shù)
tickTime=2000
# 初始同步階段可以采用的 tick 數(shù)
initLimit=10
# 在發(fā)送請(qǐng)求和獲取確認(rèn)之間可以傳遞的 tick 數(shù)
syncLimit=5
# 存儲(chǔ)快照的目錄
# dataDir=/tmp/zookeeper
# 客戶端將連接的端口
clientPort=2181
# ZooKeeper quorum peers
server.1=localhost:2888:3888
# server.2=host:peer-port:leader-port
十二、日志配置
log4j-cli.properties
log4j-console.properties
log4j-yarn-session.properties
log4j.properties
logback-console.xml
logback-yarn.xml
logback.xml
十三、sql-client-defaults.yaml
execution:
# 'batch' or 'streaming' execution
type: streaming
# allow 'event-time' or only 'processing-time' in sources
time-characteristic: event-time
# interval in ms for emitting periodic watermarks
periodic-watermarks-interval: 200
# 'changelog' or 'table' presentation of results
result-mode: changelog
# parallelism of the program
parallelism: 1
# maximum parallelism
max-parallelism: 128
# minimum idle state retention in ms
min-idle-state-retention: 0
# maximum idle state retention in ms
max-idle-state-retention: 0
deployment:
# general cluster communication timeout in ms
response-timeout: 5000
# (optional) address from cluster to gateway
gateway-address: ""
# (optional) port from cluster to gateway
gateway-port: 0
以上，簡單的介紹了flink的配置文件內(nèi)容及配置項(xiàng)說明。文章來源地址http://www.zghlxwxcb.cn/news/detail-668695.html
到了這里，關(guān)于11、Flink配置flink-conf.yaml詳細(xì)說明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
