flink-conf.yaml

基礎(chǔ)配置

# jobManager 的IP地址

jobmanager.rpc.address: localhost


# JobManager 的端口號

jobmanager.rpc.port: 6123


# JobManager JVM heap 內(nèi)存大小

jobmanager.heap.size: 1024m


# TaskManager JVM heap 內(nèi)存大小

taskmanager.heap.size: 1024m


# 每個 TaskManager 提供的任務(wù) slots 數(shù)量大小


taskmanager.numberOfTaskSlots: 1


# 程序默認(rèn)并行計(jì)算的個數(shù)

parallelism.default: 1

容錯檢查點(diǎn)配置

# 用于存儲和檢查點(diǎn)狀態(tài)

# state.backend: filesystem /rocksdb/hdfs


# 存儲檢查點(diǎn)的數(shù)據(jù)文件和元數(shù)據(jù)的默認(rèn)目錄

# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints


# savepoints 的默認(rèn)目標(biāo)目錄(可選)

# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints


# 用于啟用/禁用增量 checkpoints 的標(biāo)志

# state.backend.incremental: false

web端

# 基于 Web 的運(yùn)行時監(jiān)視器偵聽的地址.

#jobmanager.web.address: 0.0.0.0


# Web 的運(yùn)行時監(jiān)視器端口

rest.port: 8081


# 是否從基于 Web 的 jobmanager 啟用作業(yè)提交

# jobmanager.web.submit.enable: false

高可用配置

# 可以選擇 'NONE' 或者 'zookeeper'.

# high-availability: zookeeper


# 文件系統(tǒng)路徑，讓 Flink 在高可用性設(shè)置中持久保存元數(shù)據(jù)

# high-availability.storageDir: hdfs:///flink/ha/


# zookeeper 集群中仲裁者的機(jī)器 ip 和 port 端口號

# high-availability.zookeeper.quorum: localhost:2181


# 默認(rèn)是 open，如果 zookeeper security 啟用了該值會更改成 creator

# high-availability.zookeeper.client.acl: open

HistoryServer配置

# 你可以通過 bin/historyserver.sh (start|stop) 命令啟動和關(guān)閉 HistoryServer


# 將已完成的作業(yè)上傳到的目錄

# jobmanager.archive.fs.dir: hdfs:///completed-jobs/


# 基于 Web 的 HistoryServer 的地址

# historyserver.web.address: 0.0.0.0


# 基于 Web 的 HistoryServer 的端口號

# historyserver.web.port: 8082


# 以逗號分隔的目錄列表，用于監(jiān)視已完成的作業(yè)

# historyserver.archive.fs.dir: hdfs:///completed-jobs/


# 刷新受監(jiān)控目錄的時間間隔（以毫秒為單位）

# historyserver.archive.fs.refresh-interval: 10000

其他高級配置

# io.tmp.dirs: /tmp


# 是否應(yīng)在 TaskManager 啟動時預(yù)先分配 TaskManager 管理的內(nèi)存

# taskmanager.memory.preallocate: false


# 類加載解析順序，是先檢查用戶代碼 jar（“child-first”）還是應(yīng)用程序類路徑（“parent-first”）。 默認(rèn)設(shè)置指示首先從用戶代碼 jar 加載類

# classloader.resolve-order: child-first



# 用于網(wǎng)絡(luò)緩沖區(qū)的 JVM 內(nèi)存的分?jǐn)?shù)。 這決定了 TaskManager 可以同時擁有多少流數(shù)據(jù)交換通道以及通道緩沖的程度。 如果作業(yè)被拒絕或者您收到系統(tǒng)沒有足夠緩沖區(qū)的警告，請?jiān)黾哟酥祷蛳旅娴淖钚?最大值。 另請注意，“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能會覆蓋此分?jǐn)?shù)


# taskmanager.network.memory.fraction: 0.1

# taskmanager.network.memory.min: 67108864

# taskmanager.network.memory.max: 1073741824

集群安全配置

# 指示是否從 Kerberos ticket 緩存中讀取

# security.kerberos.login.use-ticket-cache: true


# 包含用戶憑據(jù)的 Kerberos 密鑰表文件的絕對路徑

# security.kerberos.login.keytab: /path/to/kerberos/keytab


# 與 keytab 關(guān)聯(lián)的 Kerberos 主體名稱

# security.kerberos.login.principal: flink-user


# 以逗號分隔的登錄上下文列表，用于提供 Kerberos 憑據(jù)（例如，`Client，KafkaClient`使用憑證進(jìn)行 ZooKeeper 身份驗(yàn)證和 Kafka 身份驗(yàn)證）

# security.kerberos.login.contexts: Client,KafkaClient

日志文件配置

相關(guān)文件文章來源地址http://www.zghlxwxcb.cn/news/detail-653109.html

log4j-cli.properties

log4j-console.properties

log4j-yarn-session.properties

log4j.properties

logback-console.xml

logback-yarn.xml

logback.xml

到了這里，關(guān)于flink配置參數(shù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！