本文目錄
-
Checkpoints
-
State Backends
-
-
Savepoints
-
Checkpoints 與 Savepoints區(qū)別
Flink可以保證exactly once，與其容錯(cuò)機(jī)制checkpoint和savepoint分不開(kāi)的。本文主要講解兩者的機(jī)制與使用，同時(shí)會(huì)對(duì)比兩者的區(qū)別。
Checkpoints
Checkpoint 使 Flink 的狀態(tài)具有良好的容錯(cuò)性，通過(guò) checkpoint 機(jī)制，F(xiàn)link 可以對(duì)作業(yè)的狀態(tài)和計(jì)算位置進(jìn)行恢復(fù)。Flink 中的每個(gè)方法或算子都能夠是有狀態(tài)的，狀態(tài)化的方法在處理單個(gè) 元素/事件 的時(shí)候存儲(chǔ)數(shù)據(jù)，讓狀態(tài)成為使各個(gè)類(lèi)型的算子更加精細(xì)的重要部分。為了讓狀態(tài)容錯(cuò)，F(xiàn)link 需要為狀態(tài)添加 checkpoint（檢查點(diǎn)）。Checkpoint 使得 Flink 能夠恢復(fù)狀態(tài)和在流中的位置，從而向應(yīng)用提供和無(wú)故障執(zhí)行時(shí)一樣的語(yǔ)義。
Flink 的 checkpoint 機(jī)制會(huì)和持久化存儲(chǔ)進(jìn)行交互，讀寫(xiě)流與狀態(tài)。一般需要：
-
一個(gè)能夠回放一段時(shí)間內(nèi)數(shù)據(jù)的持久化數(shù)據(jù)源，例如持久化消息隊(duì)列（例如 Apache Kafka、RabbitMQ、 Amazon Kinesis、 Google PubSub 等）或文件系統(tǒng)（例如 HDFS、 S3、 GFS、 NFS、 Ceph 等）。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-775916.html
-
存放狀態(tài)的持久化存儲(chǔ)，通常為分布式文件系統(tǒng)（比如 HDFS、 S3、 GFS、 NFS、 Ceph 等）。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-775916.html
1.
到了這里，關(guān)于Flink狀態(tài)容錯(cuò)savepoint與checkpoint的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
