作者：禪與計(jì)算機(jī)程序設(shè)計(jì)藝術(shù)
1.簡(jiǎn)介
數(shù)據(jù)流是一個(gè)連續(xù)不斷的、產(chǎn)生、存儲(chǔ)和處理數(shù)據(jù)的過(guò)程。傳統(tǒng)上，數(shù)據(jù)流編程都是基于特定平臺(tái)（比如：消息隊(duì)列，數(shù)據(jù)倉(cāng)庫(kù)，事件溯源）的SDK或者API進(jìn)行開(kāi)發(fā)，但隨著云計(jì)算和容器技術(shù)的發(fā)展，越來(lái)越多的企業(yè)選擇使用開(kāi)源工具實(shí)現(xiàn)自己的大數(shù)據(jù)處理系統(tǒng)。其中Apache Flink和Apache Kafka這兩個(gè)開(kāi)源項(xiàng)目提供了豐富的數(shù)據(jù)處理能力。
本文將從Flink和Kafka的基本用法出發(fā)，通過(guò)一個(gè)案例來(lái)介紹如何利用這兩個(gè)框架構(gòu)建一個(gè)實(shí)時(shí)的數(shù)據(jù)流管道。閱讀本文后，讀者應(yīng)該能夠理解并掌握以下知識(shí)點(diǎn)：
- Flink與Kafka的特點(diǎn)及區(qū)別
- 數(shù)據(jù)流編程模型：時(shí)間復(fù)雜度分析和異步計(jì)算
- 用Flink實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理的基本流程
- 使用Flink進(jìn)行批量和流數(shù)據(jù)處理的案例
- 使用Kafka進(jìn)行消息發(fā)布和訂閱的基本用法
- 在Flink中如何消費(fèi)和持久化Kafka中的數(shù)據(jù)
- Flink的數(shù)據(jù)分發(fā)模型
- 擴(kuò)展閱讀
2.背景介紹
2.1 數(shù)據(jù)流模型
數(shù)據(jù)流模型在實(shí)際應(yīng)用中扮演著至關(guān)重要的角色。在過(guò)去的幾年里，數(shù)據(jù)流的研究已經(jīng)成為當(dāng)今領(lǐng)域的一個(gè)熱門(mén)話(huà)題。如今人們對(duì)數(shù)據(jù)處理效率和響應(yīng)速度都要求極高，因此需要對(duì)數(shù)據(jù)流進(jìn)行更精細(xì)的管理，包括：文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-714616.html
- 消息傳遞延遲的控制
- 流量控制
- 錯(cuò)誤恢復(fù)
- 動(dòng)態(tài)水平縮放
為了實(shí)現(xiàn)這些目標(biāo)，數(shù)據(jù)流編程語(yǔ)言（DSL）逐漸成熟，其主要特征有：文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-714616.html
- 提供了對(duì)數(shù)據(jù)流圖的定義
- 通過(guò)異步計(jì)算提高吞吐量<
到了這里，關(guān)于2 Data Streaming Pipelines With Flink and Kafka的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
