作者:禪與計算機程序設(shè)計藝術(shù)文章來源:http://www.zghlxwxcb.cn/news/detail-744532.html
1.簡介
2017年4月,Apache 基金會宣布開源 Apache Flink,它是一個分布式計算框架,可以有效地進行流處理、批處理、機器學(xué)習(xí)、圖處理等多種應(yīng)用場景的數(shù)據(jù)分析工作。它的架構(gòu)和功能都是在快速發(fā)展中,相信隨著云計算和大數(shù)據(jù)領(lǐng)域的蓬勃發(fā)展,F(xiàn)link 將成為繼 Hadoop MapReduce、Storm 更加值得關(guān)注的計算引擎之一。然而,當(dāng) Flink 剛推出時,很多公司和開發(fā)者都認(rèn)為它是一個華而不實的產(chǎn)物,甚至聲稱它只是 Kafka 或 Storm 的改良版本。本文將詳細(xì)闡述 Flink 的理論基礎(chǔ)、使用方式、架構(gòu)設(shè)計及其未來的發(fā)展方向。文章來源地址http://www.zghlxwxcb.cn/news/detail-744532.html
2.基本概念術(shù)語說明
- 定義與簡介
- Flink 是什么?
Flink 是由 Apache 基金會發(fā)起的一個開源的分布式計算框架。它提供一個支持流處理、批處理、機器學(xué)習(xí)、圖處理等多種應(yīng)用場景的數(shù)據(jù)分析工作的分布式環(huán)境。它最初由 Storm 發(fā)明,2015 年貢獻給了 Apache 基金會。目前,Apache Flink 在 GitHub 上已經(jīng)超過了 3萬個 star,同時也在國內(nèi)得到廣泛關(guān)注。 - Flink 架構(gòu)與特點
Flink 的架構(gòu)分為 JobManager 和 TaskManager 兩大模塊。JobManager 是任務(wù)調(diào)度器,負(fù)責(zé)接收用戶提交的作業(yè)并分配到各個節(jié)點上執(zhí)行。TaskManager 是運行在每個節(jié)點上的獨立進程,負(fù)責(zé)接收 JobManager 分配的任務(wù)并執(zhí)行。在此基礎(chǔ)上,F(xiàn)link 提供豐富的 API 來實現(xiàn)各種高級特性,比如窗口計算、狀態(tài)管理、流處理、批處理、機器學(xué)習(xí)等。
Flink 的主要特點如下: - 支持高吞吐量和低延遲的事件驅(qū)動型流處理:基于
到了這里,關(guān)于Flink 的理論基礎(chǔ)、使用方式、架構(gòu)設(shè)計及其未來的發(fā)展方向的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!