Apache Flink的數(shù)據(jù)流編程模型在有限和無限數(shù)據(jù)集上提供單次事件(event-at-a-time)處理。在基礎層面,F(xiàn)link程序由流和轉換組成。
Apache Flink的API:有界或無界數(shù)據(jù)流的數(shù)據(jù)流API、用于有界數(shù)據(jù)集的數(shù)據(jù)集API、表API。 [3]
數(shù)據(jù)流的運行流程
Flink程序在執(zhí)行后被映射到流數(shù)據(jù)流,每個Flink數(shù)據(jù)流以一個或多個源(數(shù)據(jù)輸入,例如消息隊列或文件系統(tǒng))開始,并以一個或多個接收器(數(shù)據(jù)輸出,如消息隊列、文件系統(tǒng)或數(shù)據(jù)庫等)結束。Flink可以對流執(zhí)行任意數(shù)量的變換,這些流可以被編排為有向無環(huán)數(shù)據(jù)流圖,允許應用程序分支和合并數(shù)據(jù)流。
Flink的數(shù)據(jù)源和接收器
Flink提供現(xiàn)成的源和接收連接器,包括Apache Kafka、Amazon Kinesis、HDFS和Apache Cassandra等。
Flink程序可以作為集群內(nèi)的分布式系統(tǒng)運行,也可以以獨立模式或在YARN、Mesos、基于Docker的環(huán)境和其他資源管理框架下進行部署。
1、在服務器創(chuàng)建/data/flink目錄
mkdir -p /data/flink
2、docker-compose.yml腳本創(chuàng)建
vim /data/flink/docker-compose.yml
version: "2.1"
services:
jobmanager:
image: flink:1.14
expose:
- "6123"
ports:
- "8081:8081"
command: jobmanager
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager:
image: flink:1.14
expose:
- "6121"
- "6122"
depends_on:
- jobmanager
command: taskmanager
links:
- "jobmanager:jobmanager"
environment:
- JOB_MANAGER_RPC_ADDRESS=jobmanager
3、啟動flink
(1)后臺運行 一 > 一般推薦生產(chǎn)環(huán)境下使用該選項。文章來源:http://www.zghlxwxcb.cn/news/detail-474356.html
docker-compose up -d
(2)前臺運行 一 > 控制臺將會同時打印所有容器的輸出信息,可以很方便進行調(diào)試。文章來源地址http://www.zghlxwxcb.cn/news/detail-474356.html
docker-compose up
4、瀏覽器上查看頁面dashboard
http://IP:8081
到了這里,關于【云原生】Docker-compose部署flink的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!