国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

flink1.13環(huán)境搭建

這篇具有很好參考價值的文章主要介紹了flink1.13環(huán)境搭建。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

1、本地啟動非集群模式

最簡單的啟動方式,其實是不搭建集群,直接本地啟動。本地部署非常簡單,直接解壓安裝包就可以使用,不用進(jìn)行任何配置;一般用來做一些簡單的測試。
具體安裝步驟如下:

1.1 下載安裝包

進(jìn)入 Flink 官網(wǎng),下載 1.13.0 版本安裝包 flink-1.13.0-bin-scala_2.12.tgz,注意此處選用對
應(yīng) scala 版本為 scala 2.12 的安裝包。

1.2 解壓

在 node102 節(jié)點服務(wù)器上創(chuàng)建安裝目錄/app/apps/flink,將 flink 安裝包放在該目錄下,并
執(zhí)行解壓命令,解壓至當(dāng)前目錄。
$ tar -zxvf flink-1.13.0-bin-scala_2.12.tgz
……

1.3 配置文件

flink1.13環(huán)境搭建,Flink,flink

看到 masters文件內(nèi)容是localhost:8081,服務(wù)啟動之后通過此地址可訪問flink。
flink1.13環(huán)境搭建,Flink,flink

workers文件內(nèi)容是localhost,表示單節(jié)點啟動。

1.4 啟動

進(jìn)入解壓后的目錄,執(zhí)行啟動命令,并查看進(jìn)程。
$ cd flink-1.13.0/
$ bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host node102.
Starting taskexecutor daemon on host node102.
$ jps
10369 StandaloneSessionClusterEntrypoint
10680 TaskManagerRunner
10717 Jps

1.5 訪問 Web UI

啟動成功后,訪問 http://192.168.137.102:8081,可以對 flink 集群和任務(wù)進(jìn)行監(jiān)控管理,如圖 3-2
所示。

2、集群搭建(會話模式)

Flink 本地啟動非常簡單,直接執(zhí)行 start-cluster.sh 就可以了。如果我們想要擴(kuò)展成集群,其實啟動命令是不變的,主要是需要指定節(jié)點之間的主從關(guān)系。
Flink 是典型的 Master-Slave 架構(gòu)的分布式數(shù)據(jù)處理框架,其中 Master 角色對應(yīng)著JobManager,Slave 角色則對應(yīng) TaskManager。我們對三臺節(jié)點服務(wù)器的角色分配如下表所示。

節(jié)點服務(wù)器 192.168.137.102 192.168.137.103 192.168.137.104
角色 JobManager TaskManager TaskManager

所以需要在另外兩個節(jié)點上也安裝flink。

2.1 下載并解壓安裝包

具體操作與上節(jié)相同。

2.2 修改集群配置

(1)進(jìn)入 conf 目錄下,修改 flink-conf.yaml 文件,修改 jobmanager.rpc.address 參數(shù)為
192.168.137.102,如下所示:

$ cd conf/
$ vim flink-conf.yaml

# JobManager 節(jié)點地址 修改為如下內(nèi)容
jobmanager.rpc.address: 192.168.137.102

這就指定了 192.168.137.102 節(jié)點服務(wù)器為 JobManager 節(jié)點。
(2)修改 workers 文件,將另外兩臺節(jié)點服務(wù)器添加為本 Flink 集群的 TaskManager 節(jié)點,具體修改如下:

$ vim workers 

192.168.137.103
192.168.137.104

這樣就指定了 192.168.137.103192.168.137.104 為 TaskManager 節(jié)點。

(3)另外,在 flink-conf.yaml 文件中還可以對集群中的 JobManager 和 TaskManager 組件進(jìn)行優(yōu)化配置,主要配置項如下:

  • jobmanager.memory.process.size:對 JobManager 進(jìn)程可使用到的全部內(nèi)存進(jìn)行配置,包括JVM元空間和其他開銷,默認(rèn)為 1600M,可以根據(jù)集群規(guī)模進(jìn)行適當(dāng)調(diào)整。
  • taskmanager.memory.process.size:對 TaskManager 進(jìn)程可使用到的全部內(nèi)存進(jìn)行配置,包括JVM 元空間和其他開銷,默認(rèn)為 1600M,可以根據(jù)集群規(guī)模進(jìn)行適當(dāng)調(diào)整。
  • taskmanager.numberOfTaskSlots:對每個 TaskManager 能夠分配的 Slot 數(shù)量進(jìn)行配置,默認(rèn)為 1,可根據(jù) TaskManager 所在的機(jī)器能夠提供給 Flink 的 CPU 數(shù)量決定。所謂Slot 就是TaskManager 中具體運(yùn)行一個任務(wù)所分配的計算資源。
  • parallelism.default:Flink 任務(wù)執(zhí)行的默認(rèn)并行度,優(yōu)先級低于代碼中進(jìn)行的并行度配
    置和任務(wù)提交時使用參數(shù)指定的并行度數(shù)量。

2.3 分發(fā)安裝目錄

配置修改完畢后,將 Flink 安裝目錄發(fā)給另外兩個節(jié)點服務(wù)器。

./xsync.sh /app/apps/flink-1.13.0/ node103
./xsync.sh /app/apps/flink-1.13.0/ node104

2.4 啟動集群

(1)在 node102 節(jié)點服務(wù)器上執(zhí)行 start-cluster.sh 啟動 Flink 集群:

$ bin/start-cluster.sh 

# 輸出內(nèi)容
Starting cluster.
Starting standalonesession daemon on host hadoop102.
Starting taskexecutor daemon on host hadoop103.
Starting taskexecutor daemon on host hadoop104.

(2)查看進(jìn)程情況:文章來源地址http://www.zghlxwxcb.cn/news/detail-814529.html

[root@node102 flink-1.13.0]$ jps
13859 Jps
13782 StandaloneSessionClusterEntrypoint

[root@node103 flink-1.13.0]$ jps
12215 Jps
32
33
12124 TaskManagerRunner

[root@node104 flink-1.13.0]$ jps
11602 TaskManagerRunner
11694 Jps

2.5 關(guān)閉集群

/app/apps/flink-1.13.0/bin/stop-cluster.sh 

到了這里,關(guān)于flink1.13環(huán)境搭建的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • flink1.17安裝

    官網(wǎng)地址: https://nightlies.apache.org/flink/flink-docs-release-1.17/zh//docs/try-flink/local_installation/ ps:只能安裝openjdk11,昨天安裝的oracle jdk17,結(jié)果怎么也運(yùn)行不起來。 創(chuàng)建安裝的目錄,我是安裝在/opt/software下,可以自己選擇 web地址 :http://localhost:8081/ 查看

    2024年02月07日
    瀏覽(48)
  • 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】

    尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】

    尚硅谷大數(shù)據(jù)技術(shù)-教程-學(xué)習(xí)路線-筆記匯總表【課程資料下載】 視頻地址:尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程從入門到精通_嗶哩嗶哩_bilibili 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】 尚硅谷大數(shù)據(jù)Flink1.17實

    2024年02月09日
    瀏覽(51)
  • Python 編寫 Flink 應(yīng)用程序經(jīng)驗記錄(Flink1.17.1)

    Python 編寫 Flink 應(yīng)用程序經(jīng)驗記錄(Flink1.17.1)

    目錄 官方API文檔 提交作業(yè)到集群運(yùn)行 官方示例 環(huán)境 編寫一個 Flink Python Table API 程序 執(zhí)行一個 Flink Python Table API 程序 實例處理Kafka后入庫到Mysql 下載依賴 flink-kafka jar 讀取kafka數(shù)據(jù) 寫入mysql數(shù)據(jù) flink-mysql jar https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/python/overview/

    2024年02月08日
    瀏覽(22)
  • 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】

    尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】

    尚硅谷大數(shù)據(jù)技術(shù)-教程-學(xué)習(xí)路線-筆記匯總表【課程資料下載】 視頻地址:尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程從入門到精通_嗶哩嗶哩_bilibili 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】 尚硅谷大數(shù)據(jù)Flink1.17實

    2024年02月11日
    瀏覽(31)
  • Flink1.17版本安裝部署

    提示:這里可以添加本文要記錄的大概內(nèi)容: 隨著實時計算需求場景的增加,對計算引擎的實時計算要求也越來越高,而在實時計算方面表現(xiàn)優(yōu)秀的當(dāng)屬flink,計算引擎從第一代mapreduce到第二代的Tez,再到第三代計算引擎spark、第四代計算引擎則是后來者flink,雖然spark也支持

    2024年02月02日
    瀏覽(29)
  • Flink1.17 基礎(chǔ)知識

    Flink1.17 基礎(chǔ)知識

    來源:B站尚硅谷 Flink 概述 Flink 是什么 Flink的核心目標(biāo)是“ 數(shù)據(jù)流上的有狀態(tài)計算 ” (Stateful Computations over Data Streams)。 具體來說:Apache Flink是一個 框架式和分布式處理引擎 ,用于對無界和有界數(shù)據(jù)流進(jìn)行有 狀態(tài)計算 。 Flink特點 處理數(shù)據(jù)的目標(biāo)是: 低延遲、高吞吐、結(jié)

    2024年01月25日
    瀏覽(24)
  • CDH整合Flink(CDH6.3.0+Flink1.12.1)

    CDH整合Flink(CDH6.3.0+Flink1.12.1)

    下載 準(zhǔn)備FLINK1.12.1包 準(zhǔn)備paecel環(huán)境 修改配置文件 執(zhí)行這部分操作需要稍等一會,打包結(jié)束后執(zhí)行另外一個操作 生成這倆包為:FLINK-1.12.1-BIN-SCALA_2.12.tar FLINK_ON_YARN-1.12.1.jar 由于Flink1.12版本編譯后確實沒有flink-shaded-hadoop-2-uber 3.0.0-cdh6.3.0-10.0文件,但是flink-shaded-10.0也適配flink

    2024年01月23日
    瀏覽(24)
  • flink1.14 sql基礎(chǔ)語法(一) flink sql表查詢詳解

    flink1.14 sql基礎(chǔ)語法(一) flink sql表查詢詳解

    語法示例: flink從1.13開始,提供了時間窗口聚合計算的TVF語法。 表值函數(shù)的使用約束: (1)在窗口上做 分組聚合 ,必須帶上window_start 和 window_end 作為分組的key; (2)在窗口上做 topn計算 ,必須帶上window_start 和 window_end 作為partition的key; (3)帶條件的 join ,必須包含

    2024年02月06日
    瀏覽(23)
  • flink1.14 sql基礎(chǔ)語法(二) flink sql表定義詳解

    flink1.14 sql基礎(chǔ)語法(二) flink sql表定義詳解

    每一個表的標(biāo)識由 3 部分組成: catalog name (常用于標(biāo)識不同的“源”,比如 hive catalog,inner catalog 等) database name(通常語義中的“庫”) table name (通常語義中的“表”) 1個flinksql程序在運(yùn)行時,tableEnvironment 通過持有一個 map 結(jié)構(gòu)來記錄所注冊的 catalog; Flinksql中的表,可以是 vi

    2024年02月14日
    瀏覽(22)
  • Flink1.17.0數(shù)據(jù)流

    Flink1.17.0數(shù)據(jù)流

    官網(wǎng)介紹 Apache Flink 是一個框架和分布式處理引擎,用于對無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計算。Flink 被設(shè)計為在所有常見的集群環(huán)境中運(yùn)行,以內(nèi)存中的速度和任何規(guī)模執(zhí)行計算。 1.無限流有一個開始,但沒有定義的結(jié)束。它們不會在生成數(shù)據(jù)時終止并提供數(shù)據(jù)。必須連續(xù)處

    2024年02月11日
    瀏覽(26)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包