国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink的Standalone集群部署

這篇具有很好參考價(jià)值的文章主要介紹了Flink的Standalone集群部署。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

在上篇進(jìn)行單機(jī)的Standalone部署-Flink的Standalone部署實(shí)戰(zhàn),本篇介紹Flink的Standalone集群部署。
Flink集群為主從架構(gòu),主是JobManager,從為TaskManager,支持一主多從。
本次搭建環(huán)境為3臺(tái)機(jī)器,信息如下表所示。

IP 服務(wù) 描述
192.168. 184.37 JobManager、TaskManager
192.168. 184.30 TaskManager
192.168. 184.41 TaskManager
一、Flink環(huán)境搭建安裝

安裝過程與上期介紹的一致,下載-解壓-配置環(huán)境變量。

第一步、下載或直接從主服務(wù)器上拷貝或者命令復(fù)制

主要可通過兩種方式
方式一、在從服務(wù)器,分別用 wget命令 直接下載并解壓到指定的目錄下;
方式二、scp命令,直接從主服務(wù)器上復(fù)制flink整個(gè)文件到從服務(wù)器指定目錄。
注意: 加上 -r 參數(shù),表示復(fù)制整個(gè)目錄的文件。

// 方式一、wget下載
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下創(chuàng)建文件夾
mkdir /opt/flink
// 解壓到opt下目錄
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/
// 方式二、scp 服務(wù)器間復(fù)制文件,-r 復(fù)制文件目錄
scp -r /opt/flink/* root@192.168.184.130:/opt/flink/
第二步、修改環(huán)境變量

進(jìn)入環(huán)境變量配置文件profile, 即 vi /etc/profile,添加以下內(nèi)容。

#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 將flink路徑添加到PATH路徑下
export PATH=$PATH:$Flink_HOME/bin

:wq 保存配置信息,主要要刷新環(huán)境變量。

// 刷新環(huán)境變量
source /etc/profile
// 查看安裝位置
which flink
// 進(jìn)入到bin目錄下,啟動(dòng)
start-cluster.sh
// 查看flink進(jìn)程
ps -ef | grep flink
// 測(cè)試
jps
第三步、集群配置

修改三個(gè)文件
flink-conf.yaml
masters
works
1)修改 flink-conf.yaml 配置文件
執(zhí)行 vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml命令,編輯 flink-conf.yaml 配置文件。

jobmanager.rpc.address:192.168.184.137
// 端口
jobmanager.rpc.port: 6123

// 放開注釋
rest.port:8081
rest.address:192.168.184.137

修改 JobManager
Flink的Standalone集群部署,flink,大數(shù)據(jù)
修改 rest
Flink的Standalone集群部署,flink,大數(shù)據(jù)
2)修改 masters 配置文件
執(zhí)行 vi /opt/flink/flink-1.14.3/conf/masters,編輯masters配置文件。

// 設(shè)置主
192.168.184.137:8081

修改內(nèi)容如下圖所示。
Flink的Standalone集群部署,flink,大數(shù)據(jù)
3)修改 works 配置文件
執(zhí)行 vi /opt/flink/flink-1.14.3/conf/masters,修改works 配置文件。
添加集群配置信息

192.168.184.137
192.168.184.130
192.168.184.141

添加結(jié)果如下所示。
Flink的Standalone集群部署,flink,大數(shù)據(jù)
分發(fā)到其他服務(wù)器

// 分發(fā)目錄到第一臺(tái)從服務(wù)器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.130:/opt/
// 分發(fā)目錄到第二臺(tái)從服務(wù)器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.141:/opt/
// 分發(fā)環(huán)境變量到第一臺(tái)從服務(wù)器
scp -r /etc/profile 192.168.184.130:/etc/
// 分發(fā)環(huán)境變量到第二臺(tái)從服務(wù)器
scp -r /etc/profile 192.168.184.141:/etc/

分別登錄到兩臺(tái)從服務(wù)器,執(zhí)行以下命令, 刷新環(huán)境變量

// 刷新環(huán)境變量
source /etc/profile

在主服務(wù)器上啟動(dòng)

// 進(jìn)入bin目錄下啟動(dòng)
start-clusert.sh
第四步、瀏覽器訪問

在瀏覽器訪問 http://192.168.184.137:8081/#/overview,即可訪問。
Flink的Standalone集群部署,flink,大數(shù)據(jù)

異常處理

【1】啟動(dòng)報(bào)錯(cuò)
報(bào)錯(cuò):-bash: start-cluster.sh: 未找到命令
處理方案:yum install bash
Flink的Standalone集群部署,flink,大數(shù)據(jù)
如還未解決,則執(zhí)行 ./start-cluster.sh 來啟動(dòng)。文章來源地址http://www.zghlxwxcb.cn/news/detail-669374.html

到了這里,關(guān)于Flink的Standalone集群部署的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Flink1.14 Standalone獨(dú)立集群模式安裝

    Flink1.14 Standalone獨(dú)立集群模式安裝

    一、下載 在Flink 官網(wǎng)下載Flink 1.14,完整的安裝包名是:flink-1.14.4-bin-scala_2.11.tgz。 二、master 配置 解壓安裝包,編輯conf/flink-conf.yaml文件: jobmanager.rpc.address 為master機(jī)器的IP,也可以是master的機(jī)器名;taskmanager.numberOfTaskSlots 為在master上運(yùn)行幾個(gè)taskslots,可以根據(jù)機(jī)器的配置來確

    2023年04月18日
    瀏覽(28)
  • Flink的Standalone部署實(shí)戰(zhàn)

    Flink的Standalone部署實(shí)戰(zhàn)

    在Flink是通用的框架,以混合和匹配的方式支持部署不同場(chǎng)景,而Standalone單機(jī)部署方便快速部署,記錄本地部署過程,方便備查。 環(huán)境要求 1)JDK1.8及以上 2)flink-1.14.3 3)CentOS7 Flink相關(guān)信息可到 Flink官網(wǎng)下載和查看相關(guān)信息。 第一步、下載并解壓 推薦使用 wget 方式,本次選

    2024年02月12日
    瀏覽(27)
  • 大數(shù)據(jù)Flink(五十六):Standalone偽分布環(huán)境(開發(fā)測(cè)試)

    大數(shù)據(jù)Flink(五十六):Standalone偽分布環(huán)境(開發(fā)測(cè)試)

    文章目錄 Standalone偽分布環(huán)境(開發(fā)測(cè)試) 一、架構(gòu)圖 二、環(huán)境準(zhǔn)備

    2024年02月13日
    瀏覽(19)
  • Flink(二)1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    Flink(二)1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年02月16日
    瀏覽(29)
  • 2、Flink1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    2、Flink1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務(wù)方式(前兩種及session和per-job)驗(yàn)證詳細(xì)步驟

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識(shí)點(diǎn),并輔以具體的示例進(jìn)行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎(chǔ)內(nèi)容。 2、Flink基礎(chǔ)系列 本部分介紹Flink 的基礎(chǔ)部分,比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年02月05日
    瀏覽(23)
  • 【Flink系列】部署篇(一):Flink集群部署

    【Flink系列】部署篇(一):Flink集群部署

    主要回答以下問題: Flink集群是由哪些組件組成的?它們彼此之間如何協(xié)調(diào)工作的? 在Flink中job, task, slots,parallelism是什么意思?集群中的資源是如何調(diào)度和分配的? 如何搭建一個(gè)Flink集群?如何配置高可用服務(wù)?如何使用外部文件系統(tǒng)? Flink的核心組件包含客戶端,jobmanag

    2023年04月09日
    瀏覽(30)
  • 【Flink】1.Flink集群部署

    【Flink】1.Flink集群部署

    Flink可以部署于各種各樣的集群之中,比如Flink自己的standalone集群(不依賴于其他資源調(diào)度框架,是Flink自帶的),flink on yarn集群等。而不管是standalone還是flink on yarn都屬于集群,還有一種特殊的單機(jī)flink——local。 Flink真正用來做執(zhí)行操作的叫做worker,進(jìn)程在不同的環(huán)境模式

    2024年02月13日
    瀏覽(22)
  • 【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 運(yùn)行模式

    【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 運(yùn)行模式

    集群規(guī)劃: 具體安裝部署步驟如下: 1、下載并解壓安裝包 (1)下載安裝包 flink-1.17.0-bin-scala_2.12.tgz,將該 jar 包上傳到 hadoop102 節(jié)點(diǎn)服務(wù)器的 /opt/software 路徑上。 (2)在 /opt/software 路徑上解壓 flink-1.17.0-bin-scala_2.12.tgz 到 /opt/module 路徑上。 2、修改集群配置 (1)進(jìn)入 conf 路

    2024年01月18日
    瀏覽(38)
  • Flink-----Standalone會(huì)話模式作業(yè)提交流程

    1.Flink的Slot特點(diǎn): 均分隔離內(nèi)存,不隔離CPU 可以共享: 同一個(gè)job中,不同算子的子任務(wù)才可以共享同一個(gè)slot,同時(shí)在運(yùn)行的前提是,屬于同一個(gè)slot共享組,默認(rèn)都是“default” 2.Slot的數(shù)量 與 并行度 的關(guān)系 slot 是一種靜態(tài)的概念,表示最大的并發(fā)上線 并行度是個(gè)動(dòng)態(tài)的概念

    2024年02月12日
    瀏覽(25)
  • Flink 集群部署模式

    Flink 集群部署模式

    Flink支持多種集群部署模式,以滿足不同場(chǎng)景和需求。以下是Flink的主要集群部署模式: 會(huì)話模式(Session Mode) : 在會(huì)話模式下,用戶首先啟動(dòng)一個(gè)長期運(yùn)行的Flink集群,然后在這個(gè)會(huì)話中提交多個(gè)作業(yè)。 集群資源在啟動(dòng)時(shí)就已經(jīng)確定,提交的作業(yè)會(huì)競(jìng)爭(zhēng)集群中的資源,直到

    2024年03月19日
    瀏覽(35)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包