国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Flink的Standalone部署實戰(zhàn)

這篇具有很好參考價值的文章主要介紹了Flink的Standalone部署實戰(zhàn)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

在Flink是通用的框架,以混合和匹配的方式支持部署不同場景,而Standalone單機部署方便快速部署,記錄本地部署過程,方便備查。

環(huán)境要求

1)JDK1.8及以上
2)flink-1.14.3
3)CentOS7

Flink相關(guān)信息可到 Flink官網(wǎng)下載和查看相關(guān)信息。

第一步、下載并解壓

推薦使用 wget 方式,本次選擇的是版本 flink-1.14.3-bin-scala_2.12.tgz,下載并解壓,執(zhí)行以下命令。

// 下載
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下創(chuàng)建文件夾
mkdir /opt/flink
// 解壓到opt下目錄
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/

下載界面如下圖所示。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

第二步、配置環(huán)境變量

進入環(huán)境變量配置文件profile, 即 vi /etc/profile,添加以下內(nèi)容。

#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 將flink路徑添加到PATH路徑下
export PATH=$JMETER/bin/:$PATH:$Flink_HOME/bin

:wq 保存配置信息,主要要刷新環(huán)境變量。

// 刷新環(huán)境變量
source /etc/profile
// 查看安裝位置
which flink
// 進入到bin目錄下,啟動
start-cluster.sh
// 查看flink進程
ps -ef | grep flink
// 測試
jps

執(zhí)行以上步驟,則表示flink已經(jīng)啟動成功,執(zhí)行結(jié)果如下圖所示。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)
但此時在瀏覽器訪問 http://192.168.184.137:8081/#/overview,其中 192.168.184.137為虛擬機的IP地址,還無法進入flink控制臺。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

第三步、修改虛擬機配置

此時仍需要修改連接的配置信息,首先關(guān)閉flink服務,并在 配置 flink-conf.yaml 放開默認8081端口和綁定的地址。

// 在bin目錄下,終止flink啟動
stop-cluster.sh
// 打開配置文件
vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml 

放開注釋信息,如下圖所示。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)
注意:必須將端口添加到防火墻的信任列表,并刷新。

// 添加防火墻
firewall-cmd --zone=public --add-port=8081/tcp --permanent
firewall-cmd --reload

此時瀏覽器再次訪問 http://192.168.184.137:8081/#/overview,即可進入控制臺,如下圖所示。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

第四步、啟動作業(yè)流

數(shù)據(jù)輸入需要使用 nc 命令,可提前yum安裝。

// 安裝nc
yum install nc

一步步安裝即可。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

打開兩個xshell連接

第一個連接
作用是發(fā)送流數(shù)據(jù)

// nc命令,端口9999
nc -l 9999

執(zhí)行完命令后,輸入要傳遞的數(shù)據(jù)。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

第二個連接
作用是接收和處理數(shù)據(jù)
flink目錄下有example 測試demo,flink run 即可啟動,注意端口保持一致。

flink run /opt/flink/flink-1.14.3/examples/streaming//SocketWindowWordCount.jar --port 9999

將Job任務提交運行,可在控制臺查詢執(zhí)行結(jié)果。
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

以上即Flink的Standalone部署過程,有問題可留言交流!

異常處理

【1】錯誤信息
org.apache.flink.util.FlinkException: TaskExecutor akka.tcp://flink@192.168.184.137:34207/user/rpc/taskmanager_0 has no more allocated slots for job 8aa6239dce488f7b9a9bb237343871a6.
處理方案
standalone模式,需要指定TaskManager主機的地址

【2】啟動提示輸入密碼

root@localhost’s password:
處理方案一、免密登錄
生成并上傳公鑰,可免密登錄。

// 生成密鑰,會在 .ssh 目錄下生成密鑰文件
ssh-keygen
// 上傳公鑰
ssh-copy-id -i /$USER/.ssh/id_rsa.pub $USER@本機ip

Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

處理方案二,密碼登錄
如忘記密碼,可用root重置密碼,命令為 passwd 賬戶名
Flink的Standalone部署實戰(zhàn),flink,大數(shù)據(jù)

參考博客

【1】https://blog.csdn.net/zou79189747/article/details/107255299文章來源地址http://www.zghlxwxcb.cn/news/detail-662082.html

到了這里,關(guān)于Flink的Standalone部署實戰(zhàn)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務器費用

相關(guān)文章

  • 2、Flink1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務方式(前兩種及session和per-job)驗證詳細步驟

    2、Flink1.13.5二種部署方式(Standalone、Standalone HA )、四種提交任務方式(前兩種及session和per-job)驗證詳細步驟

    一、Flink 專欄 Flink 專欄系統(tǒng)介紹某一知識點,并輔以具體的示例進行說明。 1、Flink 部署系列 本部分介紹Flink的部署、配置相關(guān)基礎內(nèi)容。 2、Flink基礎系列 本部分介紹Flink 的基礎部分,比如術(shù)語、架構(gòu)、編程模型、編程指南、基本的datastream api用法、四大基石等內(nèi)容。 3、

    2024年02月05日
    瀏覽(23)
  • 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】

    尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】

    尚硅谷大數(shù)據(jù)技術(shù)-教程-學習路線-筆記匯總表【課程資料下載】 視頻地址:尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程從入門到精通_嗶哩嗶哩_bilibili 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】 尚硅谷大數(shù)據(jù)Flink1.17實

    2024年02月11日
    瀏覽(31)
  • 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【部署】

    尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【部署】

    尚硅谷大數(shù)據(jù)技術(shù)-教程-學習路線-筆記匯總表【課程資料下載】 視頻地址:尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程從入門到精通_嗶哩嗶哩_bilibili 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】 尚硅谷大數(shù)據(jù)Flink1.17實

    2024年02月09日
    瀏覽(19)
  • 深入理解 Flink(五)Flink Standalone 集群啟動源碼剖析

    深入理解 Flink(五)Flink Standalone 集群啟動源碼剖析

    深入理解 Flink 系列文章已完結(jié),總共八篇文章,直達鏈接: 深入理解 Flink (一)Flink 架構(gòu)設計原理 深入理解 Flink (二)Flink StateBackend 和 Checkpoint 容錯深入分析 深入理解 Flink (三)Flink 內(nèi)核基礎設施源碼級原理詳解 深入理解 Flink (四)Flink Time+WaterMark+Window 深入分析 深入

    2024年02月02日
    瀏覽(32)
  • Flink集群運行模式--Standalone運行模式

    Flink集群運行模式--Standalone運行模式

    ?申明: 未經(jīng)許可,禁止以任何形式轉(zhuǎn)載,若要引用,請標注鏈接地址。 全文共計2391字,閱讀大概需要3分鐘 ??更多學習內(nèi)容, 歡迎??關(guān)注??【文末】我的個人微信公眾號:不懂開發(fā)的程序猿 個人網(wǎng)站:https://jerry-jy.co/ 掌握Standalone集群搭建的過程。 掌握Flink的三種部署

    2024年02月15日
    瀏覽(25)
  • Flink-----Standalone會話模式作業(yè)提交流程

    1.Flink的Slot特點: 均分隔離內(nèi)存,不隔離CPU 可以共享: 同一個job中,不同算子的子任務才可以共享同一個slot,同時在運行的前提是,屬于同一個slot共享組,默認都是“default” 2.Slot的數(shù)量 與 并行度 的關(guān)系 slot 是一種靜態(tài)的概念,表示最大的并發(fā)上線 并行度是個動態(tài)的概念

    2024年02月12日
    瀏覽(24)
  • Flink1.14 Standalone獨立集群模式安裝

    Flink1.14 Standalone獨立集群模式安裝

    一、下載 在Flink 官網(wǎng)下載Flink 1.14,完整的安裝包名是:flink-1.14.4-bin-scala_2.11.tgz。 二、master 配置 解壓安裝包,編輯conf/flink-conf.yaml文件: jobmanager.rpc.address 為master機器的IP,也可以是master的機器名;taskmanager.numberOfTaskSlots 為在master上運行幾個taskslots,可以根據(jù)機器的配置來確

    2023年04月18日
    瀏覽(27)
  • Flink 本地單機/Standalone集群/YARN模式集群搭建

    Flink 本地單機/Standalone集群/YARN模式集群搭建

    本文簡述 Flink 在 Linux 中安裝步驟,和示例程序的運行。需要安裝 JDK1.8 及以上版本。 下載地址:下載 Flink 的二進制包 點進去后,選擇如下鏈接: 解壓 flink-1.10.1-bin-scala_2.12.tgz ,我這里解壓到 soft 目錄 解壓后進入 Flink 的 bin 目錄執(zhí)行如下腳本即可 進入 Flink 頁面看看,如果

    2024年02月05日
    瀏覽(26)
  • 【Flink系列】部署篇(三):Native k8s部署高可用Flink集群實戰(zhàn)

    上一篇博文介紹了如何獨立部署一個高可用的Flink集群,本篇介紹如何用Native k8s去部署高可用的Flink 集群。本篇介紹的集群構(gòu)建在AWS上,和構(gòu)建在自己的服務器相比,主要區(qū)別在文件系統(tǒng)的選擇和使用上。我選用的S3服務。 EC2操作系統(tǒng):centos7 本機操作系統(tǒng):Mac flink version: 1.

    2024年02月02日
    瀏覽(59)
  • 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】

    尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】

    尚硅谷大數(shù)據(jù)技術(shù)-教程-學習路線-筆記匯總表【課程資料下載】 視頻地址:尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程從入門到精通_嗶哩嗶哩_bilibili 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記01【Flink概述、Flink快速上手】 尚硅谷大數(shù)據(jù)Flink1.17實戰(zhàn)教程-筆記02【Flink部署】 尚硅谷大數(shù)據(jù)Flink1.17實

    2024年02月09日
    瀏覽(51)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包