基于Hadoop搭建Flink集群詳細(xì)步驟

2年前作者：雷神樂(lè)樂(lè)分類(lèi)：Toy博客閱讀(27)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了基于Hadoop搭建Flink集群詳細(xì)步驟。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1.xftp上傳flink壓縮包至hadoop102的/opt/software/目錄下

2.解壓flink壓縮包至/opt/module/目錄下

3. 配置flink-conf.yaml

4.配置masters

5.配置workers

6.配置環(huán)境變量my_env.sh

7.重啟環(huán)境變量

8.分發(fā)/opt/module/flink-1.13.0和/etc/profile.d/my_env.sh

9.另外兩臺(tái)重啟環(huán)境變量

10.開(kāi)啟hadoop集群和flink集群

11.瀏覽器輸入網(wǎng)址查驗(yàn)flink集群是否開(kāi)啟

12. 關(guān)閉flink集群命令

Hadoop集群搭建請(qǐng)參考博文《Hadoop集群搭建詳細(xì)步驟》

1.xftp上傳flink壓縮包至hadoop102的/opt/software/目錄下

基于Hadoop搭建Flink集群詳細(xì)步驟

2.解壓flink壓縮包至/opt/module/目錄下

[lxm@hadoop102 software]$ tar -zxvf ./flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/

基于Hadoop搭建Flink集群詳細(xì)步驟

3. 配置flink-conf.yaml

基于Hadoop搭建Flink集群詳細(xì)步驟

4.配置masters

基于Hadoop搭建Flink集群詳細(xì)步驟

5.配置workers

基于Hadoop搭建Flink集群詳細(xì)步驟

6.配置環(huán)境變量my_env.sh

基于Hadoop搭建Flink集群詳細(xì)步驟

7.重啟環(huán)境變量

[lxm@hadoop102 software]$ source /etc/profile

8.分發(fā)/opt/module/flink-1.13.0和/etc/profile.d/my_env.sh

[lxm@hadoop102 flink-1.13.0]$ xsync /opt/module/flink-1.13.0/

[lxm@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

9.另外兩臺(tái)重啟環(huán)境變量

重啟環(huán)境變量之前也可以查看是否分發(fā)成功

[lxm@hadoop103 ~]$ source /etc/profile

[lxm@hadoop104 ~]$ source /etc/profile

10.開(kāi)啟hadoop集群和flink集群

[lxm@hadoop102 ~]$ myhadoop.sh start

[lxm@hadoop102 ~]$ start-cluster.sh

[lxm@hadoop102 ~]$ jpsall

基于Hadoop搭建Flink集群詳細(xì)步驟 ?

11.瀏覽器輸入網(wǎng)址查驗(yàn)flink集群是否開(kāi)啟

http://hadoop102:8081

基于Hadoop搭建Flink集群詳細(xì)步驟文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-488579.html

12. 關(guān)閉flink集群命令

[lxm@hadoop102 ~]$ stop-cluster.sh

到了這里，關(guān)于基于Hadoop搭建Flink集群詳細(xì)步驟的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

hadoop偽分布模式搭建(詳細(xì)步驟）
一、前期準(zhǔn)備 1. 關(guān)閉防火墻 2. 安裝好JDK 3. 準(zhǔn)備hadoop安裝包二、安裝hadoop偽分布模式 1. 在home/hadoop/software/路徑下創(chuàng)建hadooptmp目錄 2. 解壓hadoop-3.3.0.tar.gz 3. ?進(jìn)入hadoop-3.3.0/etc/hadoop 4.? 編輯hadoop運(yùn)行是的環(huán)境 5.? 配置NameNode所在的主機(jī)或者通訊地址及NameNode格式化后的目錄的路徑
2023年04月08日
瀏覽(16)
Hadoop集群環(huán)境搭建（超詳細(xì)）
Oracle Linux 7.4 JDK 1.8 Hadoop 2.7.4 1.實(shí)驗(yàn)準(zhǔn)備三臺(tái)機(jī)器分別為master,slave1,slave2 2.單擊master機(jī)器桌面中的konsole圖標(biāo) 1.編輯/etc/hosts文件,出現(xiàn)如下界面 [Command 001]： 2.按i鍵，如下圖 3.第一行前面添加#，如下圖 4.按鍵ESC，按鍵:wq回車(chē)，保存退出。如下圖 5.切換到slave1機(jī)器，重復(fù)1~4步驟 6
2024年02月07日
瀏覽(38)
hadoop完全分布式集群搭建（超詳細(xì)）-大數(shù)據(jù)集群搭建
本次搭建完全分布式集群用到的環(huán)境有： jdk1.8.0 hadoop-2.7.7 本次搭建集群所需環(huán)境也給大家準(zhǔn)備了，下載鏈接地址：https://share.weiyun.com/dk7WgaVk 密碼：553ubk 本次完全分布式集群搭建需要提前建立好三臺(tái)虛擬機(jī)，我分別把它們的主機(jī)名命名為:master,slave1,slave2 一.配置免密登陸首先
2024年02月10日
瀏覽(29)
Hadoop大數(shù)據(jù)平臺(tái)搭建（超詳細(xì)步驟）
相關(guān)軟件下載鏈接： Xshell：家庭/學(xué)校免費(fèi) - NetSarang Website Xftp：家庭/學(xué)校免費(fèi) - NetSarang Website Xshell與Xftp官網(wǎng)：XSHELL - NetSarang Website Jdk：百度網(wǎng)盤(pán) 請(qǐng)輸入提取碼? 提取碼：jdhp Hadoop：百度網(wǎng)盤(pán) 請(qǐng)輸入提取碼? ?提取碼：jdhp 需要配置好的虛擬機(jī)與相關(guān)環(huán)境的，可以點(diǎn)擊我的這篇
2023年04月12日
瀏覽(20)
Hadoop集群搭建安裝教程（詳細(xì)完整）
大數(shù)據(jù) ：最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫，大數(shù)據(jù)是當(dāng)前很熱的一個(gè)詞。這幾年來(lái)，云計(jì)算、繼而大數(shù)據(jù)，成了整個(gè)社會(huì)的熱點(diǎn)，大數(shù)據(jù)究竟是什么東西?有哪些相關(guān)技術(shù)? Hadoop是Apache旗下的一個(gè)用java語(yǔ)言實(shí)現(xiàn)開(kāi)源軟件框架，是一個(gè)開(kāi)發(fā)和運(yùn)行處理
2024年02月08日
瀏覽(21)
Hadoop簡(jiǎn)介以及集群搭建詳細(xì)過(guò)程
hadoop加群包括兩個(gè)集群：hdfs集群，yarn集群兩個(gè)集群邏輯上分離，通常物理上在一起兩個(gè)集群都是標(biāo)準(zhǔn)的主從架構(gòu)集群邏輯上分離：兩個(gè)集群相互之間沒(méi)有依賴，互不影響物理上在一起：某些角色今晚往往部署在同一臺(tái)物理服務(wù)器上 MapReduce集群呢？ MapReduce是計(jì)算框架、代
2024年02月16日
瀏覽(23)
Hadoop 3.2.4 集群搭建詳細(xì)圖文教程
目錄一、集群簡(jiǎn)介二、Hadoop 集群部署方式? 三、集群安裝 3.1 集群角色規(guī)劃? 3.2?服務(wù)器基礎(chǔ)環(huán)境準(zhǔn)備? 3.2.1 環(huán)境初始化? 3.2.2?ssh 免密登錄（在 hadoop01 上執(zhí)行） 3.2.3 各個(gè)節(jié)點(diǎn)上安裝 JDK 1.8 環(huán)境 3.3 安裝 Hadoop 3.4?Hadoop?安裝包目錄結(jié)構(gòu) ?3.5?編輯?Hadoop 配置文件? 3.5.1?hado
2024年02月09日
瀏覽(62)
Hadoop系統(tǒng)應(yīng)用之安裝---Hadoop集群安裝配置和詳細(xì)搭建過(guò)程
實(shí)訓(xùn)課題 Hadoop集群安裝配置和詳細(xì) 搭建過(guò)程實(shí)驗(yàn)步驟 : 一、虛擬機(jī)的安裝部署二、Linux系統(tǒng)安裝部署 1.環(huán)境準(zhǔn)備 2.系統(tǒng)安裝三、Centos系統(tǒng)安裝四、靜態(tài)網(wǎng)絡(luò)配置五、虛擬機(jī)完整克隆配置六、配置hosts文件和ssh免密登錄七、Hadoop集群配置八、Hadoop集群測(cè)試虛擬機(jī)的安裝
2024年02月06日
瀏覽(20)
hadoop偽分布式環(huán)境搭建，完整的詳細(xì)步驟
1、VMware14 2、一臺(tái)ubtuntu 18 64位 3、主機(jī)名位master 4、ip 地址：192.168.136.31 5、本次實(shí)驗(yàn)需要的安裝包 1、查看id 地址 2、關(guān)閉防火墻命令來(lái)關(guān)閉防火墻命令查看當(dāng)前防火墻狀態(tài) 3、修改主機(jī)名、添加主機(jī)映射修改虛擬機(jī)hosts文件，將ip地址添加進(jìn)來(lái) 使用 :wq 保存測(cè)試是否修改
2024年02月08日
瀏覽(19)
大數(shù)據(jù)Hadoop集群之超級(jí)詳細(xì)的HBase搭建
Hbase是基于Hadoop集群之上來(lái)搭建的 Hadoop有一些局限性：做一些批量的數(shù)據(jù)處理，吞吐量比較高，但是它對(duì)隨機(jī)查詢、實(shí)時(shí)操作性能是不行的 HBase是NoSQL數(shù)據(jù)庫(kù)的一種，它跟傳統(tǒng)的RDBMS有很大的差別不支持JOIN的，摒棄了關(guān)系型模型，而且在HBase中只有一種數(shù)據(jù)類(lèi)型：byte[] HBase可
2023年04月13日
瀏覽(24)