在上篇進(jìn)行單機(jī)的Standalone部署-Flink的Standalone部署實(shí)戰(zhàn),本篇介紹Flink的Standalone集群部署。
Flink集群為主從架構(gòu),主是JobManager,從為TaskManager,支持一主多從。
本次搭建環(huán)境為3臺(tái)機(jī)器,信息如下表所示。
IP | 服務(wù) | 描述 |
---|---|---|
192.168. 184.37 | JobManager、TaskManager | |
192.168. 184.30 | TaskManager | |
192.168. 184.41 | TaskManager |
一、Flink環(huán)境搭建安裝
安裝過程與上期介紹的一致,下載-解壓-配置環(huán)境變量。
第一步、下載或直接從主服務(wù)器上拷貝或者命令復(fù)制
主要可通過兩種方式
方式一、在從服務(wù)器,分別用 wget命令 直接下載并解壓到指定的目錄下;
方式二、scp命令,直接從主服務(wù)器上復(fù)制flink整個(gè)文件到從服務(wù)器指定目錄。
注意: 加上 -r 參數(shù),表示復(fù)制整個(gè)目錄的文件。
// 方式一、wget下載
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下創(chuàng)建文件夾
mkdir /opt/flink
// 解壓到opt下目錄
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/
// 方式二、scp 服務(wù)器間復(fù)制文件,-r 復(fù)制文件目錄
scp -r /opt/flink/* root@192.168.184.130:/opt/flink/
第二步、修改環(huán)境變量
進(jìn)入環(huán)境變量配置文件profile, 即 vi /etc/profile,添加以下內(nèi)容。
#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 將flink路徑添加到PATH路徑下
export PATH=$PATH:$Flink_HOME/bin
:wq 保存配置信息,主要要刷新環(huán)境變量。
// 刷新環(huán)境變量
source /etc/profile
// 查看安裝位置
which flink
// 進(jìn)入到bin目錄下,啟動(dòng)
start-cluster.sh
// 查看flink進(jìn)程
ps -ef | grep flink
// 測(cè)試
jps
第三步、集群配置
修改三個(gè)文件
flink-conf.yaml
masters
works
1)修改 flink-conf.yaml 配置文件
執(zhí)行 vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml命令,編輯 flink-conf.yaml 配置文件。
jobmanager.rpc.address:192.168.184.137
// 端口
jobmanager.rpc.port: 6123
// 放開注釋
rest.port:8081
rest.address:192.168.184.137
修改 JobManager
修改 rest
2)修改 masters 配置文件
執(zhí)行 vi /opt/flink/flink-1.14.3/conf/masters,編輯masters配置文件。
// 設(shè)置主
192.168.184.137:8081
修改內(nèi)容如下圖所示。
3)修改 works 配置文件
執(zhí)行 vi /opt/flink/flink-1.14.3/conf/masters,修改works 配置文件。
添加集群配置信息
192.168.184.137
192.168.184.130
192.168.184.141
添加結(jié)果如下所示。
分發(fā)到其他服務(wù)器
// 分發(fā)目錄到第一臺(tái)從服務(wù)器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.130:/opt/
// 分發(fā)目錄到第二臺(tái)從服務(wù)器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.141:/opt/
// 分發(fā)環(huán)境變量到第一臺(tái)從服務(wù)器
scp -r /etc/profile 192.168.184.130:/etc/
// 分發(fā)環(huán)境變量到第二臺(tái)從服務(wù)器
scp -r /etc/profile 192.168.184.141:/etc/
分別登錄到兩臺(tái)從服務(wù)器,執(zhí)行以下命令, 刷新環(huán)境變量
// 刷新環(huán)境變量
source /etc/profile
在主服務(wù)器上啟動(dòng)
// 進(jìn)入bin目錄下啟動(dòng)
start-clusert.sh
第四步、瀏覽器訪問
在瀏覽器訪問 http://192.168.184.137:8081/#/overview,即可訪問。文章來源:http://www.zghlxwxcb.cn/news/detail-669374.html
異常處理
【1】啟動(dòng)報(bào)錯(cuò)
報(bào)錯(cuò):-bash: start-cluster.sh: 未找到命令
處理方案:yum install bash
如還未解決,則執(zhí)行 ./start-cluster.sh 來啟動(dòng)。文章來源地址http://www.zghlxwxcb.cn/news/detail-669374.html
到了這里,關(guān)于Flink的Standalone集群部署的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!