系統(tǒng)環(huán)境為 CentOS 7.5 版本。
-
安裝 Java 8。
-
安裝 Hadoop 集群，Hadoop 建議選擇 Hadoop 2.7.5 以上版本。
-
配置集群節(jié)點服務(wù)器間時間同步以及免密登錄，關(guān)閉防火墻。
-
flink版本flink-1.14.0。
-
Scala版本scala_2.12。
flink安裝包:flink-1.14.0-bin-scala_2.12.tgz
安裝包位置:/opt/software/flink-1.14.0-bin-scala_2.12.tgz
解壓位置:/opt/module/
單節(jié)點模式(不推薦)
解壓壓縮包
tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/進(jìn)入解壓目錄
cd /opt/module/flink-1.14.0/啟動/關(guān)閉集群
啟動Hadoop集群
dfs-start.sh
yarn-start.sh啟動/停止flink集群
./bin/start-cluster.sh
./bin/stop-cluster.sh查看集群運行結(jié)果:
[root@bigdata1 flink-1.14.0]# jps
1992 StandaloneSessionClusterEntrypoint
2269 TaskManagerRunner
2381 Jps
?訪問web頁面
https://bigdata1:8081
節(jié)點位于bigdata1
默認(rèn)端口號為8081
集群模式(不推薦)
Flink 是典型的 Master-Slave 架構(gòu)的分布式數(shù)據(jù)處理框架，其中 Master 角色對應(yīng)著JobManager，Slave 角色則對應(yīng) TaskManager
集群角色分配:
| 節(jié)點服務(wù)器 | bigdata1 | bigdata2 | bigdata3 |
|---|---|---|---|
| 角色 | JobManager | TaskManager | TaskManager |
?解壓壓縮包
tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/進(jìn)入解壓目錄
cd /opt/module/flink-1.14.0/修改配置文件
flink-conf.yaml
vim /flink-1.14.0/conf/flink-conf.yaml
33行修改為主節(jié)點
jobmanager.rpc.address: bigdata1workers
vim /flink-1.14.0/conf/workers
刪除原有內(nèi)容
bigdata2
bigdata3masters
vim /flink-1.14.0/conf/masters
bigdata1:8081分發(fā)安裝目錄
退回到flink-1.14.0/的上級目錄
scp -r flink-1.14.0/ bigdata2:/opt/module/
scp -r flink-1.14.0/ bigdata3:/opt/module/啟動集群
[root@bigdata1 flink-1.14.0]# ./bin/start-cluster.sh看看各節(jié)點啟動狀態(tài)
============ bigdata1 ===========
3477 StandaloneSessionClusterEntrypoint
============ bigdata2 ===========
1865 TaskManagerRunner
============ bigdata3 ===========
1868 TaskManagerRunner
訪問web頁面
https://bigdata1:8081
Flink on Yarn模式(生產(chǎn)推薦)
解壓壓縮包
tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/進(jìn)入解壓目錄
cd /opt/module/flink-1.14.0/配置環(huán)境變量
vim /etc/profile.d/my_env.sh
#FLINK_YARN
HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`分發(fā)配置
分發(fā)環(huán)境變量
scp /etc/profile.d/my_env.sh bigdata2:/etc/profile.d/my_env.sh
scp /etc/profile.d/my_env.sh bigdata3:/etc/profile.d/my_env.sh分發(fā)解壓包
scp -r /opt/module/flink-1.14.0/ bigdata2:/opt/module/
scp -r /opt/module/flink-1.14.0/ bigdata3:/opt/module/使用環(huán)境變量
所有節(jié)點刷新變量
source /etc/profile啟動 Hadoop 集群
包括 HDFS 和 YARN
start-dfs.sh
start-yarn.sh啟動Flink集群
執(zhí)行腳本命令向 YARN 集群申請資源，開啟一個 YARN 會話，啟動 Flink 集群。
bin/yarn-session.sh -nm test -d-
-d：分離模式，如果你不想讓 Flink YARN 客戶端一直前臺運行，可以使用這個參數(shù)，
即使關(guān)掉當(dāng)前對話窗口，YARN session 也可以后臺運行。
-
-jm(--jobManagerMemory)：配置 JobManager 所需內(nèi)存，默認(rèn)單位 MB。
-
-nm(--name)：配置在 YARN UI 界面上顯示的任務(wù)名。
-
-qu(--queue)：指定 YARN 隊列名。
-
-tm(--taskManager)：配置每個 TaskManager 所使用內(nèi)存。
運行結(jié)果:
訪問web頁面?
復(fù)制啟動后生成的web鏈接這里是?http://bigdata2:37096
conf文件夾中配置文件解讀
vim flink-conf.yaml
#flink-1.14.0/conf/flink-conf.yaml ?文章來源：http://www.zghlxwxcb.cn/news/detail-767965.html
#flink-1.14.0/conf/flink-conf.yaml
?
jobmanager.rpc.address: localhost #jobmanager通用配置(主機(jī)名)
jobmanager.rpc.port: 6123 #jobmanager通用配置(端口號)
?
jobmanager.memory.process.size: 1600m #jobmanager內(nèi)存分配
taskmanager.memory.process.size: 1728m #taskmanager內(nèi)存分配
taskmanager.memory.flink.size: 1280m #可選taskmanager內(nèi)存分配(不包括進(jìn)程)不推薦與上面同時配置
?taskmanager.numberOfTaskSlots: 1 #taskmanager任務(wù)槽數(shù)量(并行執(zhí)行的數(shù)量能力)
parallelism.default: 1 #并行度(真正運行數(shù)量)vim masters
#flink-1.14.0/conf/masters
localhost:8081 #jobmanager運行端:端口號vim workers
#flink-1.14.0/conf/workers文章來源地址http://www.zghlxwxcb.cn/news/detail-767965.html
localhost #taskmanager運行端到了這里，關(guān)于大數(shù)據(jù)組件配置--Flink的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
