CDH整合Flink(CDH6.3.0+Flink1.12.1)

1 準(zhǔn)備環(huán)境

Linux版本：CENTOS 7.7.1908 在自己的虛擬機(jī)上提前準(zhǔn)備好，版本建議高點(diǎn)
JAVA版本： jdk1.8.0_181-cloudera 使用CDH帶的JDK1.181版本即可，解壓，配置環(huán)境變量
?
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$PATH:$JAVA_HOME/bin
?
MAVEN版本：apache-maven-3.6.3 解壓，配置環(huán)境變量，配置國(guó)內(nèi)源
tar -zxvf apache-maven-3.6.3-bin.tar.gz -C .
?
export MVN_HOME=/home/data/apache-maven-3.6.3
export PATH=$PATH:$JAVA_HOME/bin:$MVN_HOME/bin
?
配置鏡像
 ?  <!-- 阿里云倉(cāng)庫(kù) -->
 ?  <mirror>
 ? ?  <id>alimaven</id>
 ? ?  <name>aliyun maven</name>
 ? ?  <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
 ? ?  <mirrorOf>central</mirrorOf>
 ?  </mirror>
 ?  <mirror>
 ? ?  <id>nexus-aliyun</id>
 ? ?  <name>aliyun maven</name>
 ? ?  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
 ? ?  <mirrorOf>central</mirrorOf>
 ?  </mirror>
 ?  <!-- Maven中央倉(cāng)庫(kù)中國(guó)鏡像 -->
 ?  <mirror>
 ? ?  <id>maven cn repo</id>
 ? ?  <name>oneof the central mirrors in china</name>
 ? ?  <url>http://maven.net.cn/content/groups/public/</url>
 ? ?  <mirrorOf>central</mirrorOf>
 ?  </mirror>
 ?  <mirror>
 ? ?  <id>maven repo</id>
 ? ?  <name>Maven Repository Switchboard</name>
 ? ?  <url>http://repo1.maven.org/maven2/</url>
 ? ?  <mirrorOf>central</mirrorOf>
 ?  </mirror>
 ?  <mirror>
 ? ?  <id>maven repo2</id>
 ? ?  <mirrorOf>central</mirrorOf>
 ? ?  <name>Human Readable Name for this Mirror.</name>
 ? ?  <url>http://repo2.maven.org/maven2/</url>
 ?  </mirror>
?
git版本：1.8.3.1-23.el7_8
yum install -y wget git

2 FLINK相關(guān)準(zhǔn)備

下載

flink下載地址：https://archive.apache.org/dist/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz
parcel制作工具下載地址：https://github.com/pkeropen/flink-parcel.git（github提供的工具包）
使用：git clone https://github.com/pkeropen/flink-parcel.git 下載

準(zhǔn)備FLINK1.12.1包

在`/var/www/html`目錄下創(chuàng)建flinktar1.12目錄，將`flink-1.12.1-bin-scala_2.12.tgz`置于該目錄下
通過(guò) http://cdhnode01/flinktar1.12 可以查看到

準(zhǔn)備paecel環(huán)境

修改配置文件

vim flink-parcel.properties
?
#FLINK 下載地址
#FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz
FLINK_URL=http://cdhnode01/flinktar1.12/flink-1.12.1-bin-scala_2.12.tgz
?
#flink版本號(hào)
#FLINK_VERSION=1.9.1
FLINK_VERSION=1.12.1
?
#擴(kuò)展版本號(hào)
#EXTENS_VERSION=BIN-SCALA_2.12
EXTENS_VERSION=BIN-SCALA_2.12
?
#操作系統(tǒng)版本，以centos為例
#OS_VERSION=7
OS_VERSION=7
?
#CDH 小版本
#CDH_MIN_FULL=5.2
CDH_MIN_FULL=5.2
#CDH_MAX_FULL=5.15
CDH_MAX_FULL=6.3.3
?
#CDH大版本
#CDH_MIN=5
CDH_MIN=5
#CDH_MAX=5
CDH_MAX=6

3 編譯

執(zhí)行 bash build.sh parcel
?
報(bào)錯(cuò)如下：
?
git clone https://github.com/cloudera/cm_ext.git
Cloning into 'cm_ext'...
fatal: unable to access 'https://github.com/cloudera/cm_ext.git/': Failed connect to github.com:443; Connection timed out
?
修改如下：
?
git clone https://github.com/cloudera/cm_ext.git  改為 git clone git://github.com/cloudera/cm_ext.git
?
再次執(zhí)行

執(zhí)行這部分操作需要稍等一會(huì)，打包結(jié)束后執(zhí)行另外一個(gè)操作

bash build.sh csd_on_yarn
?
執(zhí)行完成后會(huì)生成FLINK_ON_YARN-1.12.1.jar

生成這倆包為：FLINK-1.12.1-BIN-SCALA_2.12.tar FLINK_ON_YARN-1.12.1.jar

4 編譯flink-shaded

由于Flink1.12版本編譯后確實(shí)沒(méi)有flink-shaded-hadoop-2-uber 3.0.0-cdh6.3.0-10.0文件，但是flink-shaded-10.0也適配flink1.12環(huán)境，于是改用官網(wǎng)提供的flink-shaded-10.0-src.tgz進(jìn)行編譯，編譯步驟類似。

在flink-shaded-10.0目錄下進(jìn)行編譯，首先修改pom.xml文件

<profile>
 ?  <id>vendor-repos</id>
 ?  <activation>
 ? ? ?  <property>
 ? ? ? ? ?  <name>vendor-repos</name>
 ? ? ?  </property>
 ?  </activation>
 ?  <!-- Add vendor maven repositories -->
 ?  <repositories>
 ? ? ?  <!-- Cloudera -->
 ? ? ?  <repository>
 ? ? ? ? ?  <id>cloudera-releases</id>
 ? ? ? ? ?  <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
 ? ? ? ? ?  <releases>
 ? ? ? ? ? ? ?  <enabled>true</enabled>
 ? ? ? ? ?  </releases>
 ? ? ? ? ?  <snapshots>
 ? ? ? ? ? ? ?  <enabled>false</enabled>
 ? ? ? ? ?  </snapshots>
 ? ? ?  </repository>
 ? ? ?  <!-- Hortonworks -->
 ? ? ?  <repository>
 ? ? ? ? ?  <id>HDPReleases</id>
 ? ? ? ? ?  <name>HDP Releases</name>
 ? ? ? ? ?  <url>https://repo.hortonworks.com/content/repositories/releases/</url>
 ? ? ? ? ?  <snapshots><enabled>false</enabled></snapshots>
 ? ? ? ? ?  <releases><enabled>true</enabled></releases>
 ? ? ?  </repository>
 ? ? ?  <repository>
 ? ? ? ? ?  <id>HortonworksJettyHadoop</id>
 ? ? ? ? ?  <name>HDP Jetty</name>
 ? ? ? ? ?  <url>https://repo.hortonworks.com/content/repositories/jetty-hadoop</url>
 ? ? ? ? ?  <snapshots><enabled>false</enabled></snapshots>
 ? ? ? ? ?  <releases><enabled>true</enabled></releases>
 ? ? ?  </repository>
 ? ? ?  <!-- MapR -->
 ? ? ?  <repository>
 ? ? ? ? ?  <id>mapr-releases</id>
 ? ? ? ? ?  <url>https://repository.mapr.com/maven/</url>
 ? ? ? ? ?  <snapshots><enabled>false</enabled></snapshots>
 ? ? ? ? ?  <releases><enabled>true</enabled></releases>
 ? ? ?  </repository>
 ?  </repositories>
</profile>

執(zhí)行：mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.3.0 -Dscala-2.12 -Drat.skip=true -T10C

編譯成功后已經(jīng)有目標(biāo)文件，目標(biāo)文件位置

/home/data/flink-shaded-10.0/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber/target

5 集成CDH

將編譯好的flink-1.12.1-bin-scala_2.12.tar解壓到/var/www/html并重命名為flink1.12

將FLINK_ON_YARN-1.12.1.jar放到CM所在的/opt/cloudera/csd/目錄下

重啟CM

systemctl stop cloudera-scm-server

systemctl start cloudera-scm-server

會(huì)發(fā)現(xiàn)添加服務(wù)中多了FLINK_ONYARN的服務(wù)

配置pacel，將FLINK1.12.1的服務(wù)添加進(jìn)去

CM頁(yè)面—>主機(jī)—> parcel —> 配置，添加上傳的parcel的位置

檢查新Parcel ，然后下載—>分配—>激活

這時(shí)候會(huì)出現(xiàn)一個(gè)問(wèn)題

此時(shí)我們需要多做一步

先對(duì)比文件hash值是否一致，如果不一致就修改一致

查看發(fā)現(xiàn)hash碼一致，下載仍然報(bào)錯(cuò)，需要修改httpd配置文件 文件在/etc/httpd/conf/httpd.conf

重啟httpd服務(wù) systemctl restart httpd

再次進(jìn)行上次操作，發(fā)現(xiàn)已經(jīng)激活成功了。

6 啟動(dòng)FLINK服務(wù)

啟動(dòng)發(fā)現(xiàn)第一個(gè)報(bào)錯(cuò)

去看這個(gè)目錄下的日志得到 /var/log/flink下找日志，第一步將有認(rèn)證的去掉，還是報(bào)錯(cuò)，發(fā)現(xiàn)錯(cuò)誤如下：

在這塊配置過(guò)了HADOOP_CLASSPATH=hadoop classpath 但是問(wèn)題沒(méi)有解決。需要將我們打的1.10的包放到/opt/cloudera/parcels/FLINK-1.12.1-BIN-SCALA_2.12/lib/flink/lib，再次啟動(dòng)。

按照下面這個(gè)圖片去解決問(wèn)題

su - hdfs -s /bin/bash

在這一塊進(jìn)行權(quán)限的賦予，以前的CDH部署過(guò)FLINK1.9是會(huì)有影響的。集群?jiǎn)?dòng)成功

但是一會(huì)又掛了，接著查找日志

發(fā)現(xiàn)以前裝的FLINK1.9確實(shí)有有影響，把/user/flink刪除重新按照上面的圖片創(chuàng)建，再次重啟即可。

可以看到y(tǒng)arn上有FLINK啟動(dòng)起來(lái)，整體搭建基本完成。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-817576.html

到了這里，關(guān)于CDH整合Flink(CDH6.3.0+Flink1.12.1)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！