前言

接上篇環(huán)境準(zhǔn)備，環(huán)境準(zhǔn)備好以后就可以開(kāi)始bigtop大數(shù)據(jù)組件編譯了，建議使用科學(xué)上網(wǎng)方式，降低網(wǎng)絡(luò)連接報(bào)錯(cuò)，主要網(wǎng)絡(luò)報(bào)錯(cuò)出現(xiàn)在nodejs npm yarn bower等前端資源的下載上。搞定網(wǎng)絡(luò)問(wèn)題后，按本文的方式可以完成大數(shù)據(jù)相關(guān)組件的編譯，編譯后生成的rpm包在output目錄中，包含源碼rpm和二進(jìn)制rpm

組件編譯

1.下載bigtop源碼

git clone https://github.com/apache/bigtop.git

2.修改bigtop.bom配置

修改配置的目的主要為了使用國(guó)內(nèi)鏡像源加速

cd bigtop

vi bigtop.bom

第96行 scala version修改成2.12.17

第99行 mirror地址修改成https://repo.huaweicloud.com/apache

第100行 archive地址修改成https://mirrors.aliyun.com/apache

3.編譯hadoop

先要安裝前置依賴，再編譯

#安裝前置依賴

yum -y install fuse-devel cmake cmake3 lzo-devel openssl-devel protobuf* cyrus-* 

cp /usr/bin/cmake3 /usr/bin/cmake

#編譯

./gradlew hadoop-rpm -PparentDir=/usr/bigtop

4.編譯zookeeper

先要安裝前置依賴，再編譯文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-400443.html

#安裝前置依賴
yum -y install cppunit-devel

#編譯

./gradlew zookeeper-rpm -PparentDir=/usr/bigtop

5.編譯hive

./gradlew hive-rpm -PparentDir=/usr/bigtop

6.編譯hbase

./gradlew hbase-rpm -PparentDir=/usr/bigtop

7.編譯phoenix

./gradlew phoenix-rpm -PparentDir=/usr/bigtop

8.編譯kafka

./gradlew kafka-rpm -PparentDir=/usr/bigtop

9.編譯spark

#安裝前置依賴
?
yum -y install R* harfbuzz-devel fribidi-devel libcurl-devel libxml2-devel freetype-devel libpng-devel libtiff-devel libjpeg-turbo-devel pandoc* libgit2-devel
?
#安裝R語(yǔ)言相關(guān)包
Rscript -e "install.packages(c('knitr', 'rmarkdown', 'devtools', 'testthat', 'e1071', 'survival'), repos='http://mirrors.tuna.tsinghua.edu.cn/CRAN/')"
?
#編譯
?
./gradlew spark-rpm -PparentDir=/usr/bigtop

10.編譯flink

#下載flink源碼包
?
./gradlew flink-download
?
#解壓flink源碼
?
cd dl
?
tar -zxvf flink-1.15.0.tar.gz
?
#修改pom文件
?
vi flink-1.15.0/flink-runtime-web/pom.xml 
?
在275行 nodeVersion改為v12.22.1
?
在276行 npmVersion改為6.14.12
?
#重新打包flink源碼
?
tar -zcvf flink-1.15.0.tar.gz flink-1.15.0
?
#編譯
?
./gradlew flink-rpm -PparentDir=/usr/bigtop

11.編譯tez

#下載tez源碼包
?
./gradlew tez-download
?
#解壓tez源碼
?
cd dl
?
tar -zxvf apache-tez-0.10.1-src.tar.gz
?
#修改pom文件
?
vi apache-tez-0.10.1-src/tez-ui/pom.xml 
?
在37行 allow-root-build改為--allow-root=true
?
#重新打包tez源碼
?
tar -zcvf apache-tez-0.10.1-src.tar.gz apache-tez-0.10.1-src
?
#編譯
?
./gradlew tez-rpm -PparentDir=/usr/bigtop

12.編譯bigtop-ambari-mpack

./gradlew bigtop-ambari-mpack-rpm -PparentDir=/usr/bigtop

13.編譯bigtop-groovy

./gradlew bigtop-groovy-rpm -PparentDir=/usr/bigtop

14.編譯bigtop-jsvc

./gradlew bigtop-jsvc-rpm -PparentDir=/usr/bigtop

15.編譯bigtop-select

./gradlew bigtop-select-rpm -PparentDir=/usr/bigtop

16.編譯bigtop-utils

./gradlew bigtop-utils-rpm -PparentDir=/usr/bigtop

17.編譯ranger

./gradlew ranger-rpm -PparentDir=/usr/bigtop

18.編譯solr

./gradlew solr-rpm -PparentDir=/usr/bigtop

19.編譯zeppelin

#下載zeppelin源碼包
?
./gradlew zeppelin-download
?
#解壓zeppelin源碼
?
cd dl
?
tar -zxvf zeppelin-0.10.1.tar.gz
?
#修改pom文件
?
vi zeppelin-0.10.1/pom.xml 
?
在209行plugin.gitcommitid.useNativeGit改為true
?
vi zeppelin-0.10.1/spark/pom.xml
?
在50行spark.src.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}.tgz
?
在53行spark.bin.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}-bin-without-hadoop.tgz
?
vi zeppelin-0.10.1/rlang/pom.xml
?
在41行spark.src.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}.tgz
?
在44行spark.bin.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}-bin-without-hadoop.tgz
?
vi zeppelin-0.10.1/flink/flink-scala-parent/pom.xml
?
在45行flink.bin.download.url改為https://repo.huaweicloud.com/apache/flink/flink-${flink.version}/flink-${flink.version}-bin-scala_${flink.scala.binary.version}.tgz
?
#重新打包zeppelin源碼
?
tar -zcvf zeppelin-0.10.1.tar.gz zeppelin-0.10.1
?
#編譯
?
./gradlew zeppelin-rpm -PparentDir=/usr/bigtop

到了這里，關(guān)于BigTop3.2.0 大數(shù)據(jù)組件編譯--組件編譯的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！