国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<li id="ay6gc"><em id="ay6gc"></em></li>

<center id="ay6gc"><blockquote id="ay6gc"></blockquote></center>

<li id="ay6gc"><pre id="ay6gc"></pre></li>

<li id="ay6gc"></li>

<dfn id="ay6gc"><th id="ay6gc"></th></dfn>

ambari2.8.0+bigtop3.2.0發(fā)行版大數(shù)據(jù)平臺(tái)編譯指南

2年前作者：澤芯分類(lèi)：Toy博客閱讀(46)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了ambari2.8.0+bigtop3.2.0發(fā)行版大數(shù)據(jù)平臺(tái)編譯指南。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

前言

ambari和bigtop聯(lián)合的第一個(gè)發(fā)行版終于出來(lái)了?。?！這是在HDP、CDH大數(shù)據(jù)平臺(tái)閉源后的第一個(gè)開(kāi)源免費(fèi)發(fā)行版的大數(shù)據(jù)平臺(tái)。下面為大家詳細(xì)介紹Centos7下的編譯方法。

組件版本介紹

組件版本明細(xì)
組件	版本
Ambari	2.8.0
Ambari-metrics	3.0.0
Hadoop	3.3.4
Hbase	2.4.13
Hive	3.1.3
Tez	0.10.1
Zookeeper	3.5.9
Kafka	2.8.1
Flink	1.15.3
Spark	3.2.3
Zeppelin	0.10.1
Solr	8.11.2

編譯思路

ambari+bigtop并不是打包在一起的，分別對(duì)應(yīng)三個(gè)項(xiàng)目：ambari、ambari-metrics、bigtop。所以要分別編譯這三個(gè)項(xiàng)目，最后將編譯好的包提取到一起做成鏡像源。另外，bigtop3.2.0不是所有組件都適配了ambari，只需編譯上面表格所適配的組件即可。

編譯環(huán)境

編譯環(huán)境的準(zhǔn)備工作在之前文章里已經(jīng)寫(xiě)過(guò)，請(qǐng)參考《編譯環(huán)境準(zhǔn)備》進(jìn)行配置；編譯時(shí)需要星際網(wǎng)絡(luò)，梯子需要自己搞定。

編譯方法

ambari編譯步驟

#git克隆ambari源代碼
git clone https://github.com/apache/ambari.git

#進(jìn)入ambari根目錄
cd ambari

#切換到2.8分支
git checkout -b branch-2.8 origin/branch-2.8

#開(kāi)始編譯
mvn clean install rpm:rpm -DskipTests

ambari-metrics編譯步驟

#git克隆ambari-metrics
git clone https://github.com/apache/ambari-metrics.git

#進(jìn)入ambari-metrics根目錄
cd ambari-metrics

#切換到3.0分支
git checkout -b branch-3.0 origin/branch-3.0

#提前下載編譯時(shí)需要的4個(gè)tar包--有利于編譯加速
wget http://repo.bigtop.apache.org.s3.amazonaws.com/bigtop-stack-binary/3.2.0/centos-7/x86_64/hbase-2.4.13-bin.tar.gz
wget http://repo.bigtop.apache.org.s3.amazonaws.com/bigtop-stack-binary/3.2.0/centos-7/x86_64/hadoop-3.3.4.tar.gz
wget https://dl.grafana.com/oss/release/grafana-9.3.2.linux-amd64.tar.gz
wget http://repo.bigtop.apache.org.s3.amazonaws.com/bigtop-stack-binary/3.2.0/centos-7/x86_64/phoenix-hbase-2.4-5.1.2-bin.tar.gz

#修改ambari-metrics/pom.xml文件，將以上4個(gè)tar包的url修改成剛才下載好的本地路徑
   <hbase.tar>file://{下載路徑}/hbase-2.4.13-bin.tar.gz</hbase.tar>
   <hadoop.tar>file://{下載路徑}/hadoop-3.3.4.tar.gz</hadoop.tar>
   <grafana.tar>file://{下載路徑}/grafana-9.3.2.linux-amd64.tar.gz</grafana.tar>
   <phoenix.tar>file://{下載路徑}/phoenix-hbase-2.4-5.1.2-bin.tar.gz</phoenix.tar>

#編譯
mvn clean install -DskipTests -Dbuild-rpm

bigtop編譯步驟

#git克隆bigtop源代碼
git clone https://github.com/apache/bigtop.git

#進(jìn)入bigtop根目錄
cd bigtop

#切換到3.2分支
git checkout -b branch-3.2 origin/branch-3.2

#修改bigtop/bigtop.bom配置 有兩處要修改
#1.修改鏡像源為國(guó)內(nèi)鏡像源 103、104行
    APACHE_MIRROR = "https://repo.huaweicloud.com/apache"
    APACHE_ARCHIVE = "https://mirrors.aliyun.com/apache"
#2.解開(kāi)bigtop-select組件的注釋 刪除273、281行

#安裝組件編譯所需的依賴(lài)
#1.hadoop依賴(lài)
yum -y install fuse-devel cmake cmake3 lzo-devel openssl-devel protobuf* cyrus-* 
cp /usr/bin/cmake3 /usr/bin/cmake
#2.zookeeper依賴(lài)
yum -y install cppunit-devel
#3.spark依賴(lài)
yum -y install R* harfbuzz-devel fribidi-devel libcurl-devel libxml2-devel freetype-devel libpng-devel libtiff-devel libjpeg-turbo-devel pandoc* libgit2-devel
Rscript -e "install.packages(c('knitr', 'rmarkdown', 'devtools', 'testthat', 'e1071', 'survival'), repos='http://mirrors.tuna.tsinghua.edu.cn/CRAN/')"

#修改部分組件源代碼
#1.先下載
./gradlew tez-download zeppelin-download flink-download
#2.進(jìn)入下載目錄
cd dl
#3.解壓這3個(gè)tar
tar -zxvf flink-1.15.3.tar.gz
tar -zxvf apache-tez-0.10.1-src.tar.gz
tar -zxvf zeppelin-0.10.1.tar.gz
#4.修改flink
vi flink-1.15.0/flink-runtime-web/pom.xml ?
在275行 nodeVersion改為v12.22.1?
在276行 npmVersion改為6.14.12
#5.修改tez
vi apache-tez-0.10.1-src/tez-ui/pom.xml 
在37行 allow-root-build改為--allow-root=true
#6.修改zeppelin
vi zeppelin-0.10.1/pom.xml 
在209行plugin.gitcommitid.useNativeGit改為true
vi zeppelin-0.10.1/spark/pom.xml
在50行spark.src.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}.tgz
在53行spark.bin.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}-bin-without-hadoop.tgz
vi zeppelin-0.10.1/rlang/pom.xml
在41行spark.src.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}.tgz
在44行spark.bin.download.url改為https://repo.huaweicloud.com/apache/spark/${spark.archive}/${spark.archive}-bin-without-hadoop.tgz
vi zeppelin-0.10.1/flink/flink-scala-parent/pom.xml
在45行flink.bin.download.url改為https://repo.huaweicloud.com/apache/flink/flink-${flink.version}/flink-${flink.version}-bin-scala_${flink.scala.binary.version}.tgz
#7.重新打包這3個(gè)tar
tar -zcvf flink-1.15.3.tar.gz flink-1.15.3
tar -zcvf apache-tez-0.10.1-src.tar.gz apache-tez-0.10.1-src
tar -zcvf zeppelin-0.10.1.tar.gz zeppelin-0.10.1

#回到bigtop根目錄
cd ../

#編譯-預(yù)計(jì)需要一個(gè)半小時(shí)以上 
./gradlew allclean bigtop-groovy-rpm bigtop-jsvc-rpm bigtop-select-rpm bigtop-utils-rpm flink-rpm hadoop-rpm hbase-rpm hive-rpm kafka-rpm solr-rpm spark-rpm tez-rpm zeppelin-rpm zookeeper-rpm -Dbuildwithdeps=true -PparentDir=/usr/bigtop -PpkgSuffix

制作鏡像

#創(chuàng)建bigdatarepo文件夾-路徑隨意放
mkdir -p bigdatarepo

#將ambari包拷貝
mkdir -p bigdatarepo/ambari
cp ambari/ambari-server/target/rpm/ambari-server/RPMS/x86_64/ambari-server-2.8.0.0-0.x86_64.rpm bigdatarepo/ambari/
cp ambari/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.8.0.0-0.x86_64.rpm bigdatarepo/ambari/

#將ambari-metrics包拷貝
mkdir -p bigdatarepo/ambari-metrics
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-collector/RPMS/x86_64/ambari-metrics-collector-3.0.1-1.x86_64.rpm bigdatarepo/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-grafana/RPMS/x86_64/ambari-metrics-grafana-3.0.1-1.x86_64.rpm bigdatarepo/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-hadoop-sink/RPMS/x86_64/ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm bigdatarepo/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-3.0.1-1.x86_64.rpm bigdatarepo/ambari-metrics/

#將bigtop包拷貝
cp -r bigtop/output/* bigdatarepo/

#制作鏡像源
createrepo bigdatarepo/

寫(xiě)在最后

按以上步驟執(zhí)行，就可以成功編譯了，不過(guò)一定要注意網(wǎng)絡(luò)問(wèn)題。如果覺(jué)得編譯太麻煩，也可以下載我編譯好的包，歡迎一起交流。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-511384.html

echo "編-譯-好-的-包-放-在-群-文-件-里-了"
echo "歡-迎-加-Q-Q-群-進(jìn)-行-交-流"
echo "7-2-2-0-1-4-9-1-2"

到了這里，關(guān)于ambari2.8.0+bigtop3.2.0發(fā)行版大數(shù)據(jù)平臺(tái)編譯指南的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶(hù)投稿，該文觀(guān)點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

【Ambari】Ansible自動(dòng)化部署大數(shù)據(jù)集群
目錄一．版本說(shuō)明和介紹信息 1.1 大數(shù)據(jù)組件版本 1.2 Apache Components 1.3 Databases支持版本二．安裝包上傳和說(shuō)明三．服務(wù)器基礎(chǔ)環(huán)境配置 3.1global配置修改 3.2主機(jī)名映射配置 3.3免密用戶(hù)名密碼配置 3.4 ansible安裝四. 安裝Ambari-server 4.1 安裝ambari-server 4.2 檢查REPO源五、HDP 安裝
2024年04月15日
瀏覽(31)
【大數(shù)據(jù)】大數(shù)據(jù) Hadoop 管理工具 Apache Ambari（HDP）
Apache Ambari 是 Hortonworks 貢獻(xiàn)給Apache開(kāi)源社區(qū)的頂級(jí)項(xiàng)目，它是一個(gè)基于web的工具，用于安裝、配置、管理和監(jiān)視 Hadoop 集群。 Ambari 目前已支持大多數(shù) Hadoop 組件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。 Apache Ambari 支持 HDFS、MapReduce、Hive、Pig、Hbase、Z
2024年02月14日
瀏覽(18)
【AI大模型】訊飛版大模型來(lái)了！首發(fā)通用人工智能評(píng)測(cè)體系，現(xiàn)場(chǎng)發(fā)布四大行業(yè)應(yīng)用成果
?創(chuàng)作者：全棧弄潮兒 ?? 個(gè)人主頁(yè)：全棧弄潮兒的個(gè)人主頁(yè) ??? 個(gè)人社區(qū)，歡迎你的加入：全棧弄潮兒的個(gè)人社區(qū) ?? 專(zhuān)欄地址：AI大模型【分享幾個(gè)國(guó)內(nèi)免費(fèi)可用的ChatGPT鏡像】【10幾個(gè)類(lèi)ChatGPT國(guó)內(nèi)AI大模型】【用《文心一言》1分鐘寫(xiě)一篇博客簡(jiǎn)直yyds】【用訊飛星火
2024年02月04日
瀏覽(65)
中國(guó)國(guó)債發(fā)行數(shù)據(jù)集（2002-2023）
國(guó)債是由國(guó)家發(fā)行的債券，由于國(guó)債的發(fā)行主體是國(guó)家，所以它具有最高的信用度，被公認(rèn)為是最安全的投資工具。國(guó)債按照交易市場(chǎng)的不同分為三類(lèi)，即銀行間市場(chǎng)國(guó)債、交易所市場(chǎng)國(guó)債和柜臺(tái)市場(chǎng)國(guó)債；按照交易方式的不同分為三類(lèi)，即憑證式國(guó)債、儲(chǔ)蓄國(guó)債（電子式）
2024年02月13日
瀏覽(16)
【Ambari】HDFS基于A(yíng)mbari的常規(guī)運(yùn)維
?? 個(gè)人主頁(yè) ——??開(kāi)著拖拉機(jī)回家_大數(shù)據(jù)運(yùn)維-CSDN博客 ????? ???????????????? ?????????????? ???????????????????????? 感謝點(diǎn)贊和關(guān)注，每天進(jìn)步一點(diǎn)點(diǎn)！加油！目錄一、簡(jiǎn)介 1.1 Ambari介紹 1.2 關(guān)于本手冊(cè) 二、綜合運(yùn)維 2.1 Ambari一覽 2.1.1 命
2024年02月05日
瀏覽(15)
初學(xué)者部署Ambari及通過(guò)Ambari安裝hadoop相關(guān)組件
目錄 1.準(zhǔn)備工作 1.2初始化配置 1.2.1設(shè)置主機(jī)名 1.2.2HOSTS文件 1.2.3關(guān)閉防火墻和selinux 1.2.4免密配置(單臺(tái)機(jī)器也需要) 1.2.5修改yum源為阿里源 1.2.6配置JAVA環(huán)境變量(如果未安裝java環(huán)境則需要先安裝) ???????1.2.7NTP時(shí)鐘同步 ???????1.2.8安裝httpd服務(wù) ???????
2024年02月06日
瀏覽(22)
Ambari自動(dòng)部署hadoop
Apache Ambari項(xiàng)目旨在通過(guò)開(kāi)發(fā)用于配置，管理和監(jiān)控Apache Hadoop集群的軟件來(lái)簡(jiǎn)化Hadoop管理. Ambari提供了一個(gè)由RESTful API支持的直觀(guān)，易用的Hadoop管理Web Ul。 Ambari使系統(tǒng)管理員能夠: 提供Hadoop集群 ?Ambari提供了跨任意數(shù)量的主機(jī)安裝Hadoop服務(wù)的分步向?qū)?Ambari處理集群的Hadoop服務(wù)配
2024年02月11日
瀏覽(17)
Centos7安裝ambari
參考 https://zhuanlan.zhihu.com/p/460867086 https://blog.51cto.com/yangxingzhen/5980590 下載相關(guān)軟件包：鏈接：https://pan.baidu.com/s/1U04kjTUPtT58FNh2FwPqGQ 提取碼：5ja5 上傳至服務(wù)器： [hadoop@node-01 data]$ pwd /data [hadoop@node-01 data]$ ll total 11839096 -rw-r--r--. 1 hadoop hadoop 2030700094 Jan 23 06:40 ambari-2.7.4.0-centos7.
2023年04月18日
瀏覽(20)
Ambari-web 架構(gòu)
Ambari-web 使用的前端 Embar.js MVC 框架實(shí)現(xiàn)，Embar.js 是一個(gè) TodoMVC 框架，涵蓋了單頁(yè)面應(yīng)用（single page application）幾乎所有的行為 Nodejs 是一個(gè)基于 Chrome JavaScript 運(yùn)行時(shí)建立的一個(gè)平臺(tái)，用來(lái)方便的搭建快速的易于擴(kuò)展的網(wǎng)絡(luò)應(yīng)用，NodeJS 借助事件驅(qū)動(dòng)，非阻塞 I/O 模型變得輕量和
2023年04月17日
瀏覽(20)
基于Canal實(shí)現(xiàn)MySQL 8.0 數(shù)據(jù)庫(kù)數(shù)據(jù)同步
主機(jī)名稱(chēng) 操作系統(tǒng) 說(shuō)明 192.168.11.82 Ubuntu 22.04 主庫(kù)所在服務(wù)器 192.168.11.28 Oracle Linux Server 8.7 從庫(kù)所在服務(wù)器 1、Ubuntu系統(tǒng)下MySQL配置文件位置 2、CentOS系統(tǒng)下MySQL配置文件位置 3、添加如下配置，開(kāi)啟MySQL binlog功能關(guān)于canal簡(jiǎn)介，這里就不再闡述，具體可以參看官方文檔介紹，地
2023年04月23日
瀏覽(997)

<li id="iaq20"><tbody id="iaq20"></tbody></li>

<tfoot id="iaq20"><wbr id="iaq20"></wbr></tfoot>

<center id="iaq20"><delect id="iaq20"></delect></center>

<button id="iaq20"><tr id="iaq20"></tr></button>

<cite id="iaq20"><dl id="iaq20"></dl></cite>