1、Ambari介紹

Apache Ambari項(xiàng)目旨在通過開發(fā)用于配置，管理和監(jiān)控Apache Hadoop集群的軟件來簡化Hadoop管理.
Ambari提供了一個由RESTful API支持的直觀，易用的Hadoop管理Web Ul。
Ambari使系統(tǒng)管理員能夠:

提供Hadoop集群

?Ambari提供了跨任意數(shù)量的主機(jī)安裝Hadoop服務(wù)的分步向?qū)?br> Ambari處理集群的Hadoop服務(wù)配置
管理Hadoop集群
Ambari提供集中管理，用于在整個集群中啟動，停止和重新配置Hadoop服務(wù)監(jiān)控Hadoop集群
Ambari提供了一個儀表板，用于監(jiān)控Hadoop集群的運(yùn)行狀況和狀態(tài)
Ambari利用Ambari指標(biāo)系統(tǒng)進(jìn)行指標(biāo)收集
Ambari利用Ambari Alert Framework進(jìn)行系統(tǒng)警報(bào)，并在需要您注意時通知您(例如，節(jié)點(diǎn)出現(xiàn)故障剩余磁盤空間不足等)。

Ambari使應(yīng)用程序開發(fā)人員和系統(tǒng)集成商能夠

使用Ambari RESTfulAPI輕松將Hadoop配置，管理和監(jiān)控功能集成到自己的應(yīng)用程序中

2、架構(gòu)

Ambari本身是一個分布式架構(gòu)軟件，主要由兩部分組成:Ambari Server和Ambari Agent。用戶通過Ambari Server通知Ambari Agent安裝對應(yīng)的軟件，Agent會定時發(fā)送各個機(jī)器每個軟件模塊的狀態(tài)給Server,最終這些狀態(tài)信息會呈現(xiàn)給Ambari的GU1,方便用戶了解到集群中各組件狀態(tài)，做出相應(yīng)的維護(hù)策略。

官網(wǎng)有部署文檔

3、環(huán)境準(zhǔn)備

3.1、硬件環(huán)境

系統(tǒng)
centos7.6????????數(shù)量:7臺
?硬件????????CPU:1G????????MEM : 2G????????Disk:越大越好，最低不能低于所采集的數(shù)據(jù)量

3.2、ip分配

?3.3、多機(jī)互信

[root@localhost ~]# ssh-keygen -t rsa -f /root/.ssh/id_rsa -N ' '

因?yàn)閟shd_config文件中有公鑰認(rèn)證規(guī)定 authorized_keys

?修改公鑰

[root@localhost ~]# cd /root/.ssh

[root@localhost .ssh]# Is
id_rsa id_rsa.pub known_hosts
[root@localhost .ssh]# cp id_rsa.pub authorized_keys
[root@localhost .ssh]# Is

authorized_keys id_rsa id_rsa.pub ?known_hosts

[root@localhost .ssh]# rm -rf known_hosts

刪除known_hosts是因?yàn)槔锩娲鎯Φ氖侵鳈C(jī)域名信息

用for循環(huán)把公鑰復(fù)制到其他服務(wù)器
[root@localhost ~]# for i in 10 20 30 40 50 60;

do

scp -r /root/.ssh 192.168.122.$i:/root;

done

3.4、主機(jī)名及主機(jī)域名解析

[root@localhost ~]# hostnamectl?set-hostname ambari-server .a.com
[root@localhost ~]# hostnamectl set-hostname hd1.a.com

域名解析在/etc/hosts文件中需要配置域名 最好加上一個名稱

?3.5、時間同步、firewalld、selinux狀態(tài)

1、時間同步

編輯定時任務(wù)，每個小時時同步一次windows主機(jī)的時間

crontab -e

0 */1 * * *? ? ? ? ntpdate time.windows.com

2、firewalld

查看所有節(jié)點(diǎn)防火墻的狀態(tài)

[root@localhost ~]# firewall-cmd --state

not running

3、selinux

查看所有節(jié)點(diǎn)selinux的狀態(tài)

? ? ? ? getenforce

Disabled

3.6、安裝jdk

[root@ambari-server ~]# cp -r jdk1.8.0_191 /usr/local/jdk

[root@ambari-server ~]# for i in hd{1..6};

do

scp -r jdk1.8.0_191 $i:/usr/local/jdk;

done

修改環(huán)境變量

#查看文件中新增的兩條信息
[root@localhost ~]# tail -2 /etc/profile

export JAVA_HOME=/usr/local/jdk

export PATH=${JAVA_HOME}/bin:$PATH
[root@localhost ~]# source /etc/profile

最后安裝數(shù)據(jù)庫就行

3.7、創(chuàng)建ambari數(shù)據(jù)庫

agent把數(shù)據(jù)匯報(bào)server，存在數(shù)據(jù)庫里面。還有hadoop集群狀態(tài)和監(jiān)控?cái)?shù)據(jù)

?給服務(wù)器授權(quán)訪問ambri數(shù)據(jù)庫，%是授權(quán)所有節(jié)點(diǎn)不包括本機(jī)訪問數(shù)據(jù)庫

?數(shù)據(jù)庫都是安裝在ambari服務(wù)器上的

?驗(yàn)證必須登錄主機(jī)ambari-server.a.com上

3.8、安裝數(shù)據(jù)庫連接工具

[root@localhost ~]#yum -y install?mysql-connector-java

3.9、安裝httpd

安裝http是為了在本地部署ambari
[root@localhost ~]# yum install?httpd

[root@localhost ~]# systemctl enable httpd

ambari的部署資源最少也是10個G，必須df -h 查看磁盤空間夠不夠

資源是從跳板機(jī)拷貝到ambari服務(wù)器

宿主機(jī)上面準(zhǔn)備好的HDP源及Ambari源復(fù)制到/var/www/html

解壓已獲取軟件資源至/var/www/html及/var/www/html

[root@localhost ~]#tar xf ambari-2.6.1.0-centos7.tar,gz -C /var/www/html

[root@localhost ~]#tar xf HDP-2.6.4.0-centos7-rpm.tar.gz -C /var/www/html

[root@localhost ~]#tar xf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/ww/html

[root@localhost ~]#tar xf HDP-GPL-2.6.4.0-centos7-rpm.tar.gz -C /var/www/html

3.10、安裝yum源

第一步：拷貝本地的repo，也可以用官網(wǎng)的

?ambari.repo是安裝agent和server的

第二步：分別配置ambari.repo和hdp.repo，只需要修改ambari-server域名即可

?第三步：把repo配置拷貝到其他節(jié)點(diǎn)

?第四步、部署ambari

?直接在ambari-server安裝yum -y ambari-server

其他節(jié)點(diǎn)安裝ambari-agent即可

初始化ambari-server

初始化前導(dǎo)入ambari-server

初始化ambari-server

?初始化失敗可以重新初始化ambari-server reset

啟動ambari-server

?如果8080端口是開啟的一般來說不會報(bào)錯，還可以設(shè)置開機(jī)自啟動：chkconfig ambari-server on

訪問ambari也是通過8080端口,用戶名和密碼都是admin?

ambari-agent配置及啟動

ambari-agent啟動前必須查看openssl的版本是否過低，rpm -qa |grep openssl? 必須在1.0.2以上

禁用https驗(yàn)證方式（所有agent主機(jī)）

?把配置文件上傳到其他服務(wù)器

?修改ambari-agent配置文件的【security】選項(xiàng)

?scp上傳本地配置文件到其他服務(wù)器

?啟動所有的ambari-agent

?文章來源地址http://www.zghlxwxcb.cn/news/detail-510847.html

4、部署hadoop

第一步：創(chuàng)建hadoop集群

?第二步：選擇安裝hadoop集群的包組

?第三步：配置yum源

把烏班圖等無關(guān)的yum源remove，因?yàn)閏entos是redhat的復(fù)刻版本（紅帽發(fā)行6個月之后就會復(fù)刻一版centos）

?cat /etc/yum.repos.d/hdp.repo

第四步：配置安裝選項(xiàng)

使用完全合格域名部署 hadoop集群

?配置ssh私鑰免密

?第五步：注冊并確認(rèn)部署hadoop集群的主機(jī)信息

installing狀態(tài)是在安裝hadoop-agent

registering狀態(tài)是在注冊hadoop-server

success才是成功部署hadoop集群

第六步：選擇文件系統(tǒng)和勾選服務(wù)

?zookeeper和Ambari Metrics都是監(jiān)控集群的

?

?第七步：選主、從服務(wù)器并配置

選主

?選從

?第八步：服務(wù)器配置

設(shè)置密碼

?

?最后點(diǎn)擊deploy部署

5、驗(yàn)證

所有已安裝hdfs客戶端的主機(jī)均可進(jìn)行驗(yàn)證

切換用戶 hdfs調(diào)用yarn框架中的jar包進(jìn)行詞頻統(tǒng)計(jì)測試hadoop集群是否可用

?

?

到了這里，關(guān)于Ambari自動部署hadoop的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！