一、Ambari介紹
1.1 Ambari是什么?
Apache Ambari是一種基于Web的工具,它提供了一個易于使用的Web界面 ,是一個強大的開源的集群管理工具,它可以幫助管理員輕松管理和監(jiān)控Hadoop集群,支持Apache Hadoop集群的供應、管理和監(jiān)控。
1.2 支持大多數(shù)Hadoop組件的集中管理
Ambari已支持大多數(shù)Hadoop組件,包括HDFS、Hadoop MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等的集中管理。
1.3 五個頂級hadoop管理工具之一
當你利用 Hadoop 進行大數(shù)據(jù)分析和處理時,首先你需要確保配置、部署和管理集群。
5個頂級hadoop管理工具 | 解釋 |
---|---|
Apache Ambari | Apache Ambari是對Hadoop進行監(jiān)控、管理和生命周期管理的開源項目。它也是一個為Hortonworks數(shù)據(jù)平臺選擇管理組建的項目。Ambari向大多數(shù)Hadoop組件提供服務。 |
Apache Mesos | Apache Mesos是集群管理器,可以讓用戶在同一時間同意集群上運行多個Hadoop任務或其他高性能應用。Twitter的開放源代碼經(jīng)理Chris Aniszczyk表示,Mesos可以在數(shù)以百計的設備上運行,并使其更容易執(zhí)行工作。 |
Platform MapReduce | Platform MapReduce提供了企業(yè)級可管理性和可伸縮性、高資源利用率和可用性、操作便利性、多應用支持以及一個開放分布式系統(tǒng)架構,其中包括對于Hadoop分布式文件系統(tǒng)(HDFS)和Appistry Cloud IQ的即時支持,稍后還將支持更多的文件系統(tǒng)和平臺,這將確保企業(yè)更加關注將MapReduce應用程序轉移至生產(chǎn)環(huán)境中。 |
StackIQ Rocks+ Big Data | StackIQ Rock+ Big Data是一款Rocks的商業(yè)流通集群管理軟件,該公司已加強支持Apache Hadoop。Rock+支持Apache、Cloudera、Hortonworks和MapR的分布,并且處理從裸機服務器來管理Hadoop集群配置的整個過程 |
Zettaset Orchestrator | Zettaset Orchestrator是端到端的Hadoop管理產(chǎn)品,支持多個Hadoop的分布。Zettaset吹捧Orchestrator的基于UI的經(jīng)驗和MAAPS(管理、可用性、自動化、配置和安全)的處理能力。 |
二、Ambari的使用步驟
2.1 安裝Ambari Server和Ambari Agent:
在一臺服務器上安裝Ambari Server,然后在每個節(jié)點上安裝Ambari Agent。
Ambari Server和Ambari Agent是Ambari架構中的兩個重要組件
- Server負責管理和監(jiān)控整個集群
- Agent負責在每個節(jié)點上安裝和管理服務。
通過AmbariServer和Ambari Agent的協(xié)作,我們可以輕松地管理和監(jiān)控Hadoop集群。
2.1.1 Ambari Server組件
Ambari Server是Ambari架構中的核心組件,它負責管理和監(jiān)控整個集群。
Ambari Server的架構如下圖所示:
Ambari Server主要由以下組件組成:
- REST API:提供了一組RESTful API,用于與Ambari Server進行交互。
- Database:用于存儲集群配置信息、主機信息、服務信息等。
- Web UI:提供了一個易于使用的Web界面,用于管理和監(jiān)控整個集群。
- Metrics Collector:用于收集集群的各種指標數(shù)據(jù),如CPU使用率、內(nèi)存使用率、磁盤使用率等。
- Alerting Framework:用于監(jiān)控集群的各種警報,如節(jié)點宕機、服務停止等。
- Stack Definition:用于定義集群中所使用的軟件棧,包括Hadoop、Hive、HBase等。
- Configuration Management:用于管理集群的配置信息,如Hadoop配置文件、Hive配置文件等。
2.1.2 Ambari Agent組件
Ambari Agent是Ambari架構中的另一個重要組件,它負責在每個節(jié)點上安裝和管理服務。
Ambari Agent的架構如下圖所示:
Ambari Agent主要由以下組件組成:
- Heartbeat:用于向Ambari Server發(fā)送心跳消息,以便Ambari Server了解節(jié)點的狀態(tài)。
- Command Execution:用于執(zhí)行由Ambari Server發(fā)送的命令,如安裝、啟動、停止服務等。
- Service Management:用于管理節(jié)點上的服務,如安裝、啟動、停止服務等。
- Metrics Collector:用于收集節(jié)點的各種指標數(shù)據(jù),如CPU使用率、內(nèi)存使用率、磁盤使用率等。
- Alerting Framework:用于監(jiān)控節(jié)點的各種警報,如節(jié)點宕機、服務停止等。
2.2 創(chuàng)建集群:
在Ambari Server上創(chuàng)建一個新的集群,并指定集群的名稱和節(jié)點列表。
2.3 安裝組件
在Ambari界面上選擇要安裝的組件,例如HDFS、YARN、MapReduce、Hive等。
2.4 配置組件
為每個組件配置參數(shù),例如HDFS的副本數(shù)、YARN的資源管理器和節(jié)點管理器等。
2.5 啟動服務:
在Ambari界面上啟動每個組件的服務。
2.6 監(jiān)控集群
使用Ambari界面監(jiān)控集群的狀態(tài)、性能和健康狀況。
2.7 擴展集群
在需要時,可以使用Ambari界面添加新的節(jié)點或組件來擴展集群。文章來源:http://www.zghlxwxcb.cn/news/detail-737616.html
總之,文章來源地址http://www.zghlxwxcb.cn/news/detail-737616.html
到了這里,關于【項目實戰(zhàn)】基于Web的管理和監(jiān)控Hadoop集群工具——Ambari入門介紹的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!