前言
本節(jié)內(nèi)容我們主要介紹一下Flume數(shù)據(jù)流的監(jiān)控工具Ganglia。Ganglia是一個(gè)開(kāi)源的分布式系統(tǒng)性能監(jiān)控工具。它被設(shè)計(jì)用于監(jiān)視大規(guī)模的計(jì)算機(jī)群集（包括集群、網(wǎng)格和云環(huán)境），以便收集和展示系統(tǒng)和應(yīng)用程序的性能數(shù)據(jù)。Ganglia 可以輕松地?cái)U(kuò)展到數(shù)千臺(tái)計(jì)算機(jī)節(jié)點(diǎn)，并支持跨多個(gè)數(shù)據(jù)中心進(jìn)行分布式監(jiān)控。Ganglia 使用高效的多播通信協(xié)議和緊湊的數(shù)據(jù)格式，以最小化對(duì)網(wǎng)絡(luò)和系統(tǒng)資源的影響。Ganglia 提供實(shí)時(shí)監(jiān)控和報(bào)告功能，可以顯示關(guān)鍵指標(biāo)（如 CPU 使用率、內(nèi)存使用率、網(wǎng)絡(luò)流量等）的實(shí)時(shí)數(shù)據(jù)和歷史趨勢(shì)。Ganglia 提供直觀的 Web 界面，可以通過(guò)圖表和圖形方式展示系統(tǒng)性能數(shù)據(jù)，方便用戶進(jìn)行可視化分析。Ganglia 支持插件機(jī)制，可以擴(kuò)展其功能并與其他工具和服務(wù)集成。
正文
-
服務(wù)規(guī)劃
| hadoop101 | hadoop102 | hadoop103 |
|---|---|---|
| gweb | ||
| gmetad | ||
| gmod | gmod | gmod |
- Ganglia組件說(shuō)明
gmond（Ganglia Monitoring Daemon）：是一種輕量級(jí)服務(wù)，安裝在每臺(tái)需要收集指標(biāo)數(shù)據(jù)的節(jié)點(diǎn)主機(jī)上。使用 gmond，你可以很容易收集很多系統(tǒng)指標(biāo)數(shù)據(jù)，如 CPU、內(nèi)存、磁盤(pán)、 網(wǎng)絡(luò)和活躍進(jìn)程的數(shù)據(jù)等。
gmetad（Ganglia Meta Daemon）：整合所有信息，并將其以 RRD 格式存儲(chǔ)至磁盤(pán)的服務(wù)。
gweb（Ganglia Web）Ganglia ：可視化工具，gweb 是一種利用瀏覽器顯示 gmetad 所存儲(chǔ)數(shù)據(jù)的 PHP前端。在Web界面中以圖表方式展現(xiàn)集群的運(yùn)行狀態(tài)下收集的多種不同指標(biāo)數(shù) 據(jù)。
- 在hadoop101、hadoop102、hadoop103分別安裝epel-release
- 命令：sudo yum -y install epel-release?
- ?在hadoop101上安裝ganglia-gmetad、ganglia-web、ganglia-gmond
- 命令：
sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-gmond
sudo yum -y install ganglia-web
- 在hadoop102和hadoop103上安裝ganglia-gmond?
- 命令：
sudo yum -y install ganglia-gmond
- ?在hadoop101服務(wù)器修改/etc/httpd/conf.d/ganglia.conf配置文件
- 使得該網(wǎng)段地址192.168.10.0/24都能訪問(wèn)ganglia-web
- ?在hadoop101服務(wù)器修改/etc/ganglia/gmetad.conf配置文件
- 修改元數(shù)據(jù)的存儲(chǔ)位置
- 在hadoop101、hadoop102、hadoop?103?修改配置文件/etc/ganglia/gmond.conf?
- 修改hadoop101的gmond.conf?配置
- 同步配置到hadoop102和hadoop103
- 將hadoop101配置文件/etc/selinux/config中的SELINUX修改為disabled
- 啟動(dòng)ganglia的監(jiān)控服務(wù)
- 在hadoop101、hadoop02、hadoop103啟動(dòng)gmond服務(wù)：sudo systemctl start gmond
- 在hadoop101啟動(dòng)httpd和gmetad服務(wù)
- 訪問(wèn)ganglia的web端頁(yè)面
?
- ?開(kāi)啟一個(gè)flume監(jiān)控任務(wù)，查看ganglia的web端頁(yè)面查看監(jiān)控指標(biāo)
- 在hadoop101服務(wù)器上啟動(dòng)一個(gè)flume監(jiān)控任務(wù)
bin/flume-ng agent \ -c conf/ \ -n a1 \ -f job/job-netcat-flume-console.conf \ -Dflume.root.logger=INFO,console \ -Dflume.monitoring.type=ganglia \ -Dflume.monitoring.hosts=hadoop101:8649
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-709656.html
- 圖例說(shuō)明
| EventPutAttemptCount | source 嘗試寫(xiě)入 channel 的事件總數(shù)量 |
| EventPutSuccessCount | 成功寫(xiě)入 channel 且提交的事件總數(shù)量 |
| EventTakeAttemptCount | sink 嘗試從 channel 拉取事件的總數(shù)量。 |
| EventTakeSuccessCount | sink 成功讀取的事件的總數(shù)量 |
| StartTime | channel 啟動(dòng)的時(shí)間（毫秒） |
| StopTime | channel 停止的時(shí)間（毫秒） |
| ChannelSize | 目前 channel 中事件的總數(shù)量 |
| ChannelFillPercentage | channel 占用百分比 |
| ChannelCapacity | channel 的容量 |
結(jié)語(yǔ)
關(guān)于Flume數(shù)據(jù)流監(jiān)控之Ganglia的安裝與部署內(nèi)容到這里就結(jié)束了，我們下期見(jiàn)。。。。。。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-709656.html
到了這里，關(guān)于（二十四）大數(shù)據(jù)實(shí)戰(zhàn)——Flume數(shù)據(jù)流監(jiān)控之Ganglia的安裝與部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
