Hadoop YRAN介紹
YARN是一個通用資源管理系統(tǒng)平臺和調(diào)度平臺，可為上層應(yīng)用提供統(tǒng)一的資源管理和 調(diào)度。
他的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了好處。
1.資源管理系統(tǒng)
集群的硬件資源，和程序運(yùn)行無關(guān)，比如內(nèi)存、cup
2.調(diào)度平臺
資源如何分配
3.通用
支持各種計(jì)算程序
YARN架構(gòu)、組件
ResourceManager(物理層面集群）
RM是YARN集群的主角色，決定系統(tǒng)中所有應(yīng)用之間資源分配的最終權(quán)限，即最終仲裁者。
NodeManager
YARN的從角色，一個機(jī)器上一個，負(fù)責(zé)管理本機(jī)器上的計(jì)算機(jī)資源。
AplicationMaster（App層面集群）
用戶提交均包含一個AM應(yīng)用程序的老大，負(fù)責(zé)程序的內(nèi)部各階段的資源申請，監(jiān)督程序的執(zhí)行情況
Client
Contairner容器（資源的抽象）
程序提交YARN集群交互流程
MR作業(yè)提交 Clinet—>RM
資源的申請MrAppMaster-->RM
MR作業(yè)狀態(tài)匯報Container-->Container
節(jié)點(diǎn)的狀態(tài)匯報 NM--RM、
當(dāng)用戶提交向YARN中提交了一個應(yīng)用程序之后，YRAN將分為兩個階段該應(yīng)用程序
第一個階段客戶端申請資源啟動運(yùn)行本次程序的ApplicationMaster
第二個階段是由ApplicationMaster根據(jù)本次程序內(nèi)部情況，為它申請資源，并監(jiān)控整個運(yùn)行過程。直到運(yùn)行完成
第三階段ApplicationMaster啟動成功之后，首先向ResourceManager注冊并保持通信，這樣用戶通過ResourceManager查看應(yīng)用程序運(yùn)行狀態(tài)
第四階段AM為本次程序內(nèi)部的各個TASK任務(wù)向RM申請資源，并監(jiān)控他的運(yùn)行狀態(tài)
第五個階段一旦ApplicationMAster申請到資源后，便與對應(yīng)的NodeMAster通信，要求啟動任務(wù)
第六階段NodeManager為任務(wù)設(shè)置好運(yùn)行環(huán)境后，將任務(wù)啟動命令寫到一個腳本中，并通過運(yùn)行改腳本啟動任務(wù)。
第七個階段各個任務(wù)通過RPC協(xié)議向ApplicationMaster匯報自己的狀態(tài)和進(jìn)度
第八個階段應(yīng)用程序 運(yùn)行完成后，ApplicationMaster向ResourceManager注銷并關(guān)閉自己
YARN資源調(diào)度器
FIFOSchedule（先進(jìn)先出調(diào)度器）Capacity Scheduler（容量調(diào)度器）Fair Schedule（公平調(diào)度器）
Apache版本默認(rèn)使用Capacity Schedule調(diào)度器文章來源：http://www.zghlxwxcb.cn/news/detail-734308.html
如果需要使用其他的調(diào)度器 可以在Yarn--site.xml中的yarn.Resource.Schedule.class 進(jìn)行配置文章來源地址http://www.zghlxwxcb.cn/news/detail-734308.html
FIFOSchedule（先進(jìn)先出調(diào)度器）
Capacity Scheduler（容量調(diào)度器）
Fair Schedule（公平調(diào)度器）
到了這里，關(guān)于Hadoop YARN功能介紹--資源管理、調(diào)度任務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
