国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

05.hadoop上課筆記之hadoop5mapreduce和yarn

2年前作者：默默努力的小老弟分類：Toy博客閱讀(23)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了05.hadoop上課筆記之hadoop5mapreduce和yarn。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

1.yarn(yet another resource negotiator)分布式資源管理系統(tǒng)

1.作業(yè)(job)包含多個(gè)任務(wù)(task)
2.container封裝了cpu的各種資源

2.yarn的結(jié)構(gòu)

1.ResouceManager(全局資源管理)
系統(tǒng)資源管理分配處理客戶端請(qǐng)求,健康檢查namenode
2.nodemanager(當(dāng)前節(jié)點(diǎn)資源管理)
3.applicationMaster(發(fā)送心跳RM.二次分配資源給container,跟蹤任務(wù)情況,每個(gè)客戶端申請(qǐng)的都生成一個(gè)am)

3.mapreduce(解決計(jì)算問題) 改進(jìn)版spark更簡(jiǎn)單和流行,Flink可以實(shí)時(shí)處理,前兩個(gè)不可以

應(yīng)用場(chǎng)景(略)

分為2個(gè)階段 map(映射)(之間有整體shuffle排序)和reduce(規(guī)約) 分而治之(半成品,需要自己加代碼)(落地,內(nèi)存到磁盤)
大任務(wù)分為小任務(wù)到不同機(jī)器,然后任務(wù)匯總(數(shù)蘋果,分幾個(gè)人數(shù),然后匯總數(shù)量)
!!!考試 map的數(shù)量由split決定的

工作流程
0. 輸入和分片Split, InputFormat處理輸入的格式(默認(rèn)一行一行處理)
1. map 在數(shù)據(jù)中選擇<k,v> 如輸入1行為 hello,key為第一行為1,value為hello
2. shuffle 先整合( mysql group by) 歸并排序(order by) 后排序(助手sorter) (對(duì)key排序,字母順序或者數(shù)字順序)
<k,<v1,v2,v3>>
3. reduce
<k2,v2> #為map階段處理后的結(jié)果

4.怎么打包jar

項(xiàng)目運(yùn)行后export runnable jar
圖形界面Scala IDE直接運(yùn)行代碼,在args加參數(shù)

5.mapreduce輸出存儲(chǔ)在日志 /usr/local #把yarn日志聚合配置好

6.winrar先以管理員打開后解壓

7.,mapreduce的輸入輸出格式

   默認(rèn)TextInputFormat key編號(hào) value為文本行
         SequentFormat ??我也沒有用過 二進(jìn)制格式

8.mapreduce

1.map
2.reduce
3.driver初始化的通用模塊在main函數(shù)

9.excel數(shù)據(jù)用, 逗號(hào)分割,也可以處理訪問量統(tǒng)計(jì)

10.Combiner 是迷你的reduce 在map本地進(jìn)行合并(局部合并)避免網(wǎng)絡(luò)傳輸慢(可有可無(wú))
使用情況: 不影響最終數(shù)據(jù),比如求平均值時(shí),默認(rèn)不打開

11.Partitioner分區(qū)器(必須有的) Hash數(shù)字指紋(輸入一個(gè)文件,生成多個(gè)文件)

//2月份的用戶在一個(gè)文件 1月份的用戶在另外一個(gè)文件
//幾個(gè)reduce決定幾個(gè)分區(qū)
//需要單獨(dú)寫個(gè)分區(qū)類,判斷放到哪個(gè)分區(qū),先分區(qū)---->Combiner->reduce文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-474609.html

到了這里，關(guān)于05.hadoop上課筆記之hadoop5mapreduce和yarn的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

hadoop-MapReduce
1. MapReduce設(shè)計(jì)思想 2. MapReduce分布式計(jì)算的基本原理 3. 使用Java進(jìn)行MapReduce編程 4. 在Hadoop集群中提交MapReduce任務(wù) 5.Yarn工作機(jī)制 1. MapReduce設(shè)計(jì)思想 1.1? 什么是MapReduce 1 ）MapReduce是一個(gè)分布式計(jì)算框架它將大型數(shù)據(jù)操作作業(yè)分解為可以跨服務(wù)器集群并行執(zhí)行的單個(gè)任務(wù)。起源于
2024年02月10日
瀏覽(46)
Hadoop 2：MapReduce
理解MapReduce思想 MapReduce的思想核心是“先分再合，分而治之”。所謂“分而治之”就是把一個(gè)復(fù)雜的問題，按照一定的“分解”方法分為等價(jià)的規(guī)模較小的若干部分，然后逐個(gè)解決，分別找出各部分的結(jié)果，然后把各部分的結(jié)果組成整個(gè)問題的最終結(jié)果。這種思想來(lái)源于日
2024年02月06日
瀏覽(19)
【Hadoop】MapReduce詳解
?? 個(gè)人主頁(yè) ——??開著拖拉機(jī)回家_大數(shù)據(jù)運(yùn)維-CSDN博客 ????? ???????????????? ?????????????? ???????????????????????? 感謝點(diǎn)贊和關(guān)注，每天進(jìn)步一點(diǎn)點(diǎn)！加油！目錄一、MapReduce概述 1. 1 MapReduce 介紹 1.2 MapReduce 定義 1.3 MapReduce優(yōu)缺點(diǎn) 1.2.1.優(yōu)
2024年02月05日
瀏覽(21)
hadoop --- MapReduce
MapReduce定義： MapReduce可以分解為Map (映射)?+ Reduce (規(guī)約) ，具體過程：? ?Map : 輸入數(shù)據(jù)集被切分成多個(gè)小塊，并分配給不同的計(jì)算節(jié)點(diǎn)進(jìn)行處理 Shuffle and Sort：洗牌和排序，在 Map 階段結(jié)束后，將每個(gè) Mapper 生成的鍵值對(duì)按照鍵進(jìn)行排序，并將相同鍵的值歸并在一起，并將相
2024年02月15日
瀏覽(16)
hadoop之MapReduce簡(jiǎn)介
MapReduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶開發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。MapReduce核心功能是將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個(gè)完整的分布式運(yùn)算程序，并發(fā)運(yùn)行在一個(gè)Hadoop集群上。簡(jiǎn)單說(shuō)MapReduce是一個(gè)框架，一個(gè)分布式計(jì)算框架，
2024年02月04日
瀏覽(24)
【Hadoop】- MapReduce概述[5]
目錄前言一、分布式計(jì)算框架 - MapReduce 二、MapReduce執(zhí)行原理 MapReduce是一種分布式計(jì)算框架，由Google開發(fā)。它的設(shè)計(jì)目標(biāo)是將大規(guī)模數(shù)據(jù)集的處理和生成任務(wù)分布到一個(gè)由廉價(jià)計(jì)算機(jī)組成的集群中。在MapReduce模型中，輸入數(shù)據(jù)被分割成若干小塊，并在集群中的多個(gè)節(jié)點(diǎn)上并
2024年04月25日
瀏覽(23)
Hadoop之MapReduce概述
MapReduce定義 MapReduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶開發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。 MapReduce核心功能是將用戶編寫的業(yè)務(wù)邏輯代碼和自帶默認(rèn)組件整合成一個(gè)完整的分布式運(yùn)算程序，并發(fā)運(yùn)行在一個(gè)Hadoop集群上。 MapReduce優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 1）MapReduce易于編
2024年02月08日
瀏覽(27)
Hadoop MapReduce解析
Hadoop MapReduce是一個(gè)用于處理大量數(shù)據(jù)的編程模型和一個(gè)相應(yīng)的實(shí)現(xiàn)框架。MapReduce作業(yè)通常分為兩個(gè)階段：Map階段和Reduce階段。 Map階段在Map階段，你編寫的Map函數(shù)會(huì)對(duì)輸入數(shù)據(jù)進(jìn)行處理。每個(gè)輸入數(shù)據(jù)片段（例如一行文本）都會(huì)被Map函數(shù)處理，并產(chǎn)生中間鍵值對(duì)。以單詞計(jì)數(shù)
2024年04月14日
瀏覽(16)
MapReduce排序機(jī)制（Hadoop）
在MapReduce中，排序的目的是為了方便Reduce階段的處理，通常是為了將相同鍵的鍵值對(duì)聚合在一起，以便進(jìn)行聚合操作或其他處理。對(duì)于MapTask，它會(huì)將處理的結(jié)果暫時(shí)放到環(huán)形緩沖區(qū)中，當(dāng)環(huán)形緩沖區(qū)使用率達(dá)到一定閾值后，再對(duì)緩沖區(qū)中的數(shù)據(jù)進(jìn)行一次快速排序，并將這
2024年04月24日
瀏覽(20)
hadoop之mapreduce詳解
? ? ?優(yōu)化前我們需要知道hadoop適合干什么活，適合什么場(chǎng)景，在工作中，我們要知道業(yè)務(wù)是怎樣的，能才結(jié)合平臺(tái)資源達(dá)到最有優(yōu)化。除了這些我們當(dāng)然還要知道m(xù)apreduce的執(zhí)行過程，比如從文件的讀取，map處理，shuffle過程，reduce處理，文件的輸出或者存儲(chǔ)。在工作中，往往
2024年02月15日
瀏覽(15)