&&大數(shù)據(jù)學(xué)習(xí)&&
??系列專欄： ??哲學(xué)語錄: 承認(rèn)自己的無知，乃是開啟智慧的大門 ??如果覺得博主的文章還不錯的話，請點贊??+收藏??+留言??支持一下博主哦??
對于一個分布式的計算任務(wù)而言，設(shè)置一個合適的并行度十分重要。Hive的計算任務(wù)由MapReduce完成，故并行度的調(diào)整需要分為Map端和Reduce端。
12.7.1.1 Map端并行度
Map端的并行度，也就是Map的個數(shù)。是由輸入文件的切片數(shù)決定的。一般情況下，Map端的并行度無需手動調(diào)整。
以下特殊情況可考慮調(diào)整map端并行度：
1）查詢的表中存在大量小文件
按照Hadoop默認(rèn)的切片策略，一個小文件會單獨啟動一個map task負(fù)責(zé)計算。若查詢的表中存在大量小文件，則會啟動大量map?task，造成計算資源的浪費。這種情況下，可以使用Hive提供的CombineHiveInputFormat，多個小文件合并為一個切片，從而控制map task個數(shù)。相關(guān)參數(shù)如下：
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;2）map端有復(fù)雜的查詢邏輯
若SQL語句中有正則替換、json解析等復(fù)雜耗時的查詢邏輯時，map端的計算會相對慢一些。若想加快計算速度，在計算資源充足的情況下，可考慮增大map端的并行度，令map?task多一些，每個map?task計算的數(shù)據(jù)少一些。相關(guān)參數(shù)如下：
--一個切片的最大值
set mapreduce.input.fileinputformat.split.maxsize=256000000;12.7.1.2 Reduce端并行度
Reduce端的并行度，也就是Reduce個數(shù)。相對來說，更需要關(guān)注。Reduce端的并行度，可由用戶自己指定，也可由Hive自行根據(jù)該MR Job輸入的文件大小進行估算。
Reduce端的并行度的相關(guān)參數(shù)如下：
--指定Reduce端并行度，默認(rèn)值為-1，表示用戶未指定
set mapreduce.job.reduces;
--Reduce端并行度最大值
set hive.exec.reducers.max;
--單個Reduce?Task計算的數(shù)據(jù)量，用于估算Reduce并行度
set hive.exec.reducers.bytes.per.reducer;Reduce端并行度的確定邏輯如下：
若指定參數(shù)mapreduce.job.reduces的值為一個非負(fù)整數(shù)，則Reduce并行度為指定值。否則，Hive自行估算Reduce并行度，估算邏輯如下：
假設(shè)Job輸入的文件大小為totalInputBytes
參數(shù)hive.exec.reducers.bytes.per.reducer的值為bytesPerReducer。
參數(shù)hive.exec.reducers.max的值為maxReducers。
則Reduce端的并行度為：
文章來源：http://www.zghlxwxcb.cn/news/detail-734408.html
根據(jù)上述描述，可以看出，Hive自行估算Reduce并行度時，是以整個MR?Job輸入的文件大小作為依據(jù)的。因此，在某些情況下其估計的并行度很可能并不準(zhǔn)確，此時就需要用戶根據(jù)實際情況來指定Reduce并行度了。文章來源地址http://www.zghlxwxcb.cn/news/detail-734408.html
到了這里，關(guān)于大數(shù)據(jù)學(xué)習(xí)(18)-任務(wù)并行度優(yōu)化的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
