在Hive中運行SQL，性能優(yōu)化是個大坑！
總結(jié)一些 hive性能優(yōu)化的參數(shù)設(shè)置
一、hive性能優(yōu)化
set hive.vectorized.execution.enabled=false;
set hive.auto.convert.join=false;
--map階段內(nèi)存不足
set mapreduce.map.memory.mb=10150;
set mapreduce.map.java.opts=-Xmx6144m;
-- reduce階段內(nèi)存不足
set mapreduce.reduce.memory.mb=10150;
set mapreduce.reduce.java.opts=-Xmx8120m;
--hive執(zhí)行內(nèi)存不足
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.dynamic.partition=true;
set hive.exec.parallel=true;
set hive.support.concurrency=false;
set mapreduce.map.memory.mb=4128;
set hive.exec.mode.local.auto=true;
set hive.exec.mode.local.auto.input.files.max=20;文章來源：http://www.zghlxwxcb.cn/news/detail-484028.html
二、開啟動態(tài)分區(qū)
--開啟動態(tài)分區(qū)功能（默認 true，開啟）
set hive.exec.dynamic.partition=true;
--設(shè)置為非嚴格模式 ? nonstrict 模式表示允許所有的分區(qū)字段都可以使用動態(tài)分區(qū)
set hive.exec.dynamic.partition.mode=nonstrict;
--在每個執(zhí)行 MR 的節(jié)點上，最大可以創(chuàng)建多少個動態(tài)分區(qū)
set hive.exec.max.dynamic.partitions.pernode=1000;
--在所有執(zhí)行 MR 的節(jié)點上，最大一共可以創(chuàng)建多少個動態(tài)分區(qū)。默認 1000
set hive.exec.max.dynamic.partitions=1500;文章來源地址http://www.zghlxwxcb.cn/news/detail-484028.html
到了這里，關(guān)于一百二十五、Hive——hive性能優(yōu)化的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
