Hive on Spark中遇到的Failed to create Spark client for Spark session的問題
在自學(xué)數(shù)倉項(xiàng)目中，遇到以下問題
錯誤提示：
org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session dfea1fc3-5634-44c1-8a11-55ec733ea206
導(dǎo)致出現(xiàn)這個問題主要是Hive on Spark的資源不足導(dǎo)致,還有一種可能導(dǎo)致出現(xiàn)這情況，即namenode沒有正常啟動，可以檢查一下
解決方法：
1、修改參數(shù)
修改capacity-scheduler.xml中的參數(shù)，文件位于$HADOOP_HOME/etc/hadoop
vim capacity-scheduler.xml
將yarn.scheduler.capacity.maximum-am-resource-percent中value修改成0.8即可
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.8</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
2、分發(fā)配置文件，進(jìn)行同步
并將修改的capacity-scheduler.xml文件分發(fā)給其他節(jié)點(diǎn)中
可以通過rsync 或者 scp 分發(fā)給其他節(jié)點(diǎn)中
linux遠(yuǎn)程拷貝文件相關(guān)知識
3、將yarn重啟
只需要將yarn的ResourceManager和NodeManager重新啟動即可
stop-yarn.sh
start-yarn.sh
補(bǔ)充知識：文章來源：http://www.zghlxwxcb.cn/news/detail-436553.html
Apache Hadoop的使用的是容量調(diào)度器，它會每個資源隊(duì)列中運(yùn)行的Application Master占用的資源進(jìn)行啦限制，是在capacity-scheduler.xml中yarn.scheduler.capacity.maximum-am-resource-percent參數(shù)實(shí)現(xiàn)的，默認(rèn)值為0.1，即10%的資源。主要是為了防止大部分資源的被Application Master占用，而導(dǎo)致Map Task和 Reduce Task不能執(zhí)行。在生產(chǎn)中不需要調(diào)整，在這里調(diào)整主要是我自己電腦資源不足導(dǎo)致的。文章來源地址http://www.zghlxwxcb.cn/news/detail-436553.html
到了這里，關(guān)于Hive on Spark中遇到的Failed to create Spark client for Spark session的問題的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![springboot中es查詢報(bào)錯：“failed to create querv:Cannot search on field [ableLook] since it is not indexed“](https://imgs.yssmx.com/Uploads/2024/02/524744-1.png)
