国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<i id="ed0ab"></i>

Hive產(chǎn)生大量Info日志的問題（由Flink On Yarn配置引起的）

2年前作者：曼莎70分類：Toy博客閱讀(22)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了Hive產(chǎn)生大量Info日志的問題（由Flink On Yarn配置引起的）。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

1、背景

當(dāng)時(shí)，hive安裝部署好，并沒有這個(gè)問題，后面部署了 Flink On Yarn，就沒有使用過hive了。

2、問題

（1）使用 bin/hive 的時(shí)候，會(huì)打印大量的INFO日志，不停的刷日志，sql語句這些能夠正常執(zhí)行（MR引擎或者Tez引擎都可以），但是其實(shí)無法正常使用。

（2）info日志如下所示：
flink on yarn日志過大,日常問題解決,hive,flink,hadoop

（3）而后想通過啟動(dòng) hiveserver2服務(wù)，使用DataGrip去連接操作Hive，這樣至少不用看見那煩人的INFO日志了。。。事實(shí)是，sql語句無法正常跑下去。。。

3、解決辦法

出現(xiàn)這個(gè)問題的原因：環(huán)境變量配置了HADOOP_CLASSPATH導(dǎo)致的。

vim /etc/profile.d/my_env.sh
把最下面的注釋掉或者刪掉，重啟服務(wù)器，重啟集群，重新連接hive。
注意，除了source加載一次，一定要重啟服務(wù)器哈（reboot）！?。。。。∥揖褪窃栽诹诉@里，坑了半天。。。

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

下面這兩個(gè)環(huán)境變量是在部署FLink On Yarn的時(shí)候用到的，為以后使用方便，我選擇注釋即可?。?！
#export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop
#export HADOOP_CLASSPATH=`hadoop classpath`

4、測試Hive是否正常

flink on yarn日志過大,日常問題解決,hive,flink,hadoop
后面sql語句都正常使用。文章來源地址http://www.zghlxwxcb.cn/news/detail-668485.html

到了這里，關(guān)于Hive產(chǎn)生大量Info日志的問題（由Flink On Yarn配置引起的）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

Flink配置Yarn日志聚合、配置歷史日志。
對于已經(jīng)結(jié)束的yarn應(yīng)用，flink進(jìn)程已經(jīng)退出無法提供webui服務(wù)。所以需要通過JobHistoryServer查看保留在yarn上的日志。下面就給大家分享一下我在配置方面的經(jīng)歷吧。 1.yarn配置聚合日志編輯：yarn-site.xml 說明：開啟后任務(wù)執(zhí)行 “完畢” 后，才會(huì)上傳日志至hdfs 查詢：yarn lo
2024年02月10日
瀏覽(18)
Flink on yarn 加載失敗plugins失效問題解決
flink版本：1.13.6 flink 任務(wù)運(yùn)行在yarn集群,plugins加載失效,導(dǎo)致通過擴(kuò)展資源獲取任務(wù)參數(shù)失效 yarn容器的jar包及插件信息,jar包是正常上傳源碼定位加載plugins入口，TaskManagerRunner.class PluginUtils.createPluginManagerFromRootFolder 源碼加載擴(kuò)展資源參數(shù)入口TaskManagerRunner.class ExternalResource
2024年02月08日
瀏覽(19)
cdh6.3.2 Flink On Yarn taskmanager任務(wù)分配傾斜問題的解決辦法
Flink On Yarn任務(wù)啟動(dòng) CDH：6.3.2 Flink：1.13.2 Hadoop：3.0.0 在使用FLink on Yarn調(diào)度過程中，發(fā)現(xiàn)taskmanager總是分配在集中的幾個(gè)節(jié)點(diǎn)上，集群有11個(gè)節(jié)點(diǎn)，但每個(gè)任務(wù)啟動(dòng)，只用到兩三個(gè)節(jié)點(diǎn)，導(dǎo)致這幾臺(tái)服務(wù)器負(fù)載過高，其他節(jié)點(diǎn)又比較空閑。 1、yarn.scheduler.fair.assignmultiple 2、yarn.s
2024年02月12日
瀏覽(25)
Flink、Yarn架構(gòu)，以Flink on Yarn部署原理詳解
Apache Flink是一個(gè)開源的分布式流處理框架，它可以處理實(shí)時(shí)數(shù)據(jù)流和批處理數(shù)據(jù)。Flink的架構(gòu)原理是其實(shí)現(xiàn)的基礎(chǔ)，架構(gòu)原理可以分為以下四個(gè)部分：JobManager、TaskManager、JobGraph、Checkpoint。 JobManager JobManager是Flink集群的控制節(jié)點(diǎn)，負(fù)責(zé)接收用戶提交的任務(wù)，將任務(wù)分配給Task
2024年02月12日
瀏覽(18)
[Flink] Flink On Yarn（yarn-session.sh）啟動(dòng)錯(cuò)誤
在Flink上啟動(dòng) yarn-session.sh時(shí)出現(xiàn) The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.錯(cuò)誤。版本說明： Hadoop： 3.3.4 Flink：1.17.1 在Flink On Yarn上啟動(dòng) yarn-session.sh 時(shí)出現(xiàn)如下錯(cuò)誤：在yarn-site.xml文件中配置了所有可能相關(guān)的參
2024年02月13日
瀏覽(27)
flink on yarn 遠(yuǎn)程提交
2024年02月10日
瀏覽(27)
flink on yarn集群部署模式
介紹 YARN 上部署的過程是：客戶端把 Flink 應(yīng)用提交給 Yarn 的ResourceManager, Yarn 的 ResourceManager 會(huì)向 Yarn 的 NodeManager 申請容器。在這些容器上，F(xiàn)link 會(huì)部署JobManager 和 TaskManager 的實(shí)例，從而啟動(dòng)集群。Flink 會(huì)根據(jù)運(yùn)行在 JobManger 上的作業(yè)所需要的 Slot 數(shù)量動(dòng)態(tài)分配TaskManager 資源。
2024年01月23日
瀏覽(20)
說說Flink on yarn的啟動(dòng)流程
核心流程 FlinkYarnSessionCli 啟動(dòng)的過程中首先會(huì)檢查Yarn上有沒有足夠的資源去啟動(dòng)所需要的container，如果有，則上傳一些flink的jar和配置文件到HDFS ，這里主要是啟動(dòng)AM進(jìn)程和TaskManager進(jìn)程的相關(guān)依賴jar包和配置文件。接著yarn client會(huì)首先向RM 申請一個(gè)container來作為ApplicationMas
2024年02月10日
瀏覽(26)
Apache Flink連載（二十）：Flink On Yarn運(yùn)行 - Yarn Per-Job模式（棄用）
??? 個(gè)人主頁：IT貧道-CSDN博客 ??? 私聊博主：私聊博主加WX好友，獲取更多資料哦~ ??? 博主個(gè)人B棧地址：豹哥教你學(xué)編程的個(gè)人空間-豹哥教你學(xué)編程個(gè)人主頁-嗶哩嗶哩視頻目錄 1.?任務(wù)提交命令 2. 任務(wù)提交流程
2024年01月20日
瀏覽(20)
flink on yarn 中的flink-conf.yaml參數(shù)
在 Flink on YARN 中， flink-conf.yaml 是 Flink 配置文件，用于配置 Flink 應(yīng)用程序在 YARN 上的運(yùn)行。通過修改 flink-conf.yaml 文件中的參數(shù)，你可以調(diào)整 Flink 集群的行為和性能。以下是一些常見的在 flink-conf.yaml 中設(shè)置的參數(shù)： yarn.application.name : 指定 Flink 應(yīng)用程序在 YARN 上的名稱。
2024年02月12日
瀏覽(21)

<strong id="kzj1f"><dl id="kzj1f"></dl></strong>