国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

SparkException: Dynamic partition strict mode requires at least one static partition column

1年前作者：NBA首席形象大使阿坤分類：Toy博客閱讀(27)違法舉報

這篇具有很好參考價值的文章主要介紹了SparkException: Dynamic partition strict mode requires at least one static partition column。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

創(chuàng)建表后卻無法寫入數(shù)據(jù)？

報錯內(nèi)容：== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict
at org.apache.spark.sql.hive.execution.InsertIntoHiveTable.processInsert(InsertIntoHiveTable.scala:157) ==

原因：hive使用了分區(qū)，并且是動態(tài)分區(qū)

動態(tài)分區(qū)：比如以時間作為分區(qū)，那么分區(qū)就是每天都在增加，即是動態(tài)分區(qū)

因為要做動態(tài)分區(qū), 所以要先設(shè)定partition參數(shù)
由于default是false, 需要額外下指令打開這個開關(guān)
default是strick, 表示不允許動態(tài)分區(qū), 所以要改成nostrick

解決：設(shè)置代碼中的參數(shù)

    // 做動態(tài)分區(qū), 所以要先設(shè)定partition參數(shù)
    // default是false, 需要額外下指令打開這個開關(guān)
    ss.sqlContext.setConf("hive.exec.dynamic.partition;","true");
    ss.sqlContext.setConf("hive.exec.dynamic.partition.mode","nonstrict");

Tips：在獲取連接時指定config，或者連接后設(shè)置setConf均可。
文章來源地址http://www.zghlxwxcb.cn/news/detail-847724.html

到了這里，關(guān)于SparkException: Dynamic partition strict mode requires at least one static partition column的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

MySQL運維實戰(zhàn)(4.4) SQL_MODE之STRICT_TRANS_TABLES和STRICT_ALL_TABLES
作者：俊達(dá) 在MySQL中，STRICT模式主要用于控制數(shù)據(jù)庫的行為，有助于保持?jǐn)?shù)據(jù)的一致性和完整性，特別是在涉及到數(shù)據(jù)寫入、更新和其他操作時的約束。如果設(shè)置STRICT模式，MySQL會更加嚴(yán)格地執(zhí)行數(shù)據(jù)寫入和更新等操作，當(dāng)數(shù)據(jù)不符合字段定義或者違反了約束條件，MySQL將拋
2024年01月18日
瀏覽(97)
Kibana-8.1.2：This Elastic installation has strict security requirements
Windows 10 運行 Kibana-8.1.2 (一個針對 ElasticSearch 的開源分析及可視化平臺，用來搜索、查看交互存儲在 ElasticSearch 索引中的數(shù)據(jù)) 不同版本官方下載地址： Past Releases of Elastic Stack Software | Elastic Looking for a past release of Elasticsearch, Logstash, Kibana, es-hadoop, Shield, Marvel, or our language clie
2024年02月02日
瀏覽(14)
mmdetection ValueError: need at least one array to concatenate解決方案
在mmdetection中有時候訓(xùn)練模型會出現(xiàn)ValueError: need at least one array to concatenate的錯誤，詳情如下圖所示。很多人都說是mmdet/dataset下coco.py或voc.py中CLASSES設(shè)置與數(shù)據(jù)集對應(yīng)不上，博主不以為然。因為在mmdetection2中，不需要到mmdet/dataset中修改CLASSES，只需要在訓(xùn)練配置文件中中設(shè)置一
2023年04月11日
瀏覽(24)
You must install at least one postgresql-client-＜version＞ package
使用主機上的映射端口來連接到 PostgreSQL 數(shù)據(jù)庫。例如，使用以下命令連接到數(shù)據(jù)庫：出現(xiàn)下面的問題：分析：如果您在運行 psql 命令時遇到錯誤消息 You must install at least one postgresql-client-version package ，這意味著您的系統(tǒng)缺少 PostgreSQL 客戶端工具。要解決這個問題，您需要
2024年02月10日
瀏覽(19)
No variants found for ‘:app‘. Check build files to ensure at least one variant exists. at: 2022.2.1
Android Studio 2022.2.1項目遷移報錯1、No variants found for \\\':app\\\'. Check build files to ensure at least one variant exists. at:，2、manifest merger failed with multiple errors see logs，3、module java.base does not “opens java.io“ to unnamed module。 PS：（2022.2.1）新版AS。。。 1，JDK17 2，AGP8.0，我僅更為7.1+ Android SDK Bui
2024年02月07日
瀏覽(15)
FPGA編譯報錯內(nèi)容[Common 17-55] ‘set_property‘ expects at least one object.
FPGA代碼編譯時報錯編譯報錯內(nèi)容[Common 17-55] ‘set_property’ expects at least one object. 當(dāng)一個引腳存在于xdc文件中，但是工程的頂層模塊的引腳里沒有這個引腳時，就會報出這個錯誤查找報錯的這個引腳是否存在于工程的頂層模塊的引腳列表中，最大的可能是xdc中的引腳名與工程
2024年02月07日
瀏覽(18)
JAVA入門大坑：expected at least 1 bean which qualifies as autowire candidate. Dependency annotations
Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name \\\'helloWord\\\': Unsatisfied dependency expressed through field \\\'testMapper\\\': Error creating bean with name \\\'testMapperImpl\\\': Unsatisfied dependency expressed through field \\\'testDao\\\': No
2024年02月15日
瀏覽(13)
No variants found for ‘:app‘. Check build files to ensure at least one variant exists.
? ? ? ? android studio更新后，由于android studio的要求，gradle-wrapper.properties的distributionUrl由6.1.1升級到了7.2。如下所示： ? ? ? ? 會遭遇“No variants found for \\\':app\\\'. Check build files to ensure at least one variant exists.”的提示。 ? ? ? ? 其實，我自己解決該問題，主要處理了2個地方。 ?
2024年02月11日
瀏覽(21)
運行錯誤：view size is not compatible with input tensor‘s size and stride (at least
python運行報錯： view size is not compatible with input tensor\\\'s size and stride (at least one dimension spans acros 出現(xiàn)這個原因主要就是因為v iew()需要 Tensor 中的元素地址是連續(xù)的，因為可能出現(xiàn)Tensor不連續(xù)的情況，修改為：在.view前加 .contiguous（），使其變?yōu)檫B續(xù)就ok。 ? ?
2024年02月11日
瀏覽(18)
elastic安裝報錯：max file descriptors [4096] for elasticsearch process is too low, increase to at least
一、現(xiàn)象因為 es 不允許使用root用戶安裝，在使用新建的es用戶安裝的時候報錯如下， max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535] 二、解決辦法將當(dāng)前用戶的軟硬限制調(diào)大。找到文件 /etc/security/limits.conf ，編輯，在文件的最后追加如下配置： ?
2024年02月11日
瀏覽(26)