国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

在 spark-sql / spark-shell / hive / beeline 中粘貼 sql、程序腳本時(shí)的常見(jiàn)錯(cuò)誤

2年前作者：　Laurence分類：Toy博客閱讀(21)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了在 spark-sql / spark-shell / hive / beeline 中粘貼 sql、程序腳本時(shí)的常見(jiàn)錯(cuò)誤。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

《大數(shù)據(jù)平臺(tái)架構(gòu)與原型實(shí)現(xiàn)：數(shù)據(jù)中臺(tái)建設(shè)實(shí)戰(zhàn)》一書(shū)由博主歷時(shí)三年精心創(chuàng)作，現(xiàn)已通過(guò)知名IT圖書(shū)品牌電子工業(yè)出版社博文視點(diǎn)出版發(fā)行，點(diǎn)擊《重磅推薦：建大數(shù)據(jù)平臺(tái)太難了！給我發(fā)個(gè)工程原型吧！》了解圖書(shū)詳情，京東購(gòu)書(shū)鏈接：https://item.jd.com/12677623.html，掃描左側(cè)二維碼進(jìn)入京東手機(jī)購(gòu)書(shū)頁(yè)面。

一個(gè)很小的問(wèn)題，簡(jiǎn)單記錄一下。有時(shí)候我們會(huì)粘貼一段已經(jīng)成功運(yùn)行過(guò)的SQL或程序腳本，但是在spark-sql / spark-shell / hive / beeline 中執(zhí)行時(shí)可能會(huì)報(bào)這樣的錯(cuò)誤：

hive> CREATE EXTERNAL TABLE IF NOT EXISTS ORDERS(
    > Display all 641 possibilities? (y or n)
!                              !=                             $ELEM$                         $KEY$
... ... ...
... ... ...

輸出的Display all 641 possibilities? (y or n)信息在暗示我們：腳本中有tab建，這會(huì)讓某些shell終端解析為“尋求代碼提示”，所以才會(huì)給出Display all 641 possibilities? (y or n)這樣的信息。我們可以在文本編輯器，例如notepad++，中選擇“視圖” -> “顯示符號(hào)” -> “顯示空格與制表符” 來(lái)確認(rèn)是否在腳本中含有tab字符。

相應(yīng)的解決方法是：使用空格（4個(gè)或2個(gè)）查找替換tab字符即可。

PS. 可能也是因?yàn)檫@種原因，現(xiàn)在IDE（例如IntelliJ）已經(jīng)不使用Tab鍵作為代碼縮進(jìn)了，而是改用4個(gè)或2個(gè)空格符去替換，這樣可以規(guī)避上述問(wèn)題。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-629767.html

到了這里，關(guān)于在 spark-sql / spark-shell / hive / beeline 中粘貼 sql、程序腳本時(shí)的常見(jiàn)錯(cuò)誤的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

Spark-SQL小結(jié)
目錄一、RDD、DataFrame、DataSet的概念、區(qū)別聯(lián)系、相互轉(zhuǎn)換操作 ? 1.RDD概念 ? 2.DataFrame概念 ? 3.DataSet概念 ? 4.RDD、DataFrame、DataSet的區(qū)別聯(lián)系 ? 5.RDD、DataFrame、DataSet的相互轉(zhuǎn)換操作 ? ?1 RDD-DataFrame、DataSet ? ?2? DataFrame-RDD,DataSet ? ?3 DataSet-RDD,DataFrame 二、Spark-SQL連接JDBC的方式
2024年02月09日
瀏覽(19)
spark-sql字段血緣實(shí)現(xiàn)
Apache Spark是一個(gè)開(kāi)源的大數(shù)據(jù)處理框架，它提供了一種高效、易于使用的方式來(lái)處理大規(guī)模數(shù)據(jù)集。在Spark中，數(shù)據(jù)是通過(guò)DataFrame和Dataset的形式進(jìn)行操作的，這些數(shù)據(jù)結(jié)構(gòu)包含了一系列的字段（也稱為列）。字段血緣是Spark中的一個(gè)關(guān)鍵概念，它幫助我們理解數(shù)據(jù)的來(lái)源和流
2024年02月02日
瀏覽(19)
Hudi-集成Spark之spark-sql方式
啟動(dòng)spark-sql 創(chuàng)建表建表參數(shù)：參數(shù)名默認(rèn)值說(shuō)明 primaryKey uuid 表的主鍵名，多個(gè)字段用逗號(hào)分隔。同 hoodie.datasource.write.recordkey.field preCombineField 表的預(yù)合并字段。同 hoodie.datasource.write.precombine.field type cow 創(chuàng)建的表類型： type = ‘cow’ type = \\\'mor’同 hoodie.datasource.write.table.ty
2024年02月05日
瀏覽(23)
Spark參數(shù)配置和調(diào)優(yōu)，Spark-SQL、Config
一、Hive-SQL / Spark-SQL參數(shù)配置和調(diào)優(yōu) 二、shell腳本spark-submit參數(shù)配置三、sparkSession中配置參數(shù)
2024年02月13日
瀏覽(21)
Hudi（7）：Hudi集成Spark之spark-sql方式
目錄 0. 相關(guān)文章鏈接 1.?創(chuàng)建表 1.1.?啟動(dòng)spark-sql 1.2.?建表參數(shù) 1.3.?創(chuàng)建非分區(qū)表 1.4.?創(chuàng)建分區(qū)表 1.5.?在已有的hudi表上創(chuàng)建新表 1.6.?通過(guò)CTAS (Create Table As Select)建表 2.?插入數(shù)據(jù) 2.1.?向非分區(qū)表插入數(shù)據(jù) 2.2.?向分區(qū)表動(dòng)態(tài)分區(qū)插入數(shù)據(jù) 2.3.?向分區(qū)表靜態(tài)分區(qū)插入數(shù)據(jù) 2.4
2024年02月06日
瀏覽(21)
spark-sql: insert overwrite分區(qū)表問(wèn)題
用spark-sql，insert overwrite分區(qū)表時(shí)發(fā)現(xiàn)兩個(gè)比較麻煩的問(wèn)題：從目標(biāo)表select出來(lái)再insert overwrite目標(biāo)表時(shí)報(bào)錯(cuò)：Error in query: Cannot overwrite a path that is also being read from. 從其他表select出來(lái)再insert overwrite目標(biāo)表時(shí)，其他分區(qū)都被刪除了. 印象中這兩個(gè)問(wèn)題也出現(xiàn)過(guò)，但憑經(jīng)驗(yàn)和感覺(jué)，
2024年02月11日
瀏覽(21)
Spark-SQL連接JDBC的方式及代碼寫(xiě)法
提示：文章內(nèi)容僅供參考！目錄一、數(shù)據(jù)加載與保存通用方式：加載數(shù)據(jù)：保存數(shù)據(jù)：二、Parquet 加載數(shù)據(jù)：保存數(shù)據(jù)：三、JSON 四、CSV ?五、MySQL SparkSQL 提供了通用的保存數(shù)據(jù)和數(shù)據(jù)加載的方式。這里的通用指的是使用相同的API，根據(jù)不同的參數(shù)讀取和保存不同格式的
2024年02月13日
瀏覽(22)
Hudi Spark-SQL增量查詢數(shù)據(jù)幾種方式
由于項(xiàng)目上主要用Hive查詢Hudi，所以之前總結(jié)過(guò)一篇:Hive增量查詢Hudi表。最近可能會(huì)有Spark SQL增量查詢Hudi表的需求，并且我發(fā)現(xiàn)目前用純Spark SQL的形式還不能直接增量查詢Hudi表，于是進(jìn)行學(xué)習(xí)總結(jié)一下。先看一下官方文檔上Spark SQL增量查詢的方式，地址：https://hudi.apache.or
2024年02月11日
瀏覽(18)
spark-sql處理json字符串的常用函數(shù)
整理了spark-sql處理json字符串的幾個(gè)函數(shù)： 1?get_json_object 解析不含數(shù)組的 json ? 2 from_json? 解析json 3 schema_of_json?提供生成json格式的方法 4 explode? ?把JSONArray轉(zhuǎn)為多行 get_json_object(string json_string, string path) ：適合最外層為{}的json解析。 ?第一個(gè)參數(shù)是json對(duì)象變量，也就是含j
2023年04月08日
瀏覽(17)
spark-sql數(shù)據(jù)重復(fù)之File Output Committer問(wèn)題
? 我們先來(lái)回顧下之前介紹過(guò)的三種Committer：FileOutputCommitter V1、FileOutputCommitter V2、S3A Committer，其基本代表了整體的演進(jìn)趨勢(shì)。核心代碼講解詳細(xì)參照：Spark CommitCoordinator 保證數(shù)據(jù)一致性 OutputCommitter commitTask commitJob mapreduce.fileoutputcommitter.algorithm.version | 技術(shù)世界 | committask
2024年02月14日
瀏覽(16)