国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hive基礎(chǔ)知識(shí)(十一):Hive的數(shù)據(jù)導(dǎo)出方法示例

這篇具有很好參考價(jià)值的文章主要介紹了Hive基礎(chǔ)知識(shí)(十一):Hive的數(shù)據(jù)導(dǎo)出方法示例。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1. Insert 導(dǎo)出

1)將查詢的結(jié)果導(dǎo)出到本地

hive (default)> insert overwrite local directory '/opt/module/hive/data/export/student' select * from student5;
Automatically selecting local only mode for query
Query ID = atguigu_20211217153118_31119102-f06a-4313-a1c7-c99c89d5f549
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Job running in-process (local Hadoop)
2021-12-17 15:31:21,767 Stage-1 map = 100%, reduce = 0%
Ended Job = job_local2085445374_0004
Moving data to local directory /opt/module/hive/data/export/student
MapReduce Jobs Launched: 
Stage-Stage-1:  HDFS Read: 767 HDFS Write: 41412249 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
student5.id  student5.name
Time taken: 2.922 seconds

Hive基礎(chǔ)知識(shí)(十一):Hive的數(shù)據(jù)導(dǎo)出方法示例,大數(shù)據(jù),hive,hadoop,數(shù)據(jù)倉(cāng)庫(kù)

2)將查詢的結(jié)果格式化導(dǎo)出到本地(加上一個(gè)以“,”隔開(kāi)數(shù)據(jù)的格式)

hive(default)>insert overwrite local directory '/opt/module/hive/data/export/student1' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
select * from student;

3)將查詢的結(jié)果導(dǎo)出到 HDFS 上(沒(méi)有 local)

hive (default)> insert overwrite directory '/user/zzdq/student2'
 ROW FORMAT DELIMITED FIELDS TERMINATED BY ''
 select * from student;

2. Hadoop 命令導(dǎo)出到本地

hive (default)> dfs -get /user/hive/warehouse/student/student.txt /opt/module/data/export/student3.txt;

3. Hive Shell 命令導(dǎo)出

基本語(yǔ)法:(hive -f/-e 執(zhí)行語(yǔ)句或者腳本> file)

[zzdq@hadoop102 hive]$ bin/hive -e 'select * from default.student;' opt/module/hive/data/export/student4.txt;

4. Export 導(dǎo)出到 HDFS 上

hive (default)> export table default.student5 to '/student/export/student';
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.ExportTask. Cannot copy hdfs://hadoop100:8020/student/export to its subdirectory hdfs://hadoop100:8020/student/export/student/data/export

導(dǎo)出的數(shù)據(jù)中有兩個(gè)數(shù)據(jù)源,其中除了主信息之外,還包括記錄主數(shù)據(jù)信息的元數(shù)據(jù)

Hive基礎(chǔ)知識(shí)(十一):Hive的數(shù)據(jù)導(dǎo)出方法示例,大數(shù)據(jù),hive,hadoop,數(shù)據(jù)倉(cāng)庫(kù)

export 和 import 主要用于兩個(gè) Hadoop 平臺(tái)集群之間 Hive 表遷移。

我們嘗試使用import導(dǎo)入上面所產(chǎn)生的信息,但是導(dǎo)入已存在的表發(fā)現(xiàn)報(bào)錯(cuò)了

hive (default)> import table student5 from '/student/export/student';
FAILED: SemanticException [Error 10119]: Table exists and contains data files

我們創(chuàng)建一個(gè)新表來(lái)進(jìn)行導(dǎo)入

hive (default)> import table student6 from '/student/export/student';
Copying data from hdfs://hadoop100:8020/student/export/student/data
Copying file: hdfs://hadoop100:8020/student/export/student/data/student.txt
Loading data to table default.student6
OK
Time taken: 0.984 seconds

我們查詢數(shù)據(jù):

hive (default)> select * from student6;
OK
student6.id  student6.name
1001  zzz
1002  ddd
1111  ccc
Time taken: 0.351 seconds, Fetched: 3 row(s)

結(jié)論:導(dǎo)入的表需要是一張沒(méi)收數(shù)據(jù)的表,也就是說(shuō)該表要么不存在,要么就是一張空表。

5. Sqoop 導(dǎo)出

后續(xù)課程專門講。主要作用就是將數(shù)據(jù)導(dǎo)入mysql

6. 清除表中數(shù)據(jù)(Truncate)

注意:Truncate 只能刪除管理表,不能刪除外部表中數(shù)據(jù)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-813768.html

hive (default)> truncate table student6;
OK
Time taken: 0.943 seconds

到了這里,關(guān)于Hive基礎(chǔ)知識(shí)(十一):Hive的數(shù)據(jù)導(dǎo)出方法示例的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • hive 基礎(chǔ)知識(shí)

    hive 基礎(chǔ)知識(shí)

    在本節(jié)前我們需要明確 hive 是什么 上面兩個(gè)代碼塊,左邊的是 mapreduce 的代碼塊,右邊的是hive 的代碼塊 很容易看出來(lái),右邊的 hive 寫起來(lái)要更容易更快些,而執(zhí)行效率,右邊的 hive 只比左邊多一個(gè)翻譯的過(guò)程,就是將寫的 HQL語(yǔ)句 翻譯成 mapreduce 去執(zhí)行 簡(jiǎn)單來(lái)說(shuō) hive 就是一

    2024年02月09日
    瀏覽(48)
  • Hive基礎(chǔ)知識(shí)

    Hive基礎(chǔ)知識(shí)

    ??Hive是由Facebook開(kāi)源用于解決海量 結(jié)構(gòu)化 日志的數(shù)據(jù)統(tǒng)計(jì)工具。Hive是基于Hadoop的一個(gè) 數(shù)據(jù)倉(cāng)庫(kù)工具 ,可以將結(jié) 構(gòu)化的數(shù)據(jù)文件映射為一張表 ,并提供 類SQL 查詢功能。 Hive的本質(zhì)是將HQL轉(zhuǎn)化成MapReduce程序。 Hive處理的數(shù)據(jù)存儲(chǔ)在HDFS。 Hive分析數(shù)據(jù)底層的實(shí)現(xiàn)是MapReduce。

    2024年02月11日
    瀏覽(13)
  • 【前端知識(shí)】React 基礎(chǔ)鞏固(三十一)——Redux的簡(jiǎn)介

    概念 純函數(shù)(確定的輸入一定產(chǎn)生確定的輸出,函數(shù)在執(zhí)行過(guò)程中不產(chǎn)生副作用): 在程序設(shè)計(jì)中,若一個(gè)函數(shù)符合以下條件,那么這個(gè)函數(shù)就被稱為純函數(shù) 此函數(shù)在相同的輸入值時(shí),需產(chǎn)生相同的輸出 函數(shù)的輸出和輸入值以外的其他隱藏信息或狀態(tài)無(wú)關(guān),也和由I/O設(shè)備產(chǎn)

    2024年02月16日
    瀏覽(24)
  • vue 3 第三十一章:狀態(tài)管理(Pinia基礎(chǔ)知識(shí))

    狀態(tài)管理是現(xiàn)代 Web 應(yīng)用開(kāi)發(fā)中的一個(gè)重要概念。Vue 3 中的狀態(tài)管理庫(kù) Pinia ,是一個(gè)基于 Vue 3 Composition API 的狀態(tài)管理庫(kù),它提供了一種 簡(jiǎn)單 、 靈活 的方式來(lái)管理應(yīng)用程序的狀態(tài),同時(shí)還具有 高性能 和 可擴(kuò)展性 。 Pinia 在某種程度上來(lái)說(shuō),也可以被叫做 Vuex5 ,因?yàn)樗Y(jié)合

    2024年02月07日
    瀏覽(292)
  • css基礎(chǔ)知識(shí)十一:CSS3新增了哪些新特性?

    css基礎(chǔ)知識(shí)十一:CSS3新增了哪些新特性?

    一、是什么 css,即層疊樣式表(Cascading Style Sheets)的簡(jiǎn)稱,是一種標(biāo)記語(yǔ)言,由瀏覽器解釋執(zhí)行用來(lái)使頁(yè)面變得更為美觀 css3是css的最新標(biāo)準(zhǔn),是向后兼容的,CSS1/2的特性在CSS3 里都是可以使用的 CSS3 也增加了很多新特性,為開(kāi)發(fā)者帶來(lái)了更佳的開(kāi)發(fā)體驗(yàn) 從幾個(gè)維度列舉一些

    2024年02月11日
    瀏覽(27)
  • Day1 - Hive基礎(chǔ)知識(shí)

    概述 Hive是由Facobook開(kāi)發(fā)的后來(lái)貢獻(xiàn)給了Apache的一套用于進(jìn)行 數(shù)據(jù)倉(cāng)庫(kù) 管理的工具,使用類SQL語(yǔ)言來(lái)對(duì)分布式文件系統(tǒng)中的PB級(jí)別的數(shù)據(jù)來(lái)進(jìn)行讀寫、管理以及分析 Hive基于Hadoop來(lái)使用的,底層的默認(rèn)計(jì)算引擎使用的是MapReduce。Hive利用類SQL(HQL,Hive Query Language)語(yǔ)言來(lái)操作數(shù)據(jù)

    2024年04月29日
    瀏覽(13)
  • Hive基礎(chǔ)知識(shí)(十五):Hive中SQL排序方式全解

    Hive基礎(chǔ)知識(shí)(十五):Hive中SQL排序方式全解

    Order By:全局排序,只有一個(gè) Reducer 1)使用 ORDER BY 子句排序 ASC(ascend): 升序(默認(rèn)) DESC(descend): 降序 2)ORDER BY 子句在 SELECT 語(yǔ)句的結(jié)尾 3)案例實(shí)操 (1)查詢員工信息按工資升序排列 (2)查詢員工信息按工資降序排列 按照員工薪水的2 倍排序 按照部門和工資升序排

    2024年01月19日
    瀏覽(17)
  • Unity | Shader基礎(chǔ)知識(shí)(第十一集:什么是Normal Map法線貼圖)

    Unity | Shader基礎(chǔ)知識(shí)(第十一集:什么是Normal Map法線貼圖)

    目錄 前言 一、圖片是否有法線貼圖的視覺(jué)區(qū)別 二、有視覺(jué)區(qū)別的原因 三、法線貼圖的作用 四、信息是如何存進(jìn)去的 五、自己寫一個(gè)Shader用到法線貼圖 六、注意事項(xiàng) 七、作者的話 前言 本小節(jié)會(huì)給大家解釋,什么是法線貼圖?為什么法線貼圖會(huì)產(chǎn)生深度?我們?cè)趺醋约簩懸?/p>

    2024年04月15日
    瀏覽(20)
  • Linux 驅(qū)動(dòng)開(kāi)發(fā)基礎(chǔ)知識(shí)——LED 模板驅(qū)動(dòng)程序的改造:設(shè)備樹(shù)(十一)

    Linux 驅(qū)動(dòng)開(kāi)發(fā)基礎(chǔ)知識(shí)——LED 模板驅(qū)動(dòng)程序的改造:設(shè)備樹(shù)(十一)

    ?個(gè)人名片: ??作者簡(jiǎn)介:學(xué)生 ??個(gè)人主頁(yè):妄北y ??個(gè)人QQ:2061314755 ??個(gè)人郵箱:2061314755@qq.com ??個(gè)人WeChat:Vir2021GKBS ?? 本文由妄北y原創(chuàng),首發(fā)CSDN ?????? ??座右銘:大多數(shù)人想要改造這個(gè)世界,但卻罕有人想改造自己。 專欄導(dǎo)航: 妄北y系列專欄導(dǎo)航: C/C++的基

    2024年02月21日
    瀏覽(14)
  • HBase基礎(chǔ)知識(shí)(六):HBase 對(duì)接 Hive

    1.Hive (1) 數(shù)據(jù)倉(cāng)庫(kù) Hive 的本質(zhì)其實(shí)就相當(dāng)于將 HDFS 中已經(jīng)存儲(chǔ)的文件在 Mysql 中做了一個(gè)雙射關(guān)系,以 方便使用 HQL 去管理查詢。 (2) 用于數(shù)據(jù)分析、清洗 Hive 適用于離線的數(shù)據(jù)分析和清洗,延遲較高。 (3) 基于 HDFS、MapReduce Hive 存儲(chǔ)的數(shù)據(jù)依舊在 DataNode 上,編寫的 HQL 語(yǔ)句終

    2024年02月04日
    瀏覽(23)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包