国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hive數(shù)據(jù)導出的四種方法

這篇具有很好參考價值的文章主要介紹了Hive數(shù)據(jù)導出的四種方法。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

hive數(shù)據(jù)倉庫有多種數(shù)據(jù)導出方法,我在本篇文章中介紹下面的四種方法供大家參考:Insert語句導出、Hadoop命令導出、Hive shell命令導出、Export語句導出。

一、Insert語句導出

語法格式

Hive支持將select查詢的結(jié)果導出成文件存放在文件系統(tǒng)中。語法格式如下;

注意:導出操作是一個OVERWRITE覆蓋操作,慎重。

目錄可以是完整的URI。Hive使用hadoop配置變量fs.default.name來決定導出位置;

如果使用LOCAL關鍵字,則Hive會將數(shù)據(jù)寫入本地文件系統(tǒng)上的目錄;

寫入文件系統(tǒng)的數(shù)據(jù)被序列化為文本,默認列之間用\001隔開,行之間用換行符隔開。

代碼示例:

--標準語法:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
[ROW FORMAT row_format] [STORED AS file_format]
SELECT ... FROM ...
--Hive extension (multiple inserts):
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
ROW FORMAT DELIMITED FIELDS TERMINATED BY ... 
 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ... 
select_statement2] ...

演示

--1、導出查詢結(jié)果到HDFS指定目錄下
insert overwrite directory '/test1' select * from users;
--2、導出時指定分隔符和文件存儲格式
insert overwrite directory '/test1' row format delimited fields terminated by ','
stored as orc
select * from users;
--3、導出數(shù)據(jù)到本地文件系統(tǒng)指定目錄下
insert overwrite local directory '/home/huser/test1' row format delimited fields terminated by ','
select * from users;

二、Hadoop命令導出

Hadoop命令將HDFS中的數(shù)據(jù)導出到本地文件系統(tǒng)指定目錄中:

--在hive客戶端執(zhí)行
dfs –get /user/hive/warehouse/demo.db/users_default.txt 
/home/root/users.txt

--Linux本地執(zhí)行
hadoop fs -get /user/hive/warehouse/demo.db/users_default.txt /home/root/users.txt

三、Hive shell命令導出

1.基本語法:hive -e HQL語句 > filepath

hive –e ' select * from demo.users' > /home/root/test/users.txt

2.基本語法:hive -f 執(zhí)行腳本 > filepath

將HQL語句存儲在執(zhí)行腳本文件中,將執(zhí)行腳本文件的執(zhí)行結(jié)果存儲在指定目錄下的文件中。例如,hivef.sql腳本文件中存儲HQL語句“select *from demo.user;”,執(zhí)行hivef.sql腳本文件中的查詢語句,并將查詢結(jié)果輸出到

hive –f ' hive.sql' > /home/root/test/users2.txt

四、Export語句導出

Export語句導出是將Hive表中的數(shù)據(jù)導出到Hadoop集群的HDFS中的其他目錄下:文章來源地址http://www.zghlxwxcb.cn/news/detail-796984.html

export table users to ‘/user/hive/warehouse/export’;

到了這里,關于Hive數(shù)據(jù)導出的四種方法的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領支付寶紅包贊助服務器費用

相關文章

  • Hive數(shù)據(jù)導出為csv、tsv文件的幾種方法

    Hive數(shù)據(jù)導出csv,tsv 第一種(推薦) PS: ‘|tr “t” “,”’ 將數(shù)據(jù)分隔符 制表符 替換為 “,”. hive在hdfs中存儲可能是\\001分割,替換t即可. 數(shù)據(jù)中包含\\\",\\\"會導致.csv文件不能正確解析.這時建議改為.tsv文件(制表符分割). hdfs中== 空值 采用 N 存儲,可以使用 |tr -d “\\\\N” 變?yōu)檎?/p>

    2024年02月15日
    瀏覽(21)
  • Hadoop平臺集群之間Hive表和分區(qū)的導出和導入遷移(腳本)

    你可以使用Hive的EXPORT和IMPORT命令結(jié)合Hadoop的DistCp命令。下面是一個示例腳本: 在腳本中,你需要根據(jù)實際情況修改以下參數(shù): source_db.source_table:源Hive表的數(shù)據(jù)庫和表名。 target_hdfs_location:導出數(shù)據(jù)的HDFS位置,用于暫時存儲導出數(shù)據(jù)。 source_cluster和target_cluster:分別為源H

    2024年02月15日
    瀏覽(17)
  • 數(shù)據(jù)的四種基本存儲方法

    數(shù)據(jù)的存儲結(jié)構(gòu)可用以下四種基本存儲方法得到: ( 1 )順序存儲方法 ??? 該方法把邏輯上相鄰的結(jié)點存儲在物理位置上相鄰的存儲單元里,結(jié)點間的邏輯關系由存儲單元的鄰接關系來體現(xiàn)。 ??? 由此得到的存儲表示稱為順序存儲結(jié)構(gòu)??(Sequential Storage Structure),通常借

    2024年02月15日
    瀏覽(19)
  • 檢測數(shù)據(jù)類型的四種方法

    檢測數(shù)據(jù)類型的四種方法

    一、數(shù)據(jù)類型: 1、基本數(shù)據(jù)類型:String、Number、Boolean、Null、Undefined、Symbol 、BigInt 2、引用數(shù)據(jù)類型:Object、Array、Function、Date、RegExp 二、檢測數(shù)據(jù)類型的四種方法 1.typeof檢測 ? 特點:typeof只能檢測基本數(shù)據(jù)類型(除了null),不能準確的檢測引用數(shù)據(jù)類型。 object、array、

    2024年02月15日
    瀏覽(17)
  • Hive數(shù)據(jù)倉庫---Hive的安裝與配置

    Hive數(shù)據(jù)倉庫---Hive的安裝與配置

    Hive 官網(wǎng)地址:https://hive.apache.org/ 下載地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安裝文件apache-hive-3.1.2-bin.tar.gz上傳到master節(jié)點的/opt/software目 錄下,執(zhí)行以下命令把安裝文件解壓到/opt/app目錄中 進入/opt/app目錄,為目錄apache-hive-3.1.2-bin建立軟件鏈接 即輸入hive就相當于輸入a

    2024年02月02日
    瀏覽(50)
  • hive數(shù)據(jù)的導入導出

    hive數(shù)據(jù)的導入導出

    Linux本地文件以及數(shù)據(jù)格式: 在hive中創(chuàng)建表: stored as常見的幾種格式 1. TextFile:使用TextFile格式存儲的表將數(shù)據(jù)以文本文件的形式進行存儲。這是最常用的默認存儲格式。 2. SequenceFile:使用SequenceFile格式存儲的表將數(shù)據(jù)以鍵-值對的形式存儲,適用于數(shù)據(jù)壓縮和高效讀取。

    2024年02月12日
    瀏覽(18)
  • Hive數(shù)據(jù)導出

    Hive數(shù)據(jù)導出

    提示:文章寫完后,目錄可以自動生成,如何生成可參考右邊的幫助文檔 提示:這里可以添加本文要記錄的大概內(nèi)容: 書接上回,傳聞昔日數(shù)據(jù)導入有五大派別,一時之間數(shù)碼武林局勢動蕩,可憐的碼農(nóng)處于水深火熱之中。亂世出英雄,打著劫富濟貧,替天行道大旗的六大

    2023年04月19日
    瀏覽(15)
  • SpringBoot導出Excel的四種方式

    SpringBoot導出Excel的四種方式

    ? ? ? ?近期接到了一個小需求,要將系統(tǒng)中的數(shù)據(jù)導出為Excel,且能將Excel數(shù)據(jù)導入到系統(tǒng)。對于大多數(shù)研發(fā)人員來說,這算是一個最基本的操作了。但是……我居然有點方! ? ? ? ? 好多年沒有實操這種基礎的功能了。我對于excel導入導出的印象還停留在才入行時的工作經(jīng)

    2024年02月03日
    瀏覽(26)
  • 數(shù)倉報表數(shù)據(jù)導出——Hive數(shù)據(jù)導出至Clickhouse

    數(shù)倉報表數(shù)據(jù)導出——Hive數(shù)據(jù)導出至Clickhouse

    創(chuàng)建database 創(chuàng)建table 使用 spark-sql 查詢數(shù)據(jù),然后通過 jdbc 寫入Clickhouse。 創(chuàng)建Maven項目,pom.xml文件如下 創(chuàng)建HiveToClickhouse類 上傳hive.xml,hdfs.xml 以及core-site.xml文件到項目的resource目錄下 打包,并上傳hive-to-clickhouse-1.0-SNAPSHOT-jar-with-dependencies.jar到hadoop節(jié)點 執(zhí)行如下命令測試 為

    2024年02月16日
    瀏覽(41)
  • hive數(shù)據(jù)倉庫工具

    hive數(shù)據(jù)倉庫工具

    1、hive是一套操作數(shù)據(jù)倉庫的應用工具,通過這個工具可實現(xiàn)mapreduce的功能 2、hive的語言是hql[hive query language] 3、官網(wǎng)hive.apache.org 下載hive軟件包地址? Welcome! - The Apache Software Foundation https://archive.apache.org/ 4、hive在管理數(shù)據(jù)時分為元數(shù)據(jù)和真數(shù)據(jù),其中元數(shù)據(jù)要保存在數(shù)據(jù)庫中

    2024年02月04日
    瀏覽(26)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領取紅包,優(yōu)惠每天領

二維碼1

領取紅包

二維碼2

領紅包