国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hive數(shù)據(jù)加載方式(load、insert;普通表、分區(qū)表)

這篇具有很好參考價值的文章主要介紹了Hive數(shù)據(jù)加載方式(load、insert;普通表、分區(qū)表)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

前言

介紹Hive數(shù)據(jù)加載方式(insert、load)


方式一:load data

基礎(chǔ)語法:
load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student[partition ]

參數(shù)說明:
1 load data: 表示加載數(shù)據(jù)
2 local: 表示從本地加載數(shù)據(jù)到 hive 表;否則從 HDFS 加載數(shù)據(jù)到 hive 表
3 inpath: 表示加載數(shù)據(jù)的路徑
相對路徑,例如:project/data1
絕對路徑,例如:/user/hive/project/data1
包含模式的完整 URI,如:hdfs://namenode:9000/user/hive/project/data1
4 overwrite: 表示覆蓋表中已有數(shù)據(jù),否則表示追加。目標(biāo)表(或者分區(qū))中的內(nèi)容會被刪除,然后再將filepath指向的文件/目錄中的內(nèi)容添加到表/分區(qū)中
5 into table: 表示加載到哪張表
6 student: 表示具體的表
7 partition: 表示上傳到指定分區(qū)

-- 加載本地文件
load data local inpath '/home/hadoop/load1.txt' into table tb_load1;

-- 加載HDFS文件
load data inpath '/hive/test/load2.txt' into table tb_load1;

-- 加載分區(qū)數(shù)據(jù)
load data inpath '/hive/test/load_part_male.txt' into table tb_load2 
partition (sex='male');

--使用overwrite:會覆蓋之前的數(shù)據(jù)
load data local inpath '/home/hadoop/load3.txt' overwrite into table tb_load1;

方式二: insert 插入

1.普通表

-- 覆蓋 
insert overwrite table tb_insert1 select id,name from tb_select1;
-- 追加
insert into table tb_insert1 select id,name from tb_select1;

2.分區(qū)表

-- 分區(qū)插入
insert overwrite table tb_insert_part partition(sex = 'male')
select id,name from tb_select1 where sex='male';

-- 動態(tài)分區(qū)插入(需先設(shè)置非嚴(yán)格模式)
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table tb_dy_part partition(sex) 
select id,name,sex from tb_select1;

方式三:as select

注意: 只能以as方式加載數(shù)據(jù), 如其他有分區(qū)字段, 分區(qū)字段只以字段形式保留

create table tb_create_mode as 
select id,name from tb_select1;

數(shù)據(jù)導(dǎo)出

(1)導(dǎo)出到本地

insert overwrite local directory '/home/hadoop/'
select id,name from tb_select1;

例子 :

INSERT overwrite directory "/user/yuanpengfei/ypf/lifeng/vehPOI" ROW format delimited fields terminated BY "," 
select substr( md5(concat('mb',field_2,'xx')),9,6), field_3, field_4, field_5, field_6, field_7
from default.longchuan_od_temp

總結(jié)

如果此篇文章有幫助到您, 希望打大佬們能關(guān)注、點贊、收藏評論支持一波,非常感謝大家!
如果有不對的地方請指正!!!

參考1
參考2文章來源地址http://www.zghlxwxcb.cn/news/detail-768961.html

到了這里,關(guān)于Hive數(shù)據(jù)加載方式(load、insert;普通表、分區(qū)表)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 【DolphinScheduler】datax讀取hive分區(qū)表時,空分區(qū)、分區(qū)無數(shù)據(jù)任務(wù)報錯問題解決

    【DolphinScheduler】datax讀取hive分區(qū)表時,空分區(qū)、分區(qū)無數(shù)據(jù)任務(wù)報錯問題解決

    最近在使用海豚調(diào)度DolphinScheduler的Datax組件時,遇到這么一個問題:之前給客戶使用海豚做的離線數(shù)倉的分層搭建,一直都運(yùn)行好好的,過了個元旦,這幾天突然在數(shù)倉做任務(wù)時報錯,具體報錯信息如下: com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-08], Description:[您嘗

    2024年01月16日
    瀏覽(19)
  • 【Hive大數(shù)據(jù)】Hive分區(qū)表與分桶表使用詳解

    目錄 一、分區(qū)概念產(chǎn)生背景 二、分區(qū)表特點 三、分區(qū)表類型 3.1 單分區(qū) 3.2 多分區(qū)

    2024年02月03日
    瀏覽(29)
  • spark-sql: insert overwrite分區(qū)表問題

    spark-sql: insert overwrite分區(qū)表問題

    用spark-sql,insert overwrite分區(qū)表時發(fā)現(xiàn)兩個比較麻煩的問題: 從目標(biāo)表select出來再insert overwrite目標(biāo)表時報錯:Error in query: Cannot overwrite a path that is also being read from. 從其他表select出來再insert overwrite目標(biāo)表時,其他分區(qū)都被刪除了. 印象中這兩個問題也出現(xiàn)過,但憑經(jīng)驗和感覺,

    2024年02月11日
    瀏覽(22)
  • HIVE表數(shù)據(jù)快速構(gòu)造(分區(qū)表、orc、text)

    HIVE表數(shù)據(jù)快速構(gòu)造(分區(qū)表、orc、text)

    引言 當(dāng)需要在hive數(shù)倉中去創(chuàng)建測試表并構(gòu)造測試數(shù)據(jù)時,通常需要在安裝了hive客戶端的服務(wù)器環(huán)境下,通過執(zhí)行命令的方式建表。通過在HDFS上上傳和加載數(shù)據(jù)文件的方式來加載數(shù)據(jù)到hive表中。其中操作算不得多復(fù)雜,但比較依賴對環(huán)境和命令的熟悉,并且操作不夠可視化

    2024年02月16日
    瀏覽(41)
  • 大數(shù)據(jù)開發(fā)之Hive(查詢、分區(qū)表和分桶表、函數(shù))

    大數(shù)據(jù)開發(fā)之Hive(查詢、分區(qū)表和分桶表、函數(shù))

    1、查詢語句語法 2、書寫次序和執(zhí)行次序 順序 書寫次序 書寫次序說明 執(zhí)行次序 執(zhí)行次序說明 1 select 查詢 from 先執(zhí)行表與表直接的關(guān)系 2 from 先執(zhí)行表與表直接的關(guān)系 on 先執(zhí)行表與表直接的關(guān)系 3 join on 先執(zhí)行表與表直接的關(guān)系 join 先執(zhí)行表與表直接的關(guān)系 4 where 先執(zhí)行表

    2024年01月17日
    瀏覽(21)
  • Iceberg從入門到精通系列之五:Zeppelin集成iceberg,創(chuàng)建iceberg普通表和分區(qū)表,并插入數(shù)據(jù)

    Zeppelin支持Flink SQL Flink SQL支持iceberg Zeppelin集成Flink SQL后,就可以在Zeppelin上創(chuàng)建iceberg表了 下面演示下Zeppelin集成iceberg后,創(chuàng)建表,插入數(shù)據(jù)的方便性。

    2024年02月11日
    瀏覽(64)
  • hive分區(qū)表 靜態(tài)分區(qū)和動態(tài)分區(qū)

    現(xiàn)有數(shù)據(jù)文件 data_file 如下: 2023-08-01,Product A,100.0 2023-08-05,Product B,150.0 2023-08-10,Product A,200.0 需要手動指定分區(qū) 現(xiàn)有源數(shù)據(jù)表如下: CREATE TABLE sales_source ( ? ? sale_date STRING, ? ? product STRING, ? ? amount DOUBLE ); INSERT INTO sales_source VALUES ? ? (\\\'2023-08-01\\\', \\\'Product A\\\', 100.0), ? ? (\\\'2023-08-

    2024年02月10日
    瀏覽(28)
  • Hive分區(qū)表實戰(zhàn) - 多分區(qū)字段

    Hive分區(qū)表實戰(zhàn) - 多分區(qū)字段

    本實戰(zhàn)教程通過一系列Hive SQL操作,演示了如何在大數(shù)據(jù)環(huán)境下創(chuàng)建具有省市分區(qū)的大學(xué)表,并從本地文件系統(tǒng)加載不同地區(qū)的學(xué)校數(shù)據(jù)到對應(yīng)分區(qū)。首先,創(chuàng)建名為 school 的數(shù)據(jù)庫并切換至該數(shù)據(jù)庫;接著,在數(shù)據(jù)庫中定義一個名為 university 的分區(qū)表,其結(jié)構(gòu)包括ID和名稱兩

    2024年01月15日
    瀏覽(24)
  • HIVE創(chuàng)建分區(qū)表

    HIVE創(chuàng)建分區(qū)表

    partitioned by ( c2 string ) # 創(chuàng)建分區(qū) c1跟c2都是字段,但是創(chuàng)建的時候不能寫在t2里面,只能寫在分區(qū)里面(同時select查詢的時候,c2的字段也要寫在最后面) 要加載數(shù)據(jù)到分區(qū)表,只需在原來的加載數(shù)據(jù)的語句上增加partition,同時指定分區(qū)的字段值即可。 注意:當(dāng)你退出

    2024年02月15日
    瀏覽(22)
  • Hive分區(qū)表修改(增刪)列

    環(huán)境:CDH6.3.0,Hive 2.1.1-cdh6.3.0 基礎(chǔ)數(shù)據(jù)分區(qū)表test1,包含a,b,c,d共4列加分區(qū)列p_day,向其中插入兩行數(shù)據(jù) 表中數(shù)據(jù)及parquet文件信息如下: test2表直接使用test1表的文件: 修復(fù)分區(qū)并查詢數(shù)據(jù) 刪除test2表的a列,看起來只有通過replace columns實現(xiàn),但是運(yùn)行報錯,根據(jù)官方文檔,只

    2023年04月26日
    瀏覽(23)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包