国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hive(19):DML之Insert插入數(shù)據(jù)

這篇具有很好參考價(jià)值的文章主要介紹了Hive(19):DML之Insert插入數(shù)據(jù)。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1 背景:RDBMS中insert使用(insert+values)

在MySQL這樣的RDBMS中,通常是insert+values的方式來(lái)向表插入數(shù)據(jù),并且速度很快。這也是RDBMS中插入數(shù)據(jù)的核心方式。

INSERT INTO table_name ( field1, field2,...fieldN )
VALUES
( value1, value2,...valueN );

假如說(shuō)對(duì)Hive的定位不清,把Hive當(dāng)成RDBMS來(lái)使用,也使用insert+values的方式插入數(shù)據(jù),會(huì)如何呢?

--hive中insert+values
create table t_test_insert(id int,name string,age int);
insert into table t_test_insert values(1,"allen",18);

你會(huì)發(fā)現(xiàn)執(zhí)行過(guò)程非常非常慢,底層是使用MapReduce把數(shù)據(jù)寫(xiě)入HDFS的。

Hive(19):DML之Insert插入數(shù)據(jù),hive,hive,hadoop,數(shù)據(jù)倉(cāng)庫(kù)

?

試想一下,如何在Hive中這樣玩,對(duì)于大數(shù)據(jù)分析,海量數(shù)據(jù)一條條插入是不是非常刺激。因此在Hive中我們通過(guò)將數(shù)據(jù)清洗成為結(jié)構(gòu)化文件,再Load加載到表中。

但是并不意味著insert語(yǔ)法在Hive中沒(méi)有使用地位了,通常在Hive中我們使用insert+select語(yǔ)句。即插入表的數(shù)據(jù)來(lái)自于后續(xù)select查詢語(yǔ)句返回的結(jié)果。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-548530.html

到了這里,關(guān)于Hive(19):DML之Insert插入數(shù)據(jù)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 在hive插入數(shù)據(jù)時(shí)出現(xiàn)“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”報(bào)錯(cuò)

    在hive插入數(shù)據(jù)時(shí)出現(xiàn)“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”報(bào)錯(cuò)

    這個(gè)錯(cuò)誤代碼表明 Hive 作業(yè)由于某種原因失敗。 ? ?1.資源問(wèn)題: 這個(gè)錯(cuò)誤可能發(fā)生在集群上存在資源約束的情況下,例如內(nèi)存或 CPU 資源不足以完成 Hive 作業(yè)。 ? ?2.數(shù)據(jù)問(wèn)題: 它可能與數(shù)據(jù)本身相關(guān)。例如,數(shù)據(jù)可能損壞,或者數(shù)據(jù)格式或模式存在問(wèn)題,Hive 無(wú)法處理。

    2024年02月05日
    瀏覽(29)
  • hive插入數(shù)據(jù)后報(bào)錯(cuò) FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

    hive 插入數(shù)據(jù)的時(shí)候,不能直接運(yùn)行,報(bào)錯(cuò) 錯(cuò)誤原因: namenode內(nèi)存空間不夠,JVM剩余內(nèi)存空間不夠新job運(yùn)行所致 錯(cuò)誤提示: Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_1594085668614_0006/ Kill Command = /root/soft/hadoop-3.2.1/bin/mapred job -kill job_1594085668614_0006 Hadoop

    2023年04月15日
    瀏覽(22)
  • 【大數(shù)據(jù)之Hive】十、Hive之DML(Data Manipulation Language)數(shù)據(jù)操作語(yǔ)言

    將文件導(dǎo)入Hive表中。 語(yǔ)法: 說(shuō)明: (1)local:表示從本地加載數(shù)據(jù)到Hive表;否則從HDFS加載數(shù)據(jù)到HIve表。 (2)overwrite:表示覆蓋表中已有數(shù)據(jù),否則表示追加。 (3)partition:表示上傳到指定分區(qū),若目標(biāo)是分區(qū)表則需要指定分區(qū)。 如: 語(yǔ)法: 說(shuō)明: (

    2024年02月09日
    瀏覽(21)
  • Hive(18):DML之Load加載數(shù)據(jù)

    Hive(18):DML之Load加載數(shù)據(jù)

    1 背景 回想一下,當(dāng)在Hive中創(chuàng)建好表之后,默認(rèn)就會(huì)在HDFS上創(chuàng)建一個(gè)與之對(duì)應(yīng)的文件夾,默認(rèn)路徑是由參數(shù)hive.metastore.warehouse.dir控制,默認(rèn)值是/user/hive/warehouse。 要想讓hive的表和結(jié)構(gòu)化的數(shù)據(jù)文件產(chǎn)生映射,就需要把文件移到到表對(duì)應(yīng)的文件夾下面,當(dāng)然,可以在建表的時(shí)

    2024年02月13日
    瀏覽(23)
  • hive表數(shù)據(jù)更新insert overwrite/merge into

    根據(jù)甲方要求,需要對(duì)大數(shù)據(jù)平臺(tái)指定表(hive、impala表)的歷史數(shù)據(jù)[2021-01-01至2023-03-29]指定字段進(jìn)行批量更新,然后把表同步到Oracle。先更新大數(shù)據(jù)平臺(tái)上的表,再把更新完成的表同步到Oracle。hive有8張表更新,其中4張大表【分區(qū)表】(數(shù)據(jù)量分別為:1038738976、260958144、2586

    2024年02月08日
    瀏覽(23)
  • Hive 表 DML 操作 第1關(guān):將文件中的數(shù)據(jù)導(dǎo)入(Load)到 Hive 表中

    Hive 表 DML 操作 第1關(guān):將文件中的數(shù)據(jù)導(dǎo)入(Load)到 Hive 表中

    相關(guān)知識(shí) 之前系列實(shí)訓(xùn)中我們接觸過(guò)導(dǎo)入本地文件到 Hive 表中,本關(guān)就進(jìn)行導(dǎo)入的詳細(xì)講解。 為了完成本關(guān)任務(wù),你需要掌握:1.導(dǎo)入命令語(yǔ)法,2.如何將本地 txt 文件導(dǎo)入到分區(qū)表中。 導(dǎo)入命令語(yǔ)法 Load 操作執(zhí)行 copy/move 命令把數(shù)據(jù)文件 copy/move 到 Hive 表位于 HDFS 上的目錄位

    2024年02月01日
    瀏覽(19)
  • Hive(21):DML之Update、Delete更新、刪除數(shù)據(jù)

    首先,必須明確,你理解的Hive這款軟件,定位是什么?是面向事務(wù)支持事務(wù)的RDBMS?還是面向分析,支持分析的數(shù)據(jù)倉(cāng)庫(kù)。這很重要。 Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù),面向分析支持分析工具。因此在Hive中常見(jiàn)的操作的就是分析查詢select操作。將已有的結(jié)構(gòu)化數(shù)據(jù)文件映射成為表,

    2024年02月15日
    瀏覽(25)
  • Hive數(shù)據(jù)加載方式(load、insert;普通表、分區(qū)表)

    介紹 Hive 數(shù)據(jù)加載方式(insert、load) 基礎(chǔ)語(yǔ)法: load data [local] inpath \\\'/opt/module/datas/student.txt\\\' [overwrite] into table student[partition ] 參數(shù)說(shuō)明: 1 load data: 表示加載數(shù)據(jù) 2 local: 表示從本地加載數(shù)據(jù)到 hive 表;否則從 HDFS 加載數(shù)據(jù)到 hive 表 3 inpath: 表示加載數(shù)據(jù)的路徑 相對(duì)路徑,例如

    2024年02月03日
    瀏覽(17)
  • Hive——DML(Data Manipulation Language)數(shù)據(jù)操作語(yǔ)句用法詳解

    Hive——DML(Data Manipulation Language)數(shù)據(jù)操作語(yǔ)句用法詳解

    Load語(yǔ)句可將文件導(dǎo)入到Hive表中。 說(shuō)明: local : 表示從本地加載數(shù)據(jù)到Hive表;否則從HDFS加載數(shù)據(jù)到Hive表 。 overwrite : 表示覆蓋表中已有數(shù)據(jù),否則表示追加。 partition : 表示上傳到指定分區(qū),若目標(biāo)是分區(qū)表,需指定分區(qū) 。 本地文件路徑: 執(zhí)行l(wèi)oad語(yǔ)句: load da

    2024年04月28日
    瀏覽(26)
  • 大數(shù)據(jù)開(kāi)發(fā)之Hive(基本概念、安裝、數(shù)據(jù)類(lèi)型、DDL數(shù)據(jù)定義、DML數(shù)據(jù)操作)

    大數(shù)據(jù)開(kāi)發(fā)之Hive(基本概念、安裝、數(shù)據(jù)類(lèi)型、DDL數(shù)據(jù)定義、DML數(shù)據(jù)操作)

    1.1.1 Hive產(chǎn)生背景 HDFS來(lái)存儲(chǔ)海量的數(shù)據(jù)、MapReduce來(lái)對(duì)海量數(shù)據(jù)進(jìn)行分布式并行計(jì)算、Yarn來(lái)實(shí)現(xiàn)資源管理和作業(yè)調(diào)度。但是面對(duì)海量的數(shù)據(jù)和負(fù)責(zé)的業(yè)務(wù)邏輯,開(kāi)發(fā)人員要編寫(xiě)MR對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析難度極大,所以就產(chǎn)生了Hive這個(gè)數(shù)倉(cāng)工具。Hive可以幫助開(kāi)發(fā)人員將SQL語(yǔ)句轉(zhuǎn)化

    2024年01月17日
    瀏覽(68)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包