国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hive(20):Transaction事務(wù)

這篇具有很好參考價(jià)值的文章主要介紹了Hive(20):Transaction事務(wù)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

1 Hive事務(wù)背景知識

Hive本身從設(shè)計(jì)之初時(shí),就是不支持事務(wù)的,因?yàn)镠ive的核心目標(biāo)是將已經(jīng)存在的結(jié)構(gòu)化數(shù)據(jù)文件映射成為表,然后提供基于表的SQL分析處理,是一款面向分析的工具。

并且Hive映射的數(shù)據(jù)通常存儲于HDFS上,而HDFS是不支持隨機(jī)修改文件數(shù)據(jù)的。

這個定位就意味著在早期的Hive的SQL語法中是沒有update,delete操作的,也就沒有所謂的事務(wù)支持了,因?yàn)槎际莝elect查詢分析操作。

從Hive0.14版本開始,具有ACID語義的事務(wù)(支持INSERT,UPDATE和 DELETE這些用例)已添加到Hive中,以解決以下場景下遇到的問題:

  • 流式傳輸數(shù)據(jù)。使用如Apache Flume或Apache Kafka之類的工具將數(shù)據(jù)流式傳輸?shù)浆F(xiàn)有分區(qū)中,但是這會使讀者感到臟讀(也就是說,開始查詢后能看到寫入的數(shù)據(jù))。
  • 變化緩慢的維度數(shù)據(jù)。在典型的星型模式數(shù)據(jù)倉庫中,維度表隨時(shí)間緩慢變化。例如,零售商將開設(shè)新商店,需要將其添加到商店表中,或者現(xiàn)有商店可能會更改其平方英尺或某些其他跟蹤的特征。這些更改導(dǎo)致插入單個記錄或更新記錄(取決于所選策略)。
  • 數(shù)據(jù)更新。有時(shí)發(fā)現(xiàn)收集的數(shù)據(jù)不正確,需要更正。

2 Hive事務(wù)表局限性

雖然Hive支持了具有ACID語義的事務(wù),但是在使用起來,并沒有像在MySQL中使用那樣方便,有很多局限性。原因很簡單,畢竟Hive的設(shè)計(jì)目標(biāo)不是為了支持事務(wù)操作,而是支持分析操作,且最終基于HDFS的底層存儲機(jī)制使得文件的增加刪除修改操作需要動一些小心思。具體限制如下:文章來源地址http://www.zghlxwxcb.cn/news/detail-559646.html

    到了這里,關(guān)于Hive(20):Transaction事務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

    本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

    領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

    相關(guān)文章

    • hive數(shù)據(jù)倉庫工具

      hive數(shù)據(jù)倉庫工具

      1、hive是一套操作數(shù)據(jù)倉庫的應(yīng)用工具,通過這個工具可實(shí)現(xiàn)mapreduce的功能 2、hive的語言是hql[hive query language] 3、官網(wǎng)hive.apache.org 下載hive軟件包地址? Welcome! - The Apache Software Foundation https://archive.apache.org/ 4、hive在管理數(shù)據(jù)時(shí)分為元數(shù)據(jù)和真數(shù)據(jù),其中元數(shù)據(jù)要保存在數(shù)據(jù)庫中

      2024年02月04日
      瀏覽(26)
    • 數(shù)據(jù)倉庫 & Apache Hive

      數(shù)據(jù)倉庫 & Apache Hive

      目錄 一、數(shù)據(jù)分析 1、數(shù)據(jù)倉庫 1.1、數(shù)倉專注分析 1.2、數(shù)倉主要特征 1.3、數(shù)據(jù)倉庫主流開發(fā)語言--SQL 2、Apache Hive 2.1、為什么使用Hive? 2.2、Hive和Hadoop關(guān)系 2.3、Hive架構(gòu)圖、各組件功能 2.4、Hive安裝部署 2.4.1、Hive概念介紹 2.4.2、安裝前準(zhǔn)備 ? ? 數(shù)據(jù)倉庫 (英語:Data Warehous

      2024年01月22日
      瀏覽(34)
    • Hive數(shù)據(jù)倉庫簡介

      Hive數(shù)據(jù)倉庫簡介

      Hive起源于Facebook,F(xiàn)acebook公司有著大量的日志數(shù)據(jù),而Hadoop是實(shí)現(xiàn)了MapReduce模式開源的分布式并行計(jì)算的框架,可輕松處理大規(guī)模數(shù)據(jù)。然而MapReduce程序?qū)κ煜ava語言的工程師來說容易開發(fā),但對于其他語言使用者則難度較大。因此Facebook開發(fā)團(tuán)隊(duì)想設(shè)計(jì)一種使用SQL語言對日

      2024年02月15日
      瀏覽(24)
    • Hive 數(shù)據(jù)倉庫介紹

      Hive 數(shù)據(jù)倉庫介紹

      目錄 ?編輯 一、Hive 概述 1.1 Hive產(chǎn)生的原因 1.2 Hive是什么? 1.3 Hive 特點(diǎn) 1.4 Hive生態(tài)鏈關(guān)系 二、Hive架構(gòu) 2.1 架構(gòu)圖 2.2 架構(gòu)組件說明 2.2.1 Interface 2.2.1.1 CLI 2.2.1.2 JDBC/ODBC 2.2.1.3 WebUI 2.2.2 MetaData 2.2.3 MetaStore 2.2.4 Hiveserver2 2.2.5 Driver 2.2.5.1 解釋器 2.2.5.2 編譯器 2.2.5.3 優(yōu)化器 2.2.5.4 執(zhí)行

      2024年02月07日
      瀏覽(28)
    • hive數(shù)據(jù)倉庫課后答案

      一、 填空題 1.?dāng)?shù)據(jù)倉庫的目的是構(gòu)建面向 ? ? 分析? ? ? ?? 的集成化數(shù)據(jù)環(huán)境。 2.Hive是基于 ? ? Hadoop? ? ? ?? 的一個數(shù)據(jù)倉庫工具。 3.?dāng)?shù)據(jù)倉庫分為3層,即 ? ? ?源數(shù)據(jù)層? ? ? ? 、 ? ? 數(shù)據(jù)應(yīng)用層? ? ? ? 和數(shù)據(jù)倉庫層。 4.?dāng)?shù)據(jù)倉庫層可以細(xì)分為 ? ? ?明細(xì)層

      2023年04月08日
      瀏覽(24)
    • 【Hive】——數(shù)據(jù)倉庫

      【Hive】——數(shù)據(jù)倉庫

      數(shù)據(jù)倉庫(data warehouse):是一個用于存儲,分析,報(bào)告的數(shù)據(jù)系統(tǒng) 目的:是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境,分析結(jié)果為企業(yè)提供決策支持 特點(diǎn): 數(shù)據(jù)倉庫本身不產(chǎn)生任何數(shù)據(jù),其數(shù)據(jù)來源于不同外部系統(tǒng) 數(shù)據(jù)倉庫也不需要消費(fèi)任何的書,其結(jié)果開放給各個外部應(yīng)用使用

      2024年02月04日
      瀏覽(20)
    • 安裝hive數(shù)據(jù)倉庫

      安裝hive數(shù)據(jù)倉庫

      需要安裝部署完成的Hadoop的環(huán)境如果不會搭建的可以參考: 卸載Centos7自帶的mariadb mariadb-libs-5.5.64-1.el7.x86_64是使用 rpm -qa|grep mariadb 查詢出來的名稱 安裝mysql 安裝mysql時(shí)可能會出現(xiàn)的問題 1、依賴檢測失敗 問題很明顯了就是依賴的問題,下載他說的依賴就好了 安裝hive 上傳并且

      2024年02月14日
      瀏覽(22)
    • Hive數(shù)據(jù)倉庫

      Hive數(shù)據(jù)倉庫

      數(shù)據(jù)倉庫(英語:Data Warehouse,簡稱數(shù)倉、DW),是一個用于存儲、分析、報(bào)告的數(shù)據(jù)系統(tǒng)。 數(shù)據(jù)倉庫的目的是構(gòu)建面相分析的集成化數(shù)據(jù)環(huán)境,分析結(jié)果為企業(yè)提供決策支持(Decision Support)。 數(shù)據(jù)倉庫本身并不“產(chǎn)生”任何數(shù)據(jù),其數(shù)據(jù)來源不同外部系統(tǒng); 同時(shí)數(shù)據(jù)倉庫

      2024年02月15日
      瀏覽(25)
    • Hive數(shù)據(jù)倉庫行轉(zhuǎn)列

      查了很多資料發(fā)現(xiàn)網(wǎng)上很多文章都是轉(zhuǎn)發(fā)和抄襲,有些問題。這里分享一個自己項(xiàng)目中使用的行轉(zhuǎn)列例子,供大家參考。代碼如下: 如果是在SparkSQL或Presto平臺,或者阿里云的MaxCompute平臺,還可使用如下方式:

      2024年02月21日
      瀏覽(28)
    • 數(shù)據(jù)倉庫hive的安裝說明

      數(shù)據(jù)倉庫hive的安裝說明

      1.按照下面語句順序依次輸入,安裝mysql ????????$sudo apt-get install mysql-server ????????$sudo apt-get install mysql-client ????????$sudo apt-get install libmysqlclient-dev 2.連接MySQL數(shù)據(jù)庫 (1)進(jìn)入mysql ? ? ? ? $sudo mysql -u root –p (2)使用mysql ????????use mysql; (3)修改mysql用戶密

      2024年03月10日
      瀏覽(23)

    覺得文章有用就打賞一下文章作者

    支付寶掃一掃打賞

    博客贊助

    微信掃一掃打賞

    請作者喝杯咖啡吧~博客贊助

    支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

    二維碼1

    領(lǐng)取紅包

    二維碼2

    領(lǐng)紅包