国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【大數(shù)據(jù)之Hive】四、配置Hive元數(shù)據(jù)存儲到MySQL

這篇具有很好參考價值的文章主要介紹了【大數(shù)據(jù)之Hive】四、配置Hive元數(shù)據(jù)存儲到MySQL。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

需求:
??把Hive元數(shù)據(jù)寫道MySQL的metastore數(shù)據(jù)庫中(MySQL默認沒有metastore數(shù)據(jù)庫,需要提前創(chuàng)建:create database metastore;)
??連接地址:jdbc:mysql//hadoop102:3306/metastore
??驅(qū)動:com.mysql.cj.jdbc.Driver
??用戶名:root
??密碼:123456

1 配置元數(shù)據(jù)到MySQL

(1)新建元數(shù)據(jù)庫:

#登錄到MySQL
mysql -u root -p123456

#創(chuàng)建元數(shù)據(jù)庫
mysql>create database metastore;
mysql>quit;

(2)把MySQL的JDBC驅(qū)動拷貝到Hive的lib目錄下(此處用的是MySQL8.0.33的驅(qū)動):

cd /opt/software/mysql-connector-j-8.0.33.jar /opt/module/hive/lib

(3)在$HIVE_HOME/conf下創(chuàng)建hive-site.xml文件:

vim hive-site.xml

#添加以下內(nèi)容:
<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc連接的URL-->
    <!--主機名:端口號/數(shù)據(jù)庫名 -->
   <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
   
   <!-- jdbc連接的Driver-->
   <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.cj.jdbc.Driver</value>
   </property>
   
   <!--jdbc連接的username-->
   <property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <value>root</value>
   </property>

   <!-- jdbc連接的password -->
   <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <value>123456</value>
   </property>

    <!-- Hive默認在HDFS的工作目錄-->
   <property>
       <name>hive.metastore.warehouse.dir</name>
       <value>/user/hive/warehouse</value>
   </property>
</configuration>

(4)初始化hive元數(shù)據(jù)庫,改為用MySQL存儲:

bin/schematool -dbType mysql -initSchema -verbose

2 驗證元數(shù)據(jù)是否配置成功

(1)啟動hive:

bin/hive

(2)使用hive:

hive> show databases;
hive> show tables;
hive> create table stu(id int, namestring);
hive> insert into stuvalues(1,"liao");
hive> select * from stu;

hive元數(shù)據(jù)配置到mysql,hive,hive,mysql,大數(shù)據(jù)
hive元數(shù)據(jù)配置到mysql,hive,hive,mysql,大數(shù)據(jù)
(3)在另外一個窗口開啟hive,可以看到兩個窗口都可以操作hive,沒有異常:

hive>show databases;
hive>show tables;
hive>select * from stu;

3 查看MySQL中的元數(shù)據(jù)

(1)登錄MySQL:

mysql -u root -p123456

(2)查看元數(shù)據(jù)庫metastore:

mysql> show databases;
mysql> use metastore;
mysql> show tables;

hive元數(shù)據(jù)配置到mysql,hive,hive,mysql,大數(shù)據(jù)
(i)查看元數(shù)據(jù)中存儲的庫信息,hive中默認有default數(shù)據(jù)庫:

mysql>select * from DBS;

hive元數(shù)據(jù)配置到mysql,hive,hive,mysql,大數(shù)據(jù)
(ii)查看元數(shù)據(jù)中存儲的表信息,TBLS中保存了在hive中創(chuàng)建所有表的信息,創(chuàng)建的表的根目錄等信息保存在SDS表中:

mysql>select * from TBLS;

hive元數(shù)據(jù)配置到mysql,hive,hive,mysql,大數(shù)據(jù)
(iii)查看元數(shù)據(jù)中存儲的列相關(guān)信息,保存創(chuàng)建表的字段的信息:

mysql>select * from COLUMNS_V2;

hive元數(shù)據(jù)配置到mysql,hive,hive,mysql,大數(shù)據(jù)文章來源地址http://www.zghlxwxcb.cn/news/detail-702421.html

到了這里,關(guān)于【大數(shù)據(jù)之Hive】四、配置Hive元數(shù)據(jù)存儲到MySQL的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔相關(guān)法律責任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費用

相關(guān)文章

  • 構(gòu)建大數(shù)據(jù)環(huán)境:Hadoop、MySQL、Hive、Scala和Spark的安裝與配置

    構(gòu)建大數(shù)據(jù)環(huán)境:Hadoop、MySQL、Hive、Scala和Spark的安裝與配置

    在當今的數(shù)據(jù)驅(qū)動時代,構(gòu)建一個強大的大數(shù)據(jù)環(huán)境對于企業(yè)和組織來說至關(guān)重要。本文將介紹如何安裝和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一個完整的大數(shù)據(jù)環(huán)境。 安裝Hadoop 首先,從Apache Hadoop的官方網(wǎng)站下載所需的Hadoop發(fā)行版。選擇適合你系統(tǒng)的二進制發(fā)行版,下

    2024年02月11日
    瀏覽(31)
  • Hive數(shù)據(jù)庫系列--Hive文件格式/Hive存儲格式/Hive壓縮格式

    Hive數(shù)據(jù)庫系列--Hive文件格式/Hive存儲格式/Hive壓縮格式

    本篇主要講解一下Hive的文件格式,官方文檔見《 https://cwiki.apache.org/confluence/display/Hive/FileFormats》、《 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-StorageFormatsStorageFormatsRowFormat,StorageFormat,andSerDe》 HIve的文件存儲格式常見的有四種:textfile 、sequencefile、or

    2024年01月22日
    瀏覽(22)
  • Hive底層數(shù)據(jù)存儲格式

    Hive底層數(shù)據(jù)存儲格式

    在大數(shù)據(jù)領(lǐng)域,Hive是一種常用的數(shù)據(jù)倉庫工具,用于管理和處理大規(guī)模數(shù)據(jù)集。Hive底層支持多種數(shù)據(jù)存儲格式,這些格式對于數(shù)據(jù)存儲、查詢性能和壓縮效率等方面有不同的優(yōu)缺點。本文將介紹Hive底層的三種主要數(shù)據(jù)存儲格式:文本文件格式、Parquet格式和ORC格式。 文本文

    2024年02月12日
    瀏覽(17)
  • 大數(shù)據(jù)開發(fā)之Hive(壓縮和存儲)

    大數(shù)據(jù)開發(fā)之Hive(壓縮和存儲)

    Hive不會強制要求將數(shù)據(jù)轉(zhuǎn)換成特定的格式才能使用。利用Hadoop的InputFormat API可以從不同數(shù)據(jù)源讀取數(shù)據(jù),使用OutputFormat API可以將數(shù)據(jù)寫成不同的格式輸出。 對數(shù)據(jù)進行壓縮雖然會增加額外的CPU開銷,但是會節(jié)約客觀的磁盤空間,并且通過減少內(nèi)存的數(shù)據(jù)量而提高I/O吞吐量會

    2024年01月17日
    瀏覽(14)
  • Hive、HBase對比【相同:HDFS作為底層存儲】【區(qū)別:①Hive用于離線數(shù)據(jù)的批處理,Hbase用于實時數(shù)據(jù)的處理;②Hive是純邏輯表,無物理存儲功能,HBase是物理表,放非結(jié)構(gòu)數(shù)據(jù)】

    Hive、HBase對比【相同:HDFS作為底層存儲】【區(qū)別:①Hive用于離線數(shù)據(jù)的批處理,Hbase用于實時數(shù)據(jù)的處理;②Hive是純邏輯表,無物理存儲功能,HBase是物理表,放非結(jié)構(gòu)數(shù)據(jù)】

    1. Hive是hadoop數(shù)據(jù)倉庫管理工具,嚴格來說,不是數(shù)據(jù)庫,本身是不存儲數(shù)據(jù)和處理數(shù)據(jù)的,其依賴于HDFS存儲數(shù)據(jù),依賴于MapReducer進行數(shù)據(jù)處理。 2. Hive的優(yōu)點是學(xué)習(xí)成本低,可以通過類SQL語句(HSQL)快速實現(xiàn)簡單的MR任務(wù),不必開發(fā)專門的MR程序。 3. 由于Hive是依賴于MapRed

    2024年04月17日
    瀏覽(26)
  • 2、hive相關(guān)概念詳解--架構(gòu)、讀寫文件機制、數(shù)據(jù)存儲

    2、hive相關(guān)概念詳解--架構(gòu)、讀寫文件機制、數(shù)據(jù)存儲

    1、apache-hive-3.1.2簡介及部署(三種部署方式-內(nèi)嵌模式、本地模式和遠程模式)及驗證詳解 2、hive相關(guān)概念詳解–架構(gòu)、讀寫文件機制、數(shù)據(jù)存儲 3、hive的使用示例詳解-建表、數(shù)據(jù)類型詳解、內(nèi)部外部表、分區(qū)表、分桶表 4、hive的使用示例詳解-事務(wù)表、視圖、物化視圖、DDL

    2024年02月09日
    瀏覽(29)
  • 超詳細的hive和mysql的安裝與配置以及hive服務(wù)啟動腳本

    超詳細的hive和mysql的安裝與配置以及hive服務(wù)啟動腳本

    目錄 一、說明 二、Hive安裝與配置 1.上傳文件并解壓 2.修改目錄名稱 3.配置hive環(huán)境變量 4.刪除沖突jar包 5.啟動hadoop集群 6.初始化元數(shù)據(jù)庫并啟動 三、MySQL安裝與配置 1.檢查和上傳文件并解壓 四、hive服務(wù)啟動腳本 1.創(chuàng)建腳本 2.修改權(quán)限 3.腳本使用方法 本文使用的hive為:hive

    2024年02月02日
    瀏覽(17)
  • 訪問 Hive 的元數(shù)據(jù)存儲(MetaStore)的API方式

    訪問 Hive 的元數(shù)據(jù)存儲(MetaStore)的API方式 訪問 Hive 的元數(shù)據(jù)存儲(MetaStore)是通過 Hive 的 Thrift API 來實現(xiàn)的。Thrift 是一個跨語言的遠程服務(wù)調(diào)用框架,它可以讓不同編程語言之間進行跨語言的遠程過程調(diào)用(RPC)。Hive 的元數(shù)據(jù)存儲的 Thrift API 允許你通過編程語言(如 J

    2024年02月14日
    瀏覽(25)
  • 【Flutter】Flutter 數(shù)據(jù)存儲 Hive 的簡要使用說明

    ??想要精通 Flutter,掌握更多技巧和最佳實踐?好消息來了!??

    2024年02月10日
    瀏覽(20)
  • Hive數(shù)據(jù)倉庫---Hive的安裝與配置

    Hive數(shù)據(jù)倉庫---Hive的安裝與配置

    Hive 官網(wǎng)地址:https://hive.apache.org/ 下載地址:http://www.apache.org/dyn/closer.cgi/hive/ 把安裝文件apache-hive-3.1.2-bin.tar.gz上傳到master節(jié)點的/opt/software目 錄下,執(zhí)行以下命令把安裝文件解壓到/opt/app目錄中 進入/opt/app目錄,為目錄apache-hive-3.1.2-bin建立軟件鏈接 即輸入hive就相當于輸入a

    2024年02月02日
    瀏覽(50)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包