前言

? 這是Maynor創(chuàng)作的華為云云耀云服務(wù)器L實(shí)例測(cè)評(píng)的第四篇，華為云評(píng)測(cè)系列傳送門(mén)：

華為云云耀云服務(wù)器L實(shí)例評(píng)測(cè)｜單節(jié)點(diǎn)環(huán)境下部署ClickHouse21.1.9.41數(shù)據(jù)庫(kù)

華為云云耀云服務(wù)器L實(shí)例評(píng)測(cè)｜偽分布式環(huán)境下部署hadoop2.10.1

華為云云耀云服務(wù)器L實(shí)例評(píng)測(cè)｜在Docker環(huán)境下部署Hadoop

云耀云服務(wù)器L實(shí)例簡(jiǎn)介

? 云耀云服務(wù)器L實(shí)例是新一代的輕量應(yīng)用云服務(wù)器，專(zhuān)門(mén)為中小企業(yè)和開(kāi)發(fā)者打造，提供開(kāi)箱即用的便利性。云耀云服務(wù)器L實(shí)例提供豐富且經(jīng)過(guò)嚴(yán)格挑選的應(yīng)用鏡像，可以一鍵部署應(yīng)用，極大地簡(jiǎn)化了客戶(hù)在云端構(gòu)建電商網(wǎng)站、Web應(yīng)用、小程序、學(xué)習(xí)環(huán)境以及各類(lèi)開(kāi)發(fā)測(cè)試等任務(wù)的過(guò)程。

Docker簡(jiǎn)介

? Docker是一種開(kāi)源的容器化平臺(tái)，它可以幫助開(kāi)發(fā)者將應(yīng)用程序及其依賴(lài)項(xiàng)打包成一個(gè)獨(dú)立的容器，以實(shí)現(xiàn)快速、可靠和可移植的應(yīng)用部署。Docker的核心概念是容器，它是一個(gè)輕量級(jí)的、可移植的、自包含的軟件單元，包含了運(yùn)行應(yīng)用程序所需的所有組件，如代碼、運(yùn)行時(shí)環(huán)境、系統(tǒng)工具和系統(tǒng)庫(kù)。

Hive簡(jiǎn)介

? Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，它提供了類(lèi)似于SQL的查詢(xún)語(yǔ)言，使得非技術(shù)人員也能夠方便地進(jìn)行數(shù)據(jù)分析和查詢(xún)。Hive將結(jié)構(gòu)化的數(shù)據(jù)映射到Hadoop的分布式文件系統(tǒng)上，并通過(guò)HiveQL語(yǔ)言進(jìn)行查詢(xún)和分析。它的優(yōu)勢(shì)在于能夠處理大規(guī)模數(shù)據(jù)集，并且具有高可擴(kuò)展性和容錯(cuò)性。Hive還支持用戶(hù)自定義函數(shù)和擴(kuò)展，使得開(kāi)發(fā)人員可以根據(jù)自己的需求進(jìn)行定制。Hive已經(jīng)成為大數(shù)據(jù)處理中的重要工具，被廣泛應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析和數(shù)據(jù)挖掘等領(lǐng)域。

一、配置環(huán)境

購(gòu)買(mǎi)云耀云服務(wù)器L實(shí)例

在云耀云服務(wù)器L實(shí)例詳情頁(yè)，點(diǎn)擊購(gòu)買(mǎi)。

• 檢查配置，確認(rèn)購(gòu)買(mǎi)。

查看云耀云服務(wù)器L實(shí)例狀態(tài)

查看購(gòu)買(mǎi)的云耀云服務(wù)器L實(shí)例狀態(tài)，處在正常運(yùn)行中。

重置密碼

重置密碼，點(diǎn)擊重置密碼選項(xiàng)，需要進(jìn)行身份驗(yàn)證，選擇手機(jī)驗(yàn)證后，即可重置密碼成功。

查看彈性公網(wǎng)IP地址

• 復(fù)制彈性公網(wǎng)IP地址，遠(yuǎn)程連接服務(wù)器時(shí)使用。

FinalShell連接服務(wù)器

在FinalShell工具中，填寫(xiě)服務(wù)器彈性公網(wǎng)IP地址、賬號(hào)密碼信息，ssh連接遠(yuǎn)程服務(wù)器。

二、安裝Hive容器

創(chuàng)建Hive容器

宿主機(jī)上傳hive安裝包并解壓

• 進(jìn)入/mnt/docker_share目錄，上傳apache-hive-2.1.0-bin.tar.gz到此目錄下

• 解壓到opt目錄下

  tar -xvzf apache-hive-2.1.0-bin.tar.gz -C /opt/

  

修改hive配置文件

cd /opt/apache-hive-2.1.0-bin/conf
touch hive-site.xml
vim hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop.bigdata.cn:9000</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://mysql.bigdata.cn:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hive.bigdata.cn</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hive.bigdata.cn:9083</value>
    </property>
</configuration>

上傳配置mysql驅(qū)動(dòng)

• 上傳mysql jdbc驅(qū)動(dòng)到宿主機(jī)/mnt/docker_share

  • mysql-connector-java-5.1.38-bin.jar

• 復(fù)制mysql的驅(qū)動(dòng)程序到hive/lib下面

  cp /mnt/docker_share/mysql-connector-java-5.1.38-bin.jar /opt/apache-hive-2.1.0-bin/lib
  ll /opt/apache-hive-2.1.0-bin/lib | grep mysql
  

啟動(dòng)mysql和hadoop容器

• 啟動(dòng)mysql容器

  docker start mysql

• 啟動(dòng)hadoop容器

  docker start hadoop

創(chuàng)建hive容器

• 創(chuàng)建hive容器，指定IP（注意一定要添加 --privileged=true否則無(wú)法使用系統(tǒng)服務(wù)）

  docker run \
  --privileged=true \
  --net docker-bd0 \
  --ip 172.33.0.131 \
  -v /mnt/docker_share:/mnt/docker_share \
  -v /etc/hosts:/etc/hosts \
  -v /opt/hadoop-2.7.0:/opt/hadoop-2.7.0 \
  -v /opt/jdk1.8.0_141:/opt/jdk1.8.0_141 \
  -v /opt/apache-hive-2.1.0-bin:/opt/apache-hive-2.1.0-bin \
  -p 10000:10000 \
  --name hive -d hadoop:2.7.0
  

進(jìn)入hive容器

docker exec -it hive bash

配置hive環(huán)境變量

vim /etc/profile

export HIVE_HOME=/opt/apache-hive-2.1.0-bin
export PATH=$HIVE_HOME/bin:$PATH

source /etc/profile

初始化mysql元數(shù)據(jù)

• 初始化mysql元數(shù)據(jù)命令

  schematool -initSchema -dbType mysql

• 進(jìn)入到mysql容器中，設(shè)置hive相關(guān)表的編碼格式

  docker exec -it mysql bash

• 進(jìn)入到mysql中，執(zhí)行以下幾條語(yǔ)句，修改Hive的默認(rèn)編碼方式

  mysql -u root -p

  

  use hive;
  -- 修改表字段注解和表注解
  alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
  alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
  -- 修改分區(qū)字段注解：
  alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
  alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
  -- 修改索引注解：
  alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
  -- 查看編碼格式
  show variables like "%char%";
  

三、啟動(dòng)Hive

啟動(dòng)hive和使用beeline連接hive

• 啟動(dòng)hive

  nohup hive --service metastore &
  nohup hive --service hiveserver2 &
  

• 使用beeline連接hive

  beeline
  !connect jdbc:hive2://hive.bigdata.cn:10000
  

配置hive自動(dòng)啟動(dòng)

創(chuàng)建日志保存目錄

mkdir -p /opt/apache-hive-2.1.0-bin/logs

創(chuàng)建啟動(dòng)腳本

vim /etc/bootstrap.sh

# !/bin/sh
source /etc/profile

DATE_STR=`/bin/date  "+%Y%m%d%H%M%S"`

HIVE_METASTORE_LOG=${HIVE_HOME}/logs/hiveserver2-metasvr-${DATE_STR}.log
HIVE_THRIFTSVR_LOG=${HIVE_HOME}/logs/hiveserver2-thriftsvr-${DATE_STR}.log

nohup ${HIVE_HOME}/bin/hive --service metastore >> ${HIVE_METASTORE_LOG} 2>&1 &
nohup ${HIVE_HOME}/bin/hive --service hiveserver2 >> ${HIVE_THRIFTSVR_LOG} 2>&1 &

設(shè)置腳本執(zhí)行權(quán)限

chmod a+x /etc/bootstrap.sh

加入自動(dòng)啟動(dòng)服務(wù)

vim /etc/rc.d/rc.local
/etc/bootstrap.sh
chmod 755 /etc/rc.d/rc.local 

重啟容器

docker restart hive
docker exec -it hive bash

dbserver連接hive

連接成功：

總結(jié)

? 本文介紹了在云耀云服務(wù)器L實(shí)例上部署Docker容器hive數(shù)據(jù)庫(kù)的步驟，包括重置密碼、連接服務(wù)器、安裝Hive容器、配置環(huán)境變量、初始化元數(shù)據(jù)、啟動(dòng)hive和配置自動(dòng)啟動(dòng)等。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-721879.html

到了這里，關(guān)于華為云云耀云服務(wù)器L實(shí)例評(píng)測(cè)｜在Docker環(huán)境下部署Hive數(shù)據(jù)庫(kù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！