Hive簡介
Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行。Hive具有穩(wěn)定和簡單易用的特性，成為了當(dāng)前企業(yè)在構(gòu)建企業(yè)級數(shù)據(jù)倉庫時使用較為普遍的大數(shù)據(jù)組件之一。
本實(shí)驗(yàn)內(nèi)容主要在Hadoop高可用集群上進(jìn)行Hive的相關(guān)操作，關(guān)于Hadoop高可用集群的部署參考以下鏈接：
Hadoop系統(tǒng)應(yīng)用之搭建Hadoop高可用集群（超詳細(xì)步驟指導(dǎo)操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hive的部署模式主要有三種：
- 嵌入模式，使用內(nèi)嵌的Derby數(shù)據(jù)庫存儲元數(shù)據(jù)，是Hive最簡單的部署方式。嵌入模式下的Hive不支持多會話連接，不適合生產(chǎn)環(huán)境，只適合測試環(huán)境。
- 本地模式，使用本地獨(dú)立數(shù)據(jù)庫存儲元數(shù)據(jù)，這里的獨(dú)立數(shù)據(jù)庫通常使用MySQL數(shù)據(jù)庫。本地模式部署的Hive支持元數(shù)據(jù)共享，并且支持多會話連接。
- 遠(yuǎn)程模式，遠(yuǎn)程模式與本地模式一樣，同樣是使用獨(dú)立數(shù)據(jù)庫存儲元數(shù)據(jù)。不同的是，遠(yuǎn)程模式使用的是遠(yuǎn)端的獨(dú)立數(shù)據(jù)庫，而本地模式使用的是本地獨(dú)立數(shù)據(jù)庫。遠(yuǎn)程模式主要應(yīng)用于Hive客戶端較多的情況。
下面主要介紹遠(yuǎn)程模式的部署過程：
1、Hive安裝
第一步：打開SecureCRT 8.3軟件，在node-01上進(jìn)入/export/software/目錄，指令如下：
cd /export/software/
第二步：使用指令rz進(jìn)行安裝包上傳，選擇安裝包apache-hive-1.2.1-bin.tar.gz。
apache-hive-1.2.1-bin.tar.gz
第三步：上傳完畢后將該安裝包解壓到/export/servers/目錄，使用如下指令：
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/
解壓完成后使用cd /export/servers/進(jìn)入該目錄，之后使用指令ls可查看到該目錄下存在apache-hive-1.2.1-bin.tar.gz文件。
2、MySQL安裝
第一步：使用如下指令在根目錄在線下載安裝MySQL：
yum install mysql mysql-server mysql-devel
第二步：安裝過程出現(xiàn)提示整個下載空間為17M，是否確定繼續(xù)，輸入y即可。
第三步：MySQL相關(guān)配置。
首先啟動MySQL服務(wù)，輸入如下指令：
/etc/init.d/mysqld start
然后輸入指令mysql，登錄MySQL服務(wù)。完成后結(jié)果如下：
之后分別輸入如下指令設(shè)置MySQL用戶名“root”和密碼“123456”。
USE mysql;
update user set password=password('123456') where user='root';
最后依次使用如下指令設(shè)置允許遠(yuǎn)程登陸，并強(qiáng)制寫入，然后使用exit;退出即可。
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
FLUSH PRIVILEGES;
第四步：Hive的配置。
首先進(jìn)入Hive安裝包下的conf文件夾，將hive-env.sh.template文件進(jìn)行復(fù)制并重命名為hive-env.sh。具體指令如下：
cd /export/servers/apache-hive-1.2.1-bin/conf
cp hive-env.sh.template hive-env.sh
然后修改hive-env.sh文件，添加Hadoop環(huán)境變量。
修改指令：
vi hive-env.sh
在文件內(nèi)容中找到#HADOOP_HOME=${bin}/../../hadoop這句話，將這句話修改成如下內(nèi)容即可。
HADOOP_HOME=/export/servers/hadoop-2.7.4
之后在conf目錄下新建hive-site.xml文件，并添加配置信息。
新建文件并編輯如下：
vi hive-site.xml
該文件中新增配置信息如下：
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>Mysql連接協(xié)議</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>JDBC連接驅(qū)動</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>用戶名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>密碼</description>
</property>
</configuration>
:wq保存退出即可。
最后將連接驅(qū)動的jar包mysql-connector-java-5.1.32.jar上傳至Hive安裝包的lib文件夾下。
jar包下載地址
進(jìn)入lib文件夾指令：
cd ..
cd lib/
上傳指令rz選擇該jar包即可。
第五步：將node-01服務(wù)器上安裝的Hive程序分別復(fù)制到node-02和node-03服務(wù)器上。
首先回到/export/servers/目錄下。
cd /export/servers/
再分別使用如下指令進(jìn)行復(fù)制。
scp -r /export/servers/apache-hive-1.2.1-bin/ node-02:/export/servers/
scp -r /export/servers/apache-hive-1.2.1-bin/ node-03:/export/servers/
3、Hive遠(yuǎn)程服務(wù)啟動
注：使用Hive進(jìn)行數(shù)據(jù)庫操作時需要將所有Hadoop集群服務(wù)啟動，包括HDFS和YARN，同時還要啟動MySQL服務(wù)，啟動MySQL服務(wù)方式前面已介紹。
第一步：在node-01中進(jìn)入安裝包解壓后目錄，使用如下指令進(jìn)入：
cd /export/servers/apache-hive-1.2.1-bin
在該目錄下使用如下指令啟動Hiveserver2服務(wù)：
bin/hiveserver2
服務(wù)啟動后在當(dāng)前窗口會沒有任何反應(yīng)。
第二步：這時可以使用SecureCRT軟件的克隆會話功能（右鍵會話窗口，單擊Clone Session選項(xiàng)），打開新的node-01窗口。
在新打開的node-01窗口使用jps查看進(jìn)程，可發(fā)現(xiàn)hive服務(wù)（RunJar）已啟動。
第三步：在node-02上進(jìn)行Hive安裝包解壓目錄，指令如下：
cd /export/servers/apache-hive-1.2.1-bin
在該路徑下輸入遠(yuǎn)程連接指令：
bin/beeline
按要求輸入遠(yuǎn)程連接協(xié)議，連接到指定Hive服務(wù)（node-01）的主機(jī)口和端名（默認(rèn)10000）
!connect jdbc:hive2://node-01:10000
緊接著按照提示輸入node-01的賬戶名“root”和密碼“123456”，自此遠(yuǎn)程連接成功。
注：關(guān)閉beeline方法：輸入“! quit”
關(guān)閉hiveserver2方法：使用“kill -9 XXX”,后面XXX為進(jìn)程RunJar對應(yīng)的序號。
參考文獻(xiàn)：黑馬程序員.Hive數(shù)據(jù)倉庫應(yīng)用[M].北京：清華大學(xué)出版社,2021.文章來源：http://www.zghlxwxcb.cn/news/detail-768875.html
后續(xù)學(xué)習(xí)鏈接：
二、Hive數(shù)據(jù)倉庫應(yīng)用之Hive數(shù)據(jù)定義語言（一）（超詳細(xì)步驟指導(dǎo)操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）文章來源地址http://www.zghlxwxcb.cn/news/detail-768875.html
到了這里，關(guān)于一、Hive數(shù)據(jù)倉庫應(yīng)用之Hive部署（超詳細(xì)步驟指導(dǎo)操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
