一、目標(biāo)
Kettle9.2.0在Linux上安裝好后,需要與Hive3.1.2數(shù)據(jù)庫建立連接
之前已經(jīng)在本地上用kettle9.2.0連上Hive3.1.2
二、各工具版本
(一)kettle9.2.0? ?
kettle9.2.0安裝包網(wǎng)盤鏈接
鏈接:https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwd=zwae?
提取碼:zwae
(二)Hive3.1.2?
(三)Hadoop3.1.3
三、前提準(zhǔn)備
(一)Kettle9.2.0已在Linux上安裝好
(二)注意Kettle9.2里MySQL驅(qū)動(dòng)包的版本以及Hive312里MySQL驅(qū)動(dòng)包的版本
1、Hive312的lib里面MySQL驅(qū)動(dòng)包的版本是mysql-connector-java-5.1.37.jar
2、Kettle9.2里MySQL驅(qū)動(dòng)包的版本
mysql-connector-java-5.1.37.jar? ? ? ?;? ?mysql-connector-java-8.0.30.jar
?四、安裝步驟
(一)根據(jù)Hadoop版本在選擇對(duì)應(yīng)的文件(千萬不要隨便選?。?/h3>
?1、文件路徑
/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations
2、Hadoop版本與文件夾對(duì)應(yīng)規(guī)則??
3、選擇文件,復(fù)制文件名(Hadoop版本與文件夾一定要匹配?。?/h4>
因?yàn)槲业腍adoop版本是Hadoop3.1.3,所以我選擇的文件夾是hdp30
(二)修改kettle里pentaho-big-data-plugin文件夾里的源文件plugin.properties
?1、文件路徑
/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin
?2、??只要設(shè)置? ? ? ?active.hadoop.configuration=hdp30
?(三)從我們安裝的Hadoop、Hive里拉取需要的文件復(fù)制到hdp30的文件夾下(如需要HBase則拉取HBase的?hbase-site.xml)
1、文件路徑
/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30
2、主要替換5個(gè)文件
Hadoop4個(gè)文件:? ? yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml
Hive1個(gè)文件: ? ? ? ? hive-site.xml
結(jié)果如下所示
?(四)復(fù)制需要的jar包
1、從Hive安裝路徑的lib目錄復(fù)制以hive開頭的jar包,復(fù)制到hdp30\lib文件夾
文件路徑:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib
?2、復(fù)制Hadoop安裝目錄下的?hadoop-common-3.1.3.jar到hdp30\lib里
文件路徑:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib
3、把hive的安裝路徑hive312/jdbc里的驅(qū)動(dòng)包復(fù)制到 kettle9.2的data-integration\lib文件下
(1)hive312/jdbc里的驅(qū)動(dòng)包文件路徑
?(2)目標(biāo)文件路徑:/opt/install/kettle9.2/data-integration/lib
?
(五)啟動(dòng)Hadoop和Hive服務(wù),打開kettle9.2,連接Hive數(shù)據(jù)庫
kettle9.2連接hive312,連接成功!?
(六)執(zhí)行從Hive到ClickHouse的kettle任務(wù),測試一下
kettle任務(wù)運(yùn)行成功!?
(七)注意Hive數(shù)據(jù)庫的中文亂碼問題?
解決方法:kettle9.2在配置Hive數(shù)據(jù)庫時(shí)在高級(jí)模塊添加set names utf8;? ? ? ? ? ?配置好后測試一下
?
到這里,Linux上安裝的Kettle9.2.0連接Hive3.1.2數(shù)據(jù)庫就結(jié)束了!文章來源:http://www.zghlxwxcb.cn/news/detail-655272.html
樂于奉獻(xiàn)共享,幫助你我他?。?!文章來源地址http://www.zghlxwxcb.cn/news/detail-655272.html
到了這里,關(guān)于一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!