国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2

這篇具有很好參考價(jià)值的文章主要介紹了一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

一、目標(biāo)

Kettle9.2.0在Linux上安裝好后,需要與Hive3.1.2數(shù)據(jù)庫建立連接

之前已經(jīng)在本地上用kettle9.2.0連上Hive3.1.2

二、各工具版本

(一)kettle9.2.0? ?

kettle9.2.0安裝包網(wǎng)盤鏈接

鏈接:https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwd=zwae?
提取碼:zwae

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

(二)Hive3.1.2?

(三)Hadoop3.1.3

三、前提準(zhǔn)備

(一)Kettle9.2.0已在Linux上安裝好

(二)注意Kettle9.2里MySQL驅(qū)動(dòng)包的版本以及Hive312里MySQL驅(qū)動(dòng)包的版本

1、Hive312的lib里面MySQL驅(qū)動(dòng)包的版本是mysql-connector-java-5.1.37.jar

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

2、Kettle9.2里MySQL驅(qū)動(dòng)包的版本

mysql-connector-java-5.1.37.jar? ? ? ?;? ?mysql-connector-java-8.0.30.jar

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?四、安裝步驟

(一)根據(jù)Hadoop版本在選擇對(duì)應(yīng)的文件(千萬不要隨便選?。?/h3>

?1、文件路徑

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

2、Hadoop版本與文件夾對(duì)應(yīng)規(guī)則??

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

3、選擇文件,復(fù)制文件名(Hadoop版本與文件夾一定要匹配?。?/h4>

因?yàn)槲业腍adoop版本是Hadoop3.1.3,所以我選擇的文件夾是hdp30

(二)修改kettle里pentaho-big-data-plugin文件夾里的源文件plugin.properties

?1、文件路徑

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?2、??只要設(shè)置? ? ? ?active.hadoop.configuration=hdp30

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?(三)從我們安裝的Hadoop、Hive里拉取需要的文件復(fù)制到hdp30的文件夾下(如需要HBase則拉取HBase的?hbase-site.xml)

1、文件路徑

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30

2、主要替換5個(gè)文件

Hadoop4個(gè)文件:? ? yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml

Hive1個(gè)文件: ? ? ? ? hive-site.xml

結(jié)果如下所示
一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?(四)復(fù)制需要的jar包

1、從Hive安裝路徑的lib目錄復(fù)制以hive開頭的jar包,復(fù)制到hdp30\lib文件夾

文件路徑:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?2、復(fù)制Hadoop安裝目錄下的?hadoop-common-3.1.3.jar到hdp30\lib里

文件路徑:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

3、把hive的安裝路徑hive312/jdbc里的驅(qū)動(dòng)包復(fù)制到 kettle9.2的data-integration\lib文件下

(1)hive312/jdbc里的驅(qū)動(dòng)包文件路徑

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?(2)目標(biāo)文件路徑:/opt/install/kettle9.2/data-integration/lib

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle?

(五)啟動(dòng)Hadoop和Hive服務(wù),打開kettle9.2,連接Hive數(shù)據(jù)庫

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

kettle9.2連接hive312,連接成功!?

(六)執(zhí)行從Hive到ClickHouse的kettle任務(wù),測試一下

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

kettle任務(wù)運(yùn)行成功!?

(七)注意Hive數(shù)據(jù)庫的中文亂碼問題?

解決方法:kettle9.2在配置Hive數(shù)據(jù)庫時(shí)在高級(jí)模塊添加set names utf8;? ? ? ? ? ?配置好后測試一下

一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2,Kettle,kettle

?

到這里,Linux上安裝的Kettle9.2.0連接Hive3.1.2數(shù)據(jù)庫就結(jié)束了!

樂于奉獻(xiàn)共享,幫助你我他?。?!文章來源地址http://www.zghlxwxcb.cn/news/detail-655272.html

到了這里,關(guān)于一百六十、Kettle——Linux上安裝的Kettle9.2.0連接Hive3.1.2的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 一百五十二、Kettle——Kettle9.3.0本地連接Hive3.1.2(踩坑,親測有效)

    一百五十二、Kettle——Kettle9.3.0本地連接Hive3.1.2(踩坑,親測有效)

    由于先前使用的kettle8.2版本在Linux上安裝后,創(chuàng)建共享資源庫點(diǎn)擊connect時(shí)頁面為空,后來采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代碼 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享資源庫創(chuàng)建后又遇到任務(wù)Save時(shí)為空的問題。

    2024年02月13日
    瀏覽(25)
  • 一百五十三、Kettle——Linux上安裝的kettle9.3啟動(dòng)后說缺少libwebkitgtk-1.0(真是坑爹啊,剛龜速下載又忍痛卸載)

    一百五十三、Kettle——Linux上安裝的kettle9.3啟動(dòng)后說缺少libwebkitgtk-1.0(真是坑爹啊,剛龜速下載又忍痛卸載)

    在kettle9.3可以在本地連接hive312后,在Linux中安裝了kettle9.3,結(jié)果啟動(dòng)時(shí)報(bào)錯(cuò)WARNING: ?no libwebkitgtk-1.0 detected, some features will be unavailable 而且如果直接下載libwebkitgtk的話也沒有用 [root@hurys22 data-integration]# yum install install libwebkitgtk ? [root@hurys22 data-integration]# wget ftp://ftp.pbone.net/mirr

    2024年02月13日
    瀏覽(23)
  • 一百五十二、Kettle——Kettle9.3.0本地連接Hive3.1.2(踩坑,親測有效,附截圖)

    一百五十二、Kettle——Kettle9.3.0本地連接Hive3.1.2(踩坑,親測有效,附截圖)

    由于先前使用的kettle8.2版本在Linux上安裝后,創(chuàng)建共享資源庫點(diǎn)擊connect時(shí)頁面為空,后來采用如下方法,在/opt/install/data-integration/ui/menubar.xul文件里添加如下代碼 menuitem id=\\\"file-openZiyuanku\\\" label=\\\"openZiyuanku\\\" command=\\\"spoon.openRepository()\\\"/ 共享資源庫創(chuàng)建后又遇到任務(wù)Save時(shí)為空的問題。

    2024年02月12日
    瀏覽(22)
  • 一百五十九、Kettle——Kettle9.2通過配置Hadoop clusters連接Hadoop3.1.3(踩坑親測、附流程截圖)

    一百五十九、Kettle——Kettle9.2通過配置Hadoop clusters連接Hadoop3.1.3(踩坑親測、附流程截圖)

    由于kettle的任務(wù)需要用到Hadoop(HDFS),所以就要連接Hadoop服務(wù)。 之前使用的是kettle9.3,由于在kettle新官網(wǎng)以及博客百度等渠道實(shí)在找不到shims的驅(qū)動(dòng)包,無奈換成了kettle9.2,kettle9.2的安裝包里自帶了shims的驅(qū)動(dòng)包,不需要額外下載,挺好! kettle9.2.0安裝包網(wǎng)盤鏈接,請(qǐng)看鄙人

    2024年02月12日
    瀏覽(29)
  • 每天一個(gè)數(shù)據(jù)分析題(一百六十)

    以下關(guān)于代碼片段(使用sklearn)的使用和PCA(主成分分析)的描述中,哪項(xiàng)是正確的? A. preprocessing.scale(data)用于對(duì)數(shù)據(jù)進(jìn)行歸一化處理,確保PCA分析前各特征處于同一量級(jí)。 B. PCA(n_components=9)將數(shù)據(jù)降維了9個(gè)主成分。 C. pca.explained_variance_輸出的是降維后各主成分的方差。

    2024年02月20日
    瀏覽(23)
  • 第一百六十四回 如何實(shí)現(xiàn)NumberPicker

    第一百六十四回 如何實(shí)現(xiàn)NumberPicker

    我們?cè)谏弦徽禄刂薪榻B了\\\"如何在任意位置顯示PopupMenu\\\"相關(guān)的內(nèi)容,本章回中將介紹 如何實(shí)現(xiàn)NumberPicker .閑話休提,讓我們一起Talk Flutter吧。 我們?cè)诒菊禄刂薪榻B的 NumberPicker 主要用來實(shí)現(xiàn)數(shù)字選擇功能,比如選擇年月日,當(dāng)然也可以使用 YearPicker 實(shí)現(xiàn),不過YearPicer是把年月

    2024年02月07日
    瀏覽(27)
  • 每天一個(gè)數(shù)據(jù)分析題(一百六十四)

    關(guān)于OLAP系統(tǒng),下列選項(xiàng)不正確的是() A. 是基于數(shù)據(jù)倉庫的信息進(jìn)行分析處理過程 B. 用戶數(shù)量相對(duì)較少,其用戶主要是業(yè)務(wù)決策人員與管理人員 C. 對(duì)響應(yīng)時(shí)間要求非常高。 D. 基礎(chǔ)數(shù)據(jù)來源于生產(chǎn)系統(tǒng)的操作數(shù)據(jù),也就是說,OLAP系統(tǒng)的數(shù)據(jù)來源與OLTP系統(tǒng)。 題目來源于CDA模

    2024年02月22日
    瀏覽(24)
  • 一百零一、Kettle——Kettle8.2.0本地連接Hive3.1.2(踩坑,親測有效)

    一百零一、Kettle——Kettle8.2.0本地連接Hive3.1.2(踩坑,親測有效)

    這是目前遇到的最簡單但最頭疼的安裝,因?yàn)槭窃诠局坝眠^的服務(wù)器上進(jìn)行安裝測試,加上又使用比較新的版本,結(jié)果踩了不少坑。Kettle連接Hive這個(gè)坑,從2023年4月11日下午開始,一致到2023年4月12日中午才弄好,不得不寫篇博客記錄一下這段難忘的經(jīng)歷。 真是郁悶了半天

    2024年02月07日
    瀏覽(21)
  • 一百四十七、Kettle——Linux上安裝的kettle8.2連接ClickHouse數(shù)據(jù)庫

    一百四十七、Kettle——Linux上安裝的kettle8.2連接ClickHouse數(shù)據(jù)庫

    kettle8.2在Linux安裝好后,需要與ClickHouse數(shù)據(jù)庫建立連接 https://pan.baidu.com/s/1iqGyXsTaQSCHEbjj7yX7AA?提取碼: mvzd ? 注意 : clickhouse-plugins文件里就是自定義的驅(qū)動(dòng)jar包 注意: 要知道Linux系統(tǒng)架構(gòu)是64位還是32位, 它們所屬的Linux文件夾不同 到這里,Linux安裝的kettle8.2就可以與ClickHou

    2024年02月13日
    瀏覽(27)
  • JAVA面試題分享一百六十三:Kafka如何實(shí)現(xiàn)延時(shí)推送?

    JAVA面試題分享一百六十三:Kafka如何實(shí)現(xiàn)延時(shí)推送?

    目錄 一、延時(shí)隊(duì)列定義 二、技術(shù)實(shí)現(xiàn)方案 1. Redis 2. Kafka 3. RabbitMQ 4. RocketMQ 三、Kafka延時(shí)隊(duì)列背景 四、Kafka延時(shí)隊(duì)列實(shí)現(xiàn)思路 六、Kafka延時(shí)隊(duì)列架構(gòu)圖 七、kafka延時(shí)任務(wù)代碼實(shí)現(xiàn) 1. KafkaDelayQueue:Kafka延遲隊(duì)列 2. KafkaDelayQueueFactory:Kafka延遲隊(duì)列工廠 3. KafkaPollListener:Kafka延遲隊(duì)

    2024年02月04日
    瀏覽(23)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包