国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

CentOS7部署kettle9.3.0并部署自服器遠(yuǎn)程提交任務(wù)

這篇具有很好參考價(jià)值的文章主要介紹了CentOS7部署kettle9.3.0并部署自服器遠(yuǎn)程提交任務(wù)。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

環(huán)境說明:

主機(jī)名:cmcc01為例?

操作系統(tǒng):centos7

kettle版本:9.3.0

1. 下載kettle

官網(wǎng):https://sourceforge.net/projects/pentaho/files/

2.解壓

unzip /opt/package/pdi-ce-9.3.0.0-428.zip -d /opt/software/

3、配置java環(huán)境變量

vim ~/.bash_profile
# 添加以下內(nèi)容

# JDK
export JAVA_HOME=/opt/software/jdk1.8.0_321
export PATH=$PATH:${JAVA_HOME}/bin

使配置生效

source /etc/profile

4.給同組用戶賦權(quán)

chmod g+x /opt/software/data-integration/kitchen.sh

5.執(zhí)行命令

[root@cmcc01 data-integration]#
[root@cmcc01 data-integration]#
[root@cmcc01 data-integration]# ./kitchen.sh
#######################################################################
WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable
    Consider installing the package with apt-get or yum.
    e.g. 'sudo apt-get install libwebkitgtk-1.0-0'
#######################################################################

Options:
  -rep            = Repository name
  -user           = Repository username
  -trustuser      = !Kitchen.ComdLine.RepUsername!
  -pass           = Repository password
  -job            = The name of the job to launch
  -dir            = The directory (dont forget the leading /)
  -file           = The filename (Job XML) to launch
  -level          = The logging level (Basic, Detailed, Debug, Rowlevel, Error, Minimal, Nothing)
  -logfile        = The logging file to write to
  -listdir        = List the directories in the repository
  -listjobs       = List the jobs in the specified directory
  -listrep        = List the available repositories
  -norep          = Do not log into the repository
  -version        = show the version, revision and build date
  -param          = Set a named parameter <NAME>=<VALUE>. For example -param:FILE=customers.csv
  -listparam      = List information concerning the defined parameters in the specified job.
  -export         = Exports all linked resources of the specified job. The argument is the name of a ZIP file.
  -custom         = Set a custom plugin specific option as a String value in the job using <NAME>=<Value>, for example: -custom:COLOR=Red
  -maxloglines    = The maximum number of log lines that are kept internally by Kettle. Set to 0 to keep all rows (default)
  -maxlogtimeout  = The maximum age (in minutes) of a log line while being kept internally by Kettle. Set to 0 to keep all rows indefinitely (default)

[root@cmcc01 data-integration]#
[root@cmcc01 data-integration]#

此處有告警?

6.解決告警

wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpm
yum -y install webkitgtk-2.4.9-1.el7.x86_64.rpm

# 再次執(zhí)行命令,告警消除
[root@cmcc01 package]#
[root@cmcc01 package]# /opt/software/data-integration/kitchen.sh
Options:
  -rep            = Repository name
  -user           = Repository username
  -trustuser      = !Kitchen.ComdLine.RepUsername!
  -pass           = Repository password
  -job            = The name of the job to launch
  -dir            = The directory (dont forget the leading /)
  -file           = The filename (Job XML) to launch
  -level          = The logging level (Basic, Detailed, Debug, Rowlevel, Error, Minimal, Nothing)
  -logfile        = The logging file to write to
  -listdir        = List the directories in the repository
  -listjobs       = List the jobs in the specified directory
  -listrep        = List the available repositories
  -norep          = Do not log into the repository
  -version        = show the version, revision and build date
  -param          = Set a named parameter <NAME>=<VALUE>. For example -param:FILE=customers.csv
  -listparam      = List information concerning the defined parameters in the specified job.
  -export         = Exports all linked resources of the specified job. The argument is the name of a ZIP file.
  -custom         = Set a custom plugin specific option as a String value in the job using <NAME>=<Value>, for example: -custom:COLOR=Red
  -maxloglines    = The maximum number of log lines that are kept internally by Kettle. Set to 0 to keep all rows (default)
  -maxlogtimeout  = The maximum age (in minutes) of a log line while being kept internally by Kettle. Set to 0 to keep all rows indefinitely (default)

[root@cmcc01 package]#
[root@cmcc01 package]#

7.測試

# 執(zhí)行轉(zhuǎn)換
# 編寫測試轉(zhuǎn)換,執(zhí)行如下命令即可
/opt/software/data-integration/pan.sh -file=/opt/kettle-spoon/ktr/test/test1.ktr log=test1.log

# 執(zhí)行job
/opt/software/data-integration/kitchen.sh -file=/opt/kettle-spoon/ktr/test/SechuldUpdate.kjb log=timeLogUpdate.log

8.kettle整合mysql、oracle

?復(fù)制驅(qū)動到data-integration/lib下

cp /opt/package/mysql-connector-java-8.0.20.jar /opt/software/data-integration/lib
cp /opt/package/ojdbc6.jar /opt/software/data-integration/lib

?9.kettle整合hive

# 創(chuàng)建hive jar包軟連接
ln -s /opt/software/hive-3.1.3-bin/lib/*.jar /opt/software/data-integration/lib

可能會報(bào)錯(cuò):File exists,可忽略

kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl

?創(chuàng)建job測試

?kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl

?10.修改windows端spoon.bat編碼

如不進(jìn)行此操作則在向子服務(wù)器提交任務(wù)時(shí)會報(bào)如下錯(cuò)誤:Invalid byte 1 of 1-byte UTF-8 sequence

使用文本編輯器打開:\pdi-ce-9.3.0.0-428\data-integration\spoon.bat

在下圖紅框處添加: "-Dfile.encoding=UTF-8"

kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl

??

?11.修改linux端Carte用戶名及密碼

? ? ? ?使用Carte服務(wù)執(zhí)行作業(yè)需要授權(quán)。默認(rèn)情況下,Carte只支持最基本的授權(quán)方式,就是將密碼保存在kettle.pwd文件中。kettle.pwd文件位于Kettle根目錄下的pwd目錄下。默認(rèn)情況下,kettle.pwd的內(nèi)容如下:

# Please note that the default password (cluster) is obfuscated using the Encr script provided in this release
# Passwords can also be entered in plain text as before
#?
cluster: OBF:1v8w1uh21z7k1ym71z7i1ugo1v9q

? ? ? ? ?最后一行是唯一有用的一行,定義了一個(gè)用戶cluster,以及混淆后的密碼(這個(gè)密碼也是cluster)。文件的注釋說明了這個(gè)混淆的密碼是由Encr.bat或encr.sh腳本生成的。

sh /data-integration/encr.sh -carte cluster
# 執(zhí)行結(jié)果
OBF:1v8w1uh21z7k1ym71z7i1ugo1v9q
注意:cluster是你需混淆的密碼

? ? ? ? 將新生成的混淆后的密碼填寫入kettle.pwd文件中,如修改后密碼未生效,則是carte服務(wù)還未重啟成功,查看相應(yīng)進(jìn)程殺掉重啟即可。

12.啟動Carte服務(wù)

? ? ? ?在linux服務(wù)器上切換到kettle跟目錄下:cd ?/kettle/data-integration/

sh carte.sh 本機(jī)ip 端口號
例如:sh carte.sh 192.168.12.250 8888

執(zhí)行顯示如下信息,則說明服務(wù)啟動成功

kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl

13.windows端kettle配置子服務(wù)器

?kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etlkettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl

14.創(chuàng)建子服務(wù)器運(yùn)行配置

kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl?

kettle遠(yuǎn)程執(zhí)行作業(yè),軟件,kettle,centos,hadoop,大數(shù)據(jù),hdfs,etl文章來源地址http://www.zghlxwxcb.cn/news/detail-649148.html

到了這里,關(guān)于CentOS7部署kettle9.3.0并部署自服器遠(yuǎn)程提交任務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 一百五十六、Kettle——Linux上安裝的Kettle9.3連接ClickHouse數(shù)據(jù)庫(親測,附流程截圖)

    一百五十六、Kettle——Linux上安裝的Kettle9.3連接ClickHouse數(shù)據(jù)庫(親測,附流程截圖)

    kettle9.3在Linux上安裝好后,需要與ClickHouse數(shù)據(jù)庫建立連接 1、kettle版本是9.3 2、ClickHouse版本是21.9.5.16 ? https://pan.baidu.com/s/1iqGyXsTaQSCHEbjj7yX7AA?提取碼: mvzd 注意 : clickhouse-plugins文件里就是自定義的clickhouse驅(qū)動jar包 ? ?注意 : 要區(qū)分Linux系統(tǒng)架構(gòu)是64位還是32位, 它們所屬的L

    2024年02月12日
    瀏覽(28)
  • CentOS7 Hadoop3.3.0 安裝與配置

    CentOS7 Hadoop3.3.0 安裝與配置

    一、安裝JDK 1、創(chuàng)建文件夾tools和training用于存放壓縮包和解壓使用,tools存放壓縮包,training用于解壓后安裝jdk和hadoop的路徑。 1)回到路徑為 / 的位置 2) 創(chuàng)建 tools 和 training 3) 進(jìn)入tools文件夾 4) 左邊mobaxterm里面點(diǎn)擊進(jìn)入/tools文件夾,將發(fā)給大家的 壓縮包直接鼠標(biāo)拖入進(jìn)去,拖

    2024年02月09日
    瀏覽(20)
  • 一百五十九、Kettle——Kettle9.2通過配置Hadoop clusters連接Hadoop3.1.3(踩坑親測、附流程截圖)

    一百五十九、Kettle——Kettle9.2通過配置Hadoop clusters連接Hadoop3.1.3(踩坑親測、附流程截圖)

    由于kettle的任務(wù)需要用到Hadoop(HDFS),所以就要連接Hadoop服務(wù)。 之前使用的是kettle9.3,由于在kettle新官網(wǎng)以及博客百度等渠道實(shí)在找不到shims的驅(qū)動包,無奈換成了kettle9.2,kettle9.2的安裝包里自帶了shims的驅(qū)動包,不需要額外下載,挺好! kettle9.2.0安裝包網(wǎng)盤鏈接,請看鄙人

    2024年02月12日
    瀏覽(29)
  • 一百五十三、Kettle——Linux上安裝的kettle9.3啟動后說缺少libwebkitgtk-1.0(真是坑爹啊,剛龜速下載又忍痛卸載)

    一百五十三、Kettle——Linux上安裝的kettle9.3啟動后說缺少libwebkitgtk-1.0(真是坑爹啊,剛龜速下載又忍痛卸載)

    在kettle9.3可以在本地連接hive312后,在Linux中安裝了kettle9.3,結(jié)果啟動時(shí)報(bào)錯(cuò)WARNING: ?no libwebkitgtk-1.0 detected, some features will be unavailable 而且如果直接下載libwebkitgtk的話也沒有用 [root@hurys22 data-integration]# yum install install libwebkitgtk ? [root@hurys22 data-integration]# wget ftp://ftp.pbone.net/mirr

    2024年02月13日
    瀏覽(23)
  • kettle9.2報(bào) Connection failed. Verify all connection parameters and confirm that the appropriate driv

    kettle9.2報(bào) Connection failed. Verify all connection parameters and confirm that the appropriate driv

    kettle9.2報(bào) Connection failed. Verify all connection parameters and confirm that the appropriate driver is installed. The server time zone value ‘?й???????’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the ‘serverTimezone’ configuration property) to use a more specific

    2024年02月13日
    瀏覽(10)
  • WebSpoon9.0(KETTLE的WEB版本)編譯 + tomcat/docker部署 + 遠(yuǎn)程調(diào)試教程

    WebSpoon9.0(KETTLE的WEB版本)編譯 + tomcat/docker部署 + 遠(yuǎn)程調(diào)試教程

    Kettle簡介 Kettle是一款國外開源的ETL工具,純Java編寫,可以在Window、Linux、Unix上運(yùn)行,綠色無需安裝,數(shù)據(jù)抽取高效穩(wěn)定 WebSpoon是Kettle的Web版本,由Kettle社區(qū)維護(hù),不受Pentaho支持,實(shí)現(xiàn)了Kettle的大部分功能 倉庫地址: https://github.com/HiromuHota/pentaho-kettle 配置 maven 的環(huán)境變量

    2024年02月19日
    瀏覽(29)
  • CentOS7開啟遠(yuǎn)程桌面連接

    CentOS7開啟遠(yuǎn)程桌面連接

    參考:https://www.bnxb.com/linuxserver/27459.html 特別說明:在運(yùn)行yum -y groupinstall “X Window System” 時(shí)報(bào)錯(cuò),不知道什么原因。 試了一些方法,沒有解決,于是跳過,沒想到不影響后面的操作。 在windows上運(yùn)行mstsc,輸入LINUX的IP地址 然后就進(jìn)入登錄界面,輸入賬號密碼即可。

    2024年02月12日
    瀏覽(26)
  • Windows系統(tǒng)遠(yuǎn)程桌面連接CentOS7

    Windows系統(tǒng)遠(yuǎn)程桌面連接CentOS7

    1. 安裝 GNOME 桌面環(huán)境(如果尚未安裝) 2. 安裝 VNC Server 設(shè)置 vnc 賬號密碼 root 是賬號,接下會提示兩次輸入密碼 3. 安裝 xrdp 檢查centos是否裝了epel庫,沒有就裝上 4.?配置或關(guān)閉SELinux? 查看SELinux狀態(tài) 臨時(shí)關(guān)閉SELinux(設(shè)置SELinux 成為permissive模式) 5.?打開3389端口命令:(寶塔

    2024年02月09日
    瀏覽(20)
  • Mysql安裝和遠(yuǎn)程登錄--Centos7

    Mysql安裝和遠(yuǎn)程登錄--Centos7

    在Centos7中使用的包管理工具是yum,當(dāng)然使用包管理工具安裝也是最方便的。 本文操作內(nèi)容需要在root用戶下,否則有些步驟無法成功執(zhí)行。 上一步下載的存儲庫是 mysql80-community-release-el7-11.noarch.rpm 因此安裝的時(shí)候也要對應(yīng)該文件。 圖中可以看到默認(rèn)安裝的軟件源為 MySQL 8.0

    2024年04月15日
    瀏覽(21)
  • centos7 docker開啟認(rèn)證的遠(yuǎn)程端口2376配置

    docker開啟2375會存在安全漏洞 暴露了2375端口的Docker主機(jī)。因?yàn)闆]有任何加密和認(rèn)證過程,知道了主機(jī)IP以后,,任何人都可以管理這臺主機(jī)上的容器和鏡像,以前貪圖方便,只開啟了沒有認(rèn)證的docker2375端口,后來被黑客通過這個(gè)端口推送了一個(gè)挖礦木馬病毒的鏡像并運(yùn)行,所

    2024年02月03日
    瀏覽(26)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包