国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

告別手動(dòng)調(diào)度,海豚調(diào)度器 3.1.x 集群部署讓你輕松管理多機(jī)!

這篇具有很好參考價(jià)值的文章主要介紹了告別手動(dòng)調(diào)度,海豚調(diào)度器 3.1.x 集群部署讓你輕松管理多機(jī)!。希望對大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

轉(zhuǎn)載自第一片心意

1 前言

由于海豚調(diào)度器官網(wǎng)的集群部署文檔寫的較亂,安裝過程中需要跳轉(zhuǎn)到很多地方進(jìn)行操作,所以自己總結(jié)了一篇可以直接跟著從頭到尾進(jìn)行操作的文檔,以方便后續(xù)的部署、升級、新增節(jié)點(diǎn)、減少節(jié)點(diǎn)的相關(guān)操作。

2. 提前準(zhǔn)備

2.1. 基礎(chǔ)組件

  • JDK:下載JDK (1.8+),安裝并配置 JAVA_HOME 環(huán)境變量,并將其下的 bin 目錄追加到 PATH 環(huán)境變量中。如果你的環(huán)境中已存在,可以跳過這步。
  • 二進(jìn)制包:在下載頁面下載 DolphinScheduler 二進(jìn)制包
  • 數(shù)據(jù)庫:PostgreSQL (8.2.15+) 或者 MySQL (5.7+),兩者任選其一即可,如 MySQL 則需要 JDBC Driver 8 版本,可以從中央倉庫下載。
  • 注冊中心:ZooKeeper (3.4.6+),下載地址。
  • 進(jìn)程樹分析
    • macOS安裝pstree
    • Fedora/Red/Hat/CentOS/Ubuntu/Debian安裝psmisc。

注意: DolphinScheduler 本身不依賴 Hadoop、Hive、Spark 等,但如果你運(yùn)行的任務(wù)需要依賴他們,就需要有對應(yīng)的環(huán)境支持。

3. 上傳

上傳二進(jìn)制包,并且解壓到某個(gè)目錄,具體目錄位置,自己定即可。

要注意目錄名稱,最好在后面加一些字符,要做到安裝目錄和二進(jìn)制包解壓目錄不同名,以進(jìn)行區(qū)分。

tar -xvf apache-dolphinscheduler-3.1.7-bin.tar.gz
mv apache-dolphinscheduler-3.1.7-bin dolphinscheduler-3.1.7-origin

后面的 -origin 表示這是原始的二進(jìn)制包解壓文件,后續(xù)有配置改動(dòng)時(shí),可以修改改目錄下的文件,然后重新執(zhí)行安裝腳本。

4. 用戶

4.1. 配置用戶免密及權(quán)限

創(chuàng)建部署用戶,并且一定要配置 sudo 免密。以創(chuàng)建 dolphinscheduler 用戶為例:

# 創(chuàng)建用戶需使用 root 登錄
useradd dolphinscheduler

# 添加密碼
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目錄權(quán)限,使得部署用戶對二進(jìn)制包解壓后的 apache-dolphinscheduler-*-bin 目錄有操作權(quán)限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin

注意:

  • 因?yàn)槿蝿?wù)執(zhí)行服務(wù)是以 sudo -u {linux-user} 切換不同 linux 用戶的方式來實(shí)現(xiàn)多租戶運(yùn)行作業(yè),所以部署用戶需要有 sudo 權(quán)限,而且是免密的。初學(xué)習(xí)者不理解的話,完全可以暫時(shí)忽略這一點(diǎn)。
  • 如果發(fā)現(xiàn) /etc/sudoers 文件中有 “Defaults requirett” 這行,也請注釋掉。

4.2. 配置機(jī)器SSH免密登陸

由于安裝的時(shí)候需要向不同機(jī)器發(fā)送資源,所以要求各臺機(jī)器間能實(shí)現(xiàn)SSH免密登陸。配置免密登陸的步驟如下:

su dolphinscheduler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 一定要執(zhí)行下面這個(gè)命令,否則免密登錄會(huì)失敗
chmod 600 ~/.ssh/authorized_keys

注意: 配置完成后,可以通過運(yùn)行命令 ssh localhost 判斷是否成功,如果不需要輸入密碼就能 ssh登陸,則證明成功。

5. 啟動(dòng)zookeeper

啟動(dòng)集群中的 zookeeper 即可。

6. 修改配置

下面所有的操作,均在 dolphinscheduler 用戶下執(zhí)行。

完成基礎(chǔ)環(huán)境的準(zhǔn)備后,需要根據(jù)你的機(jī)器環(huán)境修改配置文件。配置文件可以在目錄 bin/env 中找到,他們分別是 install_env.shdolphinscheduler_env.sh

6.1. install_env.sh

install_env.sh 文件配置將 DolphinScheduler 安裝到哪些機(jī)器 ,以及每臺機(jī)器安裝哪些服務(wù)??梢栽诼窂?bin/env/ 中找到此文件,之后按照下面的說明修改對應(yīng)的配置即可。

# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# A comma separated list of machine hostname or IP would be installed DolphinScheduler,
# including master, worker, api, alert. If you want to deploy in pseudo-distributed
# mode, just write a pseudo-distributed hostname
# Example for hostnames: ips="ds1,ds2,ds3,ds4,ds5", Example for IPs: ips="192.168.8.1,192.168.8.2,192.168.8.3,192.168.8.4,192.168.8.5"
# 配置海豚調(diào)度器要安裝到那些機(jī)器上
ips=${ips:-"ds01,ds02,ds03,hadoop02,hadoop03,hadoop04,hadoop05,hadoop06,hadoop07,hadoop08"}

# Port of SSH protocol, default value is 22. For now we only support same port in all `ips` machine
# modify it if you use different ssh port
sshPort=${sshPort:-"22"}

# A comma separated list of machine hostname or IP would be installed Master server, it
# must be a subset of configuration `ips`.
# Example for hostnames: masters="ds1,ds2", Example for IPs: masters="192.168.8.1,192.168.8.2"
# 配置 master 角色要安裝到哪些機(jī)器上
masters=${masters:-"ds01,ds02,ds03,hadoop04,hadoop05,hadoop06,hadoop07,hadoop08"}

# A comma separated list of machine <hostname>:<workerGroup> or <IP>:<workerGroup>.All hostname or IP must be a
# subset of configuration `ips`, And workerGroup have default value as `default`, but we recommend you declare behind the hosts
# Example for hostnames: workers="ds1:default,ds2:default,ds3:default", Example for IPs: workers="192.168.8.1:default,192.168.8.2:default,192.168.8.3:default"
# 配置 worker 角色要安裝到哪些機(jī)器上,默認(rèn)都放到 default 的 worker 分組內(nèi),其他分組,可以通過海豚調(diào)度器界面進(jìn)行單獨(dú)配置
workers=${workers:-"ds01:default,ds02:default,ds03:default,hadoop02:default,hadoop03:default,hadoop04:default,hadoop05:default,hadoop06:default,hadoop07:default,hadoop08:default"}

# A comma separated list of machine hostname or IP would be installed Alert server, it
# must be a subset of configuration `ips`.
# Example for hostname: alertServer="ds3", Example for IP: alertServer="192.168.8.3"
# 配置 alert 角色安裝到哪個(gè)機(jī)器上,配置一臺機(jī)器即可
alertServer=${alertServer:-"hadoop03"}

# A comma separated list of machine hostname or IP would be installed API server, it
# must be a subset of configuration `ips`.
# Example for hostname: apiServers="ds1", Example for IP: apiServers="192.168.8.1"
# 配置 api 角色安裝到哪個(gè)機(jī)器上,配置一臺機(jī)器即可
apiServers=${apiServers:-"hadoop04"}

# The directory to install DolphinScheduler for all machine we config above. It will automatically be created by `install.sh` script if not exists.
# Do not set this configuration same as the current path (pwd). Do not add quotes to it if you using related path.
# 配置安裝路徑,將會(huì)在所有海豚集群的機(jī)器上安裝服務(wù),一定要和上面解壓的二進(jìn)制包目錄區(qū)分開,最好帶上版本號,以方便后續(xù)的升級操作。
installPath=${installPath:-"/opt/dolphinscheduler-3.1.5"}

# The user to deploy DolphinScheduler for all machine we config above. For now user must create by yourself before running `install.sh`
# script. The user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled than the root directory needs
# to be created by this user
# 部署使用的用戶,用上面自己新建的用戶即可
deployUser=${deployUser:-"dolphinscheduler"}

# The root of zookeeper, for now DolphinScheduler default registry server is zookeeper.
# 配置注冊到 zookeeper znode 名稱,如果配置了多個(gè)海豚集群,則需要配置不同的名稱
zkRoot=${zkRoot:-"/dolphinscheduler"}

6.2. dolphinscheduler_env.sh

可以在路徑 bin/env/ 中找到此文件,該文件用來配置用到的一些環(huán)境,按照下面的說明修改對應(yīng)配置即可:

# JDK 路徑,一定要修改
export JAVA_HOME=${JAVA_HOME:-/usr/java/jdk1.8.0_202}

# 數(shù)據(jù)庫類型,支持 mysql、postgresql
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
# 連接 url,主要修改下面的 hostname,最后配置的是東八區(qū)
export SPRING_DATASOURCE_URL="jdbc:mysql://hostname:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
# 如果密碼比較復(fù)雜,則需要前后使用英文單引號括起來
export SPRING_DATASOURCE_PASSWORD='xxxxxxxxxxxxx'

export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
# 配置各角色 JVM 啟動(dòng)時(shí)使用的時(shí)區(qū),默認(rèn)為 -UTC,如果想要完全支持東八區(qū),則設(shè)置為 -GMT+8
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-GMT+8}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}

export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
# 配置使用的 zookeeper 地址
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop01:2181,hadoop02:2181,hadoop03:2181}

# 配置使用到的一些環(huán)境變量,按照自己的需要進(jìn)行配置即可,所有需要的組件,都自己安裝
export HADOOP_HOME=${HADOOP_HOME:-/opt/cloudera/parcels/CDH/lib/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME2=${SPARK_HOME2:-/opt/spark-3.3.2}
export PYTHON_HOME=${PYTHON_HOME:-/opt/python-3.9.16}
export HIVE_HOME=${HIVE_HOME:-/opt/cloudera/parcels/CDH/lib/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/flink-1.15.3}
export DATAX_HOME=${DATAX_HOME:-/opt/datax}
export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/seatunnel-2.1.3}
export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH

6.3. common.properties

從自己的 hadoop 集群上下載 hdfs-site.xml core-site.xml 文件,然后放到 api-server/conf/worker-server/conf/ 目錄下。如果是自己搭建的 apache 的原生集群,則從各個(gè)組件的 conf 目錄下找,如果是 CDH ,則可以通過 CDH 界面直接下載。

修改 api-server/conf/worker-server/conf/ 目錄下的這個(gè)文件,該文件主要用來配置資源上傳相關(guān)參數(shù),比如將海豚的資源上傳到 hdfs 等,按照下面的說明修改即可:

# 本地路徑,主要用來存放任務(wù)運(yùn)行時(shí)的臨時(shí)文件,要保證用戶對該文件具有讀寫權(quán)限,一般保持默認(rèn)即可,如果后續(xù)任務(wù)運(yùn)行報(bào)錯(cuò)說是對該目錄下的文件沒有操作權(quán)限,直接將該目錄權(quán)限修改為 777 即可
data.basedir.path=/tmp/dolphinscheduler

# resource view suffixs
#resource.view.suffixs=txt,log,sh,bat,conf,cfg,py,java,sql,xml,hql,properties,json,yml,yaml,ini,js

# 保存資源的地方,可用值為: HDFS, S3, OSS, NONE
resource.storage.type=HDFS
# 資源上傳的基本路徑,必須以 /dolphinscheduler 開頭,要保證用戶對該目錄有讀寫權(quán)限
resource.storage.upload.base.path=/dolphinscheduler

# The AWS access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.access.key.id=minioadmin
# The AWS secret access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.secret.access.key=minioadmin
# The AWS Region to use. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.region=cn-north-1
# The name of the bucket. You need to create them by yourself. Otherwise, the system cannot start. All buckets in Amazon S3 share a single namespace; ensure the bucket is given a unique name.
resource.aws.s3.bucket.name=dolphinscheduler
# You need to set this parameter when private cloud s3. If S3 uses public cloud, you only need to set resource.aws.region or set to the endpoint of a public cloud such as S3.cn-north-1.amazonaws.com.cn
resource.aws.s3.endpoint=http://localhost:9000

# alibaba cloud access key id, required if you set resource.storage.type=OSS
resource.alibaba.cloud.access.key.id=<your-access-key-id>
# alibaba cloud access key secret, required if you set resource.storage.type=OSS
resource.alibaba.cloud.access.key.secret=<your-access-key-secret>
# alibaba cloud region, required if you set resource.storage.type=OSS
resource.alibaba.cloud.region=cn-hangzhou
# oss bucket name, required if you set resource.storage.type=OSS
resource.alibaba.cloud.oss.bucket.name=dolphinscheduler
# oss bucket endpoint, required if you set resource.storage.type=OSS
resource.alibaba.cloud.oss.endpoint=https://oss-cn-hangzhou.aliyuncs.com

# if resource.storage.type=HDFS, the user must have the permission to create directories under the HDFS root path
resource.hdfs.root.user=hdfs
# if resource.storage.type=S3, the value like: s3a://dolphinscheduler; if resource.storage.type=HDFS and namenode HA is enabled, you need to copy core-site.xml and hdfs-site.xml to conf dir
# 
resource.hdfs.fs.defaultFS=hdfs://bigdata:8020

# whether to startup kerberos
hadoop.security.authentication.startup.state=false

# java.security.krb5.conf path
java.security.krb5.conf.path=/opt/krb5.conf

# login user from keytab username
login.user.keytab.username=hdfs-mycluster@ESZ.COM

# login user from keytab path
login.user.keytab.path=/opt/hdfs.headless.keytab

# kerberos expire time, the unit is hour
kerberos.expire.time=2


# resourcemanager port, the default value is 8088 if not specified
resource.manager.httpaddress.port=8088
# if resourcemanager HA is enabled, please set the HA IPs; if resourcemanager is single, keep this value empty
yarn.resourcemanager.ha.rm.ids=hadoop02,hadoop03
# if resourcemanager HA is enabled or not use resourcemanager, please keep the default value; If resourcemanager is single, you only need to replace ds1 to actual resourcemanager hostname
yarn.application.status.address=http://ds1:%s/ws/v1/cluster/apps/%s
# job history status url when application number threshold is reached(default 10000, maybe it was set to 1000)
yarn.job.history.status.address=http://hadoop02:19888/ws/v1/history/mapreduce/jobs/%s

# datasource encryption enable
datasource.encryption.enable=false

# datasource encryption salt
datasource.encryption.salt=!@#$%^&*

# data quality option
data-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar

#data-quality.error.output.path=/tmp/data-quality-error-data

# Network IP gets priority, default inner outer

# Whether hive SQL is executed in the same session
support.hive.oneSession=false

# use sudo or not, if set true, executing user is tenant user and deploy user needs sudo permissions; if set false, executing user is the deploy user and doesn't need sudo permissions
sudo.enable=true
setTaskDirToTenant.enable=false

# network interface preferred like eth0, default: empty
#dolphin.scheduler.network.interface.preferred=

# network IP gets priority, default: inner outer
#dolphin.scheduler.network.priority.strategy=default

# system env path
#dolphinscheduler.env.path=dolphinscheduler_env.sh

# development state
development.state=false

# rpc port
alert.rpc.port=50052

# set path of conda.sh
conda.path=/opt/anaconda3/etc/profile.d/conda.sh

# Task resource limit state
task.resource.limit.state=false

# mlflow task plugin preset repository
ml.mlflow.preset_repository=https://github.com/apache/dolphinscheduler-mlflow
# mlflow task plugin preset repository version
ml.mlflow.preset_repository_version="main"

6.4. application.yaml

需要修改所有角色下 /conf/application.yaml 文件,包括:master-server/conf/application.yaml、worker-server/conf/application.yaml、api-server/conf/application.yaml、alert-server/conf/application.yaml,主要修改的是時(shí)區(qū)設(shè)置,具體修改如下:

spring:
  banner:
    charset: UTF-8
  jackson:
    # 將時(shí)區(qū)設(shè)置為東八區(qū),只修改這一個(gè)地方即可
    time-zone: GMT+8
    date-format: "yyyy-MM-dd HH:mm:ss"

6.5. service.57a50399.js和service.57a50399.js.gz

這兩個(gè)文件在 api-server/ui/assets/ui/assets/ 目錄下。

分別切換到這兩個(gè)目錄下,然后分別找到這兩個(gè)文件,之后通過 vim 命令打開,然后搜索 15e3,找到之后,將其改為 15e5。這修改的是頁面響應(yīng)的超時(shí)時(shí)間,默認(rèn)值 15e3 表示 15 秒,我們將其改為 1500 秒,在上傳大文件時(shí),不會(huì)因?yàn)轫撁娉瑫r(shí)而報(bào)錯(cuò)。

7. 初始化數(shù)據(jù)庫

驅(qū)動(dòng)配置

將 mysql 驅(qū)動(dòng)(8.x)拷貝到海豚調(diào)度器每個(gè)角色的 lib 目錄下,包括:api-server/libs、alert-server/libs、master-server/libs、worker-server/libs、tools/libs。

數(shù)據(jù)庫用戶

使用 root 用戶登錄 mysql,然后執(zhí)行以下 sql,mysql5 和 mysql8 都支持:

create database `dolphinscheduler` character set utf8mb4 collate utf8mb4_general_ci;
create user 'dolphinscheduler'@'%' IDENTIFIED WITH mysql_native_password by 'your_password';
grant ALL PRIVILEGES ON dolphinscheduler.* to 'dolphinscheduler'@'%';
flush privileges;

執(zhí)行數(shù)據(jù)庫升級腳本:

bash tools/bin/upgrade-schema.sh

8. 安裝

bash ./bin/install.sh

執(zhí)行該腳本,會(huì)將本地的所有文件通過 scp 遠(yuǎn)程傳輸給上面配置文件中配置的所有機(jī)器,然后停止對應(yīng)機(jī)器上的角色,之后再啟動(dòng)所有機(jī)器上的角色。

第一次安裝之后,就已經(jīng)啟動(dòng)了所有的角色,無需再次單獨(dú)啟動(dòng)任何角色,如果有哪些角色沒啟動(dòng)的話,可以去對應(yīng)的機(jī)器上查看對應(yīng)的日志,看具體是什么問題導(dǎo)致的。

9. 啟停服務(wù)

# 一鍵停止集群所有服務(wù)
bash ./bin/stop-all.sh

# 一鍵開啟集群所有服務(wù)
bash ./bin/start-all.sh

# 啟停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server

# 啟停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server

# 啟停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server

# 啟停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server

一定要注意,必須使用安裝海豚調(diào)度器的用戶執(zhí)行這些腳本,否則會(huì)有一些權(quán)限之類的問題。

每個(gè)服務(wù)在路徑 <service>/conf/dolphinscheduler_env.sh 中都有 dolphinscheduler_env.sh 文件,為微服務(wù)需求提供便利。這意味著你可以在對應(yīng)服務(wù)中配置 <service>/conf/dolphinscheduler_env.sh,然后通過<service>/bin/start.sh 命令基于不同的環(huán)境變量來啟動(dòng)各個(gè)服務(wù)。但如果使用命令 /bin/dolphinscheduler-daemon.sh start <service> 啟動(dòng)服務(wù)器,它將會(huì)使用文件 bin/env/dolphinscheduler_env.sh 覆蓋 <service>/conf/dolphinscheduler_env.sh ,然后啟動(dòng)服務(wù),這么做是為了減少用戶修改配置的成本。

10. 擴(kuò)容

10.1. 標(biāo)準(zhǔn)方式

參考上面的步驟,進(jìn)行如下操作:

  1. 新節(jié)點(diǎn)
    1. 安裝配置好 JDK。
    2. 新建海豚用戶(Linux 用戶),然后配置免密登錄、權(quán)限等。
  2. 之前安裝海豚調(diào)度器時(shí)解壓二進(jìn)制安裝包的機(jī)器上。
    1. 登錄安裝海豚的用戶。
    2. 切換到之前安裝海豚調(diào)度器時(shí)解壓二進(jìn)制安裝包,修改配置文件:bin/env/install_env.sh,在該配置文件中,修改需要在新節(jié)點(diǎn)上部署的角色。
    3. 執(zhí)行 /bin/install.sh 文件進(jìn)行安裝,該腳本會(huì)按照 bin/env/install_env.sh 文件中的配置,將整個(gè)目錄重新 scp 到所有的機(jī)器,之后停止所有機(jī)器上的角色,然后再啟動(dòng)所有角色。

該方式的缺點(diǎn):如果海豚調(diào)度器上有很多分鐘級別的任務(wù),或者是 flink、spark 之類的實(shí)時(shí)任務(wù),由于該操作會(huì)停止所有的角色,然后啟動(dòng),這期間會(huì)花費(fèi)一定的時(shí)間,在這期間,這些任務(wù)可能會(huì)由于整個(gè)集群的重啟,從而異常停止,或者是無法被正常調(diào)度起來。但海豚調(diào)度器自己實(shí)現(xiàn)了自動(dòng)容錯(cuò)和災(zāi)備等功能,所以可以這么操作,最后觀察下所有任務(wù)執(zhí)行是否正常。

10.2. 簡單方式

參考上面的步驟,進(jìn)行如下操作:

  1. 新節(jié)點(diǎn)
    1. 安裝配置好 JDK。
    2. 新建海豚用戶(Linux 用戶),然后配置免密登錄、權(quán)限等。
  2. 之前安裝海豚調(diào)度器時(shí)解壓二進(jìn)制安裝包的機(jī)器上。
    1. 登錄安裝海豚的用戶。
    2. 將之前修改完配置的整個(gè)目錄直接壓縮,然后傳輸?shù)叫鹿?jié)點(diǎn)上。
  3. 新節(jié)點(diǎn)
    1. 在新節(jié)點(diǎn)上解壓文件,然后將其重命名到之前配置文件 bin/env/install_env.sh 中配置的安裝目錄下。
    2. 登錄安裝海豚的用戶。
    3. 需要在新節(jié)點(diǎn)部署哪些角色,就啟動(dòng)哪些角色,具體腳本位置:/bin/dolphinscheduler-daemon.sh,啟動(dòng)命令為:
./dolphinscheduler-daemon.sh start master-server
./dolphinscheduler-daemon.sh start worker-server
  1. 登錄到海豚調(diào)度器界面,然后“監(jiān)控中心”中觀察,對應(yīng)角色在新節(jié)點(diǎn)是否啟動(dòng)。

11.縮容

  1. 在需要下線的機(jī)器上,通過 /bin/dolphinscheduler-daemon.sh 腳本停止機(jī)器上所有的角色,停止命令為:
./dolphinscheduler-daemon.sh stop worker-server
  1. 登錄到海豚調(diào)度器界面,然后“監(jiān)控中心”中觀察,剛才機(jī)器上停止的角色是否已經(jīng)消失。
  2. 在之前安裝海豚調(diào)度器時(shí)解壓二進(jìn)制安裝包的機(jī)器上
  3. 登錄安裝海豚的用戶。
  4. 修改配置文件:bin/env/install_env.sh,在該配置文件中,刪除下線角色對應(yīng)的機(jī)器。

12. 升級

按照上面的步驟,一步一步操作即可,對于已經(jīng)有過的操作,無需二次操作。下面是一些具體的操作步驟:

  1. 上傳新版二進(jìn)制包。
  2. 解壓,解壓到和舊版安裝目錄不同的目錄,或者是重命名也可以。
  3. 修改配置文件,比較簡單的方式是,將上面步驟中涉及到的所有配置文件,從之前安裝的目錄下拷貝到新版本目錄下,替換即可。
  4. 將其他節(jié)點(diǎn)上部署的一些組件,全部打包,然后解壓放到新節(jié)點(diǎn)對應(yīng)的位置。具體需要拷貝哪些組件,可以查看 dolphinscheduler_env.sh 文件中的配置。
  5. 配置驅(qū)動(dòng),參考《初始化數(shù)據(jù)庫》中的步驟。
  6. 停止之前的集群。
  7. 備份整個(gè)數(shù)據(jù)庫。
  8. 執(zhí)行數(shù)據(jù)庫升級腳本,參考《初始化數(shù)據(jù)庫》中的步驟。
  9. 執(zhí)行安裝腳本,參考《安裝》。
  10. 升級完成,登錄界面,查看“監(jiān)控中心”,看所有角色是否都成功啟動(dòng)。

文件轉(zhuǎn)載,請標(biāo)明出處。歡迎大家一起討論技術(shù),寫的不對的地方還請大家一起討論。

原文鏈接:https://blog.csdn.net/u012443641/article/details/131419391

本文由 白鯨開源 提供發(fā)布支持!文章來源地址http://www.zghlxwxcb.cn/news/detail-856687.html

到了這里,關(guān)于告別手動(dòng)調(diào)度,海豚調(diào)度器 3.1.x 集群部署讓你輕松管理多機(jī)!的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • DolphinScheduler 3.1.0 海豚集群部署配置

    DolphinScheduler 3.1.0 海豚集群部署配置

    海豚框架官方文檔 三臺服務(wù)器都要安裝 創(chuàng)建海豚用戶并且給予sudo權(quán)限 免密配置:服務(wù)器各臺節(jié)點(diǎn)之間要互相免密 生成當(dāng)前用戶的秘鑰文件:ssh-keygen -t rsa 然后將生成的公鑰文件內(nèi)容寫到目標(biāo)機(jī).ssh/authorized_keys文件中,OK 海豚所在每臺節(jié)點(diǎn)之間都要互相免密 普通用戶建立免

    2023年04月08日
    瀏覽(18)
  • 大數(shù)據(jù)|海豚調(diào)度官方文檔注解(3)

    大數(shù)據(jù)|海豚調(diào)度官方文檔注解(3)

    官方文檔地址:https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8 因?yàn)楣俜轿臋n經(jīng)常出現(xiàn)文檔桑、圖片加載緩慢、中文名對應(yīng)關(guān)系較差,且存在部分鏈接異常的情況,所以我將其重新整理、排版以方便閱讀。 同時(shí)做了部分優(yōu)化,增加了一些注解,補(bǔ)充了中英文對應(yīng)關(guān)系。 DolphinSchedul

    2024年02月04日
    瀏覽(74)
  • 海豚調(diào)度系列之:任務(wù)類型——SPARK節(jié)點(diǎn)

    海豚調(diào)度系列之:任務(wù)類型——SPARK節(jié)點(diǎn)

    Spark 任務(wù)類型用于執(zhí)行 Spark 應(yīng)用。對于 Spark 節(jié)點(diǎn),worker 支持兩個(gè)不同類型的 spark 命令提交任務(wù): (1) spark submit 方式提交任務(wù)。 (2) spark sql 方式提交任務(wù)。 點(diǎn)擊項(xiàng)目管理 - 項(xiàng)目名稱 - 工作流定義,點(diǎn)擊”創(chuàng)建工作流”按鈕,進(jìn)入 DAG 編輯頁面: 拖動(dòng)工具欄的 任務(wù)節(jié)點(diǎn)到畫板

    2024年03月19日
    瀏覽(28)
  • 用海豚調(diào)度器定時(shí)調(diào)度從Kafka到HDFS的kettle任務(wù)腳本

    用海豚調(diào)度器定時(shí)調(diào)度從Kafka到HDFS的kettle任務(wù)腳本

    在實(shí)際項(xiàng)目中,從Kafka到HDFS的數(shù)據(jù)是每天自動(dòng)生成一個(gè)文件,按日期區(qū)分。而且Kafka在不斷生產(chǎn)數(shù)據(jù),因此看看kettle是不是需要時(shí)刻運(yùn)行?能不能按照每日自動(dòng)生成數(shù)據(jù)文件? 為了測試實(shí)際項(xiàng)目中的海豚定時(shí)調(diào)度從Kafka到HDFS的Kettle任務(wù)情況,特地提前跑一下海豚定時(shí)調(diào)度這個(gè)

    2024年04月15日
    瀏覽(45)
  • Quartz.NET配置文件:簡便任務(wù)調(diào)度,輕松管理

    Quartz.NET配置文件:簡便任務(wù)調(diào)度,輕松管理

    ? 概述: Quartz.NET是一個(gè)強(qiáng)大的任務(wù)調(diào)度庫,支持通過配置文件靈活配置任務(wù)和觸發(fā)器。配置文件中定義了調(diào)度器、線程池、作業(yè)和觸發(fā)器的相關(guān)信息。默認(rèn)情況下,Quartz.NET在應(yīng)用程序根目錄查找名為 quartz.config 的配置文件。若配置文件位于其他路徑或具有不同名稱,可以通

    2024年03月09日
    瀏覽(26)
  • 20221225 海豚調(diào)度2.0.5 星環(huán)驅(qū)動(dòng)包踩坑(一)

    20221225 海豚調(diào)度2.0.5 星環(huán)驅(qū)動(dòng)包踩坑(一)

    陽陽的一周,算是挺過來了,現(xiàn)在只剩感冒了,迷迷糊糊的干了一周,混口飯吃不容易呀!簡單記錄一下遇到的問題吧! 方案一 : 海豚調(diào)度2.0.5使用的hive包是2.0版本,星環(huán)庫包裝的是hive 1.0版本,因此連接不上,將hive包降為1.0( hive.jdbc.version1.1.0/hive.jdbc.version ),同時(shí)修改

    2024年02月09日
    瀏覽(14)
  • Redis 實(shí)戰(zhàn):逐步指南,讓你輕松在 Linux 上安裝與部署

    Redis 實(shí)戰(zhàn):逐步指南,讓你輕松在 Linux 上安裝與部署

    目錄 Redis 中文網(wǎng)站:http://redis.cn/ Redis 是一個(gè)開源(BSD 許可)的,內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲系統(tǒng),它可以用作數(shù)據(jù)庫、緩存和消息中間件 它支持多種類型的數(shù)據(jù)結(jié)構(gòu),如字符串(strings)散列(hashes)列表(lists),集合(sets),有序集合(sorted sets)與范圍查詢,位圖(bitm

    2024年02月11日
    瀏覽(24)
  • 手動(dòng)部署Kraft模式Kafka集群

    IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka_2.12-3.5.1 172.29.145.183 iamdemo3 Centos7.9 kafka_2.12-3.5.1 下載安裝包 kafka安裝包官網(wǎng)下載 下載完成后上傳到服務(wù)器/opt目錄下解壓 生成集群隨機(jī)uuid 配置kafka集群的kraft模式參數(shù) 使用集群

    2024年02月05日
    瀏覽(18)
  • 一百六十八、Kettle——用海豚調(diào)度器定時(shí)調(diào)度從Kafka到HDFS的任務(wù)腳本(持續(xù)更新追蹤、持續(xù)完善)

    一百六十八、Kettle——用海豚調(diào)度器定時(shí)調(diào)度從Kafka到HDFS的任務(wù)腳本(持續(xù)更新追蹤、持續(xù)完善)

    在實(shí)際項(xiàng)目中,從Kafka到HDFS的數(shù)據(jù)是每天自動(dòng)生成一個(gè)文件,按日期區(qū)分。而且Kafka在不斷生產(chǎn)數(shù)據(jù),因此看看kettle是不是需要時(shí)刻運(yùn)行?能不能按照每日自動(dòng)生成數(shù)據(jù)文件? 為了測試實(shí)際項(xiàng)目中的海豚定時(shí)調(diào)度從Kafka到HDFS的kettle任務(wù)情況,特地提前跑一下海豚定時(shí)調(diào)度這個(gè)

    2024年02月10日
    瀏覽(28)
  • 一百六十五、Kettle——用海豚調(diào)度器調(diào)度Linux資源庫中的kettle任務(wù)腳本(親測、附流程截圖)

    一百六十五、Kettle——用海豚調(diào)度器調(diào)度Linux資源庫中的kettle任務(wù)腳本(親測、附流程截圖)

    在Linux上腳本運(yùn)行kettle的轉(zhuǎn)換任務(wù)、無論是Linux本地還是Linux資源庫都成功后,接下來就是用海豚調(diào)度Linux上kettle任務(wù) 尤其是團(tuán)隊(duì)開發(fā)中,基本都要使用共享資源庫,所以我直接使用海豚調(diào)度Linux資源庫的kettle任務(wù)腳本 1、先開啟zookeeper服務(wù) 2、再開啟海豚調(diào)度器服務(wù) 3、開啟服

    2024年02月11日
    瀏覽(54)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包