国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

海豚調(diào)度 DolphinScheduler(2.x和3.x版本) 本地環(huán)境搭建,方便本地調(diào)式代碼

這篇具有很好參考價值的文章主要介紹了海豚調(diào)度 DolphinScheduler(2.x和3.x版本) 本地環(huán)境搭建,方便本地調(diào)式代碼。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點擊"舉報違法"按鈕提交疑問。

?? 本系列文章是 DolphinScheduler 由淺入深的教程,涵蓋搭建、二開迭代、核心原理解讀、運(yùn)維和管理等一系列內(nèi)容。適用于想對
DolphinScheduler了解或想要加深理解的讀者。

祝開卷有益。 大數(shù)據(jù)學(xué)習(xí)指南

DolphinScheduler 的開源版本有不少的 BUG,所以在公司生產(chǎn)使用的話,需要做二次迭代優(yōu)化,二開的過程,本地調(diào)試是不可以或缺的。今天記錄一下本地開發(fā)環(huán)境搭建的過程,適用于 2.x 和 3.x 版本,這兩個大版本區(qū)別不大,下面會進(jìn)行說明。

依賴項

  • Mysql
  • ZooKeeper

說明

其他的 Git、Maven、JDK、Node等工具,這里不做詳細(xì)安裝說明。
注意 DolphinScheduler 2.x 版本使用 node v12.20 , DolphinScheduler 3.x 版本使用 node v16.13+。

本地開發(fā)搭建更多的是為了方便調(diào)式代碼,用于調(diào)試現(xiàn)有的邏輯,定位問題,學(xué)習(xí)源碼等,如果有現(xiàn)成的測試環(huán)境,建議不要在本地在安裝額外的Mysql等環(huán)境了,直接使用測試環(huán)境的 Mysql、ZK 等環(huán)境,那就跳過這一步,直接看

如果你沒有測試環(huán)境,本地還是需要搭建 Mysql 和 ZooKeeper 的話,也非常簡單。

安裝 ZooKeeper

https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/
截屏2023-06-29 10.05.59.png
① 下載之后,解壓到一個目錄 ,在這個目錄下新建 zkData、zkLog 文件夾。
② 將 conf 目錄下的 zoo_sample.cfg 文件,復(fù)制一份,重命名為 zoo.cfg,修改其中數(shù)據(jù)和日志的配置,如:

dataDir=/data/zookeeper/data ## 此處使用絕對路徑,具體路徑根據(jù)實際情況
dataLogDir=/data/zookeeper/datalog

③ 運(yùn)行 ./bin/zkServer.sh

Mysql

訪問 https://dev.mysql.com/downloads/mysql/

Mac用戶:
截屏2023-06-29 10.12.54.png
Windows 用戶:
截屏2023-06-29 10.16.22.png
其他的,一路Next即可。

安裝完 Mysql 之后,需要初始化數(shù)據(jù)。
① 在mysql中新建庫,用于dolphinscheduler調(diào)用

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

② 新建dolphinscheduler用戶,并賦予dolphinscheduler庫權(quán)限

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
CREATE USER 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost';
FLUSH PRIVILEGES;

③ 執(zhí)行 SQL
在 Mysql 的 dolphinscheduler 庫中執(zhí)行 dolphinscheduler源碼目錄下的**dolphinscheduler/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_mysql.sql **的文件,以此完成數(shù)據(jù)的初始化。

配置注冊中心

修改 Zookepper 的配置信息:
如果你使用的是本地的 ZK,配置默認(rèn)就是 127.0.0.1:2181 ,這一步可以跳過,不需要修改。
如果你是用的是其他服務(wù)器的 ZK,修改下圖中位置的連接信息即可。
截屏2023-06-29 14.41.07.png

啟動后端

說明

這里呢,2.x 版本和 3.x 版本會有點不一樣。如圖:
截屏2023-06-29 10.35.40.png截屏2023-06-29 10.34.22.png
修改的時候,注意找到對應(yīng)的位置。

啟動 API 服務(wù)

① 2.X 版本和 3.X 版本一樣,在 dolphinscheduler-api 模塊的 resources 下面,新增 yaml 文件 application-mysql.yaml
內(nèi)容如下:注意修改成自己的 Mysql 連接信息

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://你的IP:3306/數(shù)據(jù)庫?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false
    username: 你的用戶
    password: 你的密碼
    hikari:
      connection-test-query: select 1
      minimum-idle: 5
      auto-commit: true
      validation-timeout: 3000
      pool-name: DolphinScheduler
      maximum-pool-size: 50
      connection-timeout: 30000
      idle-timeout: 600000
      leak-detection-threshold: 0
      initialization-fail-timeout: 1

圖示:
截屏2023-06-29 10.44.22.png
② 修改日志輸出到控制臺,在 dolphinscheduler-api 模塊的 resources 下面,修改 logback-api.xml 文件。

<root level="INFO">
  <appender-ref ref="STDOUT"/>
  <appender-ref ref="APILOGFILE"/>
</root>

圖示:
截屏2023-06-29 10.43.12.png
③ 啟動 API 服務(wù)
默認(rèn)端口是:7080
配置 _VM Options : _-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=mysql,api
把紅色部分復(fù)制到??下面。
圖示:
截屏2023-06-29 14.35.01.png截屏2023-06-29 14.36.43.png

啟動 Master 服務(wù)

注意,這里 2.X 版本和 3.X 版本有區(qū)別,請對號入座。
① 在 2.X 版本中,在 dolphinscheduler-server 模塊的 resources 下面,新增 yaml 文件 application-mysql.yaml 在 3.X 版本中,在 dolphinscheduler-master 模塊的 resources 下面,新增 yaml 文件 application-mysql.yaml,內(nèi)容如下:

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://你的IP:3306/數(shù)據(jù)庫?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false
    username: 你的用戶
    password: 你的密碼
    hikari:
      connection-test-query: select 1
      minimum-idle: 5
      auto-commit: true
      validation-timeout: 3000
      pool-name: DolphinScheduler
      maximum-pool-size: 50
      connection-timeout: 30000
      idle-timeout: 600000
      leak-detection-threshold: 0
      initialization-fail-timeout: 1

② 修改日志輸出到控制臺,在 dolphinscheduler-server 模塊的 resources 下面,修改 logback-master.xml 文件。

<root level="INFO">
  <appender-ref ref="STDOUT"/>
  <appender-ref ref="APILOGFILE"/>
</root>

圖示:
截屏2023-06-29 10.58.12.png
③ 啟動 Master
配置 VM Options:–Dlogging.config=classpath:logback-master.xml-Dspring.profiles.active=mysql,master
把紅色部分復(fù)制到??下面。
截屏2023-06-29 14.51.33.png
截屏2023-06-29 14.53.33.png

啟動 Worker 服務(wù)

注意,這里 2.X 版本和 3.X 版本有區(qū)別,請對號入座。
① 在 2.X 版本中,master和worker在一個模塊里面,在上一步的Master服務(wù)中已經(jīng)配置過了,這里直接跳到啟動服務(wù)那一步(直接看③)。
如果你用的是3.X版本,請繼續(xù)看: 在 3.X 版本中,在 dolphinscheduler-worker 模塊的 resources 下面,新增 yaml 文件 application-mysql.yaml,內(nèi)容如下:

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://你的IP:3306/數(shù)據(jù)庫?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false
    username: 你的用戶
    password: 你的密碼
    hikari:
      connection-test-query: select 1
      minimum-idle: 5
      auto-commit: true
      validation-timeout: 3000
      pool-name: DolphinScheduler
      maximum-pool-size: 50
      connection-timeout: 30000
      idle-timeout: 600000
      leak-detection-threshold: 0
      initialization-fail-timeout: 1

② 修改日志輸出到控制臺,在 dolphinscheduler-server 模塊的 resources 下面,修改 logback-master.xml 文件。

<root level="INFO">
  <appender-ref ref="STDOUT"/>
  <appender-ref ref="APILOGFILE"/>
</root>

圖示:
截屏2023-06-29 10.58.12.png
③ 啟動 Worker
配置 VM Options:–Dlogging.config=classpath:logback-worker.xml-Dspring.profiles.active=mysql,worker
把紅色部分復(fù)制到??下面。
截屏2023-06-29 14.59.32.png截屏2023-06-29 15.03.23.png

啟動前端

注意 DolphinScheduler 2.x 版本使用 node v12.20.2 , DolphinScheduler 3.x 版本使用 node v16.13+

① 可以使用 nvm 來管理node版本。訪問:https://nvm.uihtm.com/
截屏2023-06-29 15.06.40.png
② 依據(jù)網(wǎng)站的教程,安裝完 nvm 之后,使用下面的命令繼續(xù)安裝 node

nvm install 12.20.2

③ 確認(rèn) .env 配置的API_BASE的端口與 API 服務(wù)的端口一致。。截屏2023-06-29 15.11.21.png
④ 啟動前端。

cd dolphinscheduler-ui
nvm use v12.20.2
npm install
npm run dev

⑤ 等待啟動完畢,可以訪問 localhost:8888
默認(rèn)賬戶密碼 admin/dolphinscheduler123 即可完成登錄

海豚調(diào)度 DolphinScheduler(2.x和3.x版本) 本地環(huán)境搭建,方便本地調(diào)式代碼文章來源地址http://www.zghlxwxcb.cn/news/detail-515175.html

到了這里,關(guān)于海豚調(diào)度 DolphinScheduler(2.x和3.x版本) 本地環(huán)境搭建,方便本地調(diào)式代碼的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符,請點擊違法舉報進(jìn)行投訴反饋,一經(jīng)查實,立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 開源分布式任務(wù)調(diào)度系統(tǒng)DolphinScheduler本地部署與遠(yuǎn)程訪問

    開源分布式任務(wù)調(diào)度系統(tǒng)DolphinScheduler本地部署與遠(yuǎn)程訪問

    本篇教程和大家分享一下DolphinScheduler的安裝部署及如何實現(xiàn)公網(wǎng)遠(yuǎn)程訪問,結(jié)合內(nèi)網(wǎng)穿透工具實現(xiàn)公網(wǎng)訪問DolphinScheduler內(nèi)網(wǎng)并進(jìn)行遠(yuǎn)程辦公,幫助開發(fā)人員進(jìn)行遠(yuǎn)程任務(wù)調(diào)度及管理,提高工作效率。 DolphinScheduler是一款開源的分布式任務(wù)調(diào)度系統(tǒng),它可以幫助開發(fā)人員更加方

    2024年02月03日
    瀏覽(46)
  • Apache DolphinScheduler 官方發(fā)布3.2.0版本!大數(shù)據(jù)調(diào)度【重磅更新】

    Apache DolphinScheduler 官方發(fā)布3.2.0版本!大數(shù)據(jù)調(diào)度【重磅更新】

    今天,Apache DolphinScheduler 3.2.0 版本在萬眾期待中終于發(fā)布了!在之前的預(yù)告中,包括《重磅預(yù)告!Apache DolphinScheduler 3.2.0 新功能“劇透”》、《3.2.0 版本預(yù)告!Apache DolphinScheduler API 增強(qiáng)相關(guān)功能》、《3.2.0 版本預(yù)告!遠(yuǎn)程日志解決 Worker 故障獲取不到日志的問題》,以及《

    2024年01月17日
    瀏覽(21)
  • DolphinScheduler 3.1.0 海豚集群部署配置

    DolphinScheduler 3.1.0 海豚集群部署配置

    海豚框架官方文檔 三臺服務(wù)器都要安裝 創(chuàng)建海豚用戶并且給予sudo權(quán)限 免密配置:服務(wù)器各臺節(jié)點之間要互相免密 生成當(dāng)前用戶的秘鑰文件:ssh-keygen -t rsa 然后將生成的公鑰文件內(nèi)容寫到目標(biāo)機(jī).ssh/authorized_keys文件中,OK 海豚所在每臺節(jié)點之間都要互相免密 普通用戶建立免

    2023年04月08日
    瀏覽(18)
  • DolphinScheduler 3.1.0 海豚集群運(yùn)維使用問題記錄

    DolphinScheduler 3.1.0 海豚集群運(yùn)維使用問題記錄

    海豚框架官方文檔 常用命令: 命令 含義 bin/start-all.sh 集群群起 bin/stop-all.sh 集群群停 bin/status-all.sh 查看狀態(tài) dolphinscheduler-daemon.sh start/stop master-server 單獨啟動或者停止master-server dolphinscheduler-daemon.sh start/stop worker-server 單獨啟動或者停止worker-server dolphinscheduler-daemon.sh start/st

    2024年02月02日
    瀏覽(31)
  • 大數(shù)據(jù)|海豚調(diào)度官方文檔注解(3)

    大數(shù)據(jù)|海豚調(diào)度官方文檔注解(3)

    官方文檔地址:https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8 因為官方文檔經(jīng)常出現(xiàn)文檔桑、圖片加載緩慢、中文名對應(yīng)關(guān)系較差,且存在部分鏈接異常的情況,所以我將其重新整理、排版以方便閱讀。 同時做了部分優(yōu)化,增加了一些注解,補(bǔ)充了中英文對應(yīng)關(guān)系。 DolphinSchedul

    2024年02月04日
    瀏覽(74)
  • 海豚調(diào)度系列之:任務(wù)類型——SPARK節(jié)點

    海豚調(diào)度系列之:任務(wù)類型——SPARK節(jié)點

    Spark 任務(wù)類型用于執(zhí)行 Spark 應(yīng)用。對于 Spark 節(jié)點,worker 支持兩個不同類型的 spark 命令提交任務(wù): (1) spark submit 方式提交任務(wù)。 (2) spark sql 方式提交任務(wù)。 點擊項目管理 - 項目名稱 - 工作流定義,點擊”創(chuàng)建工作流”按鈕,進(jìn)入 DAG 編輯頁面: 拖動工具欄的 任務(wù)節(jié)點到畫板

    2024年03月19日
    瀏覽(28)
  • 海豚調(diào)度任務(wù)類型Apache SeaTunnel部署指南

    Apache DolphinScheduler已支持Apache SeaTunnel任務(wù)類型,本文介紹了SeaTunnel任務(wù)類型如何創(chuàng)建,任務(wù)參數(shù),以及任務(wù)樣例。 SeaTunnel 任務(wù)類型,用于創(chuàng)建并執(zhí)行 SeaTunnel 類型任務(wù)。worker 執(zhí)行該任務(wù)的時候,會通過 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件

    2024年04月08日
    瀏覽(49)
  • 用海豚調(diào)度器定時調(diào)度從Kafka到HDFS的kettle任務(wù)腳本

    用海豚調(diào)度器定時調(diào)度從Kafka到HDFS的kettle任務(wù)腳本

    在實際項目中,從Kafka到HDFS的數(shù)據(jù)是每天自動生成一個文件,按日期區(qū)分。而且Kafka在不斷生產(chǎn)數(shù)據(jù),因此看看kettle是不是需要時刻運(yùn)行?能不能按照每日自動生成數(shù)據(jù)文件? 為了測試實際項目中的海豚定時調(diào)度從Kafka到HDFS的Kettle任務(wù)情況,特地提前跑一下海豚定時調(diào)度這個

    2024年04月15日
    瀏覽(45)
  • 20221225 海豚調(diào)度2.0.5 星環(huán)驅(qū)動包踩坑(一)

    20221225 海豚調(diào)度2.0.5 星環(huán)驅(qū)動包踩坑(一)

    陽陽的一周,算是挺過來了,現(xiàn)在只剩感冒了,迷迷糊糊的干了一周,混口飯吃不容易呀!簡單記錄一下遇到的問題吧! 方案一 : 海豚調(diào)度2.0.5使用的hive包是2.0版本,星環(huán)庫包裝的是hive 1.0版本,因此連接不上,將hive包降為1.0( hive.jdbc.version1.1.0/hive.jdbc.version ),同時修改

    2024年02月09日
    瀏覽(17)
  • 告別手動調(diào)度,海豚調(diào)度器 3.1.x 集群部署讓你輕松管理多機(jī)!

    轉(zhuǎn)載自第一片心意 由于海豚調(diào)度器官網(wǎng)的集群部署文檔寫的較亂,安裝過程中需要跳轉(zhuǎn)到很多地方進(jìn)行操作,所以自己總結(jié)了一篇可以直接跟著從頭到尾進(jìn)行操作的文檔,以方便后續(xù)的部署、升級、新增節(jié)點、減少節(jié)點的相關(guān)操作。 JDK:下載JDK (1.8+),安裝并配置 JAVA_HOME 環(huán)

    2024年04月24日
    瀏覽(25)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包