前言
本篇教程和大家分享一下DolphinScheduler的安裝部署及如何實現(xiàn)公網(wǎng)遠(yuǎn)程訪問,結(jié)合內(nèi)網(wǎng)穿透工具實現(xiàn)公網(wǎng)訪問DolphinScheduler內(nèi)網(wǎng)并進(jìn)行遠(yuǎn)程辦公,幫助開發(fā)人員進(jìn)行遠(yuǎn)程任務(wù)調(diào)度及管理,提高工作效率。
DolphinScheduler是一款開源的分布式任務(wù)調(diào)度系統(tǒng),它可以幫助開發(fā)人員更加方便地進(jìn)行任務(wù)調(diào)度和管理。DolphinScheduler支持常見的任務(wù)類型,包括Shell、Hadoop、Spark、Hive等,同時它也提供了可視化的任務(wù)編排和監(jiān)控,使得任務(wù)管理變得更加簡單。DolphinScheduler的開發(fā)團(tuán)隊源于支付寶的數(shù)據(jù)平臺團(tuán)隊,經(jīng)歷了多年的實踐和積累,已經(jīng)成為了一個成熟的開源項目。
1. 安裝部署DolphinScheduler
前置條件:
需要安裝 Docker 1.13.1 以上版本,以及 Docker Compose 1.28.0 以上版本。
1.1 啟動服務(wù)
使用 standalone-server 鏡像
使用 standalone-server 鏡像啟動一個 DolphinScheduler standalone-server 容器應(yīng)該是最快體驗 DolphinScheduler 的方法。通過這個方式 你可以最快速的體驗到 DolphinScheduler 的大部分功能,了解主要和概念和內(nèi)容。
$ DOLPHINSCHEDULER_VERSION=3.2.0
$ docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -d apache/dolphinscheduler-standalone-server:"${DOLPHINSCHEDULER_VERSION}"
2. 登錄DolphinScheduler界面
啟動服務(wù)后,在瀏覽器中輸入http://localhost:12345/dolphinscheduler/ui 訪問DolphinScheduler.
默認(rèn)的用戶名:admin 密碼:dolphinscheduler123
登錄成功后進(jìn)入到DolphinScheduler的管理界面。
3. 安裝內(nèi)網(wǎng)穿透工具
完成DolphinScheduler的部署后,就可以安裝cpolar。要在ubuntu系統(tǒng)上安裝cpolar,可以使用簡便的一鍵安裝腳本進(jìn)行安裝。只要在ubuntu的命令行界面輸入以下命令,就可以自動執(zhí)行安裝程序(需要注意的是,可能有的ubuntu版本沒有安裝curl工具,因此最好先執(zhí)行命令“sudo aptinstall curl”安裝curl工具)。
curl -L https://www.cpolar.com/static/downloads/install-release-cpolar.sh | sudo bash
Cpolar安裝完成后,就可以再輸入命令“sudo systemctl start cpolar”,啟動cpolar。
sudo systemctl start cpolar
當(dāng)然,我們也可以不使用systemctl級別命令,而是輸入“cpolar version”
cpolar version
查詢本地cpolar的版本號,只要能顯示出版本信息,就說明cpolar安裝完成。
為保證cpolar能在ubuntu系統(tǒng)上長期運行,以此保證數(shù)據(jù)隧道的穩(wěn)定存續(xù),最好將cpolar添加進(jìn)ubuntu開機(jī)自啟列表。只要在ubuntu的命令行界面,輸入命令“sudo systemctl status cpolar”,就能將cpolar添加進(jìn)自啟列表中。
sudo systemctl status cpolar
為保證每位用戶的數(shù)據(jù)安全,并為每位客戶創(chuàng)建單獨的數(shù)據(jù)隧道,cpolar以用戶密碼和token碼進(jìn)行用戶驗證,因此我們在使用cpolar之前,需要進(jìn)行用戶注冊。注冊過程非常簡單,只要在cpolar主頁右上角點擊“用戶注冊”,在注冊頁面填入必要信息,就能完成注冊。
完成cpolar用戶注冊后,我們就可以使用每位用戶唯一的token碼,激活cpolar的客戶端。只要在cpolar官網(wǎng)登錄后,就可以在“驗證”頁面(或是“連接您的賬戶”窗口),找到用戶唯一的token碼。
將這個token碼復(fù)制粘貼到ubuntu的命令行界面,cpolar客戶端就會將這個token碼寫入本地cpolar.yml文件中(token碼激活只需要進(jìn)行一次即可),以此作為用戶數(shù)據(jù)隧道的識別信息。具體命令格式為“cpolar authtoken 用戶唯一的token碼”。
cpolar authtoken tokeb碼
cpolar安裝成功后,在外部瀏覽器上訪問9200端口,瀏覽器地址欄輸入localhost:9200,使用cpolar賬號登錄,登錄后即可看到cpolar web 配置界面,接下來在web 管理界面配置即可。
4. 配置Dolphin Scheduler公網(wǎng)地址
點擊左側(cè)儀表盤的隧道管理——創(chuàng)建隧道,創(chuàng)建一個Dolphin Scheduler的公網(wǎng)地址隧道!
- 隧道名稱:可自定義命名,注意不要與已有的隧道名稱重復(fù)
- 協(xié)議:選擇http
- 本地地址:12345
- 域名類型:免費選擇隨機(jī)域名
- 地區(qū):選擇China Top
點擊創(chuàng)建
隧道創(chuàng)建成功后,點擊左側(cè)的狀態(tài)——在線隧道列表,查看所生成的公網(wǎng)訪問地址,有兩種訪問方式,一種是http 和https
注意,復(fù)制上面的cpolar https公網(wǎng)地址后面加上網(wǎng)站地址后面的路徑。例如:
http://22da3a53.r8.cpolar.top/dolphinscheduler/ui/login
在任意設(shè)備的瀏覽器進(jìn)行訪問,即可成功看到DolphinScheduler登錄界面,這樣一個公網(wǎng)地址且可以遠(yuǎn)程訪問就創(chuàng)建好了,使用了cpolar的公網(wǎng)地址,無需自己購買云服務(wù)器,即可發(fā)布到公網(wǎng)進(jìn)行遠(yuǎn)程訪問。
5. 固定DolphinScheduler公網(wǎng)地址
由于以上使用cpolar所創(chuàng)建的隧道使用的是隨機(jī)公網(wǎng)地址,24小時內(nèi)會隨機(jī)變化,不利于長期遠(yuǎn)程訪問。因此我們可以為其配置二級子域名,該地址為固定地址,不會隨機(jī)變化【ps:cpolar.cn已備案】
注意需要將cpolar套餐升級至基礎(chǔ)套餐或以上,且每個套餐對應(yīng)的帶寬不一樣?!綾polar.cn已備案】
登錄cpolar官網(wǎng),點擊左側(cè)的預(yù)留,選擇保留二級子域名,設(shè)置一個二級子域名名稱,點擊保留,保留成功后復(fù)制保留的二級子域名名稱
保留成功后復(fù)制保留成功的二級子域名的名稱
返回登錄cpolar web UI管理界面,點擊左側(cè)儀表盤的隧道管理——隧道列表,找到所要配置的隧道,點擊右側(cè)的編輯
修改隧道信息,將保留成功的二級子域名配置到隧道中
- 域名類型:選擇二級子域名
- Sub Domain:填寫保留成功的二級子域名
點擊更新
(注意,點擊一次更新即可,不需要重復(fù)提交)
更新完成后,打開在線隧道列表,此時可以看到公網(wǎng)地址已經(jīng)發(fā)生變化,地址名稱也變成了固定的二級子域名名稱的域名
最后,我們使用固定的公網(wǎng)地址加網(wǎng)站地址后面路徑訪問,例如:
http://dolphinscheduler.vip.cpolar.cndolphinscheduler/ui/login
可以看到訪問成功,這樣一個固定且永久不變的公網(wǎng)地址就設(shè)置好了,隨時隨地都可以訪問DolphinScheduler內(nèi)網(wǎng)并進(jìn)行遠(yuǎn)程辦公,幫助開發(fā)人員進(jìn)行遠(yuǎn)程任務(wù)調(diào)度及管理,提高工作效率!文章來源:http://www.zghlxwxcb.cn/news/detail-754106.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-754106.html
到了這里,關(guān)于如何本地搭建開源分布式任務(wù)調(diào)度系統(tǒng)DolphinScheduler并遠(yuǎn)程訪問的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!