Apache DolphinScheduler 3.2.0 版本已經(jīng)呼之欲出，8 月 中下旬，這個大版本就要和用戶見面了。為了讓大家提前了解到此版本更新的主要內(nèi)容，我們已經(jīng)制作了幾期視頻和內(nèi)容做了大致介紹，包括《重磅預(yù)告！Apache DolphinScheduler 3.2.0 新功能“劇透”》、《3.2.0 版本預(yù)告！Apache DolphinScheduler API 增強相關(guān)功能》。

今天，我們來介紹另一個用戶比較關(guān)心的新功能——Remote logging（遠程日志），看看是否能幫助你的工作變得更簡單吧！

https://www.bilibili.com/video/BV1U14y1q74N/?spm_id_from=333.999.0.0

今天由為大家介紹 Apache DolphinScheduler 3.2.0 的一個新特性，叫做 Remote logging。我們會從三個部分來說明這個功能，第一，它是什么，解決什么問題；第二，它如何配置；第三，我們怎么去使用它？

遠程日志是什么？解決什么問題？

在沒有這個功能之前，我們的任務(wù)日志流向是這樣子的，任務(wù)運行完的時候，Worker 會將日志寫到 Worker 本地，當(dāng)用戶需要去查看任務(wù)日志的時候，我們會發(fā)送請求這個 Worker 的日志，然后展示給用戶。當(dāng)一些意外情況出現(xiàn)，導(dǎo)致這個 Worker 的日志不存在，或者是這個 Worker 不存在的時候，用戶在頁面上就看不了日志了。

但是有了 Remote Logging，這個問題就能得到比較好的解決。它整體的流程如下所示：

我們只是增加了這條線的部分以及下面 Remote Logging 的部分，當(dāng)我們的 Worker 將日志寫到本地的時候，會有個異步線程將寫到本地的 log 同步到 Remote Logging。當(dāng)一些意外情況發(fā)生導(dǎo)致日志丟失，但用戶想要看日志詳細信息的時候，我們會有個請求將日志從遠端拉到本地，然后本地返回。

為什么我們要設(shè)置這樣一個動作呢？這樣做首先能保證接口的一致性，就是日志全部都是從 Worker 發(fā)送給 API Server，然后去讀取的。其次是盡量減少我們遠端的帶寬，只有當(dāng)本地日志缺失的時候，我們才會去下載遠端的日志。

如何配置？

接下來我們快速說明一下如何配置 Remote Logging。在我們的發(fā)版文件里會有關(guān)于如何啟動和配置的簡單介紹。

首先，我們要修改 Common Properties 文件，將這個 remote.logging.enable 設(shè)置存儲并且設(shè)置為你想要存儲的遠端存儲介質(zhì)。目前我們支持了 OSS、S3 和 GCS。

其次就是一些第三方遠端存儲的配置，比如 AccessKey、Secret 以及對應(yīng)的 bucket 和 region 等。

如何使用？

我們回到頁面，體驗一下 Remote Logging 是如何使用，以及我們是如何判斷它是生效的。

我們這里有一個簡單的工作流，它只有兩個任務(wù)，分別打印了 1 和 2 這兩個信息。手動觸發(fā)這個工作流并觀察日志，看看它是否正常地被寫到遠端。

當(dāng)我們觸發(fā)了工作流運行，并且工作流是運行成功的，我們將日志寫到遠端。當(dāng)任務(wù)被運行成功的時候，我們就開始寫日志了。

這一行就能很明顯地看到，日志被寫成功之后，會同時有一個異步線程將日志同步到遠端的存儲。

因為我們這里使用的是 S3，它將本地的路徑的日志同步了一份到遠端?；氐?S3 的頁面，可以看到 log 已經(jīng)存在了。

接著我們模擬一下當(dāng)本地 Worker 的日志缺失的時候，我們?nèi)绾稳プx日志。 我們手動將這個日志文件刪除，可以看到這個文件夾下面有兩個日志文件，分別是 3 和 4。將這兩個文件都刪除，可以看到這里已經(jīng)沒有對應(yīng)的日志文件了。

此時，如果是之前的版本，我們已經(jīng)不能查看最新的 instance 的日志文件了，但是有了 Remote Logging，就會發(fā)現(xiàn)本地不存在這個日志，將日志從遠端下載到本地給用戶查看。

模擬一下，這里我們點擊查看任務(wù)日志，會發(fā)現(xiàn)任務(wù)日志已經(jīng)被顯示出來了。再去查看一下本地文件，會發(fā)現(xiàn)剛剛不存在的日志已經(jīng)下載下來了，并且只下載了我們需要的那一個。

接下來看看另一個任務(wù)的日志，同樣發(fā)現(xiàn)是能被顯示的，本地的兩個日志文件也被下載下來了。查看服務(wù)日志，我們發(fā)現(xiàn)它已經(jīng)檢測到日志文件不在本地出現(xiàn)，會去遠端獲取這個日志文件。

這就是 Remote Logging 功能的大致介紹，如果它能解決你的問題，歡迎在 8 月中下旬發(fā)布 3.2.0 版本的時候，升級版本來體驗一下！

本文由 白鯨開源 提供發(fā)布支持！文章來源地址http://www.zghlxwxcb.cn/news/detail-653344.html

到了這里，關(guān)于3.2.0 版本預(yù)告！遠程日志解決 Worker 故障獲取不到日志的問題的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！