前言

????????在這篇文章中，我們將深入探討如何使用Ebsynth Utility插件為視頻帶來全新的視覺效果。通過重繪視頻，我們可以實現(xiàn)對視頻風(fēng)格的調(diào)整，為其增添獨特的藝術(shù)氛圍。我們將分享實際操作步驟以及過程中可能遇到的問題，幫助大家更好地掌握這一技巧。

????????請注意，本文中的部分內(nèi)容來自網(wǎng)絡(luò)搜集和個人實踐，如有任何錯誤，請隨時向我們提出批評和指正。本文僅供學(xué)習(xí)和交流使用，不涉及任何商業(yè)目的。如果因本文內(nèi)容引發(fā)版權(quán)或侵權(quán)問題，請通過私信告知我們，我們將立即予以刪除。

目錄

前言

Ebsynth Utility插件簡介

準(zhǔn)備工作與環(huán)境設(shè)置

1.下載Ebsynth

Ebsynth詳細介紹

2.下載FFmpeg

FFmpeg詳細介紹

3.安裝transparent-background

4.安裝WebUI擴展Ebsynth Utility插件

嘗試開始

步驟 1??從原始視頻中提取幀，并給每一幀生成一個蒙版圖像。

步驟 2??選擇關(guān)鍵幀提交到 Ebsynth。

步驟 3??將關(guān)鍵幀進行圖生圖。

步驟 3.5

步驟 4

步驟 5??重命名關(guān)鍵幀。生成 .ebs 文件。（Ebsynth 工程文件）

步驟 6? ?運行 Ebsynth。（自行操作）

步驟 7?在交叉融合運算時串聯(lián)每一幀。

步驟 8

總結(jié)

參考

Ebsynth Utility插件簡介

Ebsynth Utility插件是一款強大的視頻處理工具，它允許用戶將一幅靜態(tài)圖像中的藝術(shù)風(fēng)格或紋理映射到一段視頻上。通過使用先進的計算機視覺和圖像處理技術(shù)，Ebsynth能夠分析圖像內(nèi)容并智能地將所選風(fēng)格應(yīng)用到視頻幀上，從而實現(xiàn)獨特的視覺效果。

插件的主要特點包括：

1. 高度自動化：Ebsynth能夠自動分析圖像和視頻，無需手動配置復(fù)雜數(shù)值參數(shù)。
2. 實時預(yù)覽：插件提供實時預(yù)覽功能，使用戶能夠快速查看風(fēng)格轉(zhuǎn)換效果。
3. 支持多種格式：Ebsynth支持各種主流的圖像和視頻格式，方便用戶進行導(dǎo)入和導(dǎo)出。
4. 完全可定制：用戶可以根據(jù)需求調(diào)整各項參數(shù)，實現(xiàn)個性化的視頻處理效果。

Ebsynth Utility插件廣泛應(yīng)用于動畫制作、短片創(chuàng)作、廣告設(shè)計等領(lǐng)域，有助于為視頻增添獨特的藝術(shù)風(fēng)格。無論是將手繪插畫風(fēng)格應(yīng)用于實景視頻，還是為視頻帶來油畫般的質(zhì)感，都能借助Ebsynth輕松實現(xiàn)。

準(zhǔn)備工作與環(huán)境設(shè)置

1.下載Ebsynth

EbSynth - Transform Video by Painting Over a Single Frame

?下載后解壓記住路徑即可，后續(xù)使用這個軟件補幀

Ebsynth詳細介紹

Ebsynth是一款顛覆性的圖像和視頻處理軟件，它采用先進的算法將一幅靜態(tài)圖像中的藝術(shù)風(fēng)格和紋理轉(zhuǎn)換到一段視頻上。借助Ebsynth，用戶可以輕松地為視頻帶來全新的視覺效果，實現(xiàn)獨特的藝術(shù)風(fēng)格。以下是Ebsynth的一些主要特性和功能：

1. 基于樣本的圖像合成技術(shù)：Ebsynth的核心技術(shù)是基于樣本的圖像合成，它能夠分析輸入的圖像樣本和視頻序列，智能地應(yīng)用樣本中的風(fēng)格到視頻的每一幀，從而實現(xiàn)高質(zhì)量的風(fēng)格遷移。

2. 自動關(guān)鍵幀選擇與優(yōu)化：Ebsynth自動分析視頻序列，確定關(guān)鍵幀并將所選風(fēng)格應(yīng)用于關(guān)鍵幀。之后，軟件會智能地在關(guān)鍵幀之間進行插值，確保視頻中的風(fēng)格遷移平滑自然。

3. 靈活的控制參數(shù)：Ebsynth提供了多種參數(shù)，供用戶根據(jù)需求進行調(diào)整。例如，可以調(diào)整風(fēng)格強度、紋理大小和保持原有顏色等，實現(xiàn)個性化的視頻處理效果。

4. 高效的性能與實時預(yù)覽：Ebsynth具備高效的性能，能夠在較短時間內(nèi)處理大量幀。此外，軟件還提供實時預(yù)覽功能，允許用戶隨時查看風(fēng)格遷移的效果，方便進行參數(shù)調(diào)整。

5. 多平臺支持：Ebsynth支持Windows和macOS操作系統(tǒng)，同時提供了命令行和圖形用戶界面兩種操作方式，滿足不同用戶的需求。

6. 廣泛的應(yīng)用領(lǐng)域：Ebsynth在動畫制作、短片創(chuàng)作、廣告設(shè)計等領(lǐng)域具有廣泛的應(yīng)用前景。無論是實現(xiàn)手繪插畫風(fēng)格的實景視頻，還是為視頻賦予油畫般的質(zhì)感，Ebsynth都能輕松實現(xiàn)。

Ebsynth的強大功能和易用性使其成為視頻創(chuàng)作者和藝術(shù)家們的理想選擇，它為視頻處理和風(fēng)格遷移提供了全新的可能性。

2.下載FFmpeg

FFmpeg

點擊上方連接進入官網(wǎng)下載后解壓

?配置解壓后文件夾中bin文件夾路徑到系統(tǒng)變量中的path

點擊新建粘貼路徑后確定

FFmpeg詳細介紹

FFmpeg是一個開源、跨平臺的多媒體處理工具庫，包括了處理音頻、視頻和圖像等多種格式的解碼器、編碼器、濾鏡和流復(fù)用器。它提供了命令行工具和開發(fā)庫，可以用于音頻和視頻的轉(zhuǎn)換、編輯、處理和播放。以下是FFmpeg的一些主要特性和功能：

1. **支持眾多格式**：FFmpeg支持諸多音頻、視頻和容器格式，包括但不限于MP3、AAC、FLAC、H.264、H.265、VP8、VP9、AVI、MP4、MKV等。這使得FFmpeg可以在幾乎所有的多媒體處理場景中使用。

2. **編解碼器與濾鏡**：FFmpeg提供了大量的編解碼器，允許用戶對音頻和視頻進行編碼和解碼。同時，F(xiàn)Fmpeg還提供了豐富的濾鏡，如縮放、旋轉(zhuǎn)、裁剪、字幕添加等，方便用戶對多媒體文件進行編輯和處理。

3. **高性能與優(yōu)化**：FFmpeg針對各種硬件平臺進行了優(yōu)化，以實現(xiàn)高性能的音頻和視頻處理。例如，F(xiàn)Fmpeg支持硬件加速，可以利用GPU進行編解碼，從而大大縮短處理時間。

4. **跨平臺兼容性**：FFmpeg可以在Windows、macOS、Linux等多種操作系統(tǒng)上運行，為用戶提供了廣泛的平臺選擇。

5. **命令行工具與開發(fā)庫**：FFmpeg提供了命令行工具`ffmpeg`，允許用戶通過簡單的命令完成多媒體處理任務(wù)，同時還提供了開發(fā)庫，方便開發(fā)者將FFmpeg功能集成到自己的應(yīng)用程序中。

6. **活躍的社區(qū)支持**：作為一個開源項目，F(xiàn)Fmpeg擁有龐大的社區(qū)支持，用戶可以在社區(qū)中尋求幫助、分享經(jīng)驗和貢獻代碼。

FFmpeg憑借其強大功能、高性能和跨平臺兼容性，成為了音視頻處理領(lǐng)域的事實標(biāo)準(zhǔn)。無論是個人用戶還是專業(yè)開發(fā)者，都可以借助FFmpeg輕松完成多媒體處理任務(wù)。

3.安裝transparent-background

打開命令提示符或終端窗口。
將當(dāng)前目錄更改為你的整合包python路徑，如"F:\stable diffusion-v4.2\python"。你可以使用cd命令來更改目錄，例如：cd F:\stable diffusion-v4.2\python。
在命令提示符或終端窗口中輸入以下命令并按下回車鍵：

pip install transparent-background。

等待安裝完成。安裝過程中會顯示一些信息，包括正在下載和安裝的文件。
安裝完成后，你就可以在Python代碼中使用"transparent-background"包了。
請注意，你需要確保你的計算機上已經(jīng)安裝了Python，并且Python的可執(zhí)行文件路徑為"F:\stable diffusion-v4.2\python\python.exe"。如果你的Python安裝路徑不同，你需要相應(yīng)地修改命令中的路徑。

4.安裝WebUI擴展Ebsynth Utility插件

WebUI擴展：

GitHub - s9roll7/ebsynth_utility: AUTOMATIC1111 UI extension for creating videos using img2img and ebsynth.

嘗試開始

????????Stable Diffusion WEBUI來源：秋葉aaaki的個人空間-秋葉aaaki個人主頁-嗶哩嗶哩視頻

? ? ? ? 動畫轉(zhuǎn)繪教程來源：Nenly同學(xué)的個人空間-Nenly同學(xué)個人主頁-嗶哩嗶哩視頻

? ? ? ? 演示圖片：學(xué)習(xí)之旅：揭秘AI繪畫與視頻生成的奧妙（1）_friklogff的博客-CSDN博客

步驟 1??從原始視頻中提取幀，并給每一幀生成一個蒙版圖像。

這里可以不變，默認生成蒙版?

點擊生成后output中出現(xiàn)兩個文件夾

video frame存儲提取幀
video mask存儲蒙版圖像

步驟 2??選擇關(guān)鍵幀提交到 Ebsynth。

video_key存儲提取幀關(guān)鍵幀

步驟 3??將關(guān)鍵幀進行圖生圖。

在我們上傳視頻后，就可以切換步驟3點擊生成，這一步只是檢測我們的視頻路徑是否正確能打開

根據(jù)視頻尺寸然后返回類似如下信息用于圖生圖

5. I recommend to fill in the "Width" field with [512]//推薦寬度512
6. I recommend to fill in the "Height" field with [960]//推薦高度960
7. I recommend to fill in the "Denoising strength" field with lower than 0.35

//推薦重繪幅度0.35
(When using controlnet together, you can put in large values (even 1.0 is possible).)

(使用controlnet的話，推薦重繪幅度可以更高）

????????從video_key中選一張盡量不模糊的任意一張圖片拖入圖生圖界面，這一步按照你想要的風(fēng)格與特點隨意發(fā)揮，就和正常的圖

????????在之前的從零開始-與大語言模型對話學(xué)技術(shù)-gradio篇（3）_friklogff的博客-CSDN博客中，我們探討過gradio的UI設(shè)計，這種標(biāo)簽頁的UI設(shè)計方案在UI啟動時每個標(biāo)簽頁是同時啟動的，切換標(biāo)簽頁并不會丟失之前的輸入輸出路徑配置。

????????這里我簡單的先固定種子更換了lora模型并重繪。

????????由于顯存不足，我使用controlnet會經(jīng)常爆顯存，使用Tiled VAE?插件會可以解決但會耗費大量時間，這里我們可以基于他的推薦進行調(diào)整，盡量保證新圖與原圖人物動作一致，

????????然后我們將腳本切換至ebsynth utility，粘貼第一步的工程目錄，再點擊生成即可批量對每張關(guān)鍵幀照片進行圖生圖操作。

步驟 3.5

（此步驟可選。對圖生圖的結(jié)果進行顏色校正，可能會減少視頻閃爍?；蛘撸阋部梢院唵蔚卦谏山Y(jié)果中調(diào)色。）

這里我的顯卡和知識儲備不足,實際也可以跳過
?

步驟 4

放大圖片到原始視頻的尺寸。
這里我的顯卡和知識儲備不足,實際也可以跳過

步驟 5??重命名關(guān)鍵幀。生成 .ebs 文件。（Ebsynth 工程文件）

當(dāng)步驟3你批量生成好AI重繪的關(guān)鍵幀后，切換至步驟5點擊生成這里會將重繪的關(guān)鍵幀按順序重命名，打包成若干個 .ebs 文件

步驟 6? ?運行 Ebsynth。（自行操作）

打開工程目錄下生成的 .ebs 文件，按[Run All]按鈕。
如果out-*目錄已經(jīng)存在于工程目錄中，請在執(zhí)行前手動刪除它。
如果生成了多個 .ebs 文件，則需要全部運行。

?此時右鍵選擇打開方式，找到我們第一步下載的Ebsynth，逐個打開

點擊Run?All,實現(xiàn)每一部分的關(guān)鍵幀自動補幀?

步驟 7?在交叉融合運算時串聯(lián)每一幀。

將原始視頻中的音頻整合到生成的視頻中。

當(dāng)你完成以上每一步，直接切換至步驟7點擊生成即可

with_snd是有聲音版本，另一個是沒有聲音的版本

步驟 8

這是一個額外的步驟。
你可以任何你喜歡的圖像或者視頻放在背景中。
你可以在這里設(shè)置 -> [Ebsynth Utility]->[插件配置]->[步驟 8]->[背景源]
如果你已經(jīng)在反相蒙版模式下創(chuàng)建了一個背景視頻（[Ebsynth Utility]->[插件配置]->[其他]->[蒙版模式]），
可以將其設(shè)置為“你的工程目錄/inv/crossfade_tmp”。

這里我的顯卡和知識儲備不足,實際也可以跳過

總結(jié)

????????以上內(nèi)容大致記錄了我的一次簡單AI轉(zhuǎn)繪視頻，本人第一次嘗試，有許多不足，我們希望本文能為您提供實用的指導(dǎo)和有價值的見解。如果您對本文感興趣或有疑問，請給我點個關(guān)注，留下評論并分享。敬請期待我們后續(xù)的文章，將為您帶來更多我的實踐實例。

參考

?Stable Diffusion WEBUI來源：秋葉aaaki的個人空間-秋葉aaaki個人主頁-嗶哩嗶哩視頻

?動畫轉(zhuǎn)繪教程來源：Nenly同學(xué)的個人空間-Nenly同學(xué)個人主頁-嗶哩嗶哩視頻

?演示圖片：學(xué)習(xí)之旅：揭秘AI繪畫與視頻生成的奧妙（1）_friklogff的博客-CSDN博客文章來源地址http://www.zghlxwxcb.cn/news/detail-631652.html

到了這里，關(guān)于學(xué)習(xí)之旅：揭秘AI繪畫與視頻生成的奧妙（2）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！