一、AnimateDiff簡介

AnimateDiff采用控制模塊來影響Stable Diffusion模型，通過大量短視頻剪輯的訓練，它能夠調(diào)整圖像生成過程，生成一系列與訓練視頻剪輯相似的圖像。簡言之，AnimateDiff通過訓練大量短視頻來優(yōu)化圖像之間的過渡，確保視頻幀的流暢性。

與傳統(tǒng)的SD模型訓練方式不同，AnimateDiff通過大量短視頻的訓練來提高圖像之間的連續(xù)性，使得生成的每一張圖像都能經(jīng)過AnimateDiff微調(diào)，最終拼接成高質(zhì)量短視頻。

二、安裝AnimateDiff

要使用AnimateDiff，需要安裝SD插件和AnimateDiff模型。

插件安裝：如果你可以科學上網(wǎng)，你可以直接在擴展->從網(wǎng)址安裝中填入https://github.com/continue-revolution/sd-webui-animatediff.git

模型下載：安裝插件后，下載AnimateDiff模型并將其放置在stable-diffusion-webui/extensions/sd-webui-animatediff/model/目錄下。

https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt

安裝完成后，重新啟動Stable Diffusion，在文生圖頁面中將看到AnimateDiff插件的配置選項。

三、視頻生成

第一步：輸入關(guān)鍵字

• 模型：majicMIX realistic 麥橘寫實_v7

• 提示詞：a young girl in white with long strait hair wearing earrings and with red lipstick,clean skin,in the style of minimalist sets,piles/stacks,kitsch and camp charm,accessories.vibrant colorful portrait.waist-above shot,professional photography,duobaca,<lora:花樣年華_v1.0:0.6>,

• 反向提示詞：bad-artist,bad-artist-anime,bad-hands-5,bad-image-v2-39000,bad-picture-chill-75v,bad_prompt,bad_prompt_version2,badhandv4,NG_DeepNegative_V1_75T,EasyNegative,2girls,3girls,(nsfw:1.3),

第二步：配置AnimateDiff

介紹以下幾個基礎(chǔ)參數(shù)：

• Motion Module：使用AnimateDiff模型

• Enable AnimateDiff：啟用

• FPS：每秒幀數(shù)（每幀為一張圖片）

• Number of frames：總幀數(shù)?？値瑪?shù)/FPS = 視頻長度，例如，上述參數(shù)會生成4秒的視頻。

第三步：生成視頻

點擊生成按鈕，觀察效果。

在中間效果圖中，你會看到生成了16張圖像（總幀數(shù)）。

視頻效果：

四、細節(jié)優(yōu)化：

AnimateDiff支持與其他插件結(jié)合使用。使用adetail插件可改善臉部細節(jié)問題，可以直接啟用。

連續(xù)性優(yōu)化：

啟用AnimateDiff的Frame Interpolation功能，將Frame Interpolation設(shè)置為FILM，并將Interp X設(shè)置為FPS的倍數(shù)，比如將其設(shè)置為10。

你還可以啟用反向幀功能（Add Reverse Frame），這相當于正向播放視頻一次，再反向播放一次，實際上會提升視頻的流暢度。

五、遇到的問題

提示詞長度問題：圖片提示詞的長度不能超過75。

啟用高清修復，GPU很容易會崩潰。

圖片分辨率不能太大。

多次生成視頻時報錯：如果多次生成視頻時出現(xiàn)以下錯誤信息："Expected weight to be a vector of size equal to the number of channels in input, but got weight of shape [1280] and input of shape [16, 2560, 9, 9]" 你需要在啟動SD時刪除--xformers參數(shù)。

這篇文章介紹了AnimateDiff的基本用法和優(yōu)化方法,希望對想了解AnimateDiff動畫的朋友有幫助。文章來源地址http://www.zghlxwxcb.cn/news/detail-764342.html

到了這里，關(guān)于[Stable Diffusion]AnimateDiff ：最穩(wěn)定的文本生成視頻插件的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！