首先需要標(biāo)明的是,我這里是圖片說話類型,而且是看了知識星球AI破局俱樂部大航海數(shù)字人手冊進(jìn)行操作的。寫下這篇文章是防止我以后遺忘。
我使用的基礎(chǔ)軟件是Stable Diffusion,SadTalker是作為插件放進(jìn)來的,需要注意的是這對自己的電腦GPU要求比較高,至少需要8G,至少我的電腦是8G顯存。
下載并安裝ffmpeg
下載并安裝ffmpeg,這一步的作用是語音格式的各種轉(zhuǎn)換,虛擬數(shù)字人能開口說話,需要我們上傳自己的語音,如果格式不符合會自動轉(zhuǎn)換。
到https://ffmpeg.org/download.html選擇自己操作系統(tǒng)然后選擇下載格式。
選擇下載的類型,我選擇全量版的。
然后我解壓到D:\VideoSoft
目錄下。
需要配置環(huán)境變量了。
Windows+r同時(shí)按下,然后輸入SYSTEMPROPERTIESADVANCED
,然后點(diǎn)擊確定。
然后選擇高級
,點(diǎn)擊環(huán)境變量
。
選擇Path
,然后點(diǎn)擊編輯
。
然后點(diǎn)擊新建
。
把你上邊解壓的目錄找到bin
那級的目錄放到環(huán)境變量里邊,然后點(diǎn)擊確定
。
把上一級窗口也點(diǎn)擊確定
。
系統(tǒng)屬性這一級窗口也點(diǎn)擊確定
。
然后同時(shí)按下Windows+r,輸入cmd
然后按下確定鍵。
然后輸入ffmpeg -version
,要是顯示出來很多內(nèi)容,那么就是正常安裝好了。
Stable Diffusion安裝插件
我使用的Stable Diffusion是秋葉版的。
下載擴(kuò)展
點(diǎn)擊擴(kuò)展,選擇從網(wǎng)址安裝,然后把git倉庫https://github.com/OpenTalker/SadTalker.git放入指定的位置,然后點(diǎn)擊安裝。
發(fā)現(xiàn)報(bào)錯(cuò)如下:
GitCommandError: Cmd('git') failed due to: exit code(128) cmdline: git clone -v -- https://github.com/OpenTalker/SadTalker.git D:\sd-webui-aki\sd-webui-aki-v4.1\tmp\SadTalker stderr: 'Cloning into 'D:\sd-webui-aki\sd-webui-aki-v4.1\tmp\SadTalker'... fatal: unable to access 'https://github.com/OpenTalker/SadTalker.git/': Failed to connect to github.com port 443 after 21039 ms: Couldn't connect to server '
我到https://github.com/OpenTalker/SadTalker里邊,下載源代碼的zip包。
然后把壓縮包解壓至Stable Diffusion啟動器所在的目錄下一級目錄extensions
里邊,目錄如下所示。
checkpoint文件下載和配置,
需要到https://github.com/OpenTalker/SadTalker/releases,下載以下四個(gè)文件。
然后當(dāng)前網(wǎng)頁上邊,往下滑動,點(diǎn)開Assets
,然后下載紅圈中的文件。
將上邊下載好的文件放入到自己D:\sd-webui-aki\sd-webui-aki-v4.1\extensions\SadTalker\checkpoints
里邊,很有可能,你沒有checkpoints
這個(gè)目錄,自己新建一個(gè)就行了。
另外hub.zip
需要解壓。
下載GFPGAN模型
到https://drive.google.com/file/d/19AIBsmfcHW6BRJmeqSFlG5fL445Xmsyi下載文件解壓到D:\sd-webui-aki\sd-webui-aki-v4.1\extensions\SadTalker
里邊。
接下來就是重新啟動Stable Diffusion
進(jìn)行畫圖了。點(diǎn)擊SadTalker
,然后上傳圖片,之后上傳音頻,然后點(diǎn)擊生成。
需要等待。
生成之后如下圖:
無法上傳視頻,沒有辦法展示效果了。文章來源:http://www.zghlxwxcb.cn/news/detail-845631.html
我是知識星球上約有3萬人的AI破局俱樂部初創(chuàng)合伙人,我的微信號是zhaoseaside
,歡迎大家加我,相互學(xué)習(xí)AI知識和個(gè)人IP知識,畢竟這是未來兩大風(fēng)口。
大家要是需要文檔中的文件,可以加我備注SadTalker
,我用百度網(wǎng)盤發(fā)給你。文章來源地址http://www.zghlxwxcb.cn/news/detail-845631.html
到了這里,關(guān)于嘗試著在Stable Diffusion里邊使用SadTalker進(jìn)行數(shù)字人制作的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!