簡(jiǎn)介

隨著數(shù)字人物概念的興起和生成技術(shù)的不斷發(fā)展，將照片中的人物與音頻輸入進(jìn)行同步變得越來越容易。然而，目前仍存在一些問題，比如頭部運(yùn)動(dòng)不自然、面部表情扭曲以及圖片和視頻中人物面部的差異等。為了解決這些問題，來自西安交通大學(xué)等機(jī)構(gòu)的研究人員提出了 SadTalker 模型。

SadTalker 模型在三維運(yùn)動(dòng)場(chǎng)中學(xué)習(xí)如何從音頻中生成3DMM的3D運(yùn)動(dòng)系數(shù)，包括頭部姿勢(shì)和表情，并利用全新的3D面部渲染器來生成自然的頭部運(yùn)動(dòng)。

為了學(xué)習(xí)真實(shí)的運(yùn)動(dòng)系數(shù)，研究人員將音頻和不同類型的運(yùn)動(dòng)系數(shù)之間的聯(lián)系進(jìn)行了顯式建模。他們?cè)O(shè)計(jì)了蒸餾系數(shù)和3D渲染的臉部，從音頻中學(xué)習(xí)準(zhǔn)確的面部表情。同時(shí)，他們還設(shè)計(jì)了條件VAE，即 PoseVAE，用于合成不同風(fēng)格的頭部運(yùn)動(dòng)。最后，他們將生成的三維運(yùn)動(dòng)系數(shù)映射到人臉渲染的無監(jiān)督三維關(guān)鍵點(diǎn)空間，并合成最終的視頻。

在實(shí)驗(yàn)中，研究人員證明了 SadTalker 模型在運(yùn)動(dòng)同步和視頻質(zhì)量方面實(shí)現(xiàn)了最先進(jìn)的性能，為通過人臉圖像和語音音頻生成會(huì)說話的人物頭像視頻提供了一種有效的方法。

企鵝交流群：787501969，整合包下載地址可以加交流群
獲者從csdn下載：https://download.csdn.net/download/matt45m/88984818

算法架構(gòu)

在數(shù)字人創(chuàng)作、視頻會(huì)議等多個(gè)領(lǐng)域中，將靜態(tài)照片動(dòng)態(tài)化，即通過語音音頻讓照片中的人物動(dòng)起來，是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。過去的研究主要集中在生成唇部運(yùn)動(dòng)，因?yàn)榇讲縿?dòng)作與語音之間的關(guān)聯(lián)最為緊密。雖然一些工作也嘗試生成其他相關(guān)的人臉運(yùn)動(dòng)，比如頭部姿勢(shì)，但生成視頻的質(zhì)量仍然存在著許多不自然的問題，例如偏好的姿勢(shì)、模糊、身份修改和面部扭曲等限制。

另一種流行的方法是基于潛在空間的人臉動(dòng)畫，該方法主要關(guān)注于在對(duì)話式人臉動(dòng)畫中特定類別的運(yùn)動(dòng)。然而，生成高質(zhì)量的視頻仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。盡管三維面部模型中包含高度解耦的表征，可以用于單獨(dú)學(xué)習(xí)面部不同位置的運(yùn)動(dòng)軌跡，但仍然會(huì)產(chǎn)生不準(zhǔn)確的表情和不自然的運(yùn)動(dòng)序列。

基于以上觀察結(jié)果，研究人員提出了SadTalker（Stylized Audio-Driven Talking-head）系統(tǒng)。該系統(tǒng)通過隱式三維系數(shù)調(diào)制來實(shí)現(xiàn)風(fēng)格化音頻驅(qū)動(dòng)的視頻生成。

3面部

現(xiàn)實(shí)中的視頻通常是在三維環(huán)境中拍攝的，因此三維信息對(duì)于生成逼真的視頻至關(guān)重要。然而，以往的研究很少考慮到三維空間，因?yàn)閮H僅通過一張平面圖像很難獲取原始的三維稀疏信息，而且設(shè)計(jì)高質(zhì)量的面部渲染器也非常困難。

受到最近單圖像深度三維重建方法的啟發(fā)，研究人員開始將預(yù)測(cè)的三維形變模型（3DMMs）作為中間表征。在3DMM中，三維臉部形狀S可以被解耦為：
$$\mathbf{S}=\overline{S}+\alpha {\mathbf{U}}_{id}+\beta {\mathbf{U}}_{exp},(1)$$

在這個(gè)算法中，通過LSFM morphable模型，三維形變模型（3DMMs）的各個(gè)參數(shù)有以下含義和作用：

• S：代表三維人臉的平均形狀。
• Uid 和 Uexp：LSFM morphable模型的參數(shù)，分別用于描述人物的身份和表情的正則。
• α 和 β：分別是身份和表情的系數(shù)，分別具有80維和64維，用于描述人物的身份和表情。
• r 和 t：分別表示頭部旋轉(zhuǎn)和平移，用于保持頭部姿勢(shì)的差異性。
• {β, r, t}：僅將運(yùn)動(dòng)的參數(shù)建模為表情系數(shù)β、頭部旋轉(zhuǎn)r和平移t。

在該算法中，從驅(qū)動(dòng)的音頻中單獨(dú)學(xué)習(xí)頭部姿勢(shì)ρ=[r, t]和表情系數(shù)β。然后，利用這些學(xué)習(xí)到的運(yùn)動(dòng)系數(shù)來隱式地調(diào)制面部渲染，用于最終的視頻合成。這種方法可以保持生成的面部動(dòng)畫與音頻的相關(guān)性，從而使合成的視頻更加真實(shí)和生動(dòng)。

通過音頻生成運(yùn)動(dòng)稀疏

SadTalker使用了兩個(gè)模型，PoseVAE和ExpNet，來分別生成頭部姿勢(shì)和表情的運(yùn)動(dòng)。這是因?yàn)槿S運(yùn)動(dòng)系數(shù)包含了頭部姿勢(shì)和表情，而這兩者具有不同的特性。頭部姿勢(shì)是全局運(yùn)動(dòng)，對(duì)應(yīng)整個(gè)面部區(qū)域的變化，而表情通常是相對(duì)局部的，局限于特定的面部區(qū)域。由于頭部姿勢(shì)與音頻的關(guān)系相對(duì)較弱，而表情與音頻高度相關(guān)，如果嘗試在一個(gè)模型中完全學(xué)習(xí)所有的系數(shù)，會(huì)導(dǎo)致網(wǎng)絡(luò)面臨巨大的不確定性。因此，通過分別使用PoseVAE和ExpNet來生成頭部姿勢(shì)和表情的運(yùn)動(dòng)，網(wǎng)絡(luò)可以更有效地處理頭部姿勢(shì)和表情之間的關(guān)系，從而提高生成的面部動(dòng)畫的真實(shí)性和準(zhǔn)確性。

ExpNet

學(xué)習(xí)一個(gè)能夠從音頻中準(zhǔn)確生成表情系數(shù)的通用模型是非常困難的，原因主要有兩點(diǎn)：

1. 音頻到表情不是對(duì)不同人物的一對(duì)一的映射任務(wù)：不同個(gè)體對(duì)相同的語音輸入可能會(huì)產(chǎn)生不同的面部表情反應(yīng)。這是由于個(gè)體之間的生理特征、情感狀態(tài)、習(xí)慣性表現(xiàn)等因素的差異導(dǎo)致了相同音頻信號(hào)引發(fā)不同表情的情況。

2. 表情系數(shù)中存在與音頻相關(guān)的動(dòng)作，這會(huì)影響到預(yù)測(cè)的準(zhǔn)確性：音頻信號(hào)中的語調(diào)、情感內(nèi)容以及說話速度等因素都可能影響到面部表情的生成。因此，從音頻中預(yù)測(cè)表情時(shí)，需要考慮如何有效地捕捉和建模這些與音頻相關(guān)的動(dòng)作，以提高預(yù)測(cè)的準(zhǔn)確性和魯棒性。

為了應(yīng)對(duì)這些挑戰(zhàn)，ExpNet 的設(shè)計(jì)目標(biāo)是減少這些不確定性。針對(duì)個(gè)體身份問題，研究人員通過使用第一幀的表情系數(shù)將表情運(yùn)動(dòng)與特定的人物聯(lián)系起來。

為了減少自然對(duì)話中其他面部成分的運(yùn)動(dòng)權(quán)重，研究人員通過預(yù)訓(xùn)練網(wǎng)絡(luò)，如 Wav2Lip 和深度三維重建，只使用嘴唇運(yùn)動(dòng)系數(shù)作為系數(shù)目標(biāo)。這種方法有助于減少由于音頻中其他動(dòng)作導(dǎo)致的表情系數(shù)的不確定性。

對(duì)于其他細(xì)微的面部運(yùn)動(dòng)，比如眼睛眨動(dòng)等，可以在渲染圖像上的額外landmark損失中引入，以進(jìn)一步提高模型的準(zhǔn)確性和魯棒性。

PoseVAE

研究人員設(shè)計(jì)了一個(gè)基于變分自動(dòng)編碼器（VAE）的模型，旨在學(xué)習(xí)談話視頻中真實(shí)的、身份相關(guān)的風(fēng)格化頭部運(yùn)動(dòng)。在訓(xùn)練中，他們采用了基于編碼器-解碼器結(jié)構(gòu)的方法對(duì)固定的n個(gè)幀進(jìn)行姿勢(shì)VAE訓(xùn)練。編碼器和解碼器都是由兩層多層感知器（MLP）組成，輸入是一個(gè)連續(xù)的t幀頭部姿勢(shì)，將其嵌入到高斯分布中。在解碼器中，網(wǎng)絡(luò)從采樣分布中學(xué)習(xí)生成t幀姿勢(shì)。

需要注意的是，PoseVAE并不直接生成姿勢(shì)，而是學(xué)習(xí)第一幀的條件姿勢(shì)的殘差。這使得該方法在測(cè)試中能夠在第一幀的條件下生成更長(zhǎng)、更穩(wěn)定、更連續(xù)的頭部運(yùn)動(dòng)。根據(jù)條件變分自動(dòng)編碼器（CVAE），PoseVAE還增加了相應(yīng)的音頻特征和風(fēng)格標(biāo)識(shí)作為節(jié)奏感知（rhythm awareness）和身份風(fēng)格的條件。

模型使用KL散度來衡量生成運(yùn)動(dòng)的分布，并使用均方損失和對(duì)抗性損失來確保生成的質(zhì)量。這樣的設(shè)計(jì)使得模型能夠從談話視頻中學(xué)習(xí)到真實(shí)且與身份相關(guān)的頭部運(yùn)動(dòng)，并能夠在測(cè)試階段生成更長(zhǎng)、更連續(xù)的運(yùn)動(dòng)序列。

3D-aware面部渲染

在生成真實(shí)的三維運(yùn)動(dòng)系數(shù)后，研究人員使用了一個(gè)精心設(shè)計(jì)的三維圖像動(dòng)畫器來渲染最終的視頻。最近提出的圖像動(dòng)畫方法，稱為 face-vid2vid，可以隱含地從單一圖像中學(xué)習(xí)3D信息。然而，該方法需要一個(gè)真實(shí)的視頻作為動(dòng)作驅(qū)動(dòng)信號(hào)。與此不同的是，這篇論文中提出的臉部渲染可以通過3DMM系數(shù)來驅(qū)動(dòng)。

為了建立顯式3DMM運(yùn)動(dòng)系數(shù)（頭部姿勢(shì)和表情）與隱式無監(jiān)督3D關(guān)鍵點(diǎn)之間的關(guān)系，研究人員提出了 mappingNet。mappingNet 使用了幾個(gè)一維卷積層，類似于 PIRenderer，使用時(shí)間窗口的時(shí)間系數(shù)進(jìn)行平滑處理。不同之處在于，研究人員發(fā)現(xiàn) PIRenderer 中的人臉對(duì)齊運(yùn)動(dòng)系數(shù)會(huì)極大地影響音頻驅(qū)動(dòng)的視頻生成的運(yùn)動(dòng)自然度，因此 mappingNet 只使用表情和頭部姿勢(shì)的系數(shù)。

訓(xùn)練階段包含兩個(gè)步驟：首先，按照原論文的方法，使用自監(jiān)督方式訓(xùn)練 face-vid2vid。然后，在凍結(jié)外觀編碼器、canonical關(guān)鍵點(diǎn)估計(jì)器和圖像生成器的所有參數(shù)后，通過在ground truth視頻的3DMM系數(shù)上進(jìn)行重建，對(duì) mappingNet 進(jìn)行微調(diào)。

在無監(jiān)督關(guān)鍵點(diǎn)的域中，使用 L1 損失進(jìn)行監(jiān)督訓(xùn)練，并按照其原始實(shí)現(xiàn)方式生成最終的視頻。這種方法允許通過3DMM系數(shù)來驅(qū)動(dòng)臉部渲染，從而生成具有更高真實(shí)度和自然度的視頻。

實(shí)驗(yàn)對(duì)比

在實(shí)驗(yàn)結(jié)果中，研究人員使用了多個(gè)指標(biāo)來評(píng)估他們提出的方法相對(duì)于其他方法的性能：

1. 圖像質(zhì)量評(píng)估：使用 Frechet Inception Distance（FID）和 Cumulative Probability Blur Detection（CPBD）來評(píng)估生成圖像的真實(shí)性和清晰度。

2. 身份保留程度評(píng)估：使用 ArcFace 提取圖像的身份嵌入，并計(jì)算源圖像與生成幀之間身份嵌入的余弦相似度（CSIM）來評(píng)估身份的保留程度。

3. 唇部同步和口型評(píng)估：評(píng)估了來自 Wav2Lip 的口型的感知差異，包括距離評(píng)分（LSE-D）和置信評(píng)分（LSE-C）。

4. 頭部運(yùn)動(dòng)評(píng)估：使用 Hopenet 提取的頭部運(yùn)動(dòng)特征嵌入的標(biāo)準(zhǔn)偏差來評(píng)估生成頭部運(yùn)動(dòng)的多樣性，并計(jì)算 Beat Align Score 來評(píng)估音頻和生成頭部運(yùn)動(dòng)的一致性。

通過與其他最先進(jìn)的談話頭像生成方法進(jìn)行對(duì)比，包括 MakeItTalk、Audio2Head 和音頻轉(zhuǎn)表情生成方法（Wav2Lip、PC-AVS），研究人員使用公開的 checkpoint 權(quán)重進(jìn)行評(píng)估。

實(shí)驗(yàn)結(jié)果顯示，提出的方法在整體視頻質(zhì)量和頭部姿勢(shì)的多樣性方面表現(xiàn)出更好的性能。同時(shí)，在唇部同步方面也與其他完全說話的頭部生成方法相當(dāng)。雖然研究人員發(fā)現(xiàn)唇語同步指標(biāo)對(duì)音頻過于敏感，可能導(dǎo)致不自然的唇部運(yùn)動(dòng)獲得更好的分?jǐn)?shù)，但該方法取得了與真實(shí)視頻相似的分?jǐn)?shù)，表明了其優(yōu)勢(shì)。

與其他方法相比，實(shí)驗(yàn)結(jié)果顯示了提出的方法與原始目標(biāo)視頻的視覺質(zhì)量非常相似，并且能夠生成與預(yù)期的不同頭部姿勢(shì)非常相似的視頻。相比之下，其他方法如 Wav2Lip 生成了模糊的半臉，PC-AVS 和 Audio2Head 難以保留源圖像的身份，Audio2Head 只能生成正面說話的臉，而 MakeItTalk 和 Audio2Head 則由于二維扭曲而生成了扭曲的人臉視頻。

項(xiàng)目安裝

項(xiàng)目安裝分三種方式，有從源碼安裝的，這個(gè)可以參考官方給的安裝文檔，在SD-webui里面當(dāng)插件安裝，還有一鍵整合包這三種模式：

1.源碼安裝方式

源碼安裝最好依賴在conda虛擬環(huán)境：

安裝環(huán)境：

git clone https://github.com/OpenTalker/SadTalker.git
cd SadTalker 
conda create -n sadtalker python=3.8
conda activate sadtalker
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
conda install ffmpeg
pip install -r requirements.txt

下載模型：

bash scripts/download_models.sh

頭像合成：

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --enhancer gfpgan 

全身合成：

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --result_dir <a file to store results> \
                    --still \
                    --preprocess full \
                    --enhancer gfpgan 

2.插件安裝方式

啟動(dòng)SD-webui,這里使用的是秋葉大佬的一鍵整合包，找到插件，點(diǎn)安裝，等待安裝完成之后，重啟webui:

安裝完成了之后，在ui界面就有SadTalker這個(gè)插件菜單：

在sd插件路徑下創(chuàng)建模型兩個(gè)目錄：

將下面4個(gè)模型文件下載到checkpoints文件夾下，再將下載的gfpgan 文件夾里面的文件放到SadTalker的gfpgan目錄下：

3.一鍵整合包安裝

下載整合包，點(diǎn)擊啟動(dòng)：

之后在瀏覽器打開：http://127.0.0.1:7860/


錯(cuò)誤解決：
Windows系統(tǒng)下報(bào)錯(cuò): LLVM ERROR: Symbol not found: __svml_sqrtf8_ha
vml_dispmd.dll引起的錯(cuò)誤，是由于numba庫(kù)在windows系統(tǒng)下會(huì)根據(jù)系統(tǒng)變量路徑自動(dòng)調(diào)用svml_dispmd.dll可執(zhí)行程序。解決方案是把系統(tǒng)路徑下的該文件刪除或重新命名，并添加一個(gè)新的系統(tǒng)變量NUMBA_DISABLE_INTEL_SVML=1文章來源地址http://www.zghlxwxcb.cn/news/detail-855571.html

到了這里，關(guān)于數(shù)字人解決方案— SadTalker語音驅(qū)動(dòng)圖像生成視頻原理與源碼部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！