書接上回，本篇的目的是結(jié)合上篇生成虛擬的女生形象，以及上一篇生成的關(guān)于介紹AI繪畫領(lǐng)域的腳本，讓生成的虛擬形象來念這段文案。先進(jìn)入正題說明怎么來生成想要的動態(tài)視頻。
1. Yanderify項(xiàng)目
Yanderify 教程
來實(shí)際手把手操作一下這個項(xiàng)目
Yanderify：https://github.com/dunnousername/yanderifier
在其中找到“Release”鏈點(diǎn)，下載最新發(fā)布的Zip包即可。包有1.63個G，需要些下載時間
-
yanderify.zip解壓后，
-
把checkpoint.tar 復(fù)制到 yanderify目錄下。checkpoint.tar在界面的the chekepoint上，點(diǎn)擊即可下載
-
去下面的鏈接單獨(dú)下載一個ffmpeg-win32-v3.2.4.exe文件：https://github.com/imageio/imageio-binaries/tree/master/ffmpeg
找到ffmpeg-win32-v3.2.4.exe文件，點(diǎn)開后點(diǎn)擊download（遇到無法打開網(wǎng)頁時可參考這種方法） -
把ffmpeg-win32-v3.2.4.exe 復(fù)制到 “C:\Users\你的用戶\AppData\Local\imageio\ffmpeg” 下（imageio\ffmepge需要新建）。
此處可以注意下，AppData\Local文件夾可能隱藏，點(diǎn)擊文件資源管理器右上角的查看，勾選右下方隱藏的項(xiàng)目 -
雙擊啟動yanderif.exe
這里首先選擇你要參考的視頻（歌唱或者說話視頻），然后選擇圖片（讓圖片說話或唱歌）、然后select output是選擇輸出文件的命名和存放位置，都做好了之后output
測試Yanderify
選擇視頻：damedane
https://pan.baidu.com/share/init?surl=D1CaifLhwEzVXv-vLAsAwg 提取碼：ssr5
選擇圖片
成果
yanderify生成視頻
體驗(yàn)
沒眼看，可能還是比較看重輸入視頻和輸入圖片的大小、位置的統(tǒng)一性的，就不再試了，有興趣的朋友們再試試
注意：［軟件本體，checkpoint.tar，ffmepg］缺一不可，否則會出現(xiàn)各種莫名其妙的閃退甚至打不開軟件
-
不能下載解壓后直接雙擊yanderif.exe：否則雙擊后黑屏提示電腦上沒有ffmpeg-win32-v3.2.4.exe,會顯示嘗試下載，但也會error to fetch files
-
不能沒有checkpoint.tar，否則loading后直接閃退
插一句
此外，博主參加了一個社區(qū)，內(nèi)容是關(guān)于 AI的國內(nèi)平臺副業(yè)案例庫 ， 適合普通人的低門檻案例。適合想搞副業(yè)，但不知道玩法的普通人。專欄訂閱后，永久可以查看，初始價格 19 元 ，一頓飯錢感覺很便宜就加入了，但后期據(jù)說每多加500人漲10塊，同樣有這方面想法的小伙伴可以趕在漲價前速速加一下哦~
掃下圖的碼即可
2. 讓照片說話的軟件有哪些？介紹幾款好用的
參考這個鏈接中的幾個APP，有書單視頻助手、Wombo AI、Reface，感興趣的同學(xué)可以嘗試。
3. 另外還有開源模型：speech-driven-animation
End-to-End Speech-Driven Facial Animation with Temporal GANs
相關(guān)介紹：造假AI又進(jìn)化！只要一張照片，說話唱歌視頻自動生成，降維打擊Deepfakes丨已開源，鏈接中包含效果視頻
論文內(nèi)容簡介：
該論文的研究主旨是將語音信號與面部動畫之間的聯(lián)系進(jìn)行建模，通過使用時序生成對抗網(wǎng)絡(luò)（Temporal GANs）來實(shí)現(xiàn)端到端的語音驅(qū)動面部動畫生成。
在該研究中，研究人員提出了一種基于時序GAN的端到端語音驅(qū)動面部動畫生成方法，稱為TDN (Temporal Dynamics Network)。研究人員借用這種時序生成對抗網(wǎng)絡(luò)，使用兩個時間鑒別器，對生成的視頻進(jìn)行視聽對應(yīng)，來生成逼真的面部動作。就是這樣，無需造價高昂的面部捕捉技術(shù)，只需這樣一個網(wǎng)絡(luò)，就能將一張照片+一段音頻組合成流暢連貫的視頻了。
該研究還使用了大量的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并得到了比其他傳統(tǒng)方法更好的結(jié)果。實(shí)驗(yàn)證明，TDN模型能夠準(zhǔn)確地捕捉語音信號和面部動畫之間的聯(lián)系，從而生成更加真實(shí)和自然的面部動畫。這個研究為語音驅(qū)動面部動畫生成領(lǐng)域提供了新的思路和方法，具有較高的理論和實(shí)際應(yīng)用價值。
[1] [https://sites.google.com/view/facial-animation/home]
該網(wǎng)址為面部動畫方面的資源網(wǎng)站，主要涵蓋了Speech-Driven Facial Animation這篇論文呢的研究成果、技術(shù)方案等方面的內(nèi)容，有很多示例視頻，可以看出來效果都不錯。網(wǎng)站還給出了模型和論文的地址。
開源模型：
https://github.com/DinoMan/speech-driven-animation
模型輸入輸出
但是這個模型并不可以直接輸入文案，而是輸入音頻文件和照片，所以如果還想用自己的文案，就需要先文字轉(zhuǎn)配音或者自己配音，可以隨便百度個在線的文字轉(zhuǎn)配音網(wǎng)站。
本文中用到的工具介紹：D-iD
網(wǎng)站：https://www.d-id.com/，只要輸入圖像和文本，就可以一鍵生成你想要的視頻
d-id.com 是一家人工智能技術(shù)公司，其主要業(yè)務(wù)是提供面部動畫服務(wù)。該服務(wù)可以讓用戶通過上傳自己的照片或視頻，然后使用 d-id 的 AI 技術(shù)進(jìn)行面部動畫轉(zhuǎn)換，生成逼真而專業(yè)的人物動態(tài)視頻。
使用 d-id 的面部動畫服務(wù)非常簡單，只需要在它們的網(wǎng)站上上傳需要轉(zhuǎn)換的照片或視頻，然后選擇你想要的面部動畫風(fēng)格即可。d-id 的 AI 技術(shù)會自動分析照片或視頻中的面部特征，并根據(jù)所選的動畫風(fēng)格進(jìn)行處理，最終生成一段高質(zhì)量的、會說話的面部動畫。
d-id 的收費(fèi)標(biāo)準(zhǔn)因所需服務(wù)的不同而有所不同，可以前往他們的官方網(wǎng)站了解更多信息。此外，d-id 還為客戶提供免費(fèi)試用期，讓客戶先嘗試其服務(wù)再進(jìn)行購買決定，網(wǎng)站提供20個credits作為free trial。
步驟
-
登錄 https://www.d-id.com/，點(diǎn)free trial
-
注冊賬號或者直接使用谷歌賬號登錄
-
選擇“create video”選項(xiàng)，然后上傳你想要進(jìn)行面部動畫處理的照片。
-
在上傳完成后，選擇所需的人像模板。d-id 提供多種人像模板供用戶選擇，如上圖所示
-
在右邊的script框里輸入你想要的文案，然后選擇語言類別，你想要的聲音類型，以及風(fēng)格等等，完成一些個性化設(shè)置
-
上述步驟都做完后，點(diǎn)擊右上角generate video按鈕，d-id 的 AI 技術(shù)會自動將你的照片轉(zhuǎn)換為逼真的面部視頻。該過程花費(fèi)時間有文案長度而定。
-
預(yù)覽并下載你的面部動畫視頻文件。在 d-id 網(wǎng)站上，你可以預(yù)覽生成的面部動畫，在確認(rèn)滿意后，你可以選擇下載這個文件。花費(fèi)的credit數(shù)會隨著文案長度增加而增加
花費(fèi)：生成了一段3分半鐘的影片，使用了14個credits
結(jié)果
New creative video
個人看法
生成的效果有點(diǎn)太孬了，很粗糙，不知道是不是因?yàn)槲疑傻奶摂M形象本身就不夠真實(shí)，可以直接上傳真實(shí)的網(wǎng)圖人像搭配文案看看效果如何
首先不能涉及人像版權(quán)，所以可以先找找不涉及圖像版權(quán)的
17個免費(fèi)高質(zhì)量無版權(quán)的圖片、視頻網(wǎng)站，抓緊收藏！
我就直接使用它官方給出的人物形象了
New creative video (1)
可以看出來嘴形還是很奇怪，唇語仿佛在講粵語，干脆最后用同樣的人物形象生成一個粵語的
New creative video (2)
果然?。。。。。∩苫浾Z的嘴唇看起來就順暢很多，可能這個軟件不太適合mandarin吧文章來源：http://www.zghlxwxcb.cn/news/detail-493953.html
教程來源：在youtube上的一個博主發(fā)布的教學(xué)視頻文章來源地址http://www.zghlxwxcb.cn/news/detail-493953.html
到了這里，關(guān)于AI繪畫與虛擬人生成實(shí)踐（三）：讓虛擬形象動起來！照片生成說話的視頻的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
