僅僅需要一張圖片加上動(dòng)作軌跡，就可以生成非常自然且絲滑的視頻，無論是鋼鐵俠跳舞還是奧特曼跑步都可以輕輕松松的制作出來，并且沒有閃爍衣服上面的褶皺，周圍物體上的光線反應(yīng)，可以說是做的非常完美。

但是阿里并沒有發(fā)布具體的操作流程和項(xiàng)目測試，這個(gè)項(xiàng)目很快就被字節(jié)跳動(dòng)秒殺了。字節(jié)跳動(dòng)提供了代碼和具體的演示，不僅支持把靜態(tài)的圖片變成有動(dòng)作的視頻，而且還可以結(jié)合文本生成動(dòng)畫，還支持多人照片實(shí)現(xiàn)動(dòng)作驅(qū)動(dòng)，簡直是太秀了。

并且發(fā)布了colab和hugging face的在線體驗(yàn)版本，無需本地部署就可以體驗(yàn)到最新的研究成果。

今天我們就一起來看看字節(jié)跳動(dòng)發(fā)布的magic animate。

本文主要分為三個(gè)部分：

一、magic animate的一些簡單介紹

二、magicanimate的操作演示

三、動(dòng)作軌跡視頻的制作方法

一.magic animate的一些簡單介紹

字節(jié)跳動(dòng)發(fā)布的magic anim magic anim是一個(gè)基于擴(kuò)散模型的人類圖像動(dòng)畫框架，意在強(qiáng)調(diào)時(shí)間一致性，忠實(shí)保留參考圖像并提高動(dòng)畫的真實(shí)感，可以在推理的過程中產(chǎn)生平滑的視頻。

除了基本的圖像動(dòng)畫化，Magic anim還能應(yīng)用于更多的場景，如將未見領(lǐng)域的圖像，例如油畫或電影角色動(dòng)畫化?；蛘呓Y(jié)合文本描述生成動(dòng)畫。

這種技術(shù)在動(dòng)畫制作、游戲設(shè)計(jì)、虛擬現(xiàn)實(shí)等領(lǐng)域?qū)?huì)具有更廣泛的應(yīng)用潛力。

我們可以看看這個(gè)軟件生成的視頻，由三個(gè)部分組成。原始圖像參考動(dòng)作軌跡、視頻和生成后的畫面形成了一個(gè)對照組，這與之前的一些工具是不同的，之前的工具一般只展示最終的成品效果。

多人動(dòng)畫功能也是非常吸引人的，我們按照對應(yīng)的位置為圖片上不同的角色設(shè)定不同的動(dòng)作，從而使多個(gè)人物動(dòng)畫化。

二.magicanimate的操作演示

接下來看一下具體如何操作。目前在git hub項(xiàng)目界面可以看到部署在本地的代碼，但是就測試結(jié)果來看還是存在一定的不足，感興趣的小伙伴可以按照步驟進(jìn)行本地部署的嘗試。

我們今天主要展示兩種可以快速體驗(yàn)到這個(gè)工具的方法，那就是使用hugging face和Google Colab，兩種方法都可以實(shí)現(xiàn)圖片的動(dòng)畫效果，但是我更推薦大家使用Colab進(jìn)行測試，因?yàn)閔ugging face的等待時(shí)間會(huì)更長一些，并且會(huì)存在等待隊(duì)列，需要進(jìn)行排隊(duì)才能進(jìn)行使用。

而使用Colab則可以直接進(jìn)行合成。在這里兩種方法我都會(huì)進(jìn)行演示。首先我們來演示hugging face。我們打開hugging face的鏈接。

最上面的界面是生成的成品，在左側(cè)第二欄，我們可以將需要添加動(dòng)畫的原始圖片放進(jìn)去，中間需要上傳動(dòng)作序列視頻，這個(gè)序列視頻也可以自己制作。

在下一個(gè)片段，我會(huì)著重對序列視頻的制作進(jìn)行講解，都是可以一鍵生成的，操作也是非常簡單的。最右側(cè)是一些合成的參數(shù)，一般選擇默認(rèn)的就可以了，或者我們可以點(diǎn)擊下方的例子，直接更換原始圖片就可以生成作品了。

比如，我們點(diǎn)擊跑步的姿勢，刪掉示例的原始圖片，上傳一張新的圖片，然后點(diǎn)擊生成。

我們可以看到上方提示需要進(jìn)行等待排隊(duì)的隊(duì)列比較多，成品是這樣的。

然后我們來看看如何使用Colab進(jìn)行線上測試。我們打開Colab的鏈接，執(zhí)行頁面上面的代碼，我們點(diǎn)擊運(yùn)行單元格，這里需要稍微等待一下，大概兩三分鐘左右就可以完成下載。

等到下載完成之后，在下方會(huì)出現(xiàn)操作界面的鏈接，本地的和共享呢都是可以進(jìn)行使用的，我們優(yōu)先選擇使用本地的，如果有出現(xiàn)本地界面無法訪問的情形，我們可以點(diǎn)擊打開共享界面的鏈接。

按照剛才的方法上傳原始圖片和參考動(dòng)作序列視頻。然后點(diǎn)擊生成就可以了，這里等待的時(shí)間會(huì)短很多，不需要進(jìn)行排隊(duì)，可以直接生成。

三.動(dòng)作軌跡視頻的制作方法

這里有兩種使用vid2densepose的方法，一種是使用Google Colab的方法，另一種則是采用一鍵部署的方法，利用工具將vid2densepose部署在本地進(jìn)行使用，但是這個(gè)工具只支持n卡，稍后會(huì)進(jìn)行詳細(xì)的講解。

首先來看看使用Google Colab的方法。打開Google的鏈接，點(diǎn)擊運(yùn)行第一個(gè)和第二個(gè)單元格，運(yùn)行完成之后，點(diǎn)擊左側(cè)的文件上傳我們的原始視頻素材。

我們右鍵重命名，輸入input video，我這里的視頻名稱已經(jīng)提前進(jìn)行了命名，因此不需要進(jìn)行修改，我們需要在這里指定輸入輸出視頻的名稱和路徑，如果想要知道文件的路徑的話，我們右鍵。復(fù)制視頻的路徑。然后來到這里進(jìn)行粘貼。這里一定要注意，路徑需要使用英文的引號(hào)引起來，不然會(huì)無法識(shí)別。

然后我們按照輸入路徑的方式寫出輸出的路徑。然后點(diǎn)擊運(yùn)行單元格就可以了。生成的輸出視頻就在文件里，如果想要下載的話，我們點(diǎn)擊右邊的三個(gè)點(diǎn)，點(diǎn)擊下載。

這樣就可以在本地查看了，視頻前后的對比是這樣的。

然后我們來看看另一種方法，那就是使用pinokio一鍵部署到本地。首先我們打開一鍵部署的鏈接，點(diǎn)擊下載pinokio。下載完成之后，我們將壓縮包粘貼在一個(gè)空白的文件夾里，然后右鍵解壓到當(dāng)前文件夾，我們點(diǎn)擊這個(gè)應(yīng)用程序就可以完成下載了。

這里不要改變路徑，否則會(huì)無法使用。然后我們點(diǎn)擊訪問發(fā)現(xiàn)界面。

點(diǎn)擊vid2densepose選項(xiàng)。

注意需要選擇適配magic animate的這一個(gè)，然后點(diǎn)擊下載就可以了。

下載完成之后，我們在pinokio中打開vid2densepose的鏈接就可以了，這樣就可以在本地運(yùn)行了。

并且使用的是本地電腦的算力，電腦的配置越高，生成的速度也會(huì)越快。我們可以看到這個(gè)界面上還有很多其他的工具可以選擇，也可以在這里一鍵部署magic animate，這樣就可以在本地使用了，但是使用的前提是電腦需要有n卡。文章來源地址http://www.zghlxwxcb.cn/news/detail-777029.html

到了這里，關(guān)于字節(jié)跳動(dòng)發(fā)布最新AI視頻模型Magic Animate(附教程）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！