近年來(lái)隨著擴(kuò)散模型（diffusion models）的進(jìn)步和發(fā)展，給定文本提示進(jìn)行高質(zhì)量視頻生成技術(shù)有著顯著的提升。這些技術(shù)方案大多針對(duì)已有的二維圖像擴(kuò)散模型進(jìn)行拓展，將圖像二維神經(jīng)網(wǎng)絡(luò)修正為視頻三維神經(jīng)網(wǎng)絡(luò)，并基于擴(kuò)散概率模型進(jìn)行視頻幀序列的去噪，完成視頻生成。然而，這些現(xiàn)有方法依然圍繞著單個(gè)場(chǎng)景的視頻生成，對(duì)于多場(chǎng)景視頻生成并未考慮，并且生成的視頻長(zhǎng)度也僅為2秒到4秒。
基于這樣的問(wèn)題，來(lái)自HiDream.ai公司的算法研究人員提出利用大語(yǔ)言模型針對(duì)輸入的文本提示進(jìn)行多場(chǎng)景事件描述的拓展，保證不同事件之間的邏輯性和場(chǎng)景中前景背景描述的一致性。其后，針對(duì)大語(yǔ)言模型提供的每一個(gè)事件所對(duì)應(yīng)的前景背景描述，以及動(dòng)作描述，利用視頻擴(kuò)散模型生成具有內(nèi)容一致的視頻片段，從而構(gòu)建一個(gè)多場(chǎng)景的長(zhǎng)視頻。
項(xiàng)目主頁(yè)：?VideoDrafter: Content-Consistent Multi-Scene Video Generation with LLM?
視頻鏈接：https://www.youtube.com/watch?v=_aIrobrzu2g
01. 研究背景：多場(chǎng)景視頻生成任務(wù)及難點(diǎn)
當(dāng)下基于擴(kuò)散模型的視頻生成主要針對(duì)單個(gè)場(chǎng)景下的動(dòng)作事件，而對(duì)多場(chǎng)景的視頻生成鮮有涉及。給定一個(gè)文本提示，并且生成具有良好邏輯性的多場(chǎng)景視頻，是本工作研究的重點(diǎn)。相應(yīng)的技術(shù)難點(diǎn)主要體現(xiàn)在以下兩個(gè)方面：
- 如何保證不同事件之間具有良好的邏輯性（例如，給定文本提示為一個(gè)男孩踢球射門，在時(shí)序上男孩應(yīng)該先進(jìn)行運(yùn)球，然后射門）
- 如何保證生成視頻主體的視覺外貌特征一致（例如，以男孩踢球射門為例，不同場(chǎng)景下男孩的外貌穿著應(yīng)該保持一致）
02. 以大語(yǔ)言模型為基礎(chǔ)的內(nèi)容一致多場(chǎng)景視頻生成模型：VideoDrafter
針對(duì)上述的兩個(gè)技術(shù)難點(diǎn)，本工作提出了一個(gè)以大語(yǔ)言模型為基礎(chǔ)的內(nèi)容一致多場(chǎng)景視頻生成方案VideoDrafter。該方案通過(guò)主要的三個(gè)步驟完成多場(chǎng)景視頻生成。
第一步是首先通過(guò)大語(yǔ)言模型對(duì)輸入的文本提示進(jìn)行多場(chǎng)景事件描述拓寫，將輸入的單句文本轉(zhuǎn)換為多場(chǎng)景的視頻描述（Multi-scene video script generation），并且輸出每個(gè)事件對(duì)應(yīng)的前景和背景實(shí)體描述（Entity description）。
第二步是將每個(gè)事件對(duì)應(yīng)的前景和背景實(shí)體描述利用文本到圖像的擴(kuò)散模型生成對(duì)應(yīng)的前景和背景實(shí)體參考圖（Entity reference image generation）。
最后一步是針對(duì)每個(gè)事件對(duì)應(yīng)前景和背景實(shí)體參考圖，以及事件的動(dòng)作描述，利用視頻擴(kuò)散模型完成對(duì)該事件的視頻生成。這里的最后一步本方案拆解為主要的兩個(gè)步驟，即首先通過(guò)VideoDrafter-Img模型，利用前景和背景實(shí)體參考圖以及事件動(dòng)作描述，生成對(duì)應(yīng)的場(chǎng)景事件參考圖片（Scene reference image）；然后通過(guò)VideoDrafter-Vid模型，再將動(dòng)作賦予給場(chǎng)景事件參考圖片，生成對(duì)應(yīng)場(chǎng)景的視頻。
本方案利用大語(yǔ)言模型保證了生成的不同事件描述的邏輯性，同時(shí)利用前景和背景實(shí)體參考圖指導(dǎo)不同場(chǎng)景下視頻內(nèi)容的生成，因此可以良好地保證不同場(chǎng)景中的內(nèi)容實(shí)體的視覺外貌特征的一致性。
03. 視頻生成結(jié)果
首先用戶可以通過(guò)輸入一個(gè)文本提示（input prompt），生成具有良好邏輯性的，內(nèi)容一致的多場(chǎng)景視頻，以下是對(duì)應(yīng)的文本提示和多場(chǎng)景視頻生成結(jié)果：
生成視頻1：
生成視頻2：
生成視頻3：
動(dòng)態(tài)視頻例子：
其次，對(duì)于用戶提供的真實(shí)圖像作為前景和背景實(shí)體參考圖，以及對(duì)應(yīng)的事件文本提示，本方案同樣可以生成內(nèi)容一致的多場(chǎng)景視頻，生成的視頻結(jié)果如下：
動(dòng)態(tài)視頻例子：
（對(duì)應(yīng)文本提示：The cat lies in the room → The cat lies in the driving car → The cat plays in the flowers）
（對(duì)應(yīng)文本提示：The motorcyclist stays in the town → The motorcyclist is riding on the road under the sunset → The motorcyclist is riding on the moon）
對(duì)該方案的完整性能評(píng)測(cè)，以及更多的視頻生成例子，請(qǐng)參考論文和對(duì)應(yīng)的項(xiàng)目主頁(yè)。
04. 總結(jié)
- 本方案提出了VideoDrafter模型，一種以大語(yǔ)言模型為基礎(chǔ)的內(nèi)容一致多場(chǎng)景視頻生成技術(shù)。
- 利用大語(yǔ)言模型對(duì)文本信息的強(qiáng)理解性，對(duì)輸入的單個(gè)文本提示進(jìn)行多場(chǎng)景視頻事件的拓寫，保證不同視頻事件的邏輯相關(guān)性。
- 在對(duì)應(yīng)不同事件的不同場(chǎng)景視頻生成的過(guò)程中，利用前景和背景實(shí)體參考圖指導(dǎo)視頻的生成，保證了不同場(chǎng)景中視頻內(nèi)容主體在視覺外貌特征上的一致性。
- 本方案提及的多場(chǎng)景視頻生成方案，對(duì)大語(yǔ)言模型的利用和保持視頻內(nèi)容一致性的嘗試，希望對(duì)后續(xù)具有因果關(guān)系的視頻生成具有一定的啟發(fā)作用。
更多的技術(shù)細(xì)節(jié)，敬請(qǐng)參考論文原文。
關(guān)于TechBeat人工智能社區(qū)
▼
TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。
我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。
期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-793210.html
更多詳細(xì)介紹>>TechBeat，一個(gè)薈聚全球華人AI精英的學(xué)習(xí)成長(zhǎng)社區(qū)?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-793210.html
到了這里，關(guān)于短劇時(shí)代即將來(lái)臨？AI 自動(dòng)生成劇本和多場(chǎng)景長(zhǎng)視頻的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
