OpenAI官網(wǎng)原文鏈接：https://openai.com/research/video-generation-models-as-world-simulators#fn-20

?????我們探索視頻數(shù)據(jù)生成模型的大規(guī)模訓(xùn)練。具體來說，我們在可變持續(xù)時(shí)間、分辨率和寬高比的視頻和圖像上聯(lián)合訓(xùn)練文本條件擴(kuò)散模型。我們利用對視頻和圖像潛在代碼的時(shí)空Patches進(jìn)行操作的Transformer架構(gòu)。我們最大的模型Sora能夠生成一分鐘的高保真視頻。我們的結(jié)果表明，擴(kuò)展視頻生成模型是構(gòu)建物理世界通用模擬器的一條有前途的途徑。

?????本技術(shù)報(bào)告重點(diǎn)關(guān)注（1）我們將所有類型的視覺數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一表示的方法，從而能夠大規(guī)模訓(xùn)練生成模型，以及（2）對 Sora 的能力和局限性進(jìn)行定性評估。本報(bào)告不包含模型和實(shí)施細(xì)節(jié)。

?????許多先前的工作已經(jīng)研究了使用各種方法對視頻數(shù)據(jù)進(jìn)行生成建模，包括循環(huán)網(wǎng)絡(luò)^{[1 ,2 ,3]}、生成對抗網(wǎng)絡(luò)^{[4 ,5 ,6 ,7]}，自回歸變壓器^{[8 ,9]}，和擴(kuò)散模型^{[10 ,11,12]}。這些作品通常關(guān)注一小類視覺數(shù)據(jù)、較短的視頻或固定大小的視頻。Sora是視覺數(shù)據(jù)的通用模型，它可以生成不同時(shí)長、長寬比和分辨率的視頻和圖像，最多可達(dá)一分鐘的高清視頻。

1. 將視覺數(shù)據(jù)轉(zhuǎn)化為Patches

?????我們從大型語言模型中獲得靈感，這些模型通過互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)的訓(xùn)練來獲得通用能力。LLM范式^[13、14]的成功部分歸功于tokens的使用， 這些tokens優(yōu)雅地統(tǒng)一了文本代碼、數(shù)學(xué)和各種自然語言的不同模式。在這項(xiàng)工作中，我們考慮視覺數(shù)據(jù)的生成模型如何繼承這些好處。LLM 有文本標(biāo)記，而 Sora 有視覺Patches。此前，Patches已被證明是視覺數(shù)據(jù)模型的有效表示。我們發(fā)現(xiàn)Patches是一種高度可擴(kuò)展且有效的表示形式^{[15 ,16 ,17、18]}，可用于在不同類型的視頻和圖像上訓(xùn)練生成模型。

?????在較高的層次上，我們首先將視頻壓縮到較低維的隱空間^[19]，然后將表示分解為時(shí)空Patches,將視頻轉(zhuǎn)換為Patches

2. 視頻壓縮網(wǎng)絡(luò)

?????我們訓(xùn)練一個(gè)降低視覺數(shù)據(jù)維度的網(wǎng)絡(luò)。該網(wǎng)絡(luò)^[20]將原始視頻作為輸入并輸出在時(shí)間和空間上壓縮的潛在表示。Sora 在這個(gè)壓縮的潛在空間中接受訓(xùn)練并隨后生成視頻。我們還訓(xùn)練了相應(yīng)的解碼器模型，將生成的潛伏映射回像素空間。

3. 隱空間時(shí)空Patches

?????給定一個(gè)壓縮的輸入視頻，我們提取一系列時(shí)空補(bǔ)丁，充當(dāng)變壓器令牌。該方案也適用于圖像，因?yàn)閳D像只是具有單幀的視頻。我們基于補(bǔ)丁的表示使 Sora 能夠?qū)Σ煌直媛?、持續(xù)時(shí)間和長寬比的視頻和圖像進(jìn)行訓(xùn)練。在推理時(shí)，我們可以通過在適當(dāng)大小的網(wǎng)格中排列隨機(jī)初始化的補(bǔ)丁來控制生成視頻的大小。

4. 用于視頻生成的Transformers拓展

?????Sora是一個(gè)擴(kuò)散模型^{[21、22、23、24、25]}; 給定輸入噪聲補(bǔ)?。ㄒ约拔谋咎崾镜日{(diào)節(jié)信息），它被訓(xùn)練來預(yù)測原始的“干凈”補(bǔ)丁。重要的是，Sora 是一個(gè)擴(kuò)散變壓器。Transformer ^[26]在各個(gè)領(lǐng)域都表現(xiàn)出了卓越的擴(kuò)展特性，包括語言建模^{[15 ,16 ,17、18]}、計(jì)算機(jī)視覺^{[15 ,16 ,17、18]}，和圖像生成^{[27、28 ,29]}。

?????在這項(xiàng)工作中，我們發(fā)現(xiàn)擴(kuò)散變壓器也可以有效地縮放為視頻模型。下面，我們展示了訓(xùn)練過程中具有固定種子和輸入的視頻樣本的比較。隨著訓(xùn)練計(jì)算的增加，樣本質(zhì)量顯著提高。

5.可變的持續(xù)時(shí)間、分辨率、寬高比

?????過去的圖像和視頻生成方法通常會(huì)將視頻調(diào)整大小、裁剪或修剪為標(biāo)準(zhǔn)尺寸，例如，分辨率為 256x256 的 4 秒視頻。我們發(fā)現(xiàn)，對原始大小的數(shù)據(jù)進(jìn)行訓(xùn)練有幾個(gè)好處。

采樣靈活性

?????Sora 可以采樣寬屏1920x1080視頻、垂直1080x1920 頻以及介于兩者之間的所有視頻。這使得 Sora 可以直接以其原生寬高比為不同設(shè)備創(chuàng)建內(nèi)容。它還使我們能夠在以全分辨率生成之前快速以較低尺寸制作原型內(nèi)容 - 所有這些都使用相同的模型。

改進(jìn)的框架和構(gòu)圖

?????我們根據(jù)經(jīng)驗(yàn)發(fā)現(xiàn)，以原始長寬比對視頻進(jìn)行訓(xùn)練可以改善構(gòu)圖和取景。我們將 Sora 與將所有訓(xùn)練視頻裁剪為正方形的模型版本進(jìn)行比較，這是訓(xùn)練生成模型時(shí)的常見做法。在方形作物（左）上訓(xùn)練的模型有時(shí)會(huì)生成僅部分可見主體的視頻。相比之下，Sora（右）的視頻的取景效果有所改善。

語言理解

?????訓(xùn)練文本到視頻生成系統(tǒng)需要大量帶有相應(yīng)文本字幕的視頻。我們應(yīng)用了 DALL·E 3 中引入的重新字幕技術(shù)30到視頻。我們首先訓(xùn)練一個(gè)高度描述性的字幕生成器模型，然后使用它為訓(xùn)練集中的所有視頻生成文本字幕。我們發(fā)現(xiàn)，對高度描述性視頻字幕進(jìn)行訓(xùn)練可以提高文本保真度以及視頻的整體質(zhì)量。

?????與 DALL·E 3 類似，我們還利用 GPT 將簡短的用戶提示轉(zhuǎn)換為較長的詳細(xì)字幕，然后發(fā)送到視頻模型。這使得 Sora 能夠生成準(zhǔn)確遵循用戶提示的高質(zhì)量視頻。

6. 通過圖像和視頻進(jìn)行提示

?????上面和我們的著陸頁中的所有結(jié)果都顯示文本到視頻的示例。但 Sora 也可以通過其他輸入進(jìn)行提示，例如預(yù)先存在的圖像或視頻。此功能使 Sora 能夠執(zhí)行各種圖像和視頻編輯任務(wù) - 創(chuàng)建完美的循環(huán)視頻、動(dòng)畫靜態(tài)圖像、及時(shí)向前或向后擴(kuò)展視頻等。

DALL·E 圖像動(dòng)畫

?????Sora 能夠生成提供圖像和提示作為輸入的視頻。下面我們展示基于DALL·E 2生成的示例視頻2³¹和達(dá)爾·E 3³⁰圖片。

擴(kuò)展生成的視頻

?????Sora 還能夠在時(shí)間上向前或向后擴(kuò)展視頻。下面是四個(gè)視頻，它們都是從生成的視頻片段開始向后延伸的。因此，這四個(gè)視頻的開頭都不同，但所有四個(gè)視頻的結(jié)局都是相同的。

?????我們可以使用此方法向前和向后擴(kuò)展視頻以產(chǎn)生無縫的無限循環(huán)。

視頻到視頻編輯

?????擴(kuò)散模型啟用了多種根據(jù)文本提示編輯圖像和視頻的方法。下面我們應(yīng)用其中一種方法，SDEdit，32到索拉。這項(xiàng)技術(shù)使 Sora 能夠零鏡頭地改變輸入視頻的風(fēng)格和環(huán)境。

連接視頻

?????我們還可以使用 Sora 在兩個(gè)輸入視頻之間逐漸進(jìn)行插值，從而在具有完全不同主題和場景構(gòu)成的視頻之間創(chuàng)建無縫過渡。在下面的示例中，中心的視頻插值在左側(cè)和右側(cè)的相應(yīng)視頻之間。

7. 圖像生成能力

?????Sora 還能夠生成圖像。我們通過在時(shí)間范圍為一幀的空間網(wǎng)格中排列高斯噪聲塊來實(shí)現(xiàn)這一點(diǎn)。該模型可以生成各種尺寸的圖像，分辨率高達(dá) 2048x2048。

新興的模擬功能

?????我們發(fā)現(xiàn)，視頻模型在大規(guī)模訓(xùn)練時(shí)表現(xiàn)出許多有趣的新興功能。這些功能使 Sora 能夠模擬現(xiàn)實(shí)世界中人、動(dòng)物和環(huán)境的某些方面。這些屬性的出現(xiàn)對 3D、物體等沒有任何明確的歸納偏差——它們純粹是尺度現(xiàn)象。

3D 一致性

?????Sora 可以生成帶有動(dòng)態(tài)攝像機(jī)運(yùn)動(dòng)的視頻。隨著攝像機(jī)的移動(dòng)和旋轉(zhuǎn)，人和場景元素在三維空間中一致移動(dòng)。

遠(yuǎn)程相干性和物體持久性

?????視頻生成系統(tǒng)面臨的一個(gè)重大挑戰(zhàn)是在采樣長視頻時(shí)保持時(shí)間一致性。我們發(fā)現(xiàn) Sora 通常（盡管并非總是）能夠有效地對短期和長期依賴關(guān)系進(jìn)行建模。例如，我們的模型可以保留人、動(dòng)物和物體，即使它們被遮擋或離開框架。同樣，它可以在單個(gè)樣本中生成同一角色的多個(gè)鏡頭，并在整個(gè)視頻中保持其外觀。

與世界互動(dòng)

?????索拉有時(shí)可以用簡單的方式模擬影響世界狀況的動(dòng)作。例如，畫家可以在畫布上留下新的筆觸，并隨著時(shí)間的推移而持續(xù)存在，或者一個(gè)人可以吃漢堡并留下咬痕。

模擬數(shù)字世界

?????Sora 還能夠模擬人工過程——一個(gè)例子是視頻游戲。Sora 可以同時(shí)通過基本策略控制《我的世界》中的玩家，同時(shí)以高保真度渲染世界及其動(dòng)態(tài)。這些能力可以通過用提及“我的世界”的標(biāo)題提示 Sora 來零射擊。

?????這些功能表明，視頻模型的持續(xù)擴(kuò)展是開發(fā)物理和數(shù)字世界以及生活在其中的物體、動(dòng)物和人的高性能模擬器的一條有前途的道路。

8. 討論

?????Sora 目前作為模擬器表現(xiàn)出許多局限性。例如，它不能準(zhǔn)確地模擬許多基本相互作用的物理過程，例如玻璃破碎。其他交互（例如吃食物）并不總是會(huì)產(chǎn)生對象狀態(tài)的正確變化。我們在登陸頁面中列舉了模型的其他常見故障模式，例如長時(shí)間樣本中出現(xiàn)的不連貫性或?qū)ο蟮淖园l(fā)出現(xiàn)。

?????我們相信，Sora 今天所擁有的能力表明，視頻模型的持續(xù)擴(kuò)展是開發(fā)物理和數(shù)字世界以及生活在其中的物體、動(dòng)物和人的強(qiáng)大模擬器的一條有前途的道路。

參考文獻(xiàn)

[1]Srivastava, Nitish, Elman Mansimov, and Ruslan Salakhudinov. “Unsupervised learning of video representations using lstms.” International conference on machine learning. PMLR, 2015.??
[2] Chiappa, Silvia, et al. “Recurrent environment simulators.” arXiv preprint arXiv:1704.02254 (2017).??
[3] Ha, David, and Jürgen Schmidhuber. “World models.” arXiv preprint arXiv:1803.10122 (2018).??
[4] Vondrick, Carl, Hamed Pirsiavash, and Antonio Torralba. “Generating videos with scene dynamics.” Advances in neural information processing systems 29 (2016).??
[5] Tulyakov, Sergey, et al. “Mocogan: Decomposing motion and content for video generation.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.??
[6] Clark, Aidan, Jeff Donahue, and Karen Simonyan. “Adversarial video generation on complex datasets.” arXiv preprint arXiv:1907.06571 (2019).??
[7] Brooks, Tim, et al. “Generating long videos of dynamic scenes.” Advances in Neural Information Processing Systems 35 (2022): 31769-31781.??
[8] Yan, Wilson, et al. “Videogpt: Video generation using vq-vae and transformers.” arXiv preprint arXiv:2104.10157 (2021).??
[9] Wu, Chenfei, et al. “Nüwa: Visual synthesis pre-training for neural visual world creation.” European conference on computer vision. Cham: Springer Nature Switzerland, 2022.??
[10] Ho, Jonathan, et al. “Imagen video: High definition video generation with diffusion models.” arXiv preprint arXiv:2210.02303 (2022).??
[11] Blattmann, Andreas, et al. “Align your latents: High-resolution video synthesis with latent diffusion models.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.??
[12] Gupta, Agrim, et al. “Photorealistic video generation with diffusion models.” arXiv preprint arXiv:2312.06662 (2023).??
[13] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems 30 (2017).????
[14] Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901.????
[15] Dosovitskiy, Alexey, et al. “An image is worth 16x16 words: Transformers for image recognition at scale.” arXiv preprint arXiv:2010.11929 (2020).????
[16] Arnab, Anurag, et al. “Vivit: A video vision transformer.” Proceedings of the IEEE/CVF international conference on computer vision. 2021.????
[17] He, Kaiming, et al. “Masked autoencoders are scalable vision learners.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.????
[18] Dehghani, Mostafa, et al. “Patch n’Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution.” arXiv preprint arXiv:2307.06304 (2023).????
[19] Rombach, Robin, et al. “High-resolution image synthesis with latent diffusion models.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.??
[20] Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).??
[21] Sohl-Dickstein, Jascha, et al. “Deep unsupervised learning using nonequilibrium thermodynamics.” International conference on machine learning. PMLR, 2015.??
[22] Ho, Jonathan, Ajay Jain, and Pieter Abbeel. “Denoising diffusion probabilistic models.” Advances in neural information processing systems 33 (2020): 6840-6851.??
[23] Nichol, Alexander Quinn, and Prafulla Dhariwal. “Improved denoising diffusion probabilistic models.” International Conference on Machine Learning. PMLR, 2021.??
[24] Dhariwal, Prafulla, and Alexander Quinn Nichol. “Diffusion Models Beat GANs on Image Synthesis.” Advances in Neural Information Processing Systems. 2021.??
[25] Karras, Tero, et al. “Elucidating the design space of diffusion-based generative models.” Advances in Neural Information Processing Systems 35 (2022): 26565-26577.??
[26] Peebles, William, and Saining Xie. “Scalable diffusion models with transformers.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.??
[27] Chen, Mark, et al. “Generative pretraining from pixels.” International conference on machine learning. PMLR, 2020.??
[28] Ramesh, Aditya, et al. “Zero-shot text-to-image generation.” International Conference on Machine Learning. PMLR, 2021.??
[29] Yu, Jiahui, et al. “Scaling autoregressive models for content-rich text-to-image generation.” arXiv preprint arXiv:2206.10789 2.3 (2022): 5.??
[30] Betker, James, et al. “Improving image generation with better captions.” Computer Science. https://cdn.openai.com/papers/dall-e-3. pdf 2.3 (2023): 8????
[31] Ramesh, Aditya, et al. “Hierarchical text-conditional image generation with clip latents.” arXiv preprint arXiv:2204.06125 1.2 (2022): 3.??
[32] Meng, Chenlin, et al. “Sdedit: Guided image synthesis and editing with stochastic differential equations.” arXiv preprint arXiv:2108.01073 (2021).??文章來源地址http://www.zghlxwxcb.cn/news/detail-827900.html

到了這里，關(guān)于OpenAI全新發(fā)布文生視頻模型：Sora！的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！