手把手教你入門(mén)繪圖超強(qiáng)的AI繪畫(huà)，用戶只需要輸入一段圖片的文字描述，即可生成精美的繪畫(huà)。給大家?guī)?lái)了全新保姆級(jí)教程資料包 （文末可獲取）

文章目錄

• 1 卓越能力
• • 1.1 60s超長(zhǎng)時(shí)間 高度詳細(xì)復(fù)雜的場(chǎng)景
  • 1.2 復(fù)雜的相機(jī)運(yùn)動(dòng)
  • 1.3 同一場(chǎng)景多個(gè)鏡頭
• 2 技術(shù)原理
• 3 不足
• 4 安全戰(zhàn)略
• 5 碎碎念

OpenAI發(fā)布文生視頻模型Sora——視頻模型的奇點(diǎn)或許來(lái)臨??！

初七啦，得開(kāi)始工作了，沒(méi)想到第一天就這么勁爆！

今天OpenAI迎來(lái)重大更新——發(fā)布視頻模型Sora??！

官網(wǎng)Sora (openai.com)

說(shuō)實(shí)話有點(diǎn)驚艷，在AI圈子里好多頭部?jī)?nèi)容創(chuàng)作者看到都禁不住國(guó)粹了！

除了能夠僅根據(jù)文本說(shuō)明生成視頻外（文生視頻）

該模型還能夠獲取現(xiàn)有的靜止圖像并從中生成視頻，從而準(zhǔn)確無(wú)誤地對(duì)圖像內(nèi)容進(jìn)行動(dòng)畫(huà)處理，并注重小細(xì)節(jié)（圖生視頻）

該模型還可以拍攝現(xiàn)有視頻并對(duì)其進(jìn)行擴(kuò)展或填充缺失的幀（幀填充）

目前更新只放出來(lái)了文生視頻模式，并且只開(kāi)放了一部分的內(nèi)測(cè)，但已經(jīng)激起了巨大的浪潮

1 卓越能力

1.1 60s超長(zhǎng)時(shí)間 高度詳細(xì)復(fù)雜的場(chǎng)景

Sora 能夠生成具有多個(gè)角色、特定類型的運(yùn)動(dòng)以及主題和背景的準(zhǔn)確細(xì)節(jié)的復(fù)雜場(chǎng)景。該模型不僅了解用戶在提示中要求的內(nèi)容，還了解這些內(nèi)容在物理世界中的存在方式

不僅細(xì)節(jié)感拉滿，而且可以達(dá)到60s?。?！

如下所示提示詞：

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

提示詞：一位時(shí)尚的女人走在東京的街道上，街道上到處都是溫暖的發(fā)光霓虹燈和動(dòng)畫(huà)城市標(biāo)志。她身穿黑色皮夾克，紅色長(zhǎng)裙，黑色靴子，背著一個(gè)黑色錢包。她戴著墨鏡，涂著紅色口紅。她自信而隨意地走路。街道潮濕而反光，營(yíng)造出五顏六色的燈光的鏡面效果。許多行人四處走動(dòng)。

可以生成如下的視頻

tokyo-walk

點(diǎn)擊鏈接查看視頻
cdn.openai.com/sora/videos/tokyo-walk.mp4

1.2 復(fù)雜的相機(jī)運(yùn)動(dòng)

之前如果有關(guān)注過(guò)AI視頻的朋友應(yīng)該了解，之前的AI視頻的相機(jī)即便是固定的，一動(dòng)不動(dòng)的，給人一種很呆板不真實(shí)的感覺(jué)，但Sora竟然可以實(shí)現(xiàn)很復(fù)雜的相機(jī)運(yùn)鏡，完全和真實(shí)拍攝無(wú)法區(qū)分

如下提示詞

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.

提示：無(wú)人機(jī)視角，海浪拍打著大蘇爾加雷角海灘崎嶇的懸崖。洶涌澎湃的藍(lán)色海水掀起白色的波浪，而夕陽(yáng)的金色光芒照亮了巖石海岸。遠(yuǎn)處有一個(gè)帶燈塔的小島，綠色的灌木叢覆蓋著懸崖的邊緣。從公路到海灘的陡峭落差是一項(xiàng)戲劇性的壯舉，懸崖的邊緣突出在海面上。這捕捉到了海岸的原始美景和太平洋海岸公路崎嶇的景觀。

可以生成如下的視頻

big-sur

點(diǎn)擊鏈接查看視頻
https://cdn.openai.com/sora/videos/big-sur.mp4

1.3 同一場(chǎng)景多個(gè)鏡頭

該模型對(duì)語(yǔ)言有深刻的理解，使其能夠準(zhǔn)確地解釋提示并生成表達(dá)生動(dòng)情感的引人注目的角色。Sora 還可以在單個(gè)生成的視頻中創(chuàng)建多個(gè)鏡頭，以準(zhǔn)確保留角色和視覺(jué)風(fēng)格。

如下提示詞

Prompt：A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.

電影預(yù)告片，講述了30歲的太空人戴著紅色羊毛針織摩托車頭盔的冒險(xiǎn)經(jīng)歷，藍(lán)天，鹽沙漠，電影風(fēng)格，用35毫米膠片拍攝，色彩鮮艷。

可以生成如下視頻

mitten-astronaut

點(diǎn)擊鏈接查看視頻
https://cdn.openai.com/sora/videos/mitten-astronaut.mp4

2 技術(shù)原理

Sora是擴(kuò)散模型，生成一個(gè)視頻通過(guò)一個(gè)靜止的噪聲開(kāi)始，然后逐步移除噪聲，同時(shí)核心架構(gòu)還是用的Transformer，建立在DALLE3和GPT上

通過(guò)讓模型一次看到許多幀，他們解決了一個(gè)具有挑戰(zhàn)性的問(wèn)題，即確保一個(gè)主題即使暫時(shí)離開(kāi)視野也能保持不變。

他們將視頻和圖像表示為稱為patch的較小數(shù)據(jù)單元的集合，每個(gè)patch都類似于 GPT 中的一個(gè)token。通過(guò)統(tǒng)一表示數(shù)據(jù)的方式，可以在比以前更廣泛的視覺(jué)數(shù)據(jù)上訓(xùn)練擴(kuò)散變壓器，跨越不同的持續(xù)時(shí)間、分辨率和縱橫比。

3 不足

Sora官方也謙虛的指出了自己的模型存在的不足

1. 可能難以準(zhǔn)確模擬復(fù)雜場(chǎng)景的物理特性，并且可能無(wú)法理解因果關(guān)系的具體實(shí)例。例如，一個(gè)人可能會(huì)咬一口餅干，但之后，餅干可能沒(méi)有咬痕。
2. 還會(huì)混淆提示的空間細(xì)節(jié)，例如，左右混淆，并且可能難以精確描述隨時(shí)間推移發(fā)生的事件，例如遵循特定的攝像機(jī)軌跡。

4 安全戰(zhàn)略

針對(duì)安全方面

Sora和Red teamers（一家專注于提高IT安全的公司）合作，建造工具來(lái)區(qū)別一個(gè)視頻是否是AI生成的，也會(huì)努力避免政治類，暴力類的視頻生成

并且呼吁社會(huì)各界積極反饋，避免視頻模型的濫用

5 碎碎念

在Sora官網(wǎng)最后，Sora官方說(shuō)到

Sora serves as a foundation for models that can understand and simulate the real world, a capability we believe will be an important milestone for achieving AGI.

Sora是能夠理解和模擬現(xiàn)實(shí)世界的模型的基礎(chǔ)，我們相信這一能力將是實(shí)現(xiàn)AGI的重要里程碑。

在一些AI圈子里，看到人一些人們的熱烈討論

一些人說(shuō)“有生第一次覺(jué)得，AI能不能技術(shù)發(fā)展不要那么快……”

AI頭部大號(hào)卡茲克也第一時(shí)間發(fā)了文章，說(shuō)到“現(xiàn)實(shí)，不存在了”

每一次的技術(shù)的重大更新，總是驚喜，恐懼并存

但

與其恐懼

不妨告訴自己

事情變得越來(lái)有趣了！

AI繪畫(huà)所有方向的學(xué)習(xí)路線思維導(dǎo)圖

這里為大家提供了總的路線圖。它的用處就在于，你可以按照上面的知識(shí)點(diǎn)去找對(duì)應(yīng)的學(xué)習(xí)資源，保證自己學(xué)得較為全面。如果下面這個(gè)學(xué)習(xí)路線能幫助大家將AI利用到自身工作上去，那么我的使命也就完成了：

??stable diffusion新手0基礎(chǔ)入門(mén)PDF??

??AI繪畫(huà)必備工具??

溫馨提示：篇幅有限，已打包文件夾，獲取方式在：文末

??AI繪畫(huà)基礎(chǔ)+速成+進(jìn)階使用教程??

觀看零基礎(chǔ)學(xué)習(xí)視頻，看視頻學(xué)習(xí)是最快捷也是最有效果的方式，跟著視頻中老師的思路，從基礎(chǔ)到深入，還是很容易入門(mén)的。

??12000+AI關(guān)鍵詞大合集??

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-834370.html

這份完整版的AI繪畫(huà)資料我已經(jīng)打包好，戳下方藍(lán)色字體，即可免費(fèi)領(lǐng)?。SDN大禮包：《全套AI繪畫(huà)基礎(chǔ)學(xué)習(xí)資源包》免費(fèi)分享

到了這里，關(guān)于來(lái)自O(shè)penAI的降維打擊! OpenAI發(fā)布文生視頻模型Sora——視頻模型的奇點(diǎn)或許來(lái)臨??！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！