AIGC系列分享是整數(shù)智能推出的一個(gè)全新分享系列，在這個(gè)系列中，我們將介紹與AIGC概念相關(guān)的有趣內(nèi)容。AIGC系列主要分為以下幾篇文章：

• 被稱為下一代風(fēng)口的AIGC到底是什么？

• AIGC的數(shù)據(jù)集構(gòu)建方案分享系列

• 從文本創(chuàng)建藝術(shù)，AI圖像生成器的數(shù)據(jù)集是如何構(gòu)建的

• ChatGPT的數(shù)據(jù)集構(gòu)建方案（敬請(qǐng)期待）

• 未完待續(xù)......

---

最近，“AI繪畫”吸引了很多人的目光，而“AI繪畫”在近期取得如此巨大進(jìn)展的原因之一得益于Stable Diffusion的開源。

什么是文圖生成技術(shù)

文圖生成技術(shù)的研究開始于2010年中期，伴隨著深度學(xué)習(xí)技術(shù)的發(fā)展而進(jìn)步。截至2023年2月，目前已知的最先進(jìn)的文生圖模型有：OpenAI的DALL-E2、Google的ImageGen和StableilityAI的Stable Diffusion。這些模型生成的圖片已經(jīng)開始接近真實(shí)照片以及人類所繪藝術(shù)作品的質(zhì)量。

在深度學(xué)習(xí)興起之前，搭建文本到圖像模型的嘗試僅限于通過(guò)排列現(xiàn)有的組件圖像進(jìn)行拼貼，例如從剪切畫數(shù)據(jù)庫(kù)中選擇圖像形成類似于拼貼畫的圖像。隨著深度學(xué)習(xí)的發(fā)展，越來(lái)越多的機(jī)構(gòu)提出基于深度學(xué)習(xí)的文生圖模型。

2015年，由多倫多大學(xué)研究人員提出第一個(gè)現(xiàn)代化文生圖模型：alignDRAW。它使用帶有注意力機(jī)制的循環(huán)變分自動(dòng)編碼器來(lái)擴(kuò)展之前的DRAW架構(gòu)，使其能以文本序列作為輸入。盡管alignDRAW生成的圖片是模糊，不逼真的，但是該模型能夠歸納出訓(xùn)練數(shù)據(jù)中沒(méi)有的物體。并且可以適當(dāng)?shù)靥幚硇碌奈谋久枋?，例如：“停車?biāo)識(shí)在藍(lán)天上飛”。這表明該模型在一定程度上可以理解語(yǔ)言描述，并生成新的東西，而不是僅僅在“回放”訓(xùn)練集中的數(shù)據(jù)。

2016年，Reed、Akata、Yan等人首先試圖將生成對(duì)抗網(wǎng)絡(luò)（GAN）用于文生圖任務(wù)。他們通過(guò)在特定領(lǐng)域的數(shù)據(jù)集上訓(xùn)練生成器以及判別器。訓(xùn)練完成的模型能夠從文本描述中生成“視覺(jué)上可信的”物體。但是，基于GANs生成的圖片在視覺(jué)上只可“遠(yuǎn)觀”，在細(xì)節(jié)上缺乏一致性。此外，基于GANs生成的圖片多樣性不夠好，生成的圖片都差不多，原創(chuàng)性不佳。常見的基于GANs的文圖生成模型有：AttnGAN、DM-GAN、DF-GAN、XMC-GAN、VQGAN+CLIP、GauGANs、StyleGAN、Make-A-Scen等。

2021年1月，OpenAI發(fā)布了DALL-E，這是最早引起公眾廣泛關(guān)注的文生圖模型之一。DALL-E模型是GPT-3的多模態(tài)實(shí)現(xiàn)，它基于Transformer架構(gòu)，擁有120億個(gè)參數(shù)。該模型在一個(gè)從網(wǎng)上收集的包含2.5億個(gè)圖像文本對(duì)的數(shù)據(jù)集上進(jìn)行訓(xùn)練得到。DALL-E會(huì)根據(jù)文本描述生成多個(gè)圖像，之后由CLIP模型對(duì)這些圖像進(jìn)行排序，以呈現(xiàn)最高質(zhì)量的圖像。除了生成各種風(fēng)格的圖像（相機(jī)寫實(shí)主義圖像、繪畫、表情符號(hào)等）之外，它還可以“操作和重新排列”圖像中的對(duì)象。其創(chuàng)作者指出DALL-E的一項(xiàng)能力是在沒(méi)有明確指示的情況下將設(shè)計(jì)元素正確放置在新穎的作品中。例如，輸入文本：“穿著圣誕衣服的企鵝”。DALL-E不僅生成企鵝穿著毛衣的圖像，還會(huì)生成與主題相關(guān)的圣誕老人的帽子。如下所示：

同年4月份，OpenAI宣布了新版本的DALL-E2，宣稱它可以從文本描述中生成照片般逼真的圖像。與DALL-E相比，DALL-E2在速度、圖像質(zhì)量、訓(xùn)練數(shù)據(jù)集以及語(yǔ)言理解能力都有了顯著改進(jìn)。不過(guò)有時(shí)候模型也會(huì)出現(xiàn)錯(cuò)誤。比如DALL-E2就無(wú)法區(qū)分：“黃色的書和紅色的花瓶”。

2022年5月，Google推出Imagen。它是一種文本到圖像（text-to-image）擴(kuò)散模型（diffusion model），具有前所未有的逼真度和深度的語(yǔ)言理解。Imagen建立在大型Transformer語(yǔ)言模型理解文本語(yǔ)義的能力之上，依賴于擴(kuò)散模型生成高保真的圖像。Imagen表明了以下四點(diǎn)結(jié)論：

1. 凍結(jié)大型預(yù)訓(xùn)練模型的文本編碼器對(duì)于文本到圖像任務(wù)非常有效

2. 縮放預(yù)訓(xùn)練文本編碼器的大小比縮放擴(kuò)散模型的大小更重要

3. 提出一種新的閾值擴(kuò)散采樣器，可以使用非常大的無(wú)分類器指導(dǎo)權(quán)重

4. 引入了一種新的高效的U-Net架構(gòu)，其計(jì)算效率更高，內(nèi)存效率更高，收斂速度更快文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-508058.html