通過(guò) DALLE2 和 Stable Diffusion 等模型的改進(jìn)方案可以看到，語(yǔ)言模型特征提取在圖片生成過(guò)程中至關(guān)重要。包括 Google 的 Imagen 以及 Nvidia 等 ediff 等方案，都嘗試在引入了更多更強(qiáng)大的語(yǔ)言模型作為文本特征提取器，并且取得效果上的顯著提升；

對(duì)訓(xùn)練數(shù)據(jù)要求較低的技術(shù)框架：

高質(zhì)量 text-image 成對(duì)的數(shù)據(jù)要求文本能夠很好地描述圖片，同時(shí)圖片也有足夠高的質(zhì)量，其收集的難度遠(yuǎn)大于收集單獨(dú)的高質(zhì)量圖片（或文本）。所以要求將文生圖任務(wù)盡量解耦，降低對(duì)數(shù)據(jù)收集的要求，讓訓(xùn)練更容易收斂；

更輕量低成本的訓(xùn)練部署：

Stable Diffusion 模型能夠迅速破圈的原因在于其相對(duì)輕量的技術(shù)方案，通過(guò)減少超分等更大計(jì)算量的步驟，大大減少了訓(xùn)練及部署的成本，這一點(diǎn)在當(dāng)前降本增效的大環(huán)境下顯得更加重要；

基于以上分析，我們提出了如下的技術(shù)架構(gòu)。核心主要包含 prior 模型和 decoder 模型兩部分。在幾乎不引入額外計(jì)算量的情況下，可以大幅超越 Stable Diffusion 開(kāi)源模型，達(dá)到 DALLE2 等第一梯隊(duì) text2image 模型的水平。

???2.2 Prior模型

經(jīng)過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)，直接通過(guò) CLIP text embedding 輸入 Stable Diffusion 的方案在圖文一致性上存在明顯的缺陷。因此我們參考了 DALLE2 的模型設(shè)計(jì)思路，將 text embedding -> image 一步的思路，拆分成 text embedding -> image embedding -> image 兩階段，增加了 prior 模型作為從 text 特征域到 image 特征域的映射，這樣可以顯著降低訓(xùn)練難度以及提升生成效果。同時(shí)為了增強(qiáng)文本特征的提取能力，我們還融合了 T5 類語(yǔ)言模型作為特征提取模型，實(shí)現(xiàn)更強(qiáng)的語(yǔ)意理解能力。

???2.3 Decoder模型

Decoder 模型的輸入是 CLIP image embeddings，輸出圖片。在實(shí)現(xiàn)上，我們復(fù)用了 Stable Diffusion 的 pipeline，將 Stable Diffusion 的 condition 從CLIP text embedding 替換成 CLIP image embeddings。

在訓(xùn)練 Decoder 模型的過(guò)程中，不需要文本數(shù)據(jù)的參與，只需要收集高質(zhì)量圖片數(shù)據(jù)即可。對(duì)應(yīng)地，訓(xùn)練 Prior 模型時(shí)，更關(guān)注訓(xùn)練數(shù)據(jù)中圖文數(shù)據(jù)的語(yǔ)義匹配程度，對(duì)圖文 pair 中圖片的質(zhì)量要求不高。這樣，訓(xùn)練高質(zhì)量文生圖模型的數(shù)據(jù)收集要求被拆解、降低。

???2.4 訓(xùn)練加速方案

如何用有限的資源和成本，快速高效的訓(xùn)練 text2image 大模型？這是一項(xiàng)非常有挑戰(zhàn)的任務(wù)。加速訓(xùn)練的核心在于消除整個(gè)訓(xùn)練 pipeline 中的性能短板，提高計(jì)算密度和計(jì)算效率。因此我們主要從如下幾個(gè)方面入手進(jìn)行了加速改進(jìn)。

• 提高數(shù)據(jù)效率：

Text2image 訓(xùn)練依賴海量的數(shù)據(jù)，不同于傳統(tǒng)CV任務(wù)，數(shù)據(jù)量的增加了幾個(gè)量級(jí)，需要設(shè)計(jì)面向大數(shù)據(jù)的高效 dataloader，解決數(shù)據(jù)讀取方面的短板。這里我們選取了 tar 包形式的數(shù)據(jù)組織方式，將數(shù)據(jù)分層存儲(chǔ)，將 百M(fèi) 條數(shù)據(jù)分 每10K 數(shù)據(jù)打包成一個(gè) tar 包，這樣就降低了數(shù)據(jù)讀取的難度，數(shù)據(jù)的 shuffle 等操作僅在 tar 包這一層級(jí)進(jìn)行。

• 提高計(jì)算密度/效率：

提高訓(xùn)練速度最有效的方式就是盡量提高計(jì)算密度，即在一張 GPU 上部署更大的 batchsize 。我們使用了 FP16 半精度訓(xùn)練、activation checkpoint，以及 ZeRO（零冗余優(yōu)化器） flash attention算子優(yōu)化等方法顯著的減少了顯存占用，單卡 batchsize 增加了8倍，訓(xùn)練速度提升到了4倍。

• 減少通信開(kāi)銷：

在部署分布式多機(jī)訓(xùn)練時(shí)，由于模型參數(shù)量較大，多機(jī)間的通信耗時(shí)往往是模型訓(xùn)練的瓶頸。我們采用 GPU RDMA 網(wǎng)絡(luò)直連通信，能夠保證基礎(chǔ)的網(wǎng)絡(luò)通信性能。我們使用梯度累加，以及優(yōu)化器方面的優(yōu)化工作，來(lái)減少通信量，節(jié)約通信的成本。經(jīng)過(guò)上述優(yōu)化，我們可以在64卡集群上就可以很快的進(jìn)行超過(guò) 2B 參數(shù)量模型的訓(xùn)練。

03、結(jié)果展示

???3.1 Text2Image

我們?cè)?COCO-30k 上評(píng)測(cè)了 FID 和 CLIP-score 指標(biāo)的表現(xiàn)，結(jié)果達(dá)到同等級(jí)SOTA 水平。

以下為一些自研模型的生成效果，可以作為通用大模型已經(jīng)可以生成非常高質(zhì)量的不同物體、風(fēng)格、及抽象概念的圖像。

以下是一些模型生成效果示例，在語(yǔ)義貼合度、美觀度方面遠(yuǎn)超 StableDiffusion 模型：

???3.2 Image Variation

Decoder 模型可以根據(jù)圖片的 CLIP embedding 來(lái)重建圖片。下面是用我們訓(xùn)練的 Decoder 模型重建各種圖片的示例：

可以看到，無(wú)論是藝術(shù)畫，還是肢體復(fù)雜的自然圖片，包括由其它（Parti 和 DALLE2）生成的復(fù)雜圖片，我們的 Decoder 的模型都能重建還原其神韻，在語(yǔ)義層次很接近。證明我們訓(xùn)練的 Decoder 模型有較強(qiáng)的還原 Clip image embedding 能力，只要 Prior 模型能生成符合 prompt 描述的 Clip image embedding ，組合兩者就可以得到一個(gè)強(qiáng)大的文生圖模型。

???3.3 融合原圖語(yǔ)義信息的 img2img

Stable Diffusion 除了可以用來(lái)實(shí)現(xiàn)文生圖生成，也可以通過(guò)用加噪的圖片取代一部分 Diffusion 過(guò)程，實(shí)現(xiàn) img2img。用于加噪的圖片也常被稱為墊圖。但是基于 Stable Diffusion 實(shí)現(xiàn)的的 img2img 只利用了輸入圖片的加噪結(jié)果，常常面臨保留原圖更多信息和保留 prompt 對(duì)應(yīng)效果之間的權(quán)衡。而 QQGC-AI 畫畫模型由于將生成步驟拆分成了兩個(gè)階段，可以在 Decoder 生成圖片過(guò)程中，利用墊圖的加噪結(jié)果，融合墊圖的語(yǔ)義特征和 prompt 對(duì)應(yīng)的特征，實(shí)現(xiàn)融合原圖語(yǔ)義信息的 img2img。

比如使用如下 prompt：

調(diào)用 QQGC-AI 畫畫模型完成文生圖任務(wù)：

類似于 Stable Diffsuion 實(shí)現(xiàn)的 img2img，QQGC-AI 畫畫模型也可以給定一個(gè)墊圖，在由 Prior 生成的 condition 向量控制下實(shí)現(xiàn)基礎(chǔ)的 img2img：

可以注意到，由于這種基礎(chǔ)的 img2img 完全不考慮原圖的語(yǔ)義信息，只是用了原圖的結(jié)構(gòu)（色塊），導(dǎo)致生成圖只保留了一些比如右邊女性的頭發(fā)區(qū)域是黑色這樣的信息，但完全忽略了這部分區(qū)域是頭發(fā)的語(yǔ)義信息，生成圖對(duì)應(yīng)區(qū)域成了黑色的袖子。

為了融合原圖的語(yǔ)言信息，可以將 prompt 對(duì)應(yīng)的 image embedding 和原圖的 embedding 混合，然后由 Decoder 將混合 image embedding 轉(zhuǎn)化為圖片。借此，實(shí)現(xiàn)了融合了原圖語(yǔ)義信息的 img2img：

???3.4 CLIP 向量編輯

由于二階段模型提供了兩個(gè)域很好的解耦性，我們可以直接在 CLIP Embedding 域做向量編輯來(lái)達(dá)到對(duì)圖片的精細(xì)修改的效果，如下圖展示了通過(guò)對(duì)向量做編輯，實(shí)現(xiàn)精準(zhǔn)的水印文字去除甚至增加水印的能力：

同時(shí)，為了讓模型生成內(nèi)容更加健康正能量、主體更美觀，在輸入 text 包含血腥、色情等描述時(shí)，也可以在 diffusion 過(guò)程中對(duì) CLIP embbeding 做控制，達(dá)到生成內(nèi)容更加真善美的目的。

04、總結(jié)展望

通過(guò)以上結(jié)果可以看到，QQ 影像中心自主研發(fā)的 QQGC 兩階段生成大模型具備：更好的文本圖像域解耦、更精準(zhǔn)的生成語(yǔ)意匹配度、更低模型訓(xùn)練部署成本、支持更為復(fù)雜豐富的編輯控制操作等特性。

QQGC 基礎(chǔ)大模型作為 AIGC 技術(shù)落地中的 Foundation 模型將會(huì)發(fā)揮重要作用，QQ 影像中心也以 QQGC 大模型為基礎(chǔ)，上線了小世界“魔法畫室”功能。后臺(tái)回復(fù)「QQ」，體驗(yàn)AI繪畫。

可以根據(jù)用戶的自由輸入直接生成高質(zhì)量的生成結(jié)果：

同時(shí)，在業(yè)界很關(guān)注的在不同風(fēng)格、場(chǎng)景的生成圖片中保留身份特征、更強(qiáng)的生成控制能力上，我們也在持續(xù)探索，會(huì)在未來(lái)的活動(dòng)中上線，歡迎大家在評(píng)論區(qū)中反饋討論交流~

歡迎在評(píng)論區(qū)聊一聊對(duì)AI繪畫的看法。AI繪畫的出現(xiàn)會(huì)替代某些崗位嗎？AI繪畫能有哪些應(yīng)用場(chǎng)景？我們將選取1則最有創(chuàng)意的評(píng)論，送出騰訊云開(kāi)發(fā)者-鼠標(biāo)墊1個(gè)（見(jiàn)下圖）。6月1日中午12點(diǎn)開(kāi)獎(jiǎng)。

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-492463.html