Midjourney雖然出圖精美，使用方便，但是出圖的靈活性方面是一大硬傷，Stable Diffusion 作為Midjourney的開源替代品，由于其豐富的插件，靈活可控，受到社區(qū)的熱捧，一直被寄予厚望，這次Stable Diffusion發(fā)布了 XL 1.0版本，讓它又大火了一把。下面我們一起來認識下它。

Stable Diffusion XL 簡稱 SDXL，是 最新的圖像生成模型，在它出現(xiàn)之前，Stable Diffusion已經(jīng)有2個大版本在用了，stable 1.5和 stable 2.1。SDXL 1.0 出現(xiàn)前，同樣經(jīng)歷了0.9和beta版本的過渡階段， SDXL 1.0 在 stable 1.5的基礎(chǔ)上做了改進，參數(shù)數(shù)量從0.98B擴大到6.6B。在AI領(lǐng)域，更大的參數(shù)意味著更好的質(zhì)量。

在介紹SDXL的優(yōu)秀表現(xiàn)之前，有必要說明下為什么它這么受歡迎？

官方介紹了幾點，我在這里再引用一下，并做個詳細說明。

1. 更有藝術(shù)感的圖像。在SDXL之前，應(yīng)用Stable Diffusion 生成圖像是基于SD的基礎(chǔ)模型，比如sd 1.5，sd2.1 那種，但是基礎(chǔ)通用的模型不僅缺少風(fēng)格等特征，而且不夠真實。為此，社區(qū)在基礎(chǔ)模型上做了大量的精調(diào)，生成特定領(lǐng)域的風(fēng)格或場景圖，比如訓(xùn)練各種各樣的LoRA來改變風(fēng)格。LoRA，英文全稱Low-Rank Adaptation of Large Language Models，直譯為大語言模型的低階適應(yīng)，在微軟的論文《LoRA: Low-Rank Adaptation of Large Language Models》提出了一種低秩adapters學(xué)習(xí)技術(shù)LoRA,實現(xiàn)大規(guī)模語言模型的跨領(lǐng)域與跨語言遷移。LoRA不僅可以實現(xiàn)跨領(lǐng)域與跨語言的遷移,當(dāng)應(yīng)用于Stable Diffusion模型中,可以實現(xiàn)該模型在不同領(lǐng)域與任務(wù)中的遷移。比如Stable Diffusion是一個多模態(tài)語言-圖像模型,LoRA可以學(xué)習(xí)將其語言表征遷移到圖像modal中,從而獲得跨模態(tài)語義一致的表示。還可以將Stable Diffusion模型從一個生成樣式或風(fēng)格遷移到其他樣式與風(fēng)格,如從寫實主義遷移到動漫風(fēng)格等。比如我之前的文章曾介紹的示例，它可以將真人模型轉(zhuǎn)為迪士尼風(fēng)格的圖片，常用于個人頭像訂制等場景。

LoRA僅需要少量的數(shù)據(jù)就可以進行訓(xùn)練的一種模型。在生成圖片時，LoRA模型會與大模型結(jié)合使用，從而實現(xiàn)對輸出圖片結(jié)果的調(diào)整。

與LoRA相對的是checkpoint模型。checkpoint模型在基礎(chǔ)模型之上的再訓(xùn)練，通過追加更多的數(shù)據(jù)，checkpoint模型包含生成圖像所需的一切，可以獨立使用，不需要額外的文件。但是它們體積很大，通常為2G-7G。

前比較流行和常見的checkpoint模型有Anything系列（v3、v4.5、v5.0）、AbyssOrangeMix3、ChilloutMix、Deliberate、國風(fēng)系列等等。這些checkpoint模型是從Stable Diffusion基本模型訓(xùn)練而來的，相當(dāng)于基于原生安卓系統(tǒng)進行的二次開發(fā)。目前，大多數(shù)模型都是從 v1.4 或 v1.5 訓(xùn)練的。它們使用其他數(shù)據(jù)進行訓(xùn)練，以生成特定風(fēng)格或?qū)ο蟮膱D像。

而有了SDXL之后，就可以一步到位生成照片級的圖像，SDXL默認生成1025*1024，而stable之前的圖片是512*512，像素大小提高4倍，更清晰。

而且還可以在一個模型中生成比如動畫風(fēng)格的人物形象。

anime, photorealistic, 1girl, collarbone, wavy hair, looking at viewer, upper body, necklace, floral print, ponytail, freckles, red hair, sunlight

disfigured, ugly, bad, immature, photo, amateur, overexposed, underexposed

1. 更真實的圖像

在SDXL之前，通過Stable Diffusion生成繪畫，經(jīng)常會出現(xiàn)恐怖片場景，SD基礎(chǔ)模型特別不擅長進行真人繪制，所繪制的人物要么多頭，要么少胳膊，要么多手指，要么少腿，總之人物經(jīng)常會發(fā)生變形。舉幾個不那么讓人不適的圖片：

為此，如果要生成一張富有美感的照片，需要輸入非常多的描述詞，比如為了得到下面這張圖片：

需要提供者這么多的正向提示詞：

有時候不放心，還要追加一連串重復(fù)的形容詞：

同時再提供一堆的負向描述：

bad anatomy, disfigured, blurry, cloned face, low contrast, over/underexposed,bad hands,cloned face ,disfigured ,extra limbs,extra legs,fused fingers,extra fingers,extra arms,long neck,poorly Rendered face,deformed body features,poorly rendered hands,malformed limbs,bad anatomy,ugly,missing arms,missing legs,bad proportions,cloned face,cropped, poorly drawn feet,extra limbs ,mutated hands,morbid,dehydrated,cut off,body out of frame,out of frame,malformed limbs

盡管如此，你仍然無法保證能得到一張好的圖像，而這些正反提示詞本身就足夠嚇退初學(xué)者。

在Midjourney中，這再簡單不過了，自動有了SDXL之后，我們生成圖像的難度進一步降低，更接近Midjourney了，盡管還有不少的差距。舉一個示例，這里隨意生成一張中國女性的圖像：

雖然圖像很普通，但至少沒有出現(xiàn)恐怖場景，提示詞只需要簡單的 “chinese woman”即可，負向提示詞都可以省略，更關(guān)鍵的是，再也不需要使用其他特別訓(xùn)練的大模型或者搭配類似國風(fēng)LoRA模型了。

提示詞只需要簡單的 chinese woman即可，負向提示詞都可以省略，更關(guān)鍵的是，再也不需要使用其他特別訓(xùn)練的大模型或者搭配類似國風(fēng)LoRA模型了。

3. 更清晰可讀的字體

在之前的stable中圖像中添加文字，可是一件非常難以辦到的事，比如在之前的模型中在生成的圖像中生成下面的文字：

A fast food restaurant on the moon with name “Moon Burger”

它可能是這種效果：

在SDXL中，不出意外可能是這種：

關(guān)于圖像文字生成，額外介紹一下，盡管SDXL也很優(yōu)秀，但是可能在這方面不如DeepFloyd/IF.

比如在DeepFloyd/IF中生成下面的圖片：

?a photo of a violet baseball cap with yellow text: "JZ AIGC". 50mm lens, photo realism, cine lens. violet baseball cap says "JZ AIGC". reflections, render. yellow stitch?text "JZ AIGC"

而在SDXL中是這樣的：

反正我是嘗試了N次，這是最好的結(jié)果，要么多字符，要么少字符，還有字符漂移到帽子之外的。當(dāng)然DeepFloyd/IF 也不是每次都能保證好質(zhì)量。

講到zhel，大家應(yīng)該明白為什么SDXL為什么這么火，這么受歡迎了，確實它在一個模型之中，幫助我們節(jié)省了更多的精力，為什么它有這種能耐的，這得從其工作原理說起：

我們簡單看一下工作原理，它包括兩個模型：base基礎(chǔ)模型和一個Refiner精煉模型。基礎(chǔ)模型設(shè)置全局的構(gòu)圖，精煉模型在其基礎(chǔ)上增加更多細節(jié)，當(dāng)然你也可以單獨使用基礎(chǔ)模型。

語言模型結(jié)合了OpenClip (ViT-G/14) 和 OpenAI CLIP ViT-L。而StableDiffusionV2僅僅使用了?OpenClip?，導(dǎo)致很難寫prompts。此外，Stable Diffusion中最關(guān)鍵的?U-Net是之前的3倍，加上更大的語言模型，使得SDXL能夠用prompts匹配到更高質(zhì)量的圖像。

最后，前面提到SDXL默認生成圖像大小為1024×1024，是 之前的4倍。

接下來，我們再一起過一下，怎么來用SDXL？

如果你喜歡使用現(xiàn)成的網(wǎng)頁，你可以選擇在 Clipdrop 上線的SDXL 1.0 ，地址：

Clipdrop - Stable Diffusion

這個免費網(wǎng)站不足之處是需要排隊，而且免費生成的圖像細節(jié)和質(zhì)量都不如收費的。

下面幾個免費網(wǎng)站值得去看看，尤其是playgroundai，它做的類似智能版本的線上PS：

https://playgroundai.com/?目前是SDXL1.0

https://canvas.krea.ai/files/recent?目前是SDXL1.0

leonardo.ai?目前是SDXL0.9

另外，DreamStudio也具有可用于圖像生成的 SDXL 1.0，每個賬號試用 25 個credits，大概12張圖片的試用額度。

http://dreamstudio.ai/

其他商用版的還有：AWS Sagemaker和AWS Bedrock：

Foundation Model API Service – Amazon Bedrock – AWS

Stable Foundation Discord也開放用于 SDXL 模型的實時測試。Discord是SDXL的測試渠道，可以趁著測試期間，薅一波羊毛：

https://discord.com/channels/1002292111942635562/

如果你想接入API，這幾個網(wǎng)站可以嘗試：

https://platform.stability.ai/

https://clipdrop.co/stable-diffusion

http://dreamstudio.ai/

如果你傾向于寫Python代碼去調(diào)用SDXL模型，可以看這個：

stabilityai/stable-diffusion-xl-base-1.0 · Hugging Face

如果你傾向于源碼部署可以看下面的資源鏈接：SDXL 1.0的權(quán)重和相關(guān)源代碼已在Stability AI GitHub上發(fā)布，地址：

GitHub - Stability-AI/generative-models: Generative Models by Stability AI

相關(guān)模型下載地址：

Download SDXL 1.0 base model【https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors】

Download SDXL 1.0 refiner model【https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0.safetensors】

Download SDXL VAE file【https://huggingface.co/stabilityai/sdxl-vae/resolve/main/sdxl_vae.safetensors】

下面是一些在colab 平臺部署很不錯的代碼：

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

GitHub - TheLastBen/fast-stable-diffusion: fast-stable-diffusion + DreamBooth

https://colab.research.google.com/github/R3gm/InsightSolver-Colab/blob/main/SDXL_0_9.ipynb#scrollTo=WC7GtSaEHY9F

https://colab.research.google.com/github/camenduru/sdxl-colab/blob/main/sdxl_v1.0_webui_colab.ipynb

https://colab.research.google.com/github/yilundu/reduce_reuse_recycle/blob/main/notebooks/image_tapestry.ipynb#scrollTo=gMRVuthGU0y2

https://github.com/jduke99/DeepFloyd-Colab/blob/main/Deep_Floyd_from_HF_Spaces.ipynb?short_path=7f7ad36

GitHub - TonyLianLong/stable-diffusion-xl-demo: A gradio web UI demo for Stable Diffusion XL 1.0, with refiner and MultiGPU support

先整理這幾個親測可行的吧，后面再更新。歡迎關(guān)注微信公眾號：縱橫AI大世界。文章來源地址http://www.zghlxwxcb.cn/news/detail-649175.html

到了這里，關(guān)于還沒有上手Stable Diffusion XL 1.0 的同學(xué)，看這篇文章就夠了的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！