介紹

最近，Stability AI正式推出了全新的SDXL 1.0版本。經(jīng)過我的實(shí)際測(cè)試，與之前的1.5版本相比，XL的效果有了巨大的提升，可以說是全方位的超越。不僅在理解提示詞方面表現(xiàn)出色，而且圖片的構(gòu)圖、顏色渲染和畫面細(xì)膩程度都有了很大的進(jìn)步，實(shí)際出圖效果堪比Midjourney。此外，該版本還繼續(xù)采用開源的形式發(fā)布，對(duì)于喜歡自定義生成圖片的用戶來說是一個(gè)極大的福音。

在 SD WebUI上 運(yùn)行時(shí)還有一個(gè)額外的驚喜，就是它直接支持繪制不同風(fēng)格的圖片，如下圖所示：

圖片來源：https://stable-diffusion-art.com/sdxl-model/#Using_SDXL_style_selector

?

看到這里，我想一些大模型、Lora模型確實(shí)可以進(jìn)入回收站了。

那么XL現(xiàn)在是怎么做的呢？相比之前的出圖方式，SDXL采用了兩步走的方法，先使用基本模型生成有噪聲的潛在圖，然后再使用精修模型進(jìn)行降噪優(yōu)化，官方給的處理示意圖如下：

?

不過基本模型也是可以獨(dú)立使用的。所以實(shí)際出圖時(shí)也可以采用另一種方法，首先，使用基本模型生成所需輸出大小的潛在圖；然后通過圖生圖的方式，使用精修模型和相同的提示詞，重繪第一步生成的潛在圖，以優(yōu)化出圖效果。這種方法稍微慢一些，因?yàn)樗獔?zhí)行更多的處理。

實(shí)際使用時(shí)，需要注意以下幾點(diǎn)：

• 負(fù)面提示：與1.5、2.0版本相比，負(fù)面提示不再像之前那么必要了。許多常見的負(fù)面詞匯是無用的，比如“Extra fingers”。
• 關(guān)鍵詞權(quán)重：對(duì)于SDXL模型來說，1.5版本的權(quán)重很高。如果你要復(fù)用1.5模型的提示，可能需要降低權(quán)重。減少權(quán)重的效果比增加權(quán)重更好。
• 安全擴(kuò)散：一定要使用safetensor版本的模型，它更安全，不會(huì)在你的機(jī)器上執(zhí)行代碼。
• 精修強(qiáng)度：為了獲得最佳輸出效果，請(qǐng)使用低強(qiáng)度的refiner。
• Refiner：為了得到更好的效果，請(qǐng)使用一張有噪聲的圖片來使用refiner。
• 圖像大小：SDXL模型的原生大小是1024×1024像素。雖然SDXL支持不同的寬高比，但圖像質(zhì)量對(duì)大小很敏感。以下是Stability AI官方圖像生成器的尺寸，建議采用，如果需要更大尺寸的照片，可以再使用高清化放大。

• 21:9 – 1536 x 640
• 16:9 – 1344 x 768
• 3:2 – 1216 x 832
• 5:4 – 1152 x 896
• 1:1 – 1024 x 1024

• ControlNet：ControlNet現(xiàn)在只能在V1模型上工作，SDXL的支持還在開發(fā)中。

免安裝體驗(yàn)

不用安裝，還有N多的模型可以直接使用，不僅能使用SD XL，也可以繼續(xù)使用SD 1.5；缺點(diǎn)是不能安裝插件。

訪問地址：https://www.liblibai.com/

進(jìn)入后，點(diǎn)擊頁面右上角的“在線Stable Diffusion”即可進(jìn)入。

按照下邊的步驟操作即可。

注意第3步和第4步，這是和之前不一樣的地方。

• 需要勾選XL Refiner才有精修，大家可以對(duì)比下勾和不勾的效果。
• 選擇SDXL的模型后，寬度和高度默認(rèn)變成 1024*1024。

分享下提示詞：

提示詞：street fashion photography, young female, pale skin, (look at viewer), sexy pose,(pink hair, white hair, blonde hair, long hair), ((high ponytail)),detailed skin, (detailed eyes:1.3), skin pores, (grin:1.1), skin texture, (Hunter green uniform, black skirt:1.4), long green sleeves,8k, real picture, intricate details, ultra-detailed,(photorealistic),film action shot, full body shot, in a shopping mall,realistic, extremely high quality RAW photograph, detailed background, intricate, warm lighting, high resolution,uhd, film grain, Fujifilm XT3

反向提示詞：text, watermark, disfigured, kitsch, ugly, oversaturated, low-res, blurred, painting, illustration, drawing, sketch, low quality, long exposure, (cape:1.4), cartoon, 3d character

然后大家就可以愉快的生圖了，每天300張。不過因?yàn)槭枪蚕淼姆?wù)，高峰期可能等待的時(shí)間比較長。

云服務(wù)器體驗(yàn)

以 AutoDL 為例，我已經(jīng)發(fā)布了一個(gè)支持 SDXL 的 Stable Diffusion WebUI 鏡像，租用實(shí)例時(shí)選擇“社區(qū)鏡像”，輸入：yinghuoai，就可以選擇到這個(gè)鏡像了。

沒有AutoDL經(jīng)驗(yàn)的同學(xué)，可以先看我這篇入門教程：https://mp.weixin.qq.com/s/dhklIMvkdtJygvlzUvU3xw

注意SDXL目前需要的內(nèi)存資源比較高（可能是SD WebUI在內(nèi)存緩存了很多數(shù)據(jù)的原因，單獨(dú)跑SDXL Demo的時(shí)候沒有消耗這么多的內(nèi)存），建議選擇內(nèi)存在80G的主機(jī)，當(dāng)然單價(jià)也會(huì)更高一些。后續(xù)我也會(huì)繼續(xù)了解下如何降低它的內(nèi)存和顯存使用，如有興趣請(qǐng)保持關(guān)注。

?

目前 SD WebUI 發(fā)布版本使用的是前文介紹的先“文生圖”、再“圖生圖”的方法，雖然操作上啰嗦了一些，但測(cè)試出圖比較穩(wěn)定。操作方法如下圖所示：

1、基礎(chǔ)模型選擇這個(gè)：sd_xl_base_1.0.safetensors

2、提示詞隨便寫點(diǎn)就行。

3、寬度和高度注意手動(dòng)調(diào)整到 1024*1024，實(shí)測(cè)512出圖是卡通圖，效果也不怎么樣。

這個(gè)鏡像自帶了一個(gè)風(fēng)格插件，用于實(shí)現(xiàn) Stability AI 官方繪圖產(chǎn)品中的繪圖風(fēng)格功能，使用這個(gè)插件，可以繪制不同風(fēng)格的照片，看下邊的選項(xiàng)很多，有3D、動(dòng)漫、照片、數(shù)字、線畫、插畫、像素等很多風(fēng)格。有了這個(gè)確實(shí)可以拋棄很多大模型和Lora模型了，所以說SDXL確實(shí)進(jìn)步很大，建議大家試試。

出圖之后我們可以在這里把圖片發(fā)送到“圖生圖”：

提示詞都會(huì)帶過去，注意這里的基礎(chǔ)模型要換成：“sd_xl_refiner_1.0.safetensors”。

重繪強(qiáng)度建議控制在：0.1-0.3，小了沒效果，大了圖片會(huì)變化過大。

別的參數(shù)不用動(dòng)，然后就可以精修生圖了。

不成熟的方法

大家也可以感受到上邊的步驟比較啰嗦，所以 SD WebUI 也在開發(fā)一個(gè)新的方案，類似哩布哩布上的體驗(yàn)，不過目前還是開發(fā)版，我這里測(cè)試經(jīng)常出現(xiàn)崩潰的問題，但是有人能夠正常運(yùn)行，所以這里簡(jiǎn)單給大家說下使用方法，有能力的可以去研究下。

1、下載這個(gè)開發(fā)版本：https://github.com/AUTOMATIC1111/stable-diffusion-webui/tree/refiner_alt

2、啟動(dòng)后在“設(shè)置”-“用戶界面”中配置 refiner，如下圖所示：

3、進(jìn)入“文生圖”或者“圖生圖”，在頁面頂部可以看到多了兩個(gè)選項(xiàng)：

Refiner checkpoint ：選擇SDXL的精修模型。

Refiner switch at：從采樣步驟的第幾步開始使用精修模型，這是個(gè)百分比。比如采樣步數(shù)是30，這里選擇0.8，那就是從 30*0.8=24 開始使用精修模型，在這之前的采樣使用基礎(chǔ)模型。

可以看到這個(gè)方案方便了不少，后續(xù)如果我測(cè)試沒問題了，會(huì)將鏡像升級(jí)到這個(gè)新版本。

本地部署體驗(yàn)

我這里沒有合適的機(jī)器環(huán)境，所以沒有實(shí)際部署，大家可以看這個(gè)項(xiàng)目：

https://github.com/vladmandic/automatic

它是從 AUTOMATIC1111/stable-diffusion-webui Fork 過來的，但是針對(duì)各種平臺(tái)做了優(yōu)化。

具體安裝步驟可以參考這篇文章：https://stable-diffusion-art.com/sdxl-model/#Run_SDXL_model_with_SDNext

其它體驗(yàn)方式

Google Colab

這是 Github 上開源的一個(gè) Stable Diffusion XL 1.0 的演示項(xiàng)目，可以在Google Colab上免費(fèi)運(yùn)行。如果只是想簡(jiǎn)單的體驗(yàn)下，訪問外網(wǎng)也沒有問題，可以試試。

大家打開我分享的這個(gè)鏈接就可以運(yùn)行。

https://colab.research.google.com/drive/1bBD9VaSTuuw7Xkuw3FRkYCneTDxbnGar?usp=sharing

這里沒有啟用 Refiner，因?yàn)闀?huì)消耗大量?jī)?nèi)存，免費(fèi)規(guī)格根本跑不起來。

當(dāng)出現(xiàn)下面這段文字的時(shí)候，就說明啟動(dòng)成功了。

點(diǎn)擊上圖中的這個(gè) public URL，就可以在瀏覽器中操作了。

不過在使用免費(fèi)規(guī)格時(shí)，出過一張圖之后，再出圖時(shí)會(huì)出現(xiàn)程序退出的問題，目測(cè)也是顯存和內(nèi)存不足導(dǎo)致的，XL需要的資源比較多。

此時(shí)可以重啟程序，然后再跑下一張，不過也是挺麻煩的。

Kaggle

除了白嫖 Google Colab，我們還可以免費(fèi)使用 Kaggle，Kaggle 比 Colab 好的是可以使用兩個(gè)T4，一定程度上可以緩解內(nèi)存不足的問題。Kaggle 每周可以免費(fèi)使用30小時(shí)，不用的時(shí)候停機(jī)，停機(jī)不會(huì)計(jì)時(shí)。

具體使用方法不說了，網(wǎng)上已經(jīng)有很多人介紹。

還是上邊的 XL Demo 項(xiàng)目，我在Kaggle上也做了一個(gè)分享，大家打開下邊這個(gè)鏈接：

https://www.kaggle.com/bosimabosima/stable-diffusion-x-1-0-demo

按照下邊的步驟操作即可。

注意這里添加了一個(gè)參數(shù)：MULTI_GPU=true ，意思就是要使用多個(gè)CPU。實(shí)測(cè)確實(shí)可以降低系統(tǒng)內(nèi)存的壓力，連續(xù)生成多張圖片也沒有出現(xiàn)系統(tǒng)崩潰的問題，因?yàn)轱@存夠用了就不會(huì)去占用系統(tǒng)內(nèi)存，就不會(huì)因?yàn)閮?nèi)存無法分配而崩潰。

不過啟用 Refiner 還是會(huì)導(dǎo)致無法分配的問題，這里 T4 GPU 的內(nèi)存是 15G，兩個(gè)就是30G，如果要想流暢的運(yùn)行SD XL，需要更多內(nèi)存或顯存，這是免費(fèi)規(guī)格提供不了的。

---

以上就是本文的主要內(nèi)容了，如有問題歡迎溝通交流。文章來源地址http://www.zghlxwxcb.cn/news/detail-633232.html