本文將介紹 Stable Diffusion 使用的主要模型及其用法。

1 模型下載

Stable Diffusion (簡稱SD) 模型主要從 Huggingface, github, Civitai 下載。
Huggingface：主要提供主流 AI 繪畫模型下載。
github：也有一些小模型放在 github 下供下載使用。
Civitai：AI藝術共享平臺，可下載海量SD開源模型（推薦）。

2 模型類別

SD 支持不同類型的模型，比如：基礎模型，Lora，ControlNet，VAE，CLIP等。模型擴展名一般為ckpt，safetensors，pt，pth等。下面介紹幾種最重要的模型。

3 基礎模型

3.1 介紹

基礎模型一般包含完整的 TextEncoder、U-Net、VAE。
模型大小一般為2-8G，真實風格模型相對2D風格模型更大。
目前最新的模型是 SDXL 1.0（約占8G顯存），最常用的模型是 SD 1.5（約占4G顯存）。
需要手工下載后，復制到 models/Stable-diffusion/ 目錄下，才可識別和使用。

3.2 推薦

• v1-5-pruned-emaonly：默認模型，偏真實風格，可從 huggingface 下載
• bluePencilXL_v010.safetensors：最新版 SDXL 1.0 模型
• anythingV3_fp16.ckpt：2D 動畫風格
• Counterfeit：接近真實場景的二次元風格（2.5D），氛圍感很好，老式動慢風格

4 Lora模型

4.1 介紹

Lora是一種較小的繪畫模型，一般體積在幾十到幾百兆左右。它是對大模型的微調(diào)。生成圖片時只能選擇一個大模型，但可選擇多個Lora。

Lora解決的問題是：單個模型難以覆蓋不同風格，而基礎模型又太大，普通設備無法訓練，Lora可分別針對：主體，風格，動作訓練增補模型，與基礎模型配合使用，以改進具體功能。

Lora只需要少量的數(shù)據(jù)就可以訓練（如幾十張標注的相片），比訓練大模型要簡單很多，用戶可以用自己的數(shù)據(jù)訓練Lora，也可在 Civitai 進行下載，下載后放到 SD的 models/Lora/ 目錄下即可使用。

4.2 推薦

• Detail Tweaker LoRA：增強/減少細節(jié)，保持整體風格/人物; 可結合各種基礎模型(包括動畫和現(xiàn)實模型)。
• GHIBLI_Background：吉卜力風格（類似宮崎駿動畫風格），治愈系畫風的建筑和景觀（背景）。

5 VAE模型

5.1 介紹

VAE是變分自編碼器，負責將潛空間的數(shù)據(jù)轉換為正常圖像。
在SD中切換 VAE，可看作切換濾鏡，它在生成圖片過程中配合主模型使用，起到調(diào)色和微調(diào)的作用，比如有些模型色調(diào)不夠清晰明亮，可考慮加 VAE 一起使用。
切換模型時，對應的VAE有時會自動下載；手動下載VAE模型，需要復制到 models/VAE/ 目錄下，然后在 WebUI 界面上設置：Setting選項卡->左邊選 Stable Diffusion->SD VAE

5.2 推薦

mse-840000：通用 VAE
ClearVAE：動漫 VAE

6 ControlNet模型

6.1 介紹

AI 繪圖的主要問題是畫面不可控，只能通過多次嘗試，再篩選的方式出圖，很難達到可預期的穩(wěn)定輸出，ControlNet 主要解決這一問題。其主原理是：利用額外網(wǎng)絡對基礎模型做微調(diào)。

ControlNet可以提取圖片的線稿、人的資態(tài)、風景等難以用 prompt 描述的元素。在生成圖片時疊加各種效果，比如給圖A中的人設置圖B中的姿式。它包括預處理和疊加模型，預處理是從圖片A中提取行為，疊加模型將該行為應用到圖片B的生成中。相對于圖生圖，ControlNet 提供的信息更為純粹。

具體原理見論文 2023年2月 ：https://arxiv.org/abs/2302.05543，

6.2 安裝

• 安裝 ControlNet 插件（目前星最高的插件）：
  WebUI界面->Extension 選項卡->Available選項卡->Load from按鈕->Order選按Star排序->安裝 sd-webui-controlnet 插件，正常安裝后在 Installed選項卡中可以看到
• 下載模型
  預處理器會自動從 HuggingFace 下載；模型需要另外安裝，模型下載地址：
  https://huggingface.co/lllyasviel/ControlNet/tree/main/models
  目前有8個模型可供下載，每個模型大小都在5G左右，和之前相比做了一些合并。

6.3 主要功能

• 資態(tài)約束：Openpose（可根據(jù)參考圖設置：表情，手指、身體資態(tài)）
• 空間深度約束：Depth（對空間場景深度的還原，含人體）
• 抽取線條和還原：Canny 用于還原外型特征；SOFTEDGE/HED 整體邊緣檢測，識別大概輪廓；比CANNY約束??；SCIBBLE 涂鴉，比SOFTEDGE更自由，可根據(jù)簡單涂鴉生成圖片（注意：畫線稿時不要加陰影，如果使用白底黑線，需要用 invert 預處理器）
• 物品類形約束：Seg
• 風格約束：Normal

6.4 使用方法

• 上傳圖片
  • 在界面左下點開 ControlNet 折疊界面
  • 上傳待參考的圖片（如上傳一張線稿）
• 選擇模型
  • 選擇類型 Control Type，比如 canny，選中后列出該類別對應的所有可用的預處理和模型
  • 選預處理 Preprocess，比如 canny，預處理器將從圖片中讀取信息；然后點右邊的爆炸圖標，可預覽其處理效果。
  • 選擇 ControlNet 模型，比如 control_sd15_canny，用于生成圖像。
• 設置參數(shù)
  • 注意一定要勾選 Enable，否則 ControlNet 不起作用。
• 生成圖
  • 點擊右上角的生成按鈕生成圖像

6.5 注意

• 測試 ControlNet 效果時，需要固定 Seed，以保證每次生成的基礎圖是一樣的
• 第一次使用涂鴉功能時，可嘗試xdog模式，它的效果更好

7 其它模型

其它模型，比如恢復面部細節(jié)的 CodeFormer，利用圖片生成提示詞的 CLIP & DeepBooru，一般第一次使用時都會自動下載模型到 models 的對應子目錄中，需要耐心等待。如果下載不成功，請根據(jù)后臺提示下載文件，然后復制到對應目錄。

8 注意事項

• 如果想真正把SD應用起來，一定要使用 Lora和ControlNet，Lora負責指定具體的主體和場景，ControlNet負責更好地控制畫面。
• 基礎模型需要與其上的 VAE，Lora 版本一致，否則無法使用
• 基礎模型與其上的 VAE，Lora 風格盡量（動畫/真實）一致
• 使用 ControlNet 時被修改的圖片和參考圖片最好風格一致，動畫人物和真人比例不一致可能造成問題

9 參考

SDXL模型b站視頻
耗時7天，終于把15種ControlNet模型搞明白了！
Stable Diffusion進階教程！超詳細的 ControlNet 實用入門指南文章來源地址http://www.zghlxwxcb.cn/news/detail-713731.html

到了這里，關于AI繪畫之二_StableDiffusion_下載模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！