AI 繪畫新手魔導(dǎo)士在剛開始玩 Stable Diffusion 時(shí)總會(huì)遇到各種新的概念，讓人困惑，其中就包括各種模型和他們之間的關(guān)系。
魔法師入門得先認(rèn)識(shí)各種法師裝備（各種模型），讓我們遇到問(wèn)題知道使用何種裝備來(lái)協(xié)助自己發(fā)揮更大的效果。
safetensors
在了解各種模型之前，有必須先了解下 safetensors，玩過(guò)的應(yīng)該都認(rèn)識(shí)，就是很多模型的后綴。然而各種模型的后綴五花八門，但是總是能看到 safetensors 的影子，讓人有些繚亂。
其實(shí)主要是因?yàn)?safetensors 支持各種 AI 模型，而在 safetensors 出現(xiàn)前，各種 AI 模型都有著自己獨(dú)特的后綴。這就導(dǎo)致每種模型既可以使用 safetensors 又可以使用自己原有的后綴，所以入門的時(shí)候就會(huì)讓人有點(diǎn)分不清。
其實(shí) safetensors 是由 huggingface 研發(fā)的一種開源的模型格式，它有幾種優(yōu)勢(shì)：
- 足夠安全，可以防止 DOS 攻擊
- 加載迅速
- 支持懶加載
- 通用性強(qiáng)
所以現(xiàn)在大部分的開源模型都會(huì)提供 safetensors 格式。
開源地址： https://github.com/huggingface/safetensors
模型分類
說(shuō)完了 safetensors 我們進(jìn)入正題，聊一聊在 Stable Diffusion 中常見的各種模型。
Checkpoint ｜ Stable Diffusion
Checkpoint 是 Stable Diffusion 中最重要的模型，也是主模型，幾乎所有的操作都要依托于主模型進(jìn)行。而所有的主模型都是基于 Stable Diffusion 模型訓(xùn)練而來(lái)，所以有時(shí)會(huì)被稱為 Stable Diffusion 模型。
主模型后綴一般為 .ckpt 或者 .safetensors，并且體積比較龐大，一般在 2G - 7G 之間。而要管理模型我們需要進(jìn)入 WebUI 目錄下的 models/Stable-diffusion 目錄下。
在使用 WebUI 時(shí)左上角切換的就是主模型了。
LoRA 和 LyCORIS
LoRA 是除了主模型外最常用的模型。LoRA 和 LyCORIS 都屬于微調(diào)模型，一般用于控制畫風(fēng)、控制生成的角色、控制角色的姿勢(shì)等等。
LoRA 和 LyCORIS 的后綴均為 .safetensors，體積較主模型要小得多，一般在 4M - 300M 之間。一般使用 LoRA 模型較多，而 LyCORIS 與 LoRA 相比可調(diào)節(jié)范圍更大，但是需要額外的擴(kuò)展才可使用。需要管理模型時(shí)我們可以進(jìn)入 WebUI 目錄下的 models/LoRA 目錄下。
在 WebUI 中使用時(shí)，可通過(guò)點(diǎn)擊左側(cè)的小紅燈，然后在 LoRA 菜單中點(diǎn)擊使用。也可以直接使用 Prompt 調(diào)用。
Textual Inversion
Textual Inversion 是文本編碼器模型，用于改變文字向量?？梢詫⑵淅斫鉃橐唤M Prompt。
Textual Inversion 后綴為 .pt 或者 .safetensors，體積非常小，一般只有幾 kb。模型所在的目錄不在 models 下，而是在 WebUI 中的 embeddings 目錄下。
在使用時(shí)同樣可以使用小紅燈中的 Textual Inversion，也可以使用 Prompt 調(diào)用。
Hypernetworks
Hypernetworks 模型用于調(diào)整模型神經(jīng)網(wǎng)絡(luò)權(quán)重，進(jìn)行風(fēng)格的微調(diào)。
Hypernetworks 的后綴為 .pt 或者 .safetensors，體積一般在 20M - 200M 之間。模型的目錄為 WebUI 下的 models/hypernetworks。
在使用時(shí)同樣可以使用小紅燈中的 Hypernetworks。
ControlNet
ControlNet 是一個(gè)及其強(qiáng)大的控制模型，它可以做到畫面控制、動(dòng)作控制、色深控制、色彩控制等等。使用時(shí)需要安裝相應(yīng)的擴(kuò)展才可。
ControlNet 類模型的后綴為 .safetensors。模型的目錄為 models/ControlNet。
使用時(shí)我們需要先去 Extensions 頁(yè)面搜索 ControlNet 擴(kuò)展，然后 Install 并 Reload UI。然后便可以在 txt2img 和 img2img 菜單下找到：
ControlNet 功能非常強(qiáng)大，還解決 AI 畫手的噩夢(mèng)問(wèn)題。
VAE
VAE 模型一般用于圖片亮度和飽和度的修正、畫面較正和以及補(bǔ)光等。一般在繪圖時(shí)如果出現(xiàn)圖片亮度過(guò)低、發(fā)灰等問(wèn)題時(shí)就需要用到。
VAE 模型的后綴為 .pt 或 .safetensors，體積一般為 335M 或 823M。模型的目錄為 models/VAE。
使用時(shí)需要到 Settings 頁(yè)面找到 SD VAE 菜單切換。
但是這樣使用過(guò)于繁瑣，所以如果使用到建議在 Quicksettings list 配置中添加 sd_vae。
這樣就可以在 WebUI 的頂部進(jìn)行切換。
CodeFormer
CodeFormer 模型一般用于圖片的修復(fù)，比如提高圖片的分辨率、將黑白照片修改成彩色照片、人臉修復(fù)等等。
CodeFormer 是一個(gè)開源項(xiàng)目，在 WebUI 中已經(jīng)默認(rèn)被整合，可以在 Extras 菜單中使用。如果需要修改 CodeFormer 版本可以將模型放到 models/codeformer
一覽表
| 模型名稱 | 作用 | 后綴名 | 大小 | 在 WebUI 中的文件夾 |
|---|---|---|---|---|
| Checkpoint | 主模型 | .ckpt 或 .safetensors | 2G - 7G | models/Stable-diffusion |
| LoRA 和 LyCORIS | 微調(diào)模型，一般用于控制畫風(fēng)、控制生成的角色、控制角色的姿勢(shì)等等 | .safetensors | 2G - 7G | models/Stable-diffusion |
| Textual Inversion | 文本編碼器模型 | .pt 或 .safetensors | KB 級(jí)別 | embeddings |
| Hypernetworks | 調(diào)整模型神經(jīng)網(wǎng)絡(luò)權(quán)重，進(jìn)行風(fēng)格的微調(diào) | .pt 或 .safetensors | 20M - 200M | models/hypernetworks |
| ControlNet | 強(qiáng)大的控制模型，可以進(jìn)行畫面控制、動(dòng)作控制、色深控制、色彩控制等等 | .safetensors | KB 級(jí)別 | models/ControlNet |
| VAE | 圖片亮度和飽和度的修正、畫面較正和以及補(bǔ)光等 | .pt 或 .safetensors | 335M 或 823M | models/VAE |
| CodeFormer | 修復(fù)模型，修復(fù)人臉、提高分辨率等 | - | - | models/codeformer |
最后
上面幾種模型就是 Stable Diffusion 中最常用的幾種，通過(guò) Checkpoint 控制圖片的主要風(fēng)格；通過(guò) VAE 給圖片補(bǔ)光、調(diào)亮；通過(guò) LoRA ｜ LyCORIS 對(duì)模型進(jìn)行風(fēng)格、角色控制；通過(guò) Textual Inversion 簡(jiǎn)化 Prompt；通過(guò) ControlNet 進(jìn)行姿勢(shì)、色彩控制，修復(fù)手部。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-437815.html
不過(guò)這并不是 Stable Diffusion 中所有的模型，其它的一些模型如果有空再整理下。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-437815.html
到了這里，關(guān)于AI 繪畫基礎(chǔ) - 細(xì)數(shù) Stable Diffusion 中的各種常用模型 【? 魔導(dǎo)士裝備圖鑒】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
