Stable Diffusion AI 繪畫入門指南
市面上用的最多的AI繪畫工具是 Stable-Diffusion（SD） 和 Midjourney（Mid），SD是在本地運(yùn)行的服務(wù)，開源，門檻高，但自控性極高。而Mid作為在線的服務(wù)，門檻低，效果好，但可控性不夠強(qiáng)。
Stable Diffusion（簡(jiǎn)稱SD）是當(dāng)今最流行的免費(fèi)、開源的AI繪圖模型，可以在電腦本地上離線運(yùn)行，很多收費(fèi)的AI繪圖底層就使用了Stable Diffusion。而 Stable Diffusion WebUI（簡(jiǎn)稱SDW）是基于Stable Diffusion制作的一個(gè)友好的 Web 圖形化界面，解決了Stable Diffusion用命令行操作的麻煩。SD用戶能夠隨心所欲地訓(xùn)練自己的模型和LORA，乃至引入ControlNet用各類工具來控制AI繪畫出圖的內(nèi)容。甚至還可以指定區(qū)域重繪。
推薦極客時(shí)間課程：http://gk.link/a/1276o
在線體驗(yàn)
Stable Diffusion Demo，這是官方發(fā)布的一個(gè)簡(jiǎn)單的體驗(yàn)版，無需登錄只需要提示詞，然后點(diǎn)擊生成按鈕即可。
本機(jī)安裝
要順利運(yùn)行 stable-diffusion-webui 和模型， 需要足夠的顯存，最低配置4GB顯存，基本配置6GB顯存，推薦配置12GB顯存。 電腦內(nèi)存也不能太小，最好大于16GB
整合包
百度網(wǎng)盤下載地址
秋葉 Stable Diffusion整合包v4.2 教程
從源碼安裝
- 安裝 Python 3.10.6
- 下載 WebUI 源碼：
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git - 在 webui-user.bat 中修改啟動(dòng)參數(shù)
set COMMANDLINE_ARGS= --xformers
- 拷貝相關(guān)主模型及微調(diào)模型到指定目錄。
- 運(yùn)行
webui-user.bat，會(huì)自動(dòng)創(chuàng)建 Python 虛擬環(huán)境、下載安裝依賴包，30分鐘左右。失敗可再次執(zhí)行。
- 點(diǎn)擊上圖
http://127.0.0.1:8960, 打開后界面如下圖，可選擇基礎(chǔ)模型及設(shè)置提示詞等參數(shù)，點(diǎn)擊生成（Generate）按鈕：
文生圖參數(shù)
| 參數(shù) | 說明 |
|---|---|
| Prompt | 提示詞（正向） |
| Negative prompt | 消極的提示詞（反向） |
| Width & Height | 要生成的圖片尺寸。尺寸越大，越耗性能，耗時(shí)越久。 |
| CFG scale | AI 對(duì)描繪參數(shù)（Prompt）的傾向程度。值越小生成的圖片越違背你的描繪，但越契合邏輯；值越大則生成的圖片越契合你的描繪，但或許不契合邏輯。 |
| Sampling method | 采樣方法。有許多種，但僅僅采樣算法上有不同，沒有好壞之分，選用合適的即可。 |
| Sampling steps | 采樣步長。太小的話采樣的隨機(jī)性會(huì)很高，太大的話采樣的功率會(huì)很低，拒絕概率高(能夠理解為沒有采樣到,采樣的結(jié)果被放棄了)。 |
| Seed | 隨機(jī)數(shù)種子。生成每張圖片時(shí)的隨機(jī)種子，這個(gè)種子是用來作為確認(rèn)分散初始狀況的基礎(chǔ)。不明白的話，用隨機(jī)的即可。 |
模型
不同的模型會(huì)帶來不同的畫風(fēng)、認(rèn)識(shí)不同的概念（人物/物體/動(dòng)作 … …），這是模型眾多的原因。常見的模型可以分為兩大類：主模型，用于微調(diào)主模型的小型模型。常見模型后綴名有如下幾種：1. ckpt ，2. pt ，3. pth，4. safetensors，這幾種后綴名都是標(biāo)準(zhǔn)的模型，從后綴名是無法判斷具體是哪一種類的模型。
由于想要煉制、微調(diào)（finetune）主模型十分困難，需要好顯卡、算力，所以更多的人選擇去煉制小型模型，這些小型模型通過作用在大模型的不同部分，來簡(jiǎn)單的修改大模型，從而達(dá)到定制目的。常見的用于微調(diào)的小型模型又分為以下幾種：Textual inversion (常說的 Embedding 模型)、Hypernetwork 模型、LoRA 模型。
主模型
主模型對(duì)于AI繪畫的影響是最大的，SD系列，比如sd-v1-4、sd-v1-5、sd-v2（簡(jiǎn)寫成SD1.5、SD2.0）之類的大模型，這些是 Stable-Diffusion 自帶的大模型?；緵]有人會(huì)用自帶的大模型，因?yàn)樾Ч懿?。如果想自己練大模型的話，SD系列是不錯(cuò)的基礎(chǔ)模型，因?yàn)樗麄儽容^龐雜，什么風(fēng)格都有，屬于中性模型。
目前比較流行和常見的 checkpoint 模型有 Anything 系列、ChilloutMix、Deliberate、國風(fēng)系列等等。這些 checkpoint 模型是從 Stable Diffusion 基本模型訓(xùn)練而來的。目前，大多數(shù)模型都是從 v1.4 或 v1.5 訓(xùn)練的。它們使用其他數(shù)據(jù)進(jìn)行訓(xùn)練，以生成特定風(fēng)格或?qū)ο蟮膱D像。
模型文件名含 pruned 是指完整版，emaonly 是剪枝版。剪枝版比完整版通常小很多，方便下載。如果只是使用的話，兩者差別不大，如果是想要自己練模型的話，需要下載完整版。
- Anything 系列是一個(gè)以二次元漫畫為主打的模型。
- Cetus-Mix 是一個(gè)二次元的混合模型。
- Chilloutmix 是大名鼎鼎的亞洲美女模型，你看到的大量的AI美女，基本上都是這個(gè)模型生成的。
- Deliberate 系列，目前最新版本是 deliberate_v2，這個(gè)模型是一個(gè)萬能模型，可以畫能任何你想要的東西。風(fēng)格上偏油畫和數(shù)繪風(fēng)格。值得注意的是，這個(gè)模型的提示詞必須非常詳細(xì)地填寫。
- Realistic Vision 系列是寫實(shí)風(fēng)格的模型，比較適合人物和動(dòng)物，不過相對(duì)也比較萬金油。
- PerfectWorld 歐美版的 Chilloutmix，主要繪制歐美風(fēng)格的美女，偏 2.5D 介于動(dòng)漫和寫實(shí)之間。
- GuoFeng 是一個(gè)中國華麗古風(fēng)風(fēng)格模型，也可以說是一個(gè)古風(fēng)游戲角色模型，具有 2.5D 的質(zhì)感。
LoRA
- 文件后綴: .ckpt、.safetensors、.pt
- 存放路徑: models/Lora
當(dāng)下最火的微調(diào)模型，可以將某一類型的人物或者事物的風(fēng)格固定下來，使用了某種 LORA 那么風(fēng)格就趨近于它。它們通常為10-200 MB。必須與 checkpoint 模型一起使用?，F(xiàn)在比較火的 Korean Doll Likeness、Taiwan Doll Likenes、Cute Girl mix 都是真人美女 LoRA 模型，效果很驚艷。還有一些特定風(fēng)格的 LoRA 也非常受歡迎，最著名的有墨心等。
模型訓(xùn)練器: https://github.com/Akegarasu/lora-scripts
VAE美化模型/變分自編碼器
- 文件后綴: .pt
- 存放路徑: models/VAE
VAE，全名Variational autoenconder，中文叫變分自編碼器。作用是：濾鏡+微調(diào)。
有的大模型是會(huì)自帶 VAE 的，比如 Chilloutmix。如果再加 VAE 則可能畫面效果不會(huì)更好，甚至適得其反。默認(rèn)的 VAE 是 animevae，效果一般，建議可以使用 kl-f8-anime2 或者 vae-ft-mse-840000-ema-pruned。anime2 適合畫二次元，840000 適合畫寫實(shí)人物。
Embedding/Textual lnversion
- 文件后綴: .safetensors, .pt
- 存放路徑: embeddings
Textual lnversion 中文翻譯過來叫文本反轉(zhuǎn)，通過僅使用的幾張圖像，就可以向模型教授新的概念。用于個(gè)性化圖像生成。Embeddings 是定義新關(guān)鍵字以生成新人物或圖片風(fēng)格的小文件。它們很小，通常為10-100 KB。必須將它們與 checkpoint 模型一起使用。比如 EasyNegative 這個(gè) Embeddings，里面包含了大量的負(fù)面詞，可以減少你每次打一堆負(fù)面詞的痛苦。
模型下載
- C站鏡像: https://civitai.space/
- https://www.liblibai.com/
- http://www.i-desai.com/
- https://www.ai016.com/
- https://tusi.art
ControlNet
ControlNet 是一個(gè)用于控制 AI 圖像生成的插件。在 ControlNet 出現(xiàn)之前，我們?cè)谏蓤D片之前，永遠(yuǎn)的不知道 AI 能給我們生成什么，就像抽卡一樣看運(yùn)氣。ControlNet 出現(xiàn)之后，我們就能通過模型精準(zhǔn)的控制圖像生成，比如進(jìn)行填色渲染，控制人物的姿態(tài)等等。提示詞的作用是奠定整個(gè)圖的大致畫面,Lora 的作用是讓圖片主體符合我們的需求，ControNet 的作用是精細(xì)化控制整體圖片的元素——主體、背景、風(fēng)格、形式等。
比如你提供一個(gè)圖片，可以選擇采集圖片中人物的骨架，從而在新的圖片中生成出一樣姿勢(shì)的人，可以選擇采集圖片中畫面的線稿，從而在新的圖片中生成一樣線稿的畫面 ，可以選擇采集圖片中已有的風(fēng)格，從而在新的圖片中生成一樣風(fēng)格的畫面。
參考：15種ControlNet模型
提示詞 Prompt
提示詞示例
- 提示詞：
solo, 1girl, portrait, looking at viewer, masterpiece, best quality, 8k, - 反向提示詞:
(worst quality, low quality:1.4), (bad-image-v2-39000:0.75), (bad_prompt_v2:0.85), (censored, bar censor), cropped, mature,
通用提示詞
廣泛適用于二次元風(fēng)格，可以考慮搭配不同模型使用！
- 正面提示詞后添加：
(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,
- 負(fù)面提示詞后添加：
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Counterfeit-V2.5 二次元示例
提示詞:
(((masterpiece))),(((best quality))), ((ultra-detailed)), (best illustration), 1girl, solo, blush, smug, smile, purple eyes, choker, gradient eyes, no pupils, multicolored_hair, pink hair, blue hair, long hair,<lora:sangonomiyaKokomi_v10:0.5>, sangonomiya kokomi, ((kimono)), outdoors, sakura trees, sakura, facing towards viewer, front view
負(fù)面提示詞:
EasyNegative,extra fingers, fewer fingers, extreme fingers,wrong hand,wrong tail, missing male, extra legs, extra arms, missing legs, missing arms, weird legs, weird arms, watermark, logo, long hand, (poorly drawn hands:1.331), (bad anatomy:1.21), (bad proportions:1.331), (fused fingers:1.61051), (too many fingers:1.61051), extra digit, fewer digits,(mutated hands and fingers:1.5 ), fused fingers, one hand with more than 5 fingers, one hand with less than 5 fingers, one hand with morethan 5 digit, one hand with less than 5 digit, extra digit, fewer digits, fused digit, missing digit,text,watermark,
參數(shù):文章來源：http://www.zghlxwxcb.cn/news/detail-543099.html
Size: 512x512, Seed: 1396898128, Model: CounterfeitV25_25, Steps: 20, Sampler: DPM++ 2S a Karras, CFG scale: 7, Model hash: a074b8864e, Hires steps: 20, Hires upscale: 2, Hires upscaler: Latent (nearest-exact), Denoising strength: 0.7
工具
- 解析器: https://spell.novelai.dev/ ，可用于查看模型文件類型，圖片文件生成時(shí)的參數(shù)
- 提示器: https://prompt.qpipi.com/ ，幫助編寫提示詞
課程
- 咖啡貓CuteCat: https://space.bilibili.com/3493136342977164/channel/collectiondetail?sid=1261907
- Nenly同學(xué): BV1Fu4y1o7F1
- 憊懶の歐陽川: BV1ms4y1y7Mx
- SD題詞技巧: BV1Fu4y1o7F1
- 流暢使用GPT: BV13s4y1v7BE
- SD高清放大: BV1Ch4y147WE
- 漢字藝術(shù)海報(bào): BV1fh4y1u7x9
秋葉aaaki文章來源地址http://www.zghlxwxcb.cn/news/detail-543099.html
- 目前訓(xùn)練人物模型無腦選擇LoRA：https://www.bilibili.com/video/BV1fs4y1x7p2/
- 訓(xùn)練畫風(fēng)模型推薦訓(xùn)練大模型：https://www.bilibili.com/video/BV1SR4y1y7Lv/
到了這里，關(guān)于Stable Diffusion AI 繪畫入門指南的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
