原文：Stable Diffusion教程：4000字說(shuō)清楚圖生圖 - 知乎

目錄

收起

基本使用

涂鴉繪制

局部繪制

局部繪制（涂鴉蒙版）

局部繪制（上傳蒙版）

批量處理

總結(jié)

資源下載

“圖生圖”是 Stable Diffusion的 核心功能之一，它的主要能力是根據(jù)現(xiàn)有的圖片 + 提示詞生成新的改造圖片，這在日常的工作和生活中都特別有用。

話不多說(shuō)，讓我們看看它都有什么神奇的魔法吧。

基本使用

本節(jié)以生成人物的二次元風(fēng)格的照片為例，具體步驟如下：

1、在Stable Diffusion 大模型這里選擇一個(gè)二次元模型：

2、在“圖生圖”這里上傳一張人物肖像照，并編寫對(duì)應(yīng)的提示詞和反向提示詞。這里提示詞是可選的，但是不填寫可能會(huì)導(dǎo)致生成的圖片效果質(zhì)量不佳。

提示詞：

best quality, masterpiece, super high resolution, 4k, adult women, asia, full body:1.4, long black hair, looking at viewer, beautiful detailed eyes, small breasts, white t-shirt:1.6, white pants:1.6, wide shot:1.3, strolling, beach:1.3, tree, beautiful detailed sky, blue sky

反向提示詞：

deformed,bad anatomy,disfigured,poorly drawn face,out of frame,bad hands,unclear eyes,cloned face,bad face, disfigured, deformed, cross-eye

3、設(shè)置 Stable Diffusino的相關(guān)參數(shù)：

（1）縮放模式：因?yàn)閰⒖紙D片和新生成的圖片尺寸可能不一致，所以我們需要選擇生成新圖片時(shí)怎么處理參考圖片。

這里有四種模式：拉伸、裁剪、填充和直接縮放，如果沒(méi)有特殊需求，大家應(yīng)該都不會(huì)喜歡拉伸和直接縮放的效果，它們的效果如下圖所示：

當(dāng)然如果參考圖片和新生成圖片的尺寸是一樣的，這個(gè)【縮放模式】怎么設(shè)置都沒(méi)有問(wèn)題。

（2）采樣器、采樣步數(shù)：大部分采樣器的效果差別不是很大，一般 Euler a 和20步采樣就夠了，其它的可以試試DPM+系列。后邊會(huì)有文章專門講采樣器。

（3）生成圖片的尺寸：一般保持和原圖一樣，也可以更改，更改時(shí)需要考慮【縮放模式】的影響。

（4）生成次數(shù)和每次數(shù)量：默認(rèn)都是1，也就是只生成一次且每次只生成一張圖片。增加【生成次數(shù)】會(huì)明顯增加生成時(shí)間，增加【每次數(shù)量】會(huì)明顯增大顯存使用。

（5）提示詞引導(dǎo)系數(shù)：默認(rèn)為7，值越大生成圖片越貼近提示詞的描述，值越小AI自我發(fā)揮的越多，常見(jiàn)的設(shè)置是 5-12。

（6）重繪強(qiáng)度：新生成的圖片會(huì)多大程度上改變參考圖片，值越大新圖片自由發(fā)揮的越多，越不像參考圖片。這里我們不想讓人物的二次元照片與原圖相差太大，所以值設(shè)置的比較小。相同的值在不同的模型或者圖片上的效果都可能是不同的，所以實(shí)際處理圖片時(shí)還需根據(jù)效果進(jìn)行調(diào)整。

然后我們就可以生成圖片了，下邊是我使用不同的重繪幅度做的圖：

涂鴉繪制

涂鴉繪制就是在原圖上畫一個(gè)代表某種事物的形狀，然后讓Stable Diffusion結(jié)合我們的提示詞在圖片中生成對(duì)應(yīng)的元素。下面這個(gè)例子是給女孩添加一副天使的翅膀。

1、選擇合適的大模型，提示詞中聲明你想要在畫面中出現(xiàn)的元素。

2、在下面的 Generation 選項(xiàng)卡中選擇“涂鴉繪制”，上傳一張要涂鴉的圖片，然后使用畫筆工具在圖片上畫出你想要的形狀，這里可以選擇我們想要的顏色。天使的翅膀我想是白色的，但不應(yīng)該是純白，所以我這里選擇一個(gè)有點(diǎn)灰的白色。

3、Stable Diffusion 的參數(shù)沒(méi)什么好說(shuō)的，注意縮放模式和圖片尺寸的搭配，重繪強(qiáng)度建議從0.5開(kāi)始，然后根據(jù)實(shí)際出圖效果調(diào)整。

4、然后就可以生成圖片了，看下邊的效果。

可以看到，翅膀是畫出來(lái)了，不過(guò)畫面上的其它部分也產(chǎn)生了一些變化，涂鴉繪制是整張圖片的重繪，某些場(chǎng)景下這不夠完美，解決這個(gè)問(wèn)題需要使用下文介紹的涂鴉蒙版。

使用這個(gè)技術(shù)，我們還可以在圖片上寫幾個(gè)字，Stable Diffusion會(huì)把文字處理成畫筆書寫的效果，比較好看一些。

局部繪制

局部繪制是只更改原圖片的部分區(qū)域，具體方式是使用畫筆涂抹蓋住一些部分，然后我們可以選擇只重新繪制蓋住的部分，或者只重新繪制沒(méi)有蓋住的部分。在 Stable Diffusion 中蓋住的部分稱為蒙版內(nèi)容。

這里以把姑娘的頭發(fā)顏色修改成金色為例。

1、基礎(chǔ)模型選擇一個(gè)匹配照片風(fēng)格的；為了修改顏色，我們需要在提示詞中著重描述重繪需求。提示詞可以只描述要重繪的部分，也可以是一個(gè)完整的圖片描述，重繪幅度較大時(shí)建議只描述要重繪的部分，否則重繪的部分可能與原圖銜接不好。

2、在 Generation 選項(xiàng)卡中點(diǎn)擊“局部繪制”，上傳一張圖片后，使用畫筆工具涂抹要重繪的部分。

3、其它 Stable Diffusion 參數(shù)如下：

（1）蒙版模糊度：設(shè)置重繪部分與原圖的銜接處的模糊度，起到漸變的作用，讓銜接看起來(lái)比較自然。銜接不好時(shí)可以調(diào)大一點(diǎn)看看。

（2）蒙版模式：繪制蒙版內(nèi)容，也就是繪制被蒙住的內(nèi)容；繪制非蒙版內(nèi)容，也就是繪制沒(méi)有蒙住的部分。怎么選擇？我的經(jīng)驗(yàn)是哪個(gè)涂抹的少選擇哪個(gè)，給自己減少一些工作。比如這里要重繪頭發(fā)，頭發(fā)的區(qū)域相比整個(gè)圖片要小很多，我們就涂抹頭發(fā)，這里選擇繪制蒙版內(nèi)容；如果頭發(fā)的區(qū)域很大，我們就可以涂抹其它區(qū)域，然后這里選擇繪制非蒙版內(nèi)容。

（3）繪制區(qū)域：選擇全圖時(shí)Stable Diffusion會(huì)先重繪整張圖片，最后出圖時(shí)再替換到原圖中；僅蒙版時(shí)，Stable Diffusion只繪制需要重繪的部分。個(gè)人感覺(jué)出圖效果沒(méi)有太大差別，有興趣的可以多試試對(duì)比下。

（4）僅蒙版繪制參考半徑：繪制區(qū)域僅蒙版時(shí)，繪制區(qū)域向外拓展的數(shù)量，單位是像素。使用這個(gè)參數(shù)可以解決蒙版邊緣不好涂抹的問(wèn)題，效果類似我們手動(dòng)涂抹時(shí)向外多涂抹一點(diǎn)，讓新生成的部分與原圖銜接的更好。

（5）圖片尺寸：根據(jù)需要設(shè)置，注意選擇合適的縮放模式。我這里只改顏色，所以和原圖保持一致。

（6）重繪強(qiáng)度：多大程度上改變?cè)瓐D的內(nèi)容。因?yàn)楦念^發(fā)顏色還是相對(duì)困難的，所以我這里火力全開(kāi)，設(shè)置為最大的1。默認(rèn)是0.75，需要根據(jù)實(shí)際出圖效果調(diào)整設(shè)置。

4、最后給大家看下局部重繪的效果：

可以看到頭發(fā)已經(jīng)變成金色的了，但是頭發(fā)的外形也發(fā)生了一些變化，這說(shuō)明 Stable Diffusion是重新繪制，而不是簡(jiǎn)單的上色；而且只有蒙版蒙住的部分重新繪制了，其它部分都沒(méi)什么變化。

這個(gè)技術(shù)用途比較大，比如給模特?fù)Q衣服，當(dāng)然如果要換指定的衣服還得結(jié)合其它技術(shù)才行。

局部繪制（涂鴉蒙版）

上面我們介紹了涂鴉繪制，但是涂鴉繪制會(huì)重繪整張圖片，涂鴉蒙版可以解決這個(gè)問(wèn)題。

還是以給人物加上天使的翅膀?yàn)槔?/p>

1、選擇匹配畫面風(fēng)格的大模型，填寫想要繪制的畫面內(nèi)容，上傳圖片，選擇合適的顏色，在圖片上畫出想要的形狀。

2、Stable Diffusion 的參數(shù)中多了一個(gè)蒙版透明度，值越大繪制的內(nèi)容越透明；另外這里的重繪強(qiáng)度我們可以選擇的高一點(diǎn)，因?yàn)橹乩L只針對(duì)圖片的部分畫面，我們不需要擔(dān)心其它部分會(huì)被改變的太多。

3、話不多說(shuō)，還是看一下效果：

4、再分享幾個(gè)例子：

給姑娘頭上戴上一朵小黃花。

給姑娘剪個(gè)頭發(fā)。

在天上畫個(gè)地圖（區(qū)域有點(diǎn)小了，大家可以試試大圖）。

局部繪制（上傳蒙版）

上面我們演示了涂鴉蒙版的效果，但是這種手繪的蒙版還有個(gè)問(wèn)題：不夠精準(zhǔn)，繪制起來(lái)也比較麻煩。

上傳蒙版可以解決這個(gè)問(wèn)題，我們可以使用別的工具來(lái)制作一個(gè)精準(zhǔn)的模版，然后上傳到局部繪制，再進(jìn)行重繪。

還是以本文的姑娘照片為例，我們將使用上傳蒙版分別重繪人物和背景。

1、選擇匹配畫面風(fēng)格的大模型，在提示詞中編寫想要重繪的內(nèi)容。

提示詞1（繪制蒙版內(nèi)容，亞洲姑娘換成金發(fā)碧眼的美國(guó)姑娘）：

best quality, masterpiece, super high resolution, 4k, 1girl, american, full body:1.4, long golden hair, looking at viewer, beautiful detailed eyes, brown t-shirt:1.31, blue jeans:1.31

提示詞2（繪制非蒙版內(nèi)容，背景換成戰(zhàn)火紛飛的街道）：

best quality, masterpiece, super high resolution, 4k, 1girl standing in the middle of war-torn streets

反向提示詞：

deformed,bad anatomy,disfigured,poorly drawn face,out of frame,bad hands,bad fingers,unclear eyes,cloned face,bad face, disfigured, deformed, cross-eye， EasyNegative

2、在“局部繪制（上傳蒙版）”中分別上傳原圖和蒙版圖。

蒙版圖可以使用 Stable Diffusion WebUI 的一個(gè)摳圖插件制作：stable-diffusion-webui-rembg，我在之前的文章中介紹過(guò)它，點(diǎn)擊此處前往AI摳圖的教程。

3、Stable Diffusion 參數(shù)設(shè)置。注意我們這里要使用兩種蒙版模式分別繪制。

4、然后就可以生成圖片了，效果圖如下：

批量處理

“批量處理”可以完成一組圖片的“圖生圖”處理。

1、我們首先還得選擇一個(gè)大模型，編寫相關(guān)的提示詞（不過(guò)這個(gè)提示詞也可以不填，具體原因后邊的內(nèi)容會(huì)有說(shuō)明）。

2、再往下看，“批量處理”有一組特別的參數(shù)，如下圖所示：

（1）輸入目錄：原圖所在的目錄，必須設(shè)置。

（2）輸出目錄：新生成圖片的存放目錄，必須設(shè)置。

（3）批量繪制遮罩圖片目錄：如果需要根據(jù)蒙版進(jìn)行局部繪制，這里制定蒙版圖片所在的目錄，蒙版圖片的文件名需要和“輸入目錄”中的文件名一一對(duì)應(yīng)。

（4）Controlnet輸入目錄：如果使用Controlnet，這里需要指定Controlnet中使用的參考圖片。留空則使用“輸入目錄”中的文件。

（5）PNG info：提取一組圖片中的信息作為批量“圖生圖”時(shí)每張圖片的參數(shù)。比如我們提前生成好了一組圖片，現(xiàn)在想把它們轉(zhuǎn)換為另外的風(fēng)格，通過(guò)啟用這個(gè)參數(shù)，就可以在生成新圖片時(shí)使用原圖片的生成信息，以最大化保留原圖中的各種元素。啟用這個(gè)參數(shù)，需要勾選上“Append png info to prompts”，它還有幾個(gè)子參數(shù)：

• “PNG info directory”設(shè)置用來(lái)提取生成參數(shù)的圖片目錄，其中的圖片文件名需要和“輸入目錄”中的文件名一一對(duì)應(yīng)，默認(rèn)為“輸入目錄”；
• “Parameters to Take from png info” 為想要使用的圖片生成參數(shù)，按照自己的需要勾選就可以了，注意如果勾選了提示詞，它會(huì)被追加到“圖生圖”的提示詞中。如果我們想完全使用這些圖片的提示詞，可以把頁(yè)面上方“圖生圖”的提示詞和反向提示詞留空。

3、再往下，是 Stable Diffusion 的一些標(biāo)準(zhǔn)參數(shù)。注意如果勾選了“Append png info to prompts”，生成圖片時(shí)下圖紅框中的參數(shù)會(huì)被替換掉。

批量生成后，我們可以在輸出目錄找到新生成的圖片，圖片處理效果上面都演示過(guò)了，這里就不展示了。

總結(jié)

通過(guò)以上演示，我們可以看到，圖生圖能夠參考原圖，再依據(jù)我們的指令生成新圖。在這個(gè)重繪的過(guò)程中，我們可以使用涂鴉、蒙版等來(lái)影響出圖的效果，這是一種精準(zhǔn)控制的能力，不過(guò)這還不夠，如果需要更多的精準(zhǔn)控制，我們需要使用ControlNet：Stable Diffusion基礎(chǔ)：精準(zhǔn)控制之ControlNet?。

資源下載

如果你對(duì) Stable Diffusion 感興趣，我整理了很多 SD 相關(guān)的模型、插件，都已經(jīng)上傳到我整理的 Stable Diffusion 繪畫資源中，后續(xù)也會(huì)持續(xù)更新，如有需要，請(qǐng)關(guān)/注/公/眾/號(hào)：螢火遛AI（yinghuo6ai），發(fā)消息：SD，即可獲取下載地址。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-754704.html

到了這里，關(guān)于Stable Diffusion教程：4000字說(shuō)清楚圖生圖的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！