“圖生圖”是 Stable Diffusion的 核心功能之一，它的主要能力是根據(jù)現(xiàn)有的圖片 + 提示詞生成新的改造圖片，這在日常的工作和生活中都特別有用。

話不多說，讓我們看看它都有什么神奇的魔法吧。

基本使用

本節(jié)以生成人物的二次元風格的照片為例，具體步驟如下：

1、在Stable Diffusion 大模型這里選擇一個二次元模型：

2、在“圖生圖”這里上傳一張人物肖像照，并編寫對應的提示詞和反向提示詞。這里提示詞是可選的，但是不填寫可能會導致生成的圖片效果質量不佳。

提示詞：

best quality, masterpiece, super high resolution, 4k, adult women, asia, full body:1.4, long black hair, looking at viewer, beautiful detailed eyes, small breasts, white t-shirt:1.6, white pants:1.6, wide shot:1.3, strolling, beach:1.3, tree, beautiful detailed sky, blue sky

反向提示詞：

deformed,bad anatomy,disfigured,poorly drawn face,out of frame,bad hands,unclear eyes,cloned face,bad face, disfigured, deformed, cross-eye

3、設置 Stable Diffusino的相關參數(shù)：

（1）縮放模式：因為參考圖片和新生成的圖片尺寸可能不一致，所以我們需要選擇生成新圖片時怎么處理參考圖片。

這里有四種模式：拉伸、裁剪、填充和直接縮放，如果沒有特殊需求，大家應該都不會喜歡拉伸和直接縮放的效果，它們的效果如下圖所示：

當然如果參考圖片和新生成圖片的尺寸是一樣的，這個【縮放模式】怎么設置都沒有問題。

（2）采樣器、采樣步數(shù)：大部分采樣器的效果差別不是很大，一般 Euler a 和20步采樣就夠了，其它的可以試試DPM+系列。后邊會有文章專門講采樣器。

（3）生成圖片的尺寸：一般保持和原圖一樣，也可以更改，更改時需要考慮【縮放模式】的影響。

（4）生成次數(shù)和每次數(shù)量：默認都是1，也就是只生成一次且每次只生成一張圖片。增加【生成次數(shù)】會明顯增加生成時間，增加【每次數(shù)量】會明顯增大顯存使用。

（5）提示詞引導系數(shù)：默認為7，值越大生成圖片越貼近提示詞的描述，值越小AI自我發(fā)揮的越多，常見的設置是 5-12。

（6）重繪強度：新生成的圖片會多大程度上改變參考圖片，值越大新圖片自由發(fā)揮的越多，越不像參考圖片。這里我們不想讓人物的二次元照片與原圖相差太大，所以值設置的比較小。相同的值在不同的模型或者圖片上的效果都可能是不同的，所以實際處理圖片時還需根據(jù)效果進行調整。

然后我們就可以生成圖片了，下邊是我使用不同的重繪幅度做的圖：

涂鴉繪制

涂鴉繪制就是在原圖上畫一個代表某種事物的形狀，然后讓Stable Diffusion結合我們的提示詞在圖片中生成對應的元素。下面這個例子是給女孩添加一副天使的翅膀。

1、選擇合適的大模型，提示詞中聲明你想要在畫面中出現(xiàn)的元素。

2、在下面的 Generation 選項卡中選擇“涂鴉繪制”，上傳一張要涂鴉的圖片，然后使用畫筆工具在圖片上畫出你想要的形狀，這里可以選擇我們想要的顏色。天使的翅膀我想是白色的，但不應該是純白，所以我這里選擇一個有點灰的白色。

3、Stable Diffusion 的參數(shù)沒什么好說的，注意縮放模式和圖片尺寸的搭配，重繪強度建議從0.5開始，然后根據(jù)實際出圖效果調整。

4、然后就可以生成圖片了，看下邊的效果。

可以看到，翅膀是畫出來了，不過畫面上的其它部分也產生了一些變化，涂鴉繪制是整張圖片的重繪，某些場景下這不夠完美，解決這個問題需要使用下文介紹的涂鴉蒙版。

使用這個技術，我們還可以在圖片上寫幾個字，Stable Diffusion會把文字處理成畫筆書寫的效果，比較好看一些。

局部繪制

局部繪制是只更改原圖片的部分區(qū)域，具體方式是使用畫筆涂抹蓋住一些部分，然后我們可以選擇只重新繪制蓋住的部分，或者只重新繪制沒有蓋住的部分。在 Stable Diffusion 中蓋住的部分稱為蒙版內容。

這里以把姑娘的頭發(fā)顏色修改成金色為例。

1、基礎模型選擇一個匹配照片風格的；為了修改顏色，我們需要在提示詞中著重描述重繪需求。提示詞可以只描述要重繪的部分，也可以是一個完整的圖片描述，重繪幅度較大時建議只描述要重繪的部分，否則重繪的部分可能與原圖銜接不好。

2、在 Generation 選項卡中點擊“局部繪制”，上傳一張圖片后，使用畫筆工具涂抹要重繪的部分。

3、其它 Stable Diffusion 參數(shù)如下：

（1）蒙版模糊度：設置重繪部分與原圖的銜接處的模糊度，起到漸變的作用，讓銜接看起來比較自然。銜接不好時可以調大一點看看。

（2）蒙版模式：繪制蒙版內容，也就是繪制被蒙住的內容；繪制非蒙版內容，也就是繪制沒有蒙住的部分。怎么選擇？我的經驗是哪個涂抹的少選擇哪個，給自己減少一些工作。比如這里要重繪頭發(fā)，頭發(fā)的區(qū)域相比整個圖片要小很多，我們就涂抹頭發(fā)，這里選擇繪制蒙版內容；如果頭發(fā)的區(qū)域很大，我們就可以涂抹其它區(qū)域，然后這里選擇繪制非蒙版內容。

（3）繪制區(qū)域：選擇全圖時Stable Diffusion會先重繪整張圖片，最后出圖時再替換到原圖中；僅蒙版時，Stable Diffusion只繪制需要重繪的部分。個人感覺出圖效果沒有太大差別，有興趣的可以多試試對比下。

（4）僅蒙版繪制參考半徑：繪制區(qū)域僅蒙版時，繪制區(qū)域向外拓展的數(shù)量，單位是像素。使用這個參數(shù)可以解決蒙版邊緣不好涂抹的問題，效果類似我們手動涂抹時向外多涂抹一點，讓新生成的部分與原圖銜接的更好。

（5）圖片尺寸：根據(jù)需要設置，注意選擇合適的縮放模式。我這里只改顏色，所以和原圖保持一致。

（6）重繪強度：多大程度上改變原圖的內容。因為改頭發(fā)顏色還是相對困難的，所以我這里火力全開，設置為最大的1。默認是0.75，需要根據(jù)實際出圖效果調整設置。

4、最后給大家看下局部重繪的效果：

可以看到頭發(fā)已經變成金色的了，但是頭發(fā)的外形也發(fā)生了一些變化，這說明 Stable Diffusion是重新繪制，而不是簡單的上色；而且只有蒙版蒙住的部分重新繪制了，其它部分都沒什么變化。

這個技術用途比較大，比如給模特換衣服，當然如果要換指定的衣服還得結合其它技術才行。

局部繪制（涂鴉蒙版）

上面我們介紹了涂鴉繪制，但是涂鴉繪制會重繪整張圖片，涂鴉蒙版可以解決這個問題。

還是以給人物加上天使的翅膀為例。

1、選擇匹配畫面風格的大模型，填寫想要繪制的畫面內容，上傳圖片，選擇合適的顏色，在圖片上畫出想要的形狀。

2、Stable Diffusion 的參數(shù)中多了一個蒙版透明度，值越大繪制的內容越透明；另外這里的重繪強度我們可以選擇的高一點，因為重繪只針對圖片的部分畫面，我們不需要擔心其它部分會被改變的太多。

3、話不多說，還是看一下效果：

4、再分享幾個例子：

給姑娘頭上戴上一朵小黃花。

給姑娘剪個頭發(fā)。

在天上畫個地圖（區(qū)域有點小了，大家可以試試大圖）。

局部繪制（上傳蒙版）

上面我們演示了涂鴉蒙版的效果，但是這種手繪的蒙版還有個問題：不夠精準，繪制起來也比較麻煩。

上傳蒙版可以解決這個問題，我們可以使用別的工具來制作一個精準的模版，然后上傳到局部繪制，再進行重繪。

還是以本文的姑娘照片為例，我們將使用上傳蒙版分別重繪人物和背景。

1、選擇匹配畫面風格的大模型，在提示詞中編寫想要重繪的內容。

提示詞1（繪制蒙版內容，亞洲姑娘換成金發(fā)碧眼的美國姑娘）：

best quality, masterpiece, super high resolution, 4k, 1girl, american, full body:1.4, long golden hair, looking at viewer, beautiful detailed eyes, brown t-shirt:1.31, blue jeans:1.31

提示詞2（繪制非蒙版內容，背景換成戰(zhàn)火紛飛的街道）：

best quality, masterpiece, super high resolution, 4k, 1girl standing in the middle of war-torn streets

反向提示詞：

deformed,bad anatomy,disfigured,poorly drawn face,out of frame,bad hands,bad fingers,unclear eyes,cloned face,bad face, disfigured, deformed, cross-eye， EasyNegative

2、在“局部繪制（上傳蒙版）”中分別上傳原圖和蒙版圖。

蒙版圖可以使用 Stable Diffusion WebUI 的一個摳圖插件制作：stable-diffusion-webui-rembg

3、Stable Diffusion 參數(shù)設置。注意我們這里要使用兩種蒙版模式分別繪制。

4、然后就可以生成圖片了，效果圖如下：

批量處理

“批量處理”可以完成一組圖片的“圖生圖”處理。

1、我們首先還得選擇一個大模型，編寫相關的提示詞（不過這個提示詞也可以不填，具體原因后邊的內容會有說明）。

2、再往下看，“批量處理”有一組特別的參數(shù)，如下圖所示：

（1）輸入目錄：原圖所在的目錄，必須設置。

（2）輸出目錄：新生成圖片的存放目錄，必須設置。

（3）批量繪制遮罩圖片目錄：如果需要根據(jù)蒙版進行局部繪制，這里制定蒙版圖片所在的目錄，蒙版圖片的文件名需要和“輸入目錄”中的文件名一一對應。

（4）Controlnet輸入目錄：如果使用Controlnet，這里需要指定Controlnet中使用的參考圖片。留空則使用“輸入目錄”中的文件。

（5）PNG info：提取一組圖片中的信息作為批量“圖生圖”時每張圖片的參數(shù)。比如我們提前生成好了一組圖片，現(xiàn)在想把它們轉換為另外的風格，通過啟用這個參數(shù)，就可以在生成新圖片時使用原圖片的生成信息，以最大化保留原圖中的各種元素。啟用這個參數(shù)，需要勾選上“Append png info to prompts”，它還有幾個子參數(shù)：

• “PNG info directory”設置用來提取生成參數(shù)的圖片目錄，其中的圖片文件名需要和“輸入目錄”中的文件名一一對應，默認為“輸入目錄”；
• “Parameters to Take from png info” 為想要使用的圖片生成參數(shù)，按照自己的需要勾選就可以了，注意如果勾選了提示詞，它會被追加到“圖生圖”的提示詞中。如果我們想完全使用這些圖片的提示詞，可以把頁面上方“圖生圖”的提示詞和反向提示詞留空。

3、再往下，是 Stable Diffusion 的一些標準參數(shù)。注意如果勾選了“Append png info to prompts”，生成圖片時下圖紅框中的參數(shù)會被替換掉。

批量生成后，我們可以在輸出目錄找到新生成的圖片，圖片處理效果上面都演示過了，這里就不展示了。

總結

通過以上演示，我們可以看到，圖生圖能夠參考原圖，再依據(jù)我們的指令生成新圖。在這個重繪的過程中，我們可以使用涂鴉、蒙版等來影響出圖的效果，這是一種精準控制的能力，不過這還不夠，如果需要更多的精準控制，我們需要使用ControlNet：Stable Diffusion基礎：精準控制之ControlNet

寫在最后

感興趣的小伙伴，贈送全套AIGC學習資料，包含AI繪畫、AI人工智能等前沿科技教程和軟件工具，具體看這里。
?

AIGC技術的未來發(fā)展前景廣闊，隨著人工智能技術的不斷發(fā)展，AIGC技術也將不斷提高。未來，AIGC技術將在游戲和計算領域得到更廣泛的應用，使游戲和計算系統(tǒng)具有更高效、更智能、更靈活的特性。同時，AIGC技術也將與人工智能技術緊密結合，在更多的領域得到廣泛應用，對程序員來說影響至關重要。未來，AIGC技術將繼續(xù)得到提高，同時也將與人工智能技術緊密結合，在更多的領域得到廣泛應用。
?

一、AIGC所有方向的學習路線

AIGC所有方向的技術點做的整理，形成各個領域的知識點匯總，它的用處就在于，你可以按照下面的知識點去找對應的學習資源，保證自己學得較為全面。

二、AIGC必備工具

工具都幫大家整理好了，安裝就可直接上手！

三、最新AIGC學習筆記

當我學到一定基礎，有自己的理解能力的時候，會去閱讀一些前輩整理的書籍或者手寫的筆記資料，這些筆記詳細記載了他們對一些技術點的理解，這些理解是比較獨到，可以學到不一樣的思路。

四、AIGC視頻教程合集

觀看全面零基礎學習視頻，看視頻學習是最快捷也是最有效果的方式，跟著視頻中老師的思路，從基礎到深入，還是很容易入門的。

五、實戰(zhàn)案例

紙上得來終覺淺，要學會跟著視頻一起敲，要動手實操，才能將自己的所學運用到實際當中去，這時候可以搞點實戰(zhàn)案例來學習。

?文章來源地址http://www.zghlxwxcb.cn/news/detail-851384.html

到了這里，關于Stable Diffusion教程：圖生圖的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！