軟硬件環(huán)境：
OS: Ubuntu 20.04(Stable Diffusion開發(fā)需要Linux 環(huán)境，純使用Web工具也可在WIndows下運行)
CPU: AMD5800 8core 16Thread
GPU: NVIDIA RTX 3090 * 2
RAM: 16GB * 4
Pytorch-gpu=1.13
CUDA=11.7

一. 背景知識

1.1 Stable Diffusion背景知識

1.1.1 安裝stable-diffusion-webui

由于筆者的系統(tǒng)為Linux ,因此需要按照官網(wǎng)(https://github.com/AUTOMATIC1111/stable-diffusion-webui)的操作進行以下配置：

# Debian-based:
sudo apt install wget git python3 python3-venv
bash <(wget -qO- https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh)

下載好stable-dffusion-webui后，還需要單獨安裝gfpgan 包(https://gitcode.net/mirrors/TencentARC/GFPGAN?utm_source=csdn_github_accelerator)，安裝方式如下：

git clone https://github.com/TencentARC/GFPGAN.git
cd GFPGAN
# Install basicsr - https://github.com/xinntao/BasicSR
# We use BasicSR for both training and inference
pip install basicsr

# Install facexlib - https://github.com/xinntao/facexlib
# We use face detection and face restoration helper in the facexlib package
pip install facexlib

pip install -r requirements.txt
python setup.py develop

# If you want to enhance the background (non-face) regions with Real-ESRGAN,
# you also need to install the realesrgan package
pip install realesrgan

安裝好后將GFPGAN 目錄放在stable-diffusion-webui 目錄下，同時改名為gfpgan ，注意，這里如果不修改名字這個包將不可用。

然后運行以下命令并等待自動安裝好其他環(huán)境依賴包：

./webui.sh 

這里安裝requirements.rxt中的內(nèi)容可能需要等待一段時間：

1.2 ControlNet 背景知識

二. 使用方法

目前開放AI+藝術(shù)設(shè)計工具的方式多為Web交互界面，接入互聯(lián)網(wǎng)后調(diào)用AI公司內(nèi)部的云GPU服務(wù)器，服務(wù)器計算后返回結(jié)果給用戶。其大多有次數(shù)或功能限制，或者收費較高。本部分講述如何利用本地GPU工作機進行Web交互式AI繪圖。

2.1 環(huán)境配置

下載以下四個源代碼/模型文件：

1. 主要使用的SD的Web版本(第三方，非官方)：

   stable-diffusion-webui

2. 下載SD官方的v1.5模型：
   runwayml/stable-diffusion-v1-5

3. 下載ControlNet的Web版本(第三方，非官方):
   Mikubill/sd-webui-controlnet

4. 下載ControlNet官方發(fā)布的模型：
   lllyasviel/ControlNet/tree/main/models

下載好后首先進入stable-diffusion-webui 中，注意將 Mikubill/sd-webui-controlnet 的源代碼放在 extensions 目錄下面:

將下載好的ControlNet源代碼目錄中的models 復(fù)制到extensions 下面：

2.2 運行WebUI

在命令行中執(zhí)行腳本(注意不要使用sudo命令，否則會不成功):

./webui.sh 

接下來腳本自動進行環(huán)境安裝和模型加載。加載完畢后會返回一個本地Web網(wǎng)址，訪問這個網(wǎng)址可以進行本地瀏覽器界面交互：

復(fù)制url，打開瀏覽器，即可得到帶有ControlNet功能的SD的WebUI交互界面，可以利用界面上面的組件進行本地的快速交互設(shè)計開發(fā)。

三. 背景知識

3.1 Stable Diffusion參數(shù)詳解

Sampling method: 采樣方法

Sampling steps:采樣迭代步數(shù)

Restore faces: 面容修復(fù)

Tiling: 生成平鋪紋理

Highres.fix: 高分辨率修復(fù)

Firstpass width: 一開始的低分辨率的寬

Firstpass height: 一開始的低分辨率的高

CFG scale: 數(shù)值越小，AI多樣性越多，越大限制越多

Seed: 種子數(shù)

Variation seed: 在原來種子數(shù)的基礎(chǔ)之上的子種子數(shù)

Denoising strength：跟原來圖片的差距大小

3.2 ControlNet 參數(shù)詳解

1. 2D重繪
   Canny Edge
   HED Boundary
   M-LSD Lines
   Faske Scribbles

2. 專業(yè)領(lǐng)域
   Depth Map
   Normal Map
   Semantic Segmentation
   Human Pose

四. 定制化技巧

4.1 參數(shù)技巧

深度真人LoRa模型訓練建議：
使用和LoRa一樣的底模(大模型); 最好使用和LoRa作者相同的參數(shù);正確設(shè)置loRa的權(quán)重(0.8~0.9, <1);提示詞中要加入觸發(fā)詞;LoRa不是越多越好。
1、訓練總數(shù)：建議50張圖數(shù)據(jù)集深度訓練15000次左右，更大數(shù)據(jù)集可用Dadaptation優(yōu)化器測試最佳總步數(shù)。
2、訓練輪次：建議10/5次預(yù)設(shè)，每個圖建議單輪訓練20~30次。
3、訓練分辨率：建議768x1024,根據(jù)電腦顯存調(diào)整。
4、訓練源模型：建議chilloutmix_NiPnjnedFp32Fix, 1.5模型。
5、Text Encoder learning rate （文本編碼器學習率）：主要影響魯棒性、泛化性和擬合度，過低不利于更換特征。
6、Unet learning rate （Unet學習率）：主要影響模型像與不像，影響lost率和擬合度，不擬合加大，過擬合減小。
7、文本編碼器學習率和Unet學習率的關(guān)系：沒有必然的1/5~1/10倍率關(guān)系、龐大數(shù)據(jù)集下Unet甚至可以低過Text。
8、Network Rank （Dimension”網(wǎng)絡(luò)大?。簭娀柧毤毠?jié)，建議128?192，128以上增加提升相對不明顯。
9、Network Alpha （網(wǎng)絡(luò)Alpha）：建議96以上，弱化訓練細節(jié)，有正則化效果，可與Dim同步增加。
10、讓AI訓練AI：首發(fā)訓練采用Dadaptation,所有學習率均設(shè)為1。
1k手動訓練方法：建議用AadmW優(yōu)化器，可以通過調(diào)整學習率獲得很像與易用性的平衡。
12、lost率控制：不是越低越好，越低模型越擬合，但模型也越難更換特征，甚至會影響動作和表情。
13、Lion優(yōu)化器：不建議用在深度訓練中，太快擬合雖然能很像，但是造成泛用性差。
14、本地深度訓練方法：可以用遠程操作軟件監(jiān)控，訓練過程中發(fā)現(xiàn)學習率不合適遠程修改。

五. 參考來源

如何訓練一個非常像的真人Lora模型（深度探討）

[2023最新]LORA安裝和訓練指南

還搞不定lora訓練集嗎？干貨分享+打標講解文章來源地址http://www.zghlxwxcb.cn/news/detail-465194.html

到了這里，關(guān)于Stable Diffusion+ControlNet+Lora 指導(dǎo)AI+藝術(shù)設(shè)計的WebUI全流程使用教程的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！