[IDE(AI繪畫(huà))]從零開(kāi)始在本地部署AI繪畫(huà)實(shí)例（2023.4）

一、前言

跟我的版本號(hào)走基本上不會(huì)出錯(cuò)，如果安裝錯(cuò)誤請(qǐng)檢查自己是不是升級(jí)版本了，python 3.11.x在文章發(fā)布時(shí)并不支持
如果有穩(wěn)定的節(jié)點(diǎn)就不需要修改鏡像源，有些包鏡像源的版本是過(guò)時(shí)的，安裝時(shí)會(huì)報(bào)錯(cuò)

安裝環(huán)境：

CPU：AMD R7-5800H

GPU：RTX3060 6G

內(nèi)存：16G

系統(tǒng)：Win11 22H2

網(wǎng)絡(luò)環(huán)境：香港節(jié)點(diǎn)

二、安裝stable-diffusion-webui

1. 環(huán)境配置

1.安裝git

2.安裝miniconda，用于管理python版本

1. 執(zhí)行conda -V，顯示版本號(hào)即為安裝成功

2. 創(chuàng)建ai繪畫(huà)運(yùn)行環(huán)境，安裝python3.10.9

   conda create --name aidraw python=3.10.9
   #激活環(huán)境
   conda activate aidraw
   

3. 升級(jí)并修改鏡像源

   python -m pip install --upgrade pip
   #修改為鏡像源是為了解決國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境不穩(wěn)定導(dǎo)致ERROR: No matching distribution found for torch==1.13.1+cu117錯(cuò)誤
   pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

3.安裝CUDA

1. 終端輸入nvidia-smi記住圖中所示CUDA的版本，去官網(wǎng)下載對(duì)應(yīng)版本，請(qǐng)裝在固態(tài)硬盤上，在終端中執(zhí)行nvcc -V出現(xiàn)版本號(hào)即為安裝成功

如果提示安裝失敗，先將安裝的包全部刪除，然后在重新安裝時(shí)選擇自定義安裝，取消勾選VS

2. 下載CUDNN，填寫問(wèn)卷下載對(duì)應(yīng)CUDA的版本，我的是cuDNN v8.8.1 (March 8th, 2023), for CUDA 12.x，下載后將壓縮包中的bin、include、lib三個(gè)文件夾中的文件復(fù)制到CUDA安裝目錄覆蓋文件即可，一般在這里：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1

2. 安裝stable-diffusion-webui

1. 打開(kāi)Anaconda Prompt，激活aidraw環(huán)境，進(jìn)入你要安裝的盤，比如D盤（最好這個(gè)盤是固態(tài)盤）我要安裝到Game文件夾中

(aidraw) C:\Users\ERRUI>D:
(aidraw) C:\Users\ERRUI>cd Game
(aidraw) D:\Game>git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

2. 在外網(wǎng)節(jié)點(diǎn)環(huán)境執(zhí)行根目錄中的webui-user.bat文件

#可能會(huì)報(bào)錯(cuò)或者提示升級(jí)
(aidraw) D:\Game\stable-diffusion-webui>webui.bat

此時(shí)會(huì)生成tmp和venv目錄，然后編輯venv目錄下pyvenv.cfg文件，將include-system-site-packages = false改為true，引用系統(tǒng)中的模塊

再次執(zhí)行webui-user.bat，會(huì)安裝torch，需要很長(zhǎng)時(shí)間，之后如果在安裝webui時(shí)報(bào)錯(cuò)gradio，請(qǐng)先刪除鏡像源(AppData\Roaming\pip)，不管時(shí)阿里的還是清華的，然后在外網(wǎng)環(huán)境中下載gradio

3. 安裝中文UI組件

#任意目錄下執(zhí)行
git clone https://github.com/VinsonLaro/stable-diffusion-webui-chinese
#復(fù)制chinese-all-0306.json和chinese-english-0306.json兩個(gè)文件到以下目錄下
stable-diffusion-webui\localizations
#運(yùn)行webui-user.bat后在網(wǎng)頁(yè)中設(shè)置語(yǔ)言
Settings -> User interface -> Localization (requires restart) -> chinese-all-0220 -> Apply Settings -> Reload UI

4. 其他注意事項(xiàng)

• 面部修復(fù)功能和有些模型第一次運(yùn)行時(shí)需要下載依賴包，可在終端查看進(jìn)度，進(jìn)度條可能會(huì)卡住，此時(shí)請(qǐng)勿進(jìn)行任何停止操作，以免下載失敗，實(shí)測(cè)面部修復(fù)下載失敗第二次使用就會(huì)報(bào)空類型錯(cuò)誤

5. 顯卡優(yōu)化設(shè)置

1. 低顯存優(yōu)化方式

  ```bash
  #編輯根目錄/webui-user.bat文件，“set COMMANDLINE_ARGS=”后根據(jù)自己顯卡的顯存選擇下面的參數(shù)填入
  4G顯存：--precision full --no-half --lowvram --always-batch-cond-uncond
  6G-5G顯存：--precision full --no-half --medvram
  低于3G顯存：--lowvram --always-batch-cond-uncond 
  ```

2. 安裝xformers，該庫(kù)僅適用于N卡,特點(diǎn)是加速圖片生成并降低顯存占用,代價(jià)是輸出圖像不穩(wěn)定

  執(zhí)行`pip install xformers==0.0.16rc425`，在“set COMMANDLINE_ARGS=”后填入`--xformers`，進(jìn)入webui界面，最底部版本型號(hào)那里顯示xformers即為成功，更新包請(qǐng)帶上版本號(hào)，否則會(huì)不識(shí)別

3. 禁止使用瀏覽器硬件加速（Edge可以直接在搜索欄中檢索關(guān)鍵字“硬件加速”找到）

4. 右鍵選擇 nvidia控制面板，管理3d設(shè)置->全局設(shè)置->電源管理模式改為“最高性能優(yōu)先”

3. 安裝插件和模型

1. 插件：在webui界面點(diǎn)擊擴(kuò)展插件->選擇從網(wǎng)址安裝，復(fù)制即可，如果下載失敗多試幾次，可能網(wǎng)絡(luò)短路

1. Controlnet：https://jihulab.com/hunter0725/sd-webui-controlnet

 具體用法請(qǐng)參考筆記：[IDE(AI繪畫(huà))]Controlnet使用實(shí)踐，這個(gè)還摸索，摸索完會(huì)上傳，關(guān)注++謝謝啦

2. Tagger： https://github.com/toriato/stable-diffusion-webui-wd14-tagger

3. AdditionalNetworks：https://github.com/kohya-ss/sd-webui-additional-networks

4. inpainting（擴(kuò)展及修復(fù)原圖）

  https://huggingface.co/runwayml/stable-diffusion-inpainting/blob/main/sd-v1-5-inpainting.ckpt
  https://civitai.com/models/3128/anything-v3-inpainting
  下載以上兩個(gè)模型，放入models\Stable-diffusion，這兩個(gè)模型也是在局部繪制功能處使用的模型
  編輯webui-user.bat，在set COMMANDLINE_ARGS=后面添加--api --cors-allow-origins=https://www.painthua.com
  啟動(dòng)webui-user.bat
  打開(kāi)127.0.0.1:7860，將模型切換成這兩個(gè)模型中的一個(gè)
  打開(kāi)網(wǎng)址 www.painthua.com 即可

2. 模型

1. 將下載好的模型放入stable-diffusion-webui\models\Stable-diffusion下即可，注意，標(biāo)注lora hypernetworks embedding 類型的模型需要放到models下對(duì)應(yīng)的文件夾中，每次使用點(diǎn)擊“生成”按鈕下花牌logo的按鈕（第三個(gè)）

2. 模型推薦網(wǎng)站：https://civitai.com/；https://huggingface.co/

3. 關(guān)于vae（Variational Auto-Encoder 變分自動(dòng)編碼器）的使用：

  #有些模型會(huì)提示需要vae解碼器，一般會(huì)提供給你需要的vae地址，下載好后放入模型同目錄下，并將解碼器的前綴名改成和模型一致的名字
  AbyssOrangeMix2_hard.safetensors模型需要解碼器orangemix.vae.pt
  將解碼器復(fù)制到同目錄下，改名為AbyssOrangeMix2_hard.vae.pt即可
  #另一種方法就是放在models目錄下的VAE目錄，然后在webui的setting中SD VAE選擇即可，記住訓(xùn)練模型的時(shí)候要關(guān)閉
  #像AbyssOrangeMix系列模型都需要orangemix.vae.pt，就可以將這個(gè)vae文件存到目錄中在ui的設(shè)置界面整體調(diào)用

在"用戶界面"的快捷設(shè)置列表替換代碼sd_model_checkpoint,clip_stop_at_last_layers,sd_vae，可以配置vae快捷界面

4. 關(guān)于Lora模型的最佳實(shí)踐：https://www.bilibili.com/read/cv21209314

 加強(qiáng)圖設(shè)定質(zhì)感模型：https://civitai.com/models/13910
 線稿漫畫(huà)風(fēng)模型：https://civitai.com/models/16014/anime-lineart-manga-like-style

3. 關(guān)鍵詞參考

1. 負(fù)面關(guān)鍵詞匯總插件：EasyNegative，badhandv4

 > 下載后放入\stable-diffusion-webui\embeddings即可生效，使用時(shí)填寫名字即可
 >
 > 例： badhandv4，easynegative，(badhandv4:0.5) 

2. 關(guān)鍵詞用法以及詞典

1. https://github.com/zcyzcy88/TagTable

2. 魔咒百科詞典 (aitag.top)

3. 進(jìn)階教程使用方法,括號(hào)的用法,寫tag的思路,以及講解tag的使方法

3. 聯(lián)想關(guān)鍵詞插件sd-webui-tagcomplete，復(fù)制鏈接去擴(kuò)展插件中選擇從網(wǎng)址安裝，然后重新進(jìn)入即可

4. 隨機(jī)tag生成插件Wildcards

 配置：

 > https://github.com/Lopyter/stable-soup-prompts/tree/main/wildcards
 > https://github.com/jtkelm2/stable-diffusion-webui-1/tree/main/scripts/wildcards
 > https://github.com/themartiantourist/Wildcards-for-SD/tree/main/Wildcards
 >
 > 將以上三個(gè)鏈接倉(cāng)庫(kù)中的.txt文件存放到（\extensions\stable-diffusion-webui-wildcards\wildcards）下，注意重命名時(shí)文件名不可有空格

 用法：用前后下劃線約束關(guān)鍵詞`__hair__`，`__color__`，這兩個(gè)意思是隨機(jī)發(fā)型和顏色

4. 如何訓(xùn)練一個(gè)模型

1. 隱藏在設(shè)置中的影響因素：
   1. ENSD(Eta noise seed delta 噪聲種子偏移，在設(shè)置點(diǎn)擊選擇更多頁(yè)面，ctrl+F搜索eta即可)：一般設(shè)置31332或者31337
   2. Clip skip一般選擇2，（在設(shè)置點(diǎn)擊選擇更多頁(yè)面，ctrl+F搜索clip即可）
2. 其余主界面上的包括寬高都會(huì)影響圖片生成的最終效果

三、參考資料

1. https://www.cxymm.net/article/snans/129365893

2. https://zhuanlan.zhihu.com/p/613530403

3. https://zhuanlan.zhihu.com/p/574063064

4. https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Optimizations

5. https://www.aivisual.cn/threads/115/

6. https://zhuanlan.zhihu.com/p/583677438

四、最后

文章僅發(fā)布在CSDN平臺(tái)和個(gè)人博客中，對(duì)本文技術(shù)點(diǎn)有疑問(wèn)歡迎在評(píng)論區(qū)友好交流文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-425670.html

到了這里，關(guān)于[IDE(AI繪畫(huà))]從零開(kāi)始在本地部署AI繪畫(huà)實(shí)例（2023.4）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！