• AUTOMATIC1111/stable-diffusion-webui
• 參考B站Nenly視頻《零基礎(chǔ)學(xué)會(huì)Stable Diffusion》、視頻課件
• 推薦網(wǎng)站：stable-diffusion-art、Civitai（魔法） 、libilibi、AI藝術(shù)天堂
• 推薦Stable Diffusion整合資料：
  • NovelAI資源整合、《AI繪圖指南wiki》、AiDraw繪畫手冊(cè)
  • 重 繪學(xué)派法術(shù)緒論1.2、 Stable Diffusion 潛工具書

一、Stable Diffusion安裝與源碼解析

1.1 Stable Diffusion安裝

各種環(huán)境安裝教程參考：

• AutoDL：
  • 鏡像AUTOMATIC1111/stable-diffusion-webui/tzwm_sd_webui_A1111，作者一直在維護(hù)，目前更新到V16(8.6)，有問題可以進(jìn)群交流，作者會(huì)解答。這個(gè)是我目前用的，強(qiáng)推。
  • 【Stable diffusion教程】AutoDL云部署超詳細(xì)步驟說(shuō)明
• 秋葉：Stable Diffusion整合包v4.2發(fā)布
• 星空：AI繪畫整合包（新增 Controlnet1.1和SadTalker）
• kaggle：stable-diffusion-webui-kaggle、zh-stable-diffusion-webui-kaggle
• colab：stable-diffusion-webui-colab。colab現(xiàn)在已經(jīng)禁止白嫖Stable Diffusion了，付費(fèi)的可以。
• 騰訊云（Windows）：谷歌colab不能白嫖SD了？別怕，教你低成本用云服務(wù)器玩AI繪畫、Stable Diffusion云服務(wù)器部署完整版教程及對(duì)應(yīng)視頻講解

1.2 webui啟動(dòng)代碼分析

參考：

• 《stable-diffusion-webui源碼分析（1）-Gradio》
• 《stable-diffusion-webui源碼分析（4）-啟動(dòng)流程》

1.2.1 加載webui-user.sh

?? stable-diffusion-webui的啟動(dòng)方法為bash webui.sh。webui.sh首先是是判斷webui-user.sh這個(gè)文件是否存在（if中的-f參數(shù)），如果存在則使用source命令加載 webui-user.sh文件中用戶自定義的變量。

 # Read variables from webui-user.sh
# shellcheck source=/dev/null
if [[ -f webui-user.sh ]]
then
    source ./webui-user.sh
fi

1. 加載webui-user.sh變量
   ??webui-user.sh內(nèi)容如下，默認(rèn)它全是注釋掉的。如果用戶有需要可以配置一些參數(shù)，比如安裝的地址（install_dir）、項(xiàng)目文件夾的名字（clone_dir）、傳遞給webui.py的命令行參數(shù)（COMMANDLINE_ARGS）、python和git的可執(zhí)行文件路徑、python虛擬環(huán)境路徑、啟動(dòng)應(yīng)用程序的腳本文件（export LAUNCH_SCRIPT="launch.py"）、torch和依賴庫(kù)安裝命令等等。

#!/bin/bash
#########################################################
# Uncomment and change the variables below to your need:#
#########################################################

# Install directory without trailing slash
#install_dir="/home/$(whoami)"

# Name of the subdirectory
#clone_dir="stable-diffusion-webui"

# Commandline arguments for webui.py, for example: export COMMANDLINE_ARGS="--medvram --opt-split-attention"
#export COMMANDLINE_ARGS=""

# python3 executable
#python_cmd="python3"

# git executable
#export GIT="git"

# python3 venv without trailing slash (defaults to ${install_dir}/${clone_dir}/venv)
#venv_dir="venv"

# script to launch to start the app
#export LAUNCH_SCRIPT="launch.py"

# install command for torch
#export TORCH_COMMAND="pip install torch==1.12.1+cu113 --extra-index-url https://download.pytorch.org/whl/cu113"

# Requirements file to use for stable-diffusion-webui
#export REQS_FILE="requirements_versions.txt"
...

2. 設(shè)置默認(rèn)值
   ??接著設(shè)置一些默認(rèn)值。如果用戶在webui-user.sh中沒有自定義以上這些變量（if中的-z即是判斷變量的值是否為空），則腳本中將使用默認(rèn)變量，默認(rèn)值與webui-user.sh中的內(nèi)容大體相同。

# Set defaults
# Install directory without trailing slash
if [[ -z "${install_dir}" ]]
then
    install_dir="$(pwd)"
fi

# Name of the subdirectory (defaults to stable-diffusion-webui)
if [[ -z "${clone_dir}" ]]
then
    clone_dir="stable-diffusion-webui"
fi
...

3. 判斷root權(quán)限
   ??緊接著根據(jù)參數(shù)設(shè)置can_run_as_root的值，默認(rèn)為0，表示不能用root用戶登錄，如果設(shè)置為1，則可以用root用戶登錄。

# read any command line flags to the webui.sh script
while getopts "f" flag > /dev/null 2>&1
do
    case ${flag} in
        f) can_run_as_root=1;;
        *) break;;
    esac
done

??下面兩行ERROR_REPORTING默認(rèn)為FALSE，禁用錯(cuò)誤日志。PIP_IGNORE_INSTALLED默認(rèn)為0，不重新安裝已存在的pip包。

# Disable sentry logging
export ERROR_REPORTING=FALSE

# Do not reinstall existing pip packages on Debian/Ubuntu
export PIP_IGNORE_INSTALLED=0

4. 檢測(cè)git和python
5. 創(chuàng)建或激活python虛擬環(huán)境
6. 執(zhí)行l(wèi)aunch.py：判斷有沒有accelerate，沒有就直接執(zhí)行LAUNCH_SCRIPT（launch.py），有的話就用accelerate執(zhí)行。accelerate是Hugging Face發(fā)布的一個(gè)庫(kù)，用來(lái)加速pytorch，可以做分布式運(yùn)行。

if [[ ! -z "${ACCELERATE}" ]] && [ ${ACCELERATE}="True" ] && [ -x "$(command -v accelerate)" ]; then
    printf "\n%s\n" "${delimiter}"
    printf "Accelerating launch.py..."
    printf "\n%s\n" "${delimiter}"
    prepare_tcmalloc
    accelerate launch --num_cpu_threads_per_process=6 "${LAUNCH_SCRIPT}" "$@"
else
    printf "\n%s\n" "${delimiter}"
    printf "Launching launch.py..."
    printf "\n%s\n" "${delimiter}"
    prepare_tcmalloc
    "${python_cmd}" "${LAUNCH_SCRIPT}" "$@"
fi

1.2.2 執(zhí)行l(wèi)aunch.py

??經(jīng)過(guò)在webui.sh中一系列對(duì)運(yùn)行環(huán)境的判斷，而后便進(jìn)入到執(zhí)行腳本LAUNCH_SCRIPT，默認(rèn)下對(duì)應(yīng)的是launch.py。launch.py處理兩件事情，其一是準(zhǔn)備環(huán)境（prepare_environment），其二是開始運(yùn)行start。而start的實(shí)現(xiàn)較為簡(jiǎn)單，它既是調(diào)用webui.webui()，啟動(dòng)界面。

# launch.py

from modules import launch_utils

args = launch_utils.args
...
start = launch_utils.start

def main():
    if not args.skip_prepare_environment:
        prepare_environment()

    if args.test_server:
        configure_for_tests()

    start()


if __name__ == "__main__":
    main()

# launch_utils.py
def start():
    print(f"Launching {'API server' if '--nowebui' in sys.argv else 'Web UI'} with arguments: {' '.join(sys.argv[1:])}")
    import webui
    if '--nowebui' in sys.argv:
        webui.api_only()
    else:
        webui.webui()

1.2.3 執(zhí)行webui.py，啟動(dòng)界面

??Gradio是一個(gè)適合展示深度學(xué)習(xí)任務(wù)的python網(wǎng)頁(yè)UI框架，通過(guò)簡(jiǎn)單幾行代碼就能夠構(gòu)建界面，stable-diffusion-webui就是基于開源項(xiàng)目Gradio搭建的。

??程序啟動(dòng)后會(huì)進(jìn)入到webui.py，其中通過(guò)命令行來(lái)判斷是進(jìn)入api模式（api_only）還是進(jìn)入界面模式，如果是界面模式，就調(diào)用webui()方法。

# webui.py

if __name__ == "__main__":
    if cmd_opts.nowebui:
        api_only()
    else:
        webui()

??進(jìn)入webui方法，其中shared.demo.launch是Gradio的方法，即啟動(dòng)界面，而modules.ui.create_ui()便是構(gòu)建ui界面的方法。

# webui.py

from modules.shared import cmd_opts
...

def webui():
    launch_api = cmd_opts.api
    initialize()

    while 1:
        if shared.opts.clean_temp_dir_at_start:
            ui_tempdir.cleanup_tmpdr()
            startup_timer.record("cleanup temp dir")

        modules.script_callbacks.before_ui_callback()
        startup_timer.record("scripts before_ui_callback")

        shared.demo = modules.ui.create_ui()      # 啟動(dòng)UI界面
        startup_timer.record("create ui")

        if not cmd_opts.no_gradio_queue:
            shared.demo.queue(64)

        gradio_auth_creds = list(get_gradio_auth_creds()) or None

		# 啟動(dòng)界面
        app, local_url, share_url = shared.demo.launch(
            share=cmd_opts.share,
            server_name=server_name,
            server_port=cmd_opts.port,
            ssl_keyfile=cmd_opts.tls_keyfile,
            ssl_certfile=cmd_opts.tls_certfile,
            ssl_verify=cmd_opts.disable_tls_verify,
            debug=cmd_opts.gradio_debug,
            auth=gradio_auth_creds,
            inbrowser=cmd_opts.autolaunch and os.getenv('SD_WEBUI_RESTARTING ') != '1',
            prevent_thread_lock=True,
            allowed_paths=cmd_opts.gradio_allowed_path,
            app_kwargs={
                "docs_url": "/docs",
                "redoc_url": "/redoc",
            },
        )

??從上面代碼可以看出，webui方法中，傳入了modules文件夾下的shared.py文件中的cmd_opts變量，而這個(gè)變量來(lái)自于cmd_args.py中的parser變量。

# shared.py

from modules import localization, script_loading, errors, ui_components, shared_items, cmd_args

parser = cmd_args.parser

script_loading.preload_extensions(extensions_dir, parser)
script_loading.preload_extensions(extensions_builtin_dir, parser)

if os.environ.get('IGNORE_CMD_ARGS_ERRORS', None) is None:
    cmd_opts = parser.parse_args()
else:
    cmd_opts, _ = parser.parse_known_args()

...

1.2.4 cmd_args

modules/cmd_args.py文件，主要作用是解析命令行參數(shù)并設(shè)置相應(yīng)的選項(xiàng)。創(chuàng)建argparse.ArgumentParser的實(shí)例對(duì)象parser用于解析命令行參數(shù)，然后在parper中添加各種不同的命令行選項(xiàng)，例如：

• -f：命令行啟用此選項(xiàng)時(shí)，允許以root用戶運(yùn)行。action='store_true'表示如果在命令行中制定了該選項(xiàng)，則它的值將被設(shè)為True。
• --update-all-extensions：命令行啟用此選項(xiàng)時(shí)，將下載所有的擴(kuò)展更新。

??在這些參數(shù)中，我們還可以設(shè)置模型路徑（–ckpt-dir）、vae路徑（–vae-dir）、embedding路徑（–embeddings-dir）、hypernetwork路徑（–hypernetwork-dir）等等。例如，我們可以在命令行中輸入：

cd /root/stable-diffusion-webui/ && ./webui.sh -f 
--port 6006 
--enable-insecure-extension-access 
--api 
--xformers 
--opt-sdp-attention 
--no-half-vae 
--ckpt-dir /root/autodl-tmp/models/ckpt 
--embeddings-dir /root/autodl-tmp/models/embeddings 
--lora-dir /root/autodl-tmp/models/lora 
--vae-dir /root/autodl-tmp/models/vae 
--controlnet-dir /root/autodl-tmp/models/controlnet 
--lyco-dir /root/autodl-tmp/models/lycoris 
--skip-torch-cuda-test 
--skip-version-check 
--skip-python-version-check -

import argparse
import json
import os
from modules.paths_internal import models_path, script_path, data_path, extensions_dir, extensions_builtin_dir, sd_default_config, sd_model_file  # noqa: F401

parser = argparse.ArgumentParser()

parser.add_argument("-f", action='store_true', help=argparse.SUPPRESS)  # allows running as root; implemented outside of webui
parser.add_argument("--update-all-extensions", action='store_true', help="launch.py argument: download updates for all extensions when starting the program")
parser.add_argument("--skip-python-version-check", action='store_true', help="launch.py argument: do not check python version")
parser.add_argument("--skip-torch-cuda-test", action='store_true', help="launch.py argument: do not check if CUDA is able to work properly")
parser.add_argument("--reinstall-xformers", action='store_true', help="launch.py argument: install the appropriate version of xformers even if you have some version already installed")
parser.add_argument("--reinstall-torch", action='store_true', help="launch.py argument: install the appropriate version of torch even if you have some version already installed")
parser.add_argument("--update-check", action='store_true', help="launch.py argument: check for updates at startup")
parser.add_argument("--test-server", action='store_true', help="launch.py argument: configure server for testing")
parser.add_argument("--skip-prepare-environment", action='store_true', help="launch.py argument: skip all environment preparation")
parser.add_argument("--skip-install", action='store_true', help="launch.py argument: skip installation of packages")
parser.add_argument("--data-dir", type=str, default=os.path.dirname(os.path.dirname(os.path.realpath(__file__))), help="base path where all user data is stored")
parser.add_argument("--config", type=str, default=sd_default_config, help="path to config which constructs model",)
parser.add_argument("--ckpt", type=str, default=sd_model_file, help="path to checkpoint of stable diffusion model; if specified, this checkpoint will be added to the list of checkpoints and loaded",)
parser.add_argument("--ckpt-dir", type=str, default=None, help="Path to directory with stable diffusion checkpoints")
parser.add_argument("--vae-dir", type=str, default=None, help="Path to directory with VAE files")
parser.add_argument("--gfpgan-dir", type=str, help="GFPGAN directory", default=('./src/gfpgan' if os.path.exists('./src/gfpgan') else './GFPGAN'))
parser.add_argument("--gfpgan-model", type=str, help="GFPGAN model file name", default=None)
parser.add_argument("--no-half", action='store_true', help="do not switch the model to 16-bit floats")
parser.add_argument("--no-half-vae", action='store_true', help="do not switch the VAE model to 16-bit floats")
parser.add_argument("--no-progressbar-hiding", action='store_true', help="do not hide progressbar in gradio UI (we hide it because it slows down ML if you have hardware acceleration in browser)")
parser.add_argument("--max-batch-count", type=int, default=16, help="maximum batch count value for the UI")
parser.add_argument("--embeddings-dir", type=str, default=os.path.join(data_path, 'embeddings'), help="embeddings directory for textual inversion (default: embeddings)")
parser.add_argument("--textual-inversion-templates-dir", type=str, default=os.path.join(script_path, 'textual_inversion_templates'), help="directory with textual inversion templates")
parser.add_argument("--hypernetwork-dir", type=str, default=os.path.join(models_path, 'hypernetworks'), help="hypernetwork directory")
parser.add_argument("--localizations-dir", type=str, default=os.path.join(script_path, 'localizations'), help="localizations directory")
parser.add_argument("--allow-code", action='store_true', help="allow custom script execution from webui")
parser.add_argument("--medvram", action='store_true', help="enable stable diffusion model optimizations for sacrificing a little speed for low VRM usage")
parser.add_argument("--lowvram", action='store_true', help="enable stable diffusion model optimizations for sacrificing a lot of speed for very low VRM usage")
parser.add_argument("--lowram", action='store_true', help="load stable diffusion checkpoint weights to VRAM instead of RAM")
parser.add_argument("--always-batch-cond-uncond", action='store_true', help="disables cond/uncond batching that is enabled to save memory with --medvram or --lowvram")
parser.add_argument("--unload-gfpgan", action='store_true', help="does not do anything.")
parser.add_argument("--precision", type=str, help="evaluate at this precision", choices=["full", "autocast"], default="autocast")
parser.add_argument("--upcast-sampling", action='store_true', help="upcast sampling. No effect with --no-half. Usually produces similar results to --no-half with better performance while using less memory.")
parser.add_argument("--share", action='store_true', help="use share=True for gradio and make the UI accessible through their site")
parser.add_argument("--ngrok", type=str, help="ngrok authtoken, alternative to gradio --share", default=None)
parser.add_argument("--ngrok-region", type=str, help="does not do anything.", default="")
parser.add_argument("--ngrok-options", type=json.loads, help='The options to pass to ngrok in JSON format, e.g.: \'{"authtoken_from_env":true, "basic_auth":"user:password", "oauth_provider":"google", "oauth_allow_emails":"user@asdf.com"}\'', default=dict())
parser.add_argument("--enable-insecure-extension-access", action='store_true', help="enable extensions tab regardless of other options")
parser.add_argument("--codeformer-models-path", type=str, help="Path to directory with codeformer model file(s).", default=os.path.join(models_path, 'Codeformer'))
parser.add_argument("--gfpgan-models-path", type=str, help="Path to directory with GFPGAN model file(s).", default=os.path.join(models_path, 'GFPGAN'))
parser.add_argument("--esrgan-models-path", type=str, help="Path to directory with ESRGAN model file(s).", default=os.path.join(models_path, 'ESRGAN'))
parser.add_argument("--bsrgan-models-path", type=str, help="Path to directory with BSRGAN model file(s).", default=os.path.join(models_path, 'BSRGAN'))
parser.add_argument("--realesrgan-models-path", type=str, help="Path to directory with RealESRGAN model file(s).", default=os.path.join(models_path, 'RealESRGAN'))
parser.add_argument("--clip-models-path", type=str, help="Path to directory with CLIP model file(s).", default=None)
parser.add_argument("--xformers", action='store_true', help="enable xformers for cross attention layers")
parser.add_argument("--force-enable-xformers", action='store_true', help="enable xformers for cross attention layers regardless of whether the checking code thinks you can run it; do not make bug reports if this fails to work")
parser.add_argument("--xformers-flash-attention", action='store_true', help="enable xformers with Flash Attention to improve reproducibility (supported for SD2.x or variant only)")
parser.add_argument("--deepdanbooru", action='store_true', help="does not do anything")
parser.add_argument("--opt-split-attention", action='store_true', help="prefer Doggettx's cross-attention layer optimization for automatic choice of optimization")
parser.add_argument("--opt-sub-quad-attention", action='store_true', help="prefer memory efficient sub-quadratic cross-attention layer optimization for automatic choice of optimization")
parser.add_argument("--sub-quad-q-chunk-size", type=int, help="query chunk size for the sub-quadratic cross-attention layer optimization to use", default=1024)
parser.add_argument("--sub-quad-kv-chunk-size", type=int, help="kv chunk size for the sub-quadratic cross-attention layer optimization to use", default=None)
parser.add_argument("--sub-quad-chunk-threshold", type=int, help="the percentage of VRAM threshold for the sub-quadratic cross-attention layer optimization to use chunking", default=None)
parser.add_argument("--opt-split-attention-invokeai", action='store_true', help="prefer InvokeAI's cross-attention layer optimization for automatic choice of optimization")
parser.add_argument("--opt-split-attention-v1", action='store_true', help="prefer older version of split attention optimization for automatic choice of optimization")
parser.add_argument("--opt-sdp-attention", action='store_true', help="prefer scaled dot product cross-attention layer optimization for automatic choice of optimization; requires PyTorch 2.*")
parser.add_argument("--opt-sdp-no-mem-attention", action='store_true', help="prefer scaled dot product cross-attention layer optimization without memory efficient attention for automatic choice of optimization, makes image generation deterministic; requires PyTorch 2.*")
parser.add_argument("--disable-opt-split-attention", action='store_true', help="prefer no cross-attention layer optimization for automatic choice of optimization")
parser.add_argument("--disable-nan-check", action='store_true', help="do not check if produced images/latent spaces have nans; useful for running without a checkpoint in CI")
parser.add_argument("--use-cpu", nargs='+', help="use CPU as torch device for specified modules", default=[], type=str.lower)
parser.add_argument("--listen", action='store_true', help="launch gradio with 0.0.0.0 as server name, allowing to respond to network requests")
parser.add_argument("--port", type=int, help="launch gradio with given server port, you need root/admin rights for ports < 1024, defaults to 7860 if available", default=None)
parser.add_argument("--show-negative-prompt", action='store_true', help="does not do anything", default=False)
parser.add_argument("--ui-config-file", type=str, help="filename to use for ui configuration", default=os.path.join(data_path, 'ui-config.json'))
parser.add_argument("--hide-ui-dir-config", action='store_true', help="hide directory configuration from webui", default=False)
parser.add_argument("--freeze-settings", action='store_true', help="disable editing settings", default=False)
parser.add_argument("--ui-settings-file", type=str, help="filename to use for ui settings", default=os.path.join(data_path, 'config.json'))
parser.add_argument("--gradio-debug",  action='store_true', help="launch gradio with --debug option")
parser.add_argument("--gradio-auth", type=str, help='set gradio authentication like "username:password"; or comma-delimit multiple like "u1:p1,u2:p2,u3:p3"', default=None)
parser.add_argument("--gradio-auth-path", type=str, help='set gradio authentication file path ex. "/path/to/auth/file" same auth format as --gradio-auth', default=None)
parser.add_argument("--gradio-img2img-tool", type=str, help='does not do anything')
parser.add_argument("--gradio-inpaint-tool", type=str, help="does not do anything")
parser.add_argument("--gradio-allowed-path", action='append', help="add path to gradio's allowed_paths, make it possible to serve files from it")
parser.add_argument("--opt-channelslast", action='store_true', help="change memory type for stable diffusion to channels last")
parser.add_argument("--styles-file", type=str, help="filename to use for styles", default=os.path.join(data_path, 'styles.csv'))
parser.add_argument("--autolaunch", action='store_true', help="open the webui URL in the system's default browser upon launch", default=False)
parser.add_argument("--theme", type=str, help="launches the UI with light or dark theme", default=None)
parser.add_argument("--use-textbox-seed", action='store_true', help="use textbox for seeds in UI (no up/down, but possible to input long seeds)", default=False)
parser.add_argument("--disable-console-progressbars", action='store_true', help="do not output progressbars to console", default=False)
parser.add_argument("--enable-console-prompts", action='store_true', help="print prompts to console when generating with txt2img and img2img", default=False)
parser.add_argument('--vae-path', type=str, help='Checkpoint to use as VAE; setting this argument disables all settings related to VAE', default=None)
parser.add_argument("--disable-safe-unpickle", action='store_true', help="disable checking pytorch models for malicious code", default=False)
parser.add_argument("--api", action='store_true', help="use api=True to launch the API together with the webui (use --nowebui instead for only the API)")
parser.add_argument("--api-auth", type=str, help='Set authentication for API like "username:password"; or comma-delimit multiple like "u1:p1,u2:p2,u3:p3"', default=None)
parser.add_argument("--api-log", action='store_true', help="use api-log=True to enable logging of all API requests")
parser.add_argument("--nowebui", action='store_true', help="use api=True to launch the API instead of the webui")
parser.add_argument("--ui-debug-mode", action='store_true', help="Don't load model to quickly launch UI")
parser.add_argument("--device-id", type=str, help="Select the default CUDA device to use (export CUDA_VISIBLE_DEVICES=0,1,etc might be needed before)", default=None)
parser.add_argument("--administrator", action='store_true', help="Administrator rights", default=False)
parser.add_argument("--cors-allow-origins", type=str, help="Allowed CORS origin(s) in the form of a comma-separated list (no spaces)", default=None)
parser.add_argument("--cors-allow-origins-regex", type=str, help="Allowed CORS origin(s) in the form of a single regular expression", default=None)
parser.add_argument("--tls-keyfile", type=str, help="Partially enables TLS, requires --tls-certfile to fully function", default=None)
parser.add_argument("--tls-certfile", type=str, help="Partially enables TLS, requires --tls-keyfile to fully function", default=None)
parser.add_argument("--disable-tls-verify", action="store_false", help="When passed, enables the use of self-signed certificates.", default=None)
parser.add_argument("--server-name", type=str, help="Sets hostname of server", default=None)
parser.add_argument("--gradio-queue", action='store_true', help="does not do anything", default=True)
parser.add_argument("--no-gradio-queue", action='store_true', help="Disables gradio queue; causes the webpage to use http requests instead of websockets; was the defaul in earlier versions")
parser.add_argument("--skip-version-check", action='store_true', help="Do not check versions of torch and xformers")
parser.add_argument("--no-hashing", action='store_true', help="disable sha256 hashing of checkpoints to help loading performance", default=False)
parser.add_argument("--no-download-sd-model", action='store_true', help="don't download SD1.5 model even if no model is found in --ckpt-dir", default=False)
parser.add_argument('--subpath', type=str, help='customize the subpath for gradio, use with reverse proxy')
parser.add_argument('--add-stop-route', action='store_true', help='add /_stop route to stop server')

二、文生圖（提示詞解析）

• 參考 NovelAI資源整合、《圖解法術(shù)Ⅰ：服裝咒語(yǔ)》
• 參考Stable Diffusion & NovelAI資源及使用技巧收集匯總（自用）、Stable Diffusion完整入門指南

??提示詞必須是英文，很長(zhǎng)且有很多符號(hào)，就像高深莫測(cè)的咒語(yǔ)一樣，所以大家形象地把寫提示詞prompt過(guò)程叫做“念咒”。模型很多時(shí)候不知道我們到底想要什么，這時(shí)候就要通過(guò)prompt來(lái)進(jìn)行指示和引導(dǎo)。在Stable Diffusion中，無(wú)論是文生圖還是圖生圖，都需要用到prompt，這是一切的基礎(chǔ)。

2.1 提示詞入門

??提示詞必須是英文，如果英文不太好就只能求助翻譯軟件或者一些插件了。提示詞的書寫不需要遵守完整句子的語(yǔ)法結(jié)構(gòu)，只是堆砌一些詞組也是可以的，而且效果會(huì)更好。例如畫“一條又長(zhǎng)又寬的面，一個(gè)又大又圓的碗”，寫成（面，長(zhǎng)，寬），（碗，大，圓）也是OK的，而且效果可能更好。

1. 使用分隔符：提示詞詞組之間要使用分隔符隔開，在底層代碼中，都是英文書寫的，常用的風(fēng)格符是英文逗號(hào)（半角）。
2. 換行：提示詞可以換行，但是行尾最好英文逗號(hào)隔開
3. 高質(zhì)量圖片的生成需要內(nèi)容詳盡、畫質(zhì)標(biāo)準(zhǔn)清晰的提示詞
   A girl is walking in the forest（一個(gè)女孩在森林中漫步），可以寫成1 girl,walking,forest,path,sun,sunshine,shiing in body。但是這樣生成的圖片遠(yuǎn)達(dá)不到我們期望的效果。這是因?yàn)槟Ｐ停⊿table Diffusion）生成圖片是有一定隨機(jī)性的，“一個(gè)女孩在森林中漫步”這種描述太籠統(tǒng)了。女孩是什么造型、服裝、視角，森林里是什么樣子等等這些模型都不知道，模型只能瞎蒙了，所以最終效果并不好。我們可以慢慢再細(xì)化、微調(diào)和補(bǔ)充。
   
   提示詞分類：提示詞可以按如下分類，方便書寫時(shí)對(duì)號(hào)入座，進(jìn)行補(bǔ)充。

• 內(nèi)容型提示詞：根據(jù)自己的需求進(jìn)行針對(duì)性地修改
  • 人物主體特征：越具體AI的思路越清晰。形容詞如beautiful、happy等抽象詞，也可以影響整體的感覺
  • 場(chǎng)景特征：戶外場(chǎng)景最好加入outdoor提示詞，室內(nèi)使用indoor，可以顯著影響畫面的氛圍
  • 環(huán)境光照
  • 畫幅視角：近景特寫可以用close up，中距離可以寫full body

• 標(biāo)準(zhǔn)提示詞：相對(duì)固定，可以抄作業(yè)
  如果只有內(nèi)容型提示詞，生成的圖片大概率會(huì)難以令人滿意，比如畫質(zhì)魔壺，缺少細(xì)節(jié)等等，這時(shí)候就需要補(bǔ)充畫質(zhì)畫風(fēng)提示詞，讓生成的圖像更趨近于某個(gè)固定的標(biāo)準(zhǔn)。（不同風(fēng)格的圖片也依賴于預(yù)訓(xùn)練模型）
  

• 畫幅視角

  • 距離 close-up,distant
  • 人物比例 full body, upper body
  • 觀察視角 from above, view of back
  • 鏡頭類型wide angle,Sony A7I

• 畫風(fēng)提示詞

  • 插畫風(fēng) illustration,painting,paintbrush
  • 二次元animecomic,game CG
  • 寫實(shí)系 photorealistic, realistic, photograph

• 通用高畫質(zhì)

  • best quality, ultra-detailed, masterpiece,hires,8k

• 特定高分辨率類型

  • extremely detailed CG unity 8k wallpaper(超精細(xì)的8K Unity游戲CG)、unreal engine rendered (虛幻引擎渲染)

2.2 權(quán)重

??剛才我們?cè)趐rompt中加入了white flower，但是生成的圖片中并沒有。這是因?yàn)閜rompt中的詞非常多，所以模型不一定get到你想要什么。所以這個(gè)時(shí)候可以使用權(quán)重來(lái)進(jìn)行調(diào)整，有兩種方式：

• 英文括號(hào)表示：每一層[]表示權(quán)重×0.9（減少），{}表示×1.05，()表示×1.1。所以(((white flower)))表示白色的話權(quán)重為1.331.；
• 英文括號(hào)+數(shù)字表示：(white flower:1.5)表示白色的花的權(quán)重是1.5 。

??提示詞權(quán)重的安全范圍一般在1±0.5左右，太高容易扭曲畫面的內(nèi)容。這時(shí)候我們想要更多的百花的元素，可以通過(guò)更多類型的詞條來(lái)進(jìn)行協(xié)同效應(yīng)。提示詞進(jìn)階規(guī)則——混合、遷移、迭代等，后續(xù)會(huì)補(bǔ)充。

另外還有一些補(bǔ)充規(guī)則：

• 越靠前的prompt權(quán)重越大；比如景色在前，人物就會(huì)小，相反的人物會(huì)變大或半身
• 圖片越大需要的Prompt越多，不然Prompt會(huì)相互污染
• Prompt支持使用emoji，且表現(xiàn)力較好。

2.3 負(fù)面提示詞（ Negative prompt）

??Negative prompt用于指定不想生成的內(nèi)容，使用Negative prompt可以消除了Stable Diffusion的常見畸形，比如多余的肢體。采樣器（sampler）將比較prompt生成的圖片和Negative prompt生成的圖片之間的差異，并是最終生成結(jié)果逼近前者，遠(yuǎn)離后者，下面是一個(gè)示例：

• 原始圖片有霧狀（fog）、顆粒感（grainy，畫質(zhì)低）
• Negative prompt為fog：霧狀沒了但是生成奇怪的紫色
• Negative prompt為grainy：沒有霧狀和紫色，但是色彩單調(diào)
• Negative prompt為fog，grainy， purple：沒有霧狀和紫色，畫質(zhì)高，色彩飽和度高。

negative prompt：None	negative prompt：fog

negative prompt：grainy	negative prompt：fog, grainy, purple

出圖反向提示詞通用模板：

2.4 出圖參數(shù)設(shè)置

• 采樣迭代步數(shù)20-50：
  ??Stable Diffusion是通過(guò)對(duì)圖像進(jìn)行加噪聲再去噪聲的方式生成圖片，圖片加噪之后模型才有更多的空間去發(fā)揮。去噪過(guò)程可以理解為模型會(huì)用像素點(diǎn)一點(diǎn)點(diǎn)的生成你需要的圖片，生成時(shí)畫面每閃一次表示模型迭代了一步。
  ??理論上步數(shù)越多畫質(zhì)越清晰。但是實(shí)際上步數(shù)大于20次以后，提升不明顯了，而且步數(shù)越大，計(jì)算時(shí)間越長(zhǎng)，且顯存消耗越大。默認(rèn)20，需求高清可設(shè)置30-50,10以下畫質(zhì)驚悚。
  
  
• 采樣方法：可理解為模型生成圖片時(shí)的算法，選擇帶+號(hào)或模型推薦
  • Euler和Eular a：插畫風(fēng)，比較簡(jiǎn)約
  • DPM 2M和DPM 2M Karras：出圖較快
  • DPM ++ SDE Karras：細(xì)節(jié)豐富

??實(shí)際使用時(shí)，推薦圖中帶+號(hào)的采樣方法，因?yàn)槎歼M(jìn)過(guò)了改進(jìn)。另外很多模型有推薦的采樣方法，一般是作者測(cè)試表現(xiàn)最好的。

• 分辨率：推薦1024×1024左右，高畫質(zhì)可使用高清修復(fù)
  ??太低細(xì)節(jié)和畫質(zhì)不夠，太高容易顯存不足，且可能出現(xiàn)多人多手多腳的畫面。因?yàn)锳I訓(xùn)練時(shí)，分辨率不會(huì)太高，過(guò)高的分辨率AI會(huì)認(rèn)為是多圖拼接的。如果確實(shí)需要高畫質(zhì)，可以先生成低分辨率，再使用高清修復(fù)來(lái)放大，本質(zhì)是圖生圖，后續(xù)會(huì)講到。
  
  
• 面部修復(fù)：一般都會(huì)選
• 平鋪：不推薦
• 提示詞相關(guān)性：提示詞對(duì)生成圖像的影響程度。相關(guān)性較高的時(shí)候，生成的圖像將更符合提示信息的樣子；相反，如果提示詞相關(guān)性較低，對(duì)應(yīng)的權(quán)重也較小，則生成的圖像會(huì)更加隨機(jī)
  • 對(duì)于人物類的提示詞，一般將提示詞相關(guān)性控制在 7-12 之間，太高畫面容易變形
  • 對(duì)于建筑等大場(chǎng)景類的提示詞，一般控制在 3-7 左右。這樣可以在一定程度上突出隨機(jī)性，同時(shí)又不會(huì)影響生成圖像的可視化效果。
• 隨機(jī)種子：骰子按鈕表示每次都隨機(jī)（-1），三角循環(huán)按鈕表示復(fù)制上一次的隨機(jī)種子值
• 生成批次和批次數(shù)量：用于一次生成多張圖。批次數(shù)量提高，顯存消耗也提高，生成高清圖時(shí)不建議改。

2.5 新手念咒方法

更多方法請(qǐng)參考AI藝術(shù)天堂

1. 自然語(yǔ)言：中文表述翻譯成英文。翻譯插件
2. 提示詞工具：

   • AI提示詞加速器、AI tag生成工具、NovelAI tag生成器 V2.1、魔咒百科詞典、NovelAi魔導(dǎo)書：這幾個(gè)網(wǎng)址都是可以自由勾選tag的，可以試試哪一個(gè)更好用。
     
     

   • ClickPrompt、ChatFlow、

   • PromptBase：DALL·E, GPT, Midjourney, Stable Diffusion, ChatGPT Prompt Marketplace。

3. 抄作業(yè)：Civitai（魔法） 、libilibi、煉丹閣、DesAi、openart（偏歐美）、arthub（偏亞洲）這幾個(gè)網(wǎng)站都有很多優(yōu)秀的圖片可以參考。另外還有室內(nèi)設(shè)計(jì)tag整合表、
4. chatgpt生成提示詞：先在chatgpt中寫入下面這段話：

- Reference guide of what is Stable Diffusion and how to Prompt -

Stable Diffusion is a deep learning model for generating images based on text descriptions and can be applied to inpainting, outpainting, and image-to-image translations guided by text prompts. Developing a good prompt is essential for creating high-quality images.

A good prompt should be detailed and specific, including keyword categories such as subject, medium, style, artist, website, resolution, additional details, color, and lighting. Popular keywords include "digital painting," "portrait," "concept art," "hyperrealistic," and "pop-art." Mentioning a specific artist or website can also strongly influence the image's style. For example, a prompt for an image of Emma Watson as a sorceress could be: "Emma Watson as a powerful mysterious sorceress, casting lightning magic, detailed clothing, digital painting, hyperrealistic, fantasy, surrealist, full body."

Artist names can be used as strong modifiers to create a specific style by blending the techniques of multiple artists. Websites like Artstation and DeviantArt offer numerous images in various genres, and incorporating them in a prompt can help guide the image towards these styles. Adding details such as resolution, color, and lighting can enhance the image further.

Building a good prompt is an iterative process. Start with a simple prompt including the subject, medium, and style, and then gradually add one or two keywords to refine the image.

Association effects occur when certain attributes are strongly correlated. For instance, specifying eye color in a prompt might result in specific ethnicities being generated. Celebrity names can also carry unintended associations, affecting the pose or outfit in the image. Artist names, too, can influence the generated images.

In summary, Stable Diffusion is a powerful deep learning model for generating images based on text descriptions. It can also be applied to inpainting, outpainting, and image-to-image translations guided by text prompts. Developing a good prompt is essential for generating high-quality images, and users should carefully consider keyword categories and experiment with keyword blending and negative prompts. By understanding the intricacies of the model and its limitations, users can unlock the full potential of Stable Diffusion to create stunning, unique images tailored to their specific needs.

--

Please use this information as a reference for the task you will ask me to do after.

--

Below is a list of prompts that can be used to generate images with Stable Diffusion.

- Examples -

"masterpiece, best quality, high quality, extremely detailed CG unity 8k wallpaper, The vast and quiet taiga stretches to the horizon, with dense green trees grouped in deep harmony, as the fresh breeze whispers through their leaves and crystal snow lies on the frozen ground, creating a stunning and peaceful landscape, Bokeh, Depth of Field, HDR, bloom, Chromatic Aberration, Photorealistic, extremely detailed, trending on artstation, trending on CGsociety, Intricate, High Detail, dramatic, art by midjourney"

"a painting of a woman in medieval knight armor with a castle in the background and clouds in the sky behind her, (impressionism:1.1), ('rough painting style':1.5), ('large brush texture':1.2), ('palette knife':1.2), (dabbing:1.4), ('highly detailed':1.5), professional majestic painting by Vasily Surikov, Victor Vasnetsov, (Konstantin Makovsky:1.3), trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic"

"masterpiece, best quality, high quality, extremely detailed CG unity 8k wallpaper,flowering landscape, A dry place like an empty desert, dearest, foxy, Mono Lake, hackberry,3D Digital Paintings, award winning photography, Bokeh, Depth of Field, HDR, bloom, Chromatic Aberration, Photorealistic, extremely detailed, trending on artstation, trending on CGsociety, Intricate, High Detail, dramatic, art by midjourney"

"portrait of french women in full steel knight armor, highly detailed, heart professional majestic oil painting by Vasily Surikov, Victor Vasnetsov, Konstantin Makovsky, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic"

"(extremely detailed CG unity 8k wallpaper), full shot photo of the most beautiful artwork of a medieval castle, snow falling, nostalgia, grass hills, professional majestic oil painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic painting art by midjourney and greg rutkowski"

"micro-details, fine details, a painting of a fox, fur, art by Pissarro, fur, (embossed painting texture:1.3), (large brush strokes:1.6), (fur:1.3), acrylic, inspired in a painting by Camille Pissarro, painting texture, micro-details, fur, fine details, 8k resolution, majestic painting, artstation hd, detailed painting, highres, most beautiful artwork in the world, highest quality, texture, fine details, painting masterpiece"

"(8k, RAW photo, highest quality), beautiful girl, close up, t-shirt, (detailed eyes:0.8), (looking at the camera:1.4), (highest quality), (best shadow), intricate details, interior, (ponytail, ginger hair:1.3), dark studio, muted colors, freckles"

"(dark shot:1.1), epic realistic, broken old boat in big storm, illustrated by herg, style of tin tin comics, pen and ink, female pilot, art by greg rutkowski and artgerm, soft cinematic light, adobe lightroom, photolab, hdr, intricate, highly detailed, (depth of field:1.4), faded, (neutral colors:1.2), (hdr:1.4), (muted colors:1.2), hyperdetailed, (artstation:1.4), cinematic, warm lights, dramatic light, (intricate details:1.1), complex background, (rutkowski:0.66), (teal and orange:0.4), (intricate details:1.12), hdr, (intricate details, hyperdetailed:1.15)"

"Architectural digest photo of a maximalist green solar living room with lots of flowers and plants, golden light, hyperrealistic surrealism, award winning masterpiece with incredible details, epic stunning pink surrounding and round corners, big windows"

- Explanation -

The following elements are a description of the prompt structure. You should not include the label of a section like "Scene description:".

Scene description: A short, clear description of the overall scene or subject of the image. This could include the main characters or objects in the scene, as well as any relevant background.

Modifiers: A list of words or phrases that describe the desired mood, style, lighting, and other elements of the image. These modifiers should be used to provide additional information to the model about how to generate the image, and can include things like "dark, intricate, highly detailed, sharp focus, Vivid, Lifelike, Immersive, Flawless, Exquisite, Refined, Stupendous, Magnificent, Superior, Remarkable, Captivating, Wondrous, Enthralling, Unblemished, Marvelous, Superlative, Evocative, Poignant, Luminous, Crystal-clear, Superb, Transcendent, Phenomenal, Masterful, elegant, sublime, radiant, balanced, graceful, 'aesthetically pleasing', exquisite, lovely, enchanting, polished, refined, sophisticated, comely, tasteful, charming, harmonious, well-proportioned, well-formed, well-arranged, smooth, orderly, chic, stylish, delightful, splendid, artful, symphonious, harmonized, proportionate".

Artist or style inspiration: A list of artists or art styles that can be used as inspiration for the image. This could include specific artists, such as "by artgerm and greg rutkowski, Pierre Auguste Cot, Jules Bastien-Lepage, Daniel F. Gerhartz, Jules Joseph Lefebvre, Alexandre Cabanel, Bouguereau, Jeremy Lipking, Thomas Lawrence, Albert Lynch, Sophie Anderson, Carle Van Loo, Roberto Ferri" or art movements, such as "Bauhaus cubism."

Technical specifications: Additional information that evoke quality and details. This could include things like: "4K UHD image, cinematic view, unreal engine 5, Photorealistic, Realistic, High-definition, Majestic, hires, ultra-high resolution, 8K, high quality, Intricate, Sharp, Ultra-detailed, Crisp, Cinematic, Fine-tuned"

- Prompt Structure -

The structure sequence can vary. However, the following is a good reference:

[Scene description]. [Modifiers], [Artist or style inspiration], [Technical specifications]

- Special Modifiers -

In the examples you can notice that some terms are closed between (). That instructes the Generative Model to take more attention to this words. If there are more (()) it means more attention.

Similarly, you can find a structure like this (word:1.4). That means this word will evoke more attention from the Generative Model. The number "1.4" means 140%. Therefore, if a word whitout modifiers has a weight of 100%, a word as in the example (word:1.4), will have a weight of 140%.

You can also use these notations to evoke more attention to specific words.

- Your Task -

Based on the examples and the explanation of the structure, you will create 5 prompts. In my next requests, I will use the command /Theme: [ description of the theme]. Then, execute your task based on the description of the theme.

--

Acknowledge that you understood the instructions

或者是：

# Stable Diffusion prompt 助理

你來(lái)充當(dāng)一位有藝術(shù)氣息的Stable Diffusion prompt 助理。

## 任務(wù)

我用自然語(yǔ)言告訴你要生成的prompt的主題，你的任務(wù)是根據(jù)這個(gè)主題想象一幅完整的畫面，然后轉(zhuǎn)化成一份詳細(xì)的、高質(zhì)量的prompt，讓Stable Diffusion可以生成高質(zhì)量的圖像。

## 背景介紹

Stable Diffusion是一款利用深度學(xué)習(xí)的文生圖模型，支持通過(guò)使用 prompt 來(lái)產(chǎn)生新的圖像，描述要包含或省略的元素。

## prompt 概念

- 完整的prompt包含“**Prompt:**”和"**Negative Prompt:**"兩部分。
- prompt 用來(lái)描述圖像，由普通常見的單詞構(gòu)成，使用英文半角","做為分隔符。
- negative prompt用來(lái)描述你不想在生成的圖像中出現(xiàn)的內(nèi)容。
- 以","分隔的每個(gè)單詞或詞組稱為 tag。所以prompt和negative prompt是由系列由","分隔的tag組成的。

## () 和 [] 語(yǔ)法

調(diào)整關(guān)鍵字強(qiáng)度的等效方法是使用 () 和 []。 (keyword) 將tag的強(qiáng)度增加 1.1 倍，與 (keyword:1.1) 相同，最多可加三層。 [keyword] 將強(qiáng)度降低 0.9 倍，與 (keyword:0.9) 相同。

## Prompt 格式要求

下面我將說(shuō)明 prompt 的生成步驟，這里的 prompt 可用于描述人物、風(fēng)景、物體或抽象數(shù)字藝術(shù)圖畫。你可以根據(jù)需要添加合理的、但不少于5處的畫面細(xì)節(jié)。

### 1. prompt 要求

- 你輸出的 Stable Diffusion prompt 以“**Prompt:**”開頭。
- prompt 內(nèi)容包含畫面主體、材質(zhì)、附加細(xì)節(jié)、圖像質(zhì)量、藝術(shù)風(fēng)格、色彩色調(diào)、燈光等部分，但你輸出的 prompt 不能分段，例如類似"medium:"這樣的分段描述是不需要的，也不能包含":"和"."。
- 畫面主體：不簡(jiǎn)短的英文描述畫面主體, 如 A girl in a garden，主體細(xì)節(jié)概括（主體可以是人、事、物、景）畫面核心內(nèi)容。這部分根據(jù)我每次給你的主題來(lái)生成。你可以添加更多主題相關(guān)的合理的細(xì)節(jié)。
- 對(duì)于人物主題，你必須描述人物的眼睛、鼻子、嘴唇，例如'beautiful detailed eyes,beautiful detailed lips,extremely detailed eyes and face,longeyelashes'，以免Stable Diffusion隨機(jī)生成變形的面部五官，這點(diǎn)非常重要。你還可以描述人物的外表、情緒、衣服、姿勢(shì)、視角、動(dòng)作、背景等。人物屬性中，1girl表示一個(gè)女孩，2girls表示兩個(gè)女孩。
- 材質(zhì)：用來(lái)制作藝術(shù)品的材料。 例如：插圖、油畫、3D 渲染和攝影。 Medium 有很強(qiáng)的效果，因?yàn)橐粋€(gè)關(guān)鍵字就可以極大地改變風(fēng)格。
- 附加細(xì)節(jié)：畫面場(chǎng)景細(xì)節(jié)，或人物細(xì)節(jié)，描述畫面細(xì)節(jié)內(nèi)容，讓圖像看起來(lái)更充實(shí)和合理。這部分是可選的，要注意畫面的整體和諧，不能與主題沖突。
- 圖像質(zhì)量：這部分內(nèi)容開頭永遠(yuǎn)要加上“(best quality,4k,8k,highres,masterpiece:1.2),ultra-detailed,(realistic,photorealistic,photo-realistic:1.37)”， 這是高質(zhì)量的標(biāo)志。其它常用的提高質(zhì)量的tag還有，你可以根據(jù)主題的需求添加：HDR,UHD,studio lighting,ultra-fine painting,sharp focus,physically-based rendering,extreme detail description,professional,vivid colors,bokeh。
- 藝術(shù)風(fēng)格：這部分描述圖像的風(fēng)格。加入恰當(dāng)?shù)乃囆g(shù)風(fēng)格，能提升生成的圖像效果。常用的藝術(shù)風(fēng)格例如：portraits,landscape,horror,anime,sci-fi,photography,concept artists等。
- 色彩色調(diào)：顏色，通過(guò)添加顏色來(lái)控制畫面的整體顏色。
- 燈光：整體畫面的光線效果。

### 2. negative prompt 要求
- negative prompt部分以"**Negative Prompt:**"開頭，你想要避免出現(xiàn)在圖像中的內(nèi)容都可以添加到"**Negative Prompt:**"后面。
- 任何情況下，negative prompt都要包含這段內(nèi)容："nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,((watermark)),(white letters)"
- 如果是人物相關(guān)的主題，你的輸出需要另加一段人物相關(guān)的 negative prompt，內(nèi)容為：“skin spots,acnes,skin blemishes,age spot,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body”。

### 3. 限制：
- tag 內(nèi)容用英語(yǔ)單詞或短語(yǔ)來(lái)描述，并不局限于我給你的單詞。注意只能包含關(guān)鍵詞或詞組。
- 注意不要輸出句子，不要有任何解釋。
- tag數(shù)量限制40個(gè)以內(nèi)，單詞數(shù)量限制在60個(gè)以內(nèi)。
- tag不要帶引號(hào)("")。
- 使用英文半角","做分隔符。
- tag 按重要性從高到低的順序排列。
- 我給你的主題可能是用中文描述，你給出的prompt和negative prompt只用英文。

我的第一個(gè)主題是： 一個(gè)美麗的中國(guó)女孩

三、圖生圖

3.1 圖生圖入門

??在文生圖時(shí)，我們可以通過(guò)一些提示詞，告訴AI模型我們想要它生成什么圖像，但是AI繪畫是有一定隨機(jī)性的，它不一定完全get到你想要什么。這時(shí)候如果給它一張參考圖，AI就可以從圖片上獲取更多的信息，更直觀的get到你的想法。

1. 提示詞
   ??圖生圖也需要提示詞具體、準(zhǔn)確。如果完全不輸入提示詞，一般都會(huì)翻車。如果加入更多描述細(xì)節(jié)的內(nèi)容型提示詞（短發(fā)、藍(lán)眼睛、胡子、戴羊毛帽、穿格子襯衫），再加上一些標(biāo)準(zhǔn)化的正反提示詞，出圖效果會(huì)更好：
   

2. 重繪幅度：圖生圖獨(dú)有的參數(shù)，越高表示在原圖基礎(chǔ)上重新繪制的程度越高。
   下面這個(gè)例子，我們選擇一張真人圖，然后用深淵橘模型生成對(duì)應(yīng)的漫畫人物。此時(shí)重繪幅度推薦0.6-0.8，因?yàn)橹乩L幅度太高，人物形象可能會(huì)變形；太低則看不出效果。出圖效果如下：

2. 分辨率：一般推薦保持和原圖的分辨率一致
   • 如果原圖尺寸太大（比如3000×3000），可以等比縮??；
   • 如果你就是想生成其它高寬比的圖片，建議先在原圖上進(jìn)行裁剪，再進(jìn)行生成。
     如果設(shè)置的高寬比和原圖不同，會(huì)導(dǎo)致圖像的變形、拉伸。圖片下方也有幾個(gè)縮放的選項(xiàng)可以進(jìn)行部分裁剪。最后一個(gè)直接縮放對(duì)顯存要求很高，不建議使用。
     

3.2 隨機(jī)種子解析

??在上面的例子中，加入更多細(xì)節(jié)描述后，模型生成了一張更相似的圖片。但是此時(shí)，我們發(fā)現(xiàn)生成的圖片是室內(nèi)場(chǎng)景，而原圖是室外的。此時(shí)可以加上一些場(chǎng)景詞（xx in the backgrounds）進(jìn)行約束，比如野外、森林、旅行、景深（depth of field，背景虛化的效果）等等。

??加入場(chǎng)景詞之后，我們發(fā)現(xiàn)整個(gè)人物的形態(tài)也發(fā)生了改變，這是因?yàn)锳I繪畫的隨機(jī)性。如果我們想保持之前的人物形象不變，只改變背景，只需要固定隨機(jī)種子就行。

??AI生成圖片的過(guò)程是隨機(jī)的，每次生成都會(huì)隨機(jī)采樣，表現(xiàn)在這里就是一組隨機(jī)數(shù)（隨機(jī)種子）。如果選擇同一組隨機(jī)種子，生成的圖片必然就有很多相似之處，因?yàn)槎际峭惶纂S機(jī)方法生成的。

• 骰子：隨機(jī)種子設(shè)為-1，表示每次隨機(jī)都不一樣
• 三角循環(huán)：隨機(jī)種子保持和上一次一樣

這次我們采用之前喜歡的那張圖片的隨機(jī)種子，再加上場(chǎng)景詞，可以看到背景被改變了，人物形象基本不變。

3.3 圖生圖拓展

1. 物體擬人化
   導(dǎo)入物體圖片并輸入擬人化的提示詞，可以實(shí)現(xiàn)物體甚至是風(fēng)景的擬人化
   

2. 二次元人物3D化
   導(dǎo)入二次元人物圖，使用2.5D模型，以真實(shí)質(zhì)感標(biāo)準(zhǔn)化提示詞進(jìn)行約束，可以到的近似3D的效果圖。如果想更具體準(zhǔn)確的轉(zhuǎn)換，可以使用一些lora。
   

3. 抽象派繪畫
   有時(shí)候，我們只是隨手涂寫，模型也能畫出驚艷的效果。（圖上圖中的繪畫模式）

四、模型

4.1 Checkpoint

4.1.1 Checkpoint簡(jiǎn)介

??對(duì)于模型作者而言，訓(xùn)練模型通常指生成 Checkpoint 文件。這些文件包含了模型參數(shù)和優(yōu)化器狀態(tài)等信息，是訓(xùn)練過(guò)程中定期保存的狀態(tài)快照。

??對(duì)于使用者而言，可以將 Checkpoint 文件理解為一種風(fēng)格濾鏡，例如油畫、漫畫、寫實(shí)風(fēng)等。通過(guò)選擇對(duì)應(yīng)的 Checkpoint 文件，您可以將 Stable Diffusion 模型生成的結(jié)果轉(zhuǎn)換為您所選擇的特定風(fēng)格。需要注意的是，一些 Checkpoint 文件可能需要與特定的低碼率編碼器（如 Lora）配合使用，以獲得更好的效果。

??在下載 Checkpoint 文件時(shí)，您可以查看相應(yīng)的模型簡(jiǎn)介，通常作者會(huì)提供相應(yīng)的文件和說(shuō)明事項(xiàng)，以幫助您更好地使用和理解該文件

??在webui打開時(shí)新添加了模型文件，點(diǎn)一下刷新就可以。模型沒加載好就生成圖片，可能會(huì)導(dǎo)致報(bào)錯(cuò)。

4.1.2 Checkpoint分類與下載

Checkpoint按畫風(fēng)可以分為三類：

??官方發(fā)布的Stable Diffusion1.4/1.5/2.0/2.1等模型效果都比較一般，因?yàn)橛邪鏅?quán)的約束?，F(xiàn)在大家用的比較多的，都是私爐模型（大家一般把訓(xùn)練AI模型叫做煉丹，因?yàn)楹芏嗖豢煽兀?br> 目前主流的模型下載網(wǎng)站有:

• Hugging Face：點(diǎn)擊上方models選項(xiàng)卡，左側(cè)標(biāo)簽選text-to-image就可以看到文生圖模型了。
• Civitai（魔法） 、libilibi

4.2 VAE（變分自解碼器）

??VAE負(fù)責(zé)將加噪后的潛空間數(shù)據(jù)轉(zhuǎn)為正常圖像，可以簡(jiǎn)單理解為模型的調(diào)色濾鏡，主要影響畫面的色彩質(zhì)感。目前大多數(shù)新模型在文件中已經(jīng)融合了VAE，還有一些作者會(huì)在model card中推薦合適的VAE。

??VAE文件后綴一般是.pt，或者是.safetensor，存放路徑是。還有一種自動(dòng)加載特定模型VAE的方法，是將VAE文件也放在models/Stable-diffusion文件夾下，然后將文件名改成和模型名一致，再在后綴.pt前添加.vae字段，這樣就可以在加載模型時(shí)選擇自動(dòng)加載VAE了。

4.3 embeddings

在C站或者liblibai網(wǎng)站上，embeddings用Textual Inversion標(biāo)簽來(lái)篩選。

• badhandv4：觸發(fā)詞badhandv4
• EasyNegativeV2：針對(duì)二次元模型訓(xùn)練的，解決肢體混亂、顏色混雜、灰度異常等等一系列負(fù)面問題，觸發(fā)詞easynegative。
• Deep Negative V1.x：針對(duì)真人模型訓(xùn)練的。解決包括錯(cuò)誤的人體解剖結(jié)構(gòu)、令人反感的配色方案、顛倒的空間結(jié)構(gòu)等等問題。觸發(fā)詞NG_DeepNegative_V1_75T。
• CharTurnerV2:基本句式A character turnaround of a(X)wearing(Y)。這段tag越靠前權(quán)重越高，還可以加上Multiple views of the same character in the same outfit來(lái)達(dá)到同一角色服裝多個(gè)視角的效果。單獨(dú)使用效果不好，配合人物轉(zhuǎn)身lora——CharTurnerBeta - Lora效果更好。

??在 Stable Diffusion 中，embedding 技術(shù)可以被理解為一種組件，它可以將輸入數(shù)據(jù)轉(zhuǎn)換成向量表示，方便模型進(jìn)行處理和生成。如果說(shuō)checkpoint是一本厚厚的字典，可以查詢?cè)S多的條目（關(guān)鍵詞）進(jìn)行生成，那么embeddings就像一個(gè)高效的索引，可以指向特定的內(nèi)容；而LORA就像字典中的一張彩頁(yè)，指向特定內(nèi)容更加具體（包含的信息更多）。

??舉個(gè)例子，如果我們想要生成一個(gè)開心的皮卡丘，通常需要輸入很多描述詞，如黃毛、老鼠、長(zhǎng)耳朵、腮紅等等。但是，如果引入皮卡丘的 embedding，我們只需要輸入兩個(gè)詞：皮卡丘和開心。皮卡丘的 embedding 打包了所有皮卡丘的特征描述，這樣我們就不用每次輸入很多單詞來(lái)控制生成的畫面了。

??在日常使用中，embedding 技術(shù)通常用于控制人物的動(dòng)作和特征，或者生成特定的畫風(fēng)。相比于其他模型（如 LORA），embedding 的大小只有幾十 KB，而不是幾百兆或幾 GB。雖然還原度對(duì)比 lora 差一些，但在存儲(chǔ)和使用上更加方便。

??總之，使用 embedding，我們可以更加輕松地生成符合預(yù)期的樣本，而不需要手動(dòng)輸入大量的描述詞匯，下面推薦幾個(gè)常用embedding。

4.3.1 特定人物形象（含tag反推）

??比如liblibai網(wǎng)址上的Corneo’s D.va，訓(xùn)練的是守望先鋒里的人氣角色D.va，下載后存入stable-diffusion-webui/embeddings文件夾，然后在prompt中使用特定的提示詞進(jìn)行激活。

??在這個(gè)embedding的medel card里會(huì)，作者說(shuō)激活詞是corneo_dva，推薦權(quán)重推薦0.9到0.95，所以我們可以寫(corneo_dva:0.95) 。另外提示詞中加入人物描述，生成會(huì)更準(zhǔn)確。所以我們上傳一張作者的展示圖，先反推tag，再填入prompt。

??在圖生圖中，反推一張照片的tag有CLIP和DB兩種算法，后一種更快更準(zhǔn)。識(shí)別后進(jìn)行一次篩選，只保留準(zhǔn)確的描述詞就行。

??如果嫌手動(dòng)篩選太麻煩，可以打開tigger標(biāo)簽欄，使用tigger插件進(jìn)行反推。上傳圖片后，反推的提示詞會(huì)顯示其置信度，其中還有一個(gè)sensitive表示安全評(píng)分。我們可以手動(dòng)設(shè)置置信度閾值0.8，再點(diǎn)一次反向推導(dǎo)，就只保留置信度>0.8的提示詞了。

4.3.2 人物反轉(zhuǎn)

??前段時(shí)間，網(wǎng)上有很多非常精致的3D人物形象的例子，就是通過(guò)CharTurner這個(gè)embedding實(shí)現(xiàn)的。這其實(shí)就是把幾個(gè)不同朝向的人物并列的圖片進(jìn)行訓(xùn)練得到的。作者在model cord中給出了基本啟用句式：A character turnaround of a(X)wearing(Y)。這段tag越靠前權(quán)重越高，還可以加上Multiple views of the same character in the same outfit來(lái)達(dá)到同一角色服裝多個(gè)視角的效果。prompt中可以啟用多個(gè)embeddings，效果需要自己把握。

??CharTurner這個(gè)embedding還是有很多缺點(diǎn)，在人物細(xì)節(jié)和轉(zhuǎn)身動(dòng)作上無(wú)法準(zhǔn)確把控這一點(diǎn)在后續(xù)LORA中可以部分解決，例如CharTurnerBeta - Lora的轉(zhuǎn)身效果更好，還可以和embedding配合使用。

4.3.3 解決bad case

??直到現(xiàn)在，Stable Diffusion生成的圖片還是容易畫錯(cuò)手腳的情況，甚至是多手多腳。C站上排行較高的幾個(gè)embedding可以解決這個(gè)問題，這些embedding記錄了一系列AI畫錯(cuò)的方式，整合后放入負(fù)面提示框中進(jìn)行激活，一定程度上避免了上述畫錯(cuò)手腳的情況。

• badhandv4：觸發(fā)詞badhandv4
• EasyNegativeV2：針對(duì)二次元模型訓(xùn)練的，解決肢體混亂、顏色混雜、灰度異常等等一系列負(fù)面問題，觸發(fā)詞easynegative。
• Deep Negative V1.x：針對(duì)真人模型訓(xùn)練的。解決包括錯(cuò)誤的人體解剖結(jié)構(gòu)、令人反感的配色方案、顛倒的空間結(jié)構(gòu)等等問題。觸發(fā)詞NG_DeepNegative_V1_75T。

4.4 LoRa

以下是幾個(gè)我喜歡的lora：

• Adjuster 衣物增/減 LoRA:可實(shí)現(xiàn)衣物增減
• Detail Tweaker LoRA (細(xì)節(jié)調(diào)整LoRA):用于在保持整體風(fēng)格/特征的同時(shí)增強(qiáng)/減少細(xì)節(jié);它適用于各種基本模型（包括動(dòng)漫和現(xiàn)實(shí)模型）/風(fēng)格 LoRA/角色 LoRA 等，權(quán)重±2
• Polaroid LoRA：拍立得LORA，不帶白色邊框、只保留拍立得照片質(zhì)感的模型。
• CharTurnerBeta - Lora:觸發(fā)詞charturnbetalora，權(quán)重建議0.2到0.4，配合CharTurnerV2 embedding效果更好。
• 娜烏斯嘉角色lora、墨幽角色LoRa、FilmGirl 膠片風(fēng) LoRA、現(xiàn)代修仙傳lora、國(guó)風(fēng)未來(lái)lora、漢服唐風(fēng)lora

4.4.1 LoRa簡(jiǎn)介

??LORA 與 embedding 在本質(zhì)上類似，因?yàn)閿y帶著大量的訓(xùn)練數(shù)據(jù)，所以 LORA 對(duì)人物和細(xì)節(jié)特征的復(fù)刻更加細(xì)膩。

??LORA激活方法：<lora:lora_filename:weight>，其中，lora_filename就是你要啟用的LORA文件的文件名（不含后綴），例如<lora:CharTurnBetaLora:0.3>可以啟用人物轉(zhuǎn)身LORA CharTurnerBeta。有的LORA還有觸發(fā)詞，表示作者根據(jù)這個(gè)tag進(jìn)行了加強(qiáng)訓(xùn)練，二者同時(shí)啟用可以加強(qiáng)效果。

?? LORA 模型對(duì)應(yīng)的底模和觸發(fā)詞匯，在 LORA 作者給出的model信息中可以獲得。

??需要注意的是， LORA 訓(xùn)練的圖源復(fù)雜，所以一般會(huì)對(duì)畫風(fēng)造成輕微影響，可以通過(guò)降低其權(quán)重來(lái)抑制。權(quán)重設(shè)置越大，對(duì)畫風(fēng)的影響因素就越小，通常情況下，權(quán)重應(yīng)該控制在 0.3-1 之間。

??為了獲得最佳效果，我們可以根據(jù)不同的 LORA 模型選擇適當(dāng)?shù)奶崾驹~和排除詞，并在設(shè)置權(quán)重時(shí)進(jìn)行調(diào)整。同時(shí)，我們還可以參考其他作者的經(jīng)驗(yàn)和技巧，以便更好地利用 LORA 生成圖像。

4.4.2 擴(kuò)展模型加載

我們點(diǎn)擊文生圖下面紅色小按鈕，就可以顯示擴(kuò)展模型選項(xiàng)。

??這些模型默認(rèn)沒有預(yù)覽圖，你可以加載之后跑一張圖片，然后點(diǎn)擊用當(dāng)前生成圖片替換預(yù)覽圖。配置完之后，會(huì)在模型文件旁邊生成同名的圖片，不想要可以刪除。也可以選擇一張圖片改成和模型一樣的名字，刷新后就自動(dòng)成為模型封面圖。

??在設(shè)置——擴(kuò)展模型中，可以設(shè)置一些細(xì)節(jié)。比如設(shè)置模型展示方式是卡牌還是縮略圖，卡牌寬高尺寸、LORA模型加載權(quán)重等等。

4.4.3 addition network加載

github地址：sd-webui-additional-networks

??前面幾種方式加載的LORA都會(huì)明確寫在提示詞中，這樣在圖片分享時(shí)，這部分內(nèi)容是可見的。還有一種加載方式，用于多個(gè)LORA同時(shí)使用的情況。點(diǎn)擊頁(yè)面下方的addition network，就可以啟用最多五個(gè)LORA，并分別配置權(quán)重。


??通過(guò)addition network，默認(rèn)讀取的是在extensions-addition-network-models-lora文件夾下的LORA文件。我們可以在settings-addition network下，第一行設(shè)置其讀取路徑為lora默認(rèn)的安裝路徑。


??addition network加載LORA的方式是和提示詞完全獨(dú)立的，所以提高了提示詞的閱讀性，缺點(diǎn)就是分享時(shí)，這種方式加載的LORA信息不會(huì)被顯示出來(lái)。所以有些網(wǎng)上比較滿意的圖片，copy參數(shù)信息后無(wú)法完美還原，就可能是作者使用了這種方式加載了LORA文件。

??addition network還為L(zhǎng)ORA擴(kuò)展了蒙版功能，使其可以作用于圖片的特定區(qū)域，后續(xù)再補(bǔ)充。

4.4.4 LORA實(shí)際應(yīng)用

??LORA的具體應(yīng)用，可以分為以下五種：

1. 人物角色lora：推薦權(quán)重0.7-0.8。
   ??以lucy這個(gè)LORA為例。我們先用封面圖進(jìn)行tagger反推，然后直接文生圖，即使描述如此詳細(xì)，AI也無(wú)法還原一個(gè)準(zhǔn)確的lucy形象。而加入lucy這個(gè)LORA ，馬上就像了很多。因?yàn)檫@個(gè)LORA就是用很多個(gè)lucy的角色圖訓(xùn)練的，傳遞信息更加準(zhǔn)確。
   ??比如我們反推的提示詞里有白夾克，但世上有無(wú)數(shù)款白夾克，AI并不知道要繪制哪一種。而提供了LORA后，AI就可以提取其中的關(guān)鍵信息，進(jìn)行準(zhǔn)確的繪制了。
   
   ??使用真實(shí)系大模型+動(dòng)漫角色LORA，就可以得到一個(gè)真人coser形象。結(jié)合后續(xù)要講的controlnet，=還可以設(shè)計(jì)角色的姿勢(shì)及構(gòu)圖，定制自己跌作品。

下面是其它的幾種模型的效果（來(lái)自《AI 繪畫融合于工作流的案例和經(jīng)驗(yàn)》）

• ↓ 角色 LoRA + 貼紙模型 waves-chibi-style
  

• ↓ 角色 LoRA + 大頭娃娃模型 bigheaddoll_v1
  

• ↓ 角色 LoRA + 古風(fēng)模型 moxin1.0
  

• 角色 LoRA + 吉卜力模型 StudioGhibliStyle
  

2. 風(fēng)格lora（art-style）：權(quán)重0.2-0.3，過(guò)高會(huì)讓角色LORA失去一些原本的特征
   ??以C站很受歡迎的fashion girl為例，作者使用100個(gè)符合他審美的時(shí)尚女孩照片進(jìn)行訓(xùn)練的，可以使生成的女性角色更符合審美，觸發(fā)詞為fashi-girl、red lips、mature female、makeup。類似的還有FilmGirl 膠片風(fēng)、花想容/Chinese style等等，可以實(shí)現(xiàn)自己喜歡的風(fēng)格。

3. 畫風(fēng)lora：推薦權(quán)重0.2-0.4
   ??例如Ghibli Style LoRA，疊加使用觸發(fā)詞ghibli style，可以實(shí)現(xiàn)吉卜力工作室（宮崎駿）的畫風(fēng)，這種畫風(fēng)可以概括為繪本化的角色設(shè)計(jì)，水分質(zhì)感的豐富色彩、精美細(xì)膩的背景場(chǎng)景。

4. concept（概念）lora
   以Gacha splash LORA舉例，這個(gè)是使用抽卡游戲中抽卡時(shí)的精美立繪來(lái)訓(xùn)練的，使用這個(gè)LORA之后，生成的圖片也會(huì)有這種抽卡立繪的風(fēng)格。這種概念型的LORA對(duì)提示詞的書寫要求更高，使用之前要熟讀model card，并參考作者的示例圖信息。類似的概念LORA還有塔羅牌、mugshot lora（檔案照片）、國(guó)風(fēng)未來(lái)等等。

5. 服飾lora：權(quán)重太高容易出現(xiàn)人體缺失的情況，因?yàn)檫@種lora是根據(jù)衣服來(lái)訓(xùn)練的。
   比如想生成機(jī)甲風(fēng)格的作品，搜索mecha就能出現(xiàn)很多機(jī)甲風(fēng)lora，比如機(jī)械風(fēng)暴lora、鐳射服holographic clothing、漢服唐風(fēng)lora等等。

??最后，當(dāng)你想強(qiáng)化作品中某種方面的特質(zhì)時(shí)，可以疊加使用多個(gè)同類型的lora，例如使用多種機(jī)甲lora來(lái)生成機(jī)甲風(fēng)圖片。具體使用時(shí)，你可以通過(guò)控制不同lora的權(quán)重，使得作品更像某一種lora。

6. object：特定元素，這種可以實(shí)現(xiàn)產(chǎn)品設(shè)計(jì)、產(chǎn)品藍(lán)圖等。

4.4.5 局部重繪+lora

??進(jìn)階用法，是使用局部重繪的方式引入到圖片中。比如給一張科技感的少女圖片加上頭盔，我們可以將生成的圖片進(jìn)行局部重繪。我們涂上頭部部分，并向外多涂一部分，給AI充分一點(diǎn)的創(chuàng)作空間，然后選擇頭盔lora進(jìn)行局部重繪。重繪方式有兩種：

• 全圖重繪：這時(shí)候可以全圖重繪，大部分提示詞和參數(shù)不變，只增加頭盔lora相關(guān)提示詞、觸發(fā)詞）
• 蒙版重繪：去掉之前內(nèi)容詞，只保留lora相關(guān)的提示詞、觸發(fā)詞，這樣重繪結(jié)果會(huì)更精確。

??這樣做有什么好處呢？因?yàn)轭^盔lora這種只涉及畫面的很小一部分，如果硬要施加到全圖范圍，有一定概率會(huì)干擾大模型生成優(yōu)秀的畫面，這時(shí)，局部重繪就成為一種優(yōu)秀的單獨(dú)解決方案。這種畫大圖不加lora，畫局部加lora的方式，可以用于服飾、產(chǎn)品等等其它lora的應(yīng)用中。

4.5 hypernetwork

??hypernetwork的效果和LORA差不多，區(qū)別在于， hypernetwork一般用于改善整體的畫風(fēng)，比不同checkpoint之間的畫風(fēng)更細(xì)膩一點(diǎn)，例如區(qū)別不像真實(shí)模型和二次元模型那么大的畫風(fēng)差別，而類似梵高和莫奈之間的小差別。

??以WavenChibiStyle為例，是一種Q版可愛的畫。使用方式是點(diǎn)擊設(shè)置標(biāo)簽欄，在左側(cè)附件網(wǎng)絡(luò)中選擇加載超網(wǎng)絡(luò)下拉菜單中的超網(wǎng)絡(luò)模型，然后保存設(shè)置就可以了。我們維持人物設(shè)置不變，刪去所有場(chǎng)景詞，使用純色背景，分辨率為正方形，生成一張圖片。

?? 目前， hypernetwork的作用可部分被LORA取代，而其生成效果沒有LORA那么好，但需要生成特定風(fēng)格的畫面時(shí)，hypernetwork亦依然是一種選擇。

??最后，裝了tag complete這個(gè)補(bǔ)全tag的插件之后，輸入<e,<l,<h，還可以自動(dòng)識(shí)別加載已經(jīng)安裝的embedding、lora、hypernetwork等，非常方便。

五、高清修復(fù)&放大算法

5.1 高清修復(fù)（Hi-Res Fix）

??高清修復(fù)是文生圖內(nèi)置的功能。下面使用LOFI模型作者的示例圖進(jìn)行說(shuō)明。我們復(fù)制示例圖的參數(shù)，再加上一些prompt，初始分辨率設(shè)置為500×750，可以看到生成的圖片細(xì)節(jié)不夠，還是有點(diǎn)模糊（分辨率太低，模型沒有足夠的操作空間）。

??此時(shí)如果直接擴(kuò)大分辨率，一次生成高分辨率圖片，非常容易爆顯存，且容易生成多頭多手多腳的圖像。此時(shí)可以考慮使用高清修復(fù)：

• 尺寸設(shè)置：可以設(shè)置按原圖放大多少倍，也可以設(shè)置放大后圖像的具體分辨率數(shù)值
• 高清修復(fù)采樣次數(shù)：高清修復(fù)需要經(jīng)過(guò)一次重繪，所以需要采樣步數(shù)steps。steps默認(rèn)為0，等同于文生圖中默認(rèn)的采樣步數(shù)20。
• 重繪幅度：等同于文生圖中的重繪幅度，要保持圖像大體不變，一般不超過(guò)0.5
• 重繪方法：推薦R-ESRGAN 4×+，二次元選R-ESRGAN 4×+ Anime6B，另外模型作者也會(huì)推薦高清修復(fù)算法。

設(shè)置高清修復(fù)后，會(huì)先生成低分辨率的圖片，再加噪打回潛空間進(jìn)行重繪放大。下面是效果對(duì)比：

• 高清修復(fù)優(yōu)點(diǎn)：
  • 固定隨機(jī)種子后，不改變畫面結(jié)構(gòu)
  • 穩(wěn)定克服多人、多頭等問題
  • 操作簡(jiǎn)單、效果直接
• 高清修復(fù)缺點(diǎn)：
  • 生成速度慢（畫一張等于畫兩三次），無(wú)法突破顯存限制。建議多次抽卡，出卡之后再固定隨機(jī)種子高清修復(fù)
  • 會(huì)出現(xiàn)莫名的額外元素，這一點(diǎn)可以通過(guò)降低重繪幅度來(lái)抑制。重繪幅度太低容易邊緣模糊，太高會(huì)變形，0.9就會(huì)多頭。單純只是為了放大，推薦0.3-0.5。

5.2 SD Upscale腳本（分區(qū)放大）

??圖生圖沒有高清修復(fù)的選項(xiàng)。但其實(shí)選一張低分辨率照片，設(shè)置高分辨率參數(shù)進(jìn)行生成，本身就是一種高清修復(fù)。在設(shè)置選項(xiàng)卡的“放大”一欄中，可設(shè)置圖生圖的放大算法。

??如果想生成更高清的圖片，可以使用Upscale放大腳本。我們從圖庫(kù)瀏覽器加載一張圖片到圖生圖，生成參數(shù)會(huì)自動(dòng)同步復(fù)制。設(shè)置重繪幅度0.5，在最下方腳本下拉菜單中選擇SD Upscale。放大倍數(shù)選擇2，重疊像素選擇默認(rèn)值64，重繪算法選擇R-ESRGAN 4×+ Anime6B，原圖尺寸600×600改為664×664:，點(diǎn)擊生成，就得到一張1200×1200的圖像了。

最終圖像尺寸=（原圖尺寸-重疊像素）×放大倍數(shù)

??SD Upscale是把圖像均勻分割成四部分，逐個(gè)放大再拼在一起。如果不設(shè)置重疊像素，分割部分沒有過(guò)度，就會(huì)很生硬，出現(xiàn)邊界線。

• SD Upscale優(yōu)點(diǎn)：
  • 可突破限制獲得更大的放大倍數(shù)（最高4倍）。
  • 精細(xì)度高，細(xì)節(jié)把控更出色
• SD Upscale缺點(diǎn)：
  • 分割重繪過(guò)程不可控
    • 如果放大太多，提示詞很難和各個(gè)區(qū)域吻合，容易造成畫面混亂。
    • 如果人臉、身體關(guān)鍵部位在分割線上，容易產(chǎn)生不和諧的畫面?？梢酝ㄟ^(guò)降低重繪度進(jìn)行抑制
  • 會(huì)莫名出現(xiàn)額外元素

5.3 附加功能放大（AI放大）

??在附加功能選項(xiàng)卡里，可以進(jìn)行AI算法放大。打開一張圖，設(shè)置放大倍率和算法（可以選兩種），點(diǎn)擊生成就得到了2倍放大的圖片。這種放大和AI里的老張片高清修復(fù)的原理是一樣的，重繪度為0。

??附加功能放大只是單純放大，所以速度很快，計(jì)算無(wú)負(fù)擔(dān)，但是精致細(xì)膩程度不如前兩種，仔細(xì)查看放大后的圖像，可以發(fā)現(xiàn)人臉上的細(xì)節(jié)確實(shí)非常嚴(yán)重。

5.4 Ultimate upscale

?? utimate upscale是一個(gè)更好用的圖片放大腳本，可以看做是SD upscale的全面升級(jí)版，拼合更自然，重繪效果也更好。安裝完之后，在腳本下拉菜單中可以看到。下面介紹幾個(gè)參數(shù)。

1. 放大尺寸
   在SD upscale中，只能根據(jù)原圖尺寸進(jìn)行放大，而這里選擇custom size之后，可以自定義放大尺寸。其它放大算法、蒙版邊緣模糊（6.1節(jié)）、預(yù)留像素（5.2節(jié)）在之前都講過(guò)。

2. 拆分區(qū)域尺寸
   ??utimate upscale也是把圖片拆分成幾塊進(jìn)行分別放大，拆分區(qū)域大小可以自定義，如下圖，設(shè)置寬高中一個(gè)元素為0，表示是一個(gè)正方形。所以utimate upscale默認(rèn)也是拆成512×512的區(qū)域進(jìn)行放大。

3. 繪制順序：上方藍(lán)色框可以選擇繪制順序。linear就是一個(gè)個(gè)按順序繪畫，chess是像國(guó)際象棋棋盤一樣，黑白交叉繪制，據(jù)說(shuō)拼合效果更好。
4. seams fix：表示交界處拼合方式，選第三個(gè)效果更好。
   
5. Denoise：重繪幅度，utimate upscale比SD upscale更穩(wěn)定，重復(fù)幅度可以設(shè)置高一點(diǎn)，比如0.5左右。

5.5 Tiled diffusion

Tiled diffusion倉(cāng)庫(kù)

5.5.1 簡(jiǎn)介

??Tiled diffusion可以輕松實(shí)現(xiàn)6K級(jí)別的圖片繪制，為圖片添加海量細(xì)節(jié)，而且能極大地降低顯存的負(fù)擔(dān)、提高50%的出圖速度。同時(shí)結(jié)合controlnet等擴(kuò)展，還可以實(shí)現(xiàn)驚人的人物細(xì)節(jié)修飾效果，甚至可以繪制超寬全景攝影圖，重繪清明上河圖等等（22020×1080）。

安裝完成后，可以在文生圖和圖生圖界面看到如下的折疊選單：

??tilde是平鋪的意思，一般指對(duì)圖像的平鋪分塊處理。Tiled diffusion的核心，就是將圖像tiled區(qū)塊化處理，以達(dá)到降低顯存和提高分辨率的作用。比如直接畫一張超高清的圖片，顯卡會(huì)有壓力，而如果將畫面按一定的規(guī)則分成一個(gè)個(gè)小塊，再分別繪制，然后使用巧妙地方式無(wú)縫拼接在一起，最后用算法進(jìn)行整體優(yōu)化，就可以極大地降低AI繪制時(shí)的負(fù)擔(dān)。

??實(shí)際使用中，Tiled diffusion負(fù)責(zé)進(jìn)行擴(kuò)散，Tiled VAE負(fù)責(zé)編碼，二者協(xié)同作用。

5.5.2 放大算法對(duì)比

??下面使用majicMIX realistic模型生成一張真人照，然后分別使用幾種放大算法進(jìn)行對(duì)比：

• 高清修復(fù)：本質(zhì)上是一次圖生圖，無(wú)法突破顯存上限且繪制速度慢。真人照分辨率從512×640放大到1536×1920需要35.7s，顯存需要22G。
  
• SD upscale/Ultimate upscale：分塊處理的雛形，但可控性差且出圖較慢
• Tiled diffusion：放大倍率高、效果好、速度快（極大地優(yōu)化了顯存的使用）、可控性強(qiáng)（區(qū)塊化處理，能更換地固定人物細(xì)節(jié)與姿勢(shì)）。真人照放大三倍只用了18s，顯存9.6G。
  

5.5.3 圖生圖-常規(guī)放大（2K級(jí)）

??將文生圖里生成的低分辨率照片發(fā)送到圖生圖，保持隨機(jī)種子不變。然后進(jìn)行相應(yīng)的參數(shù)設(shè)置。初次使用時(shí)，系統(tǒng)會(huì)推薦默認(rèn)設(shè)置，一般不需要修改。

• Tiled diffusion

  • 放大方案：Multi Diffusion和Mixture of diffusers，前者使用多一些。

  • 潛空間切片寬高：控制區(qū)塊化時(shí)分區(qū)的大小，間接影響處理、繪制速度，建議不要超過(guò)160，一般維持默認(rèn)就行。

  • 潛空間切片重疊：Tiled diffusion在分塊繪制時(shí)，下一個(gè)區(qū)塊和上一個(gè)區(qū)塊有部分像素的重疊，這樣繪制下一重疊像素是塊時(shí)會(huì)參考和上一區(qū)塊重疊部分的信息，最后拼接時(shí)交界處才能自然過(guò)渡。重疊值為默認(rèn)區(qū)塊寬/高的一半，一般不需要調(diào)整。Mixture of diffusers引入了高斯平滑，此時(shí)重疊值可以相應(yīng)地降低一點(diǎn)。或者感覺接縫感較強(qiáng)，可以適當(dāng)增大。
    

  • 重繪幅度：真人照建議0.3左右。如果想要增加更多的人物細(xì)節(jié)，可以增大至0.5左右，但太高了容易出現(xiàn)多人多頭等錯(cuò)亂情況。

  • 放大算法：真人系推薦R-ESRGAN 4×+，二次元選R-ESRGAN 4×+ Anime6B，另外模型作者也會(huì)推薦高清修復(fù)算法。

  • 放大倍數(shù)：放大的設(shè)置方式有兩種（以分辨率從512×640放大到1536×1920為例）

    • 圖生圖的寬高尺寸隨便填，勾選保留輸入圖像大小，下方縮放比例設(shè)為3
    • 圖生圖的寬高尺寸設(shè)為1536×1920，不勾選保留輸入圖像大小，縮放比例設(shè)為1
      

  • 噪聲反轉(zhuǎn)：圖生圖才有的選項(xiàng)，用于穩(wěn)定畫面。如果在生成高分辨率圖片時(shí)，不想改變畫面結(jié)構(gòu)，特別是人臉，那么建議開啟。
    

• 潛空間（ Latent Space ）是一個(gè)擴(kuò)散過(guò)程中的"低維空間"。 Stable Diffusion 和之前的擴(kuò)散化模型相比，重點(diǎn)就在于將模型的計(jì)算空間，從像素空間經(jīng)過(guò)數(shù)學(xué)變換，在盡可能保留細(xì)節(jié)信息的情況下降維到潛空間內(nèi)進(jìn)行壓縮，然后再進(jìn)行繁重的模型訓(xùn)練和圖像生成計(jì)算。
• 基于潛空間的 Diffusion 模型與像素空間 Diffusion 模型相比大大降低了內(nèi)存和計(jì)算要求。通常 Stable Diffusion 所使用的潛空間編碼縮減因子為8，那圖像的長(zhǎng)和寬都會(huì)被縮減8倍，一個(gè)512x512的圖像在潛空間中直接變?yōu)?code>64x64，節(jié)省了8x8=64倍的內(nèi)存。因此，潛空間的大小與圖像的真實(shí)尺寸之間，會(huì)存在一個(gè)"8倍"的換算比率。
• 大部分模型無(wú)法直接繪制長(zhǎng)寬在1280以上的圖片（多人多頭），因此Tiled diffusion作者建議潛空間區(qū)塊大小不能大于160，這個(gè)數(shù)值是1280壓縮8倍后，潛空間區(qū)塊的大小。

• Tiled VAE：核心作用是分塊推動(dòng)VAE實(shí)現(xiàn)編解碼過(guò)程
  編碼器切片大?。航档惋@存消耗的關(guān)鍵所在，一般保持默認(rèn)推薦就行。如果顯存爆了，可降低切片大??；或者切片太小導(dǎo)致圖片灰暗不清晰時(shí)，可啟用編碼器顏色修復(fù)讓顏色正常。
  

5.5.4 圖生圖-超高分辨率放大（6K級(jí)）

??在SD中，放大并不簡(jiǎn)單的等同于分辨率的擴(kuò)大。比如使用擴(kuò)展功能放大時(shí)，分辨率即使擴(kuò)大三倍，出來(lái)的圖片依舊很糟糕，這是因?yàn)樵瓐D的細(xì)節(jié)不夠，底子太差。所以，放大畫面的同時(shí)，我們還得賦予圖片與之分辨率相對(duì)應(yīng)的細(xì)節(jié)水平。

??Tiled diffusion可以輕松地將一張不足1K分辨率的圖片提升到4K、6K，但是如果原圖細(xì)節(jié)不夠，那么很容易在放大過(guò)程中填充一些錯(cuò)亂的細(xì)節(jié)（下圖右側(cè)），所以我們需要通過(guò)一種巧妙的方式，來(lái)完成超高清放大。

??下面是使用TMND-Mix生成了一張動(dòng)漫圖，這個(gè)模型成圖細(xì)節(jié)豐富、質(zhì)感很好。但如果直接生成一張960×540的圖片，仔細(xì)看會(huì)發(fā)現(xiàn)畫面線條很粗糙，細(xì)節(jié)和清晰度都不夠。下面我們通過(guò)兩步來(lái)生成超高清圖片：

• 開啟高清修復(fù)
  • 在文生圖中開啟高清修復(fù)，參數(shù)保持不變，放大倍數(shù)設(shè)為2，這樣就可以生成1920×1080的高清大圖，奠定畫面基礎(chǔ)（1080P的大圖，已經(jīng)有足夠豐富的細(xì)節(jié)，可以用于進(jìn)一步放大了）。
  • 放大算法建議選擇latent系列，因?yàn)闈摽臻g算法可以生成更豐富的細(xì)節(jié)。
  • 重繪幅度建議設(shè)高一點(diǎn)（0.5以上），這樣才能讓AI有更多發(fā)揮的空間。
  • 這一步顯存壓力最大，如果顯存不夠，可以降低最終分辨率，在下一步中進(jìn)行補(bǔ)足。
• Tiled diffusion
  • 將上述成圖發(fā)送至圖生圖，開啟Tiled diffusion和Tiled VAE，保持原圖大小不變，放大倍數(shù)設(shè)為3.2，這樣就可以生成6144×3456的6K級(jí)分辨率超高清圖片
  • 放大算法選擇R-ESRGAN 4×+ Anime6B；重繪幅度建議0.5以下，因?yàn)檫@個(gè)分辨率下大部分細(xì)節(jié)已經(jīng)成型，不會(huì)再有大的改變。
  • 潛空間區(qū)塊大小可以設(shè)大一點(diǎn)（比如144），不然要處理的區(qū)塊數(shù)量會(huì)非常多。
  • 啟用噪聲反轉(zhuǎn)

??最終的成圖，可以發(fā)現(xiàn)效果非常驚艷，線條更加精細(xì)，光照效果讓畫面更加生動(dòng)，窗外景物更加有立體感、縱深感。

5.5.5 分區(qū)繪制

Tiled diffusion內(nèi)置了分區(qū)提示詞功能。

5.5.6 文生圖放大（結(jié)合controlnet tile）

?? Tiled diffusion可以與controlnet tile結(jié)合，可以實(shí)現(xiàn)更為精細(xì)穩(wěn)定的放大還原效果。

??剛剛的 Tiled diffusion是在圖生圖里使用的，文生圖也可以用，但是文生圖對(duì)圖片的控制力是比圖生圖弱很多的。如果直接在文生圖里使用Tiled diffusion，非常容易在小區(qū)塊里生成錯(cuò)亂的內(nèi)容，此時(shí)可以選擇controlnet tile模型（其它c(diǎn)ontrolnet 模型的分塊繪制還是不穩(wěn)定，容易畫崩）。

??controlnet tile的核心思想，是在將圖片拆分成小塊的過(guò)程中，主動(dòng)識(shí)別每一塊的內(nèi)容。如果識(shí)別出來(lái)的內(nèi)容和整張圖的提示詞不匹配，就會(huì)減少提示詞的影響。簡(jiǎn)而言之，就是避免在一些操作中，讓全局提示詞過(guò)分影響局部?jī)?nèi)容，尤其是在涉及分塊重繪的時(shí)候，從而達(dá)到維持圖片總體內(nèi)容不變的作用。比如下圖，就可以避免在分區(qū)重繪放大圖片時(shí)，畫出多人的情況。

??controlnet tile用法：在文生圖時(shí)，選擇controlnet tile模型，模型參考圖選擇一開始的低分辨率原圖。如果成圖和原圖不太像，可以適當(dāng)增加模型權(quán)重為1.2至1.3。然后開啟Tiled diffusion和Tiled VAE，放大倍數(shù)選擇3，點(diǎn)擊生成就可以了。

??對(duì)比圖生圖的Tiled diffusion和文生圖的Tiled diffusion+controlnet tile兩種模式，可以發(fā)現(xiàn)后者光照感、人物皮膚的色澤、飾品真實(shí)感均有顯著提升。缺點(diǎn)就是，加入controlnet 之后，生成時(shí)間會(huì)是原來(lái)的三倍，不過(guò)顯存消耗基本不變，可以放心操作。

??另外，加載controlnet是需要額外的空間的，而Multi Diffusion可以將controlnet遷移到CPU上進(jìn)行計(jì)算，顯存不夠時(shí)可以勾選，此時(shí)運(yùn)算效率會(huì)降低。

??controlnet tile幾乎是一種萬(wàn)能模型，可以使用在任何一種放大手段中，以維持畫面的穩(wěn)定，比如上面介紹的SD upscale和Ultimate upscale（這兩種也是分區(qū)重繪）。

六、局部重繪

6.1 簡(jiǎn)單局部重繪

??有時(shí)候我們好不容易生成了一張比較滿意的圖片，但是卻有一點(diǎn)細(xì)節(jié)是需要調(diào)整的。比如衣服改成無(wú)袖，如果這時(shí)候直接改提示詞，整張圖片都會(huì)被改變，這時(shí)候就可以使用局部重繪，可以理解為就是把重繪區(qū)域拿來(lái)根據(jù)更改的提示詞進(jìn)行單獨(dú)的圖生圖，而保持其余部分不變。

??局部重繪還可以用來(lái)AI換臉、換衣服、更換背景去除涂鴉等等。

1. 點(diǎn)擊“圖生圖”，選“布局重繪”
2. 選擇要重繪的圖片
3. 點(diǎn)擊圖像旁邊的小畫筆，用畫筆涂黑你想修改的地方，圖片右邊的藍(lán)色點(diǎn)可以拖動(dòng) 改變畫筆大小，邊緣適合用小畫筆，中間區(qū)域用粗畫筆；
4. 在正向關(guān)鍵詞中寫入想重新生成的詞，比如off shoulder，因?yàn)槟阒幌肼冻黾绨?，所以不用加別的主體提示詞，然后點(diǎn)擊生成就行了。

下面對(duì)幾個(gè)重繪參數(shù)進(jìn)行解析：

• 蒙版模糊：其效果類似Photoshop中羽化的效果，可以令蒙版區(qū)域和非蒙版區(qū)域的拼接處邊緣模糊柔化，使得重繪部分與原圖周圍更加的貼合，一般控制在10以下，具體根據(jù)重繪區(qū)域大小來(lái)調(diào)整，區(qū)域越大蒙版模糊數(shù)值越高。
• 蒙版模式：蒙版可以簡(jiǎn)單的理解為用畫筆涂抹的區(qū)域。默認(rèn)是重繪蒙版區(qū)域，也可以選擇反過(guò)來(lái)重繪非蒙版區(qū)域；
• 蒙版內(nèi)容：后兩種圖生圖方式更復(fù)雜，理論上重繪效果更顯著
  • 原圖：默認(rèn)項(xiàng)，不做額外處理
  • 填充：先將蒙版內(nèi)容模糊化，然后再一步步去躁來(lái)生成新的圖片，此時(shí)AI的自由度就會(huì)更高。
  • 潛變量噪聲：先將蒙版部分變?cè)肼?，再重新生成圖片
  • 潛變量數(shù)值零：相當(dāng)于填充模式，也是采用模糊化蒙版顏色后進(jìn)行去噪的過(guò)程

• 重繪區(qū)域：

  • 全圖：AI根據(jù)更改的提示詞將全圖進(jìn)行重繪，但只將重繪之后的蒙版區(qū)域拼回原圖，因?yàn)榭吹搅苏麖垐D，一般效果較好。
  • 僅蒙版：AI將蒙版區(qū)域當(dāng)做整張畫進(jìn)行重繪，再拼回去。因?yàn)橹乩L區(qū)域小，所以更快。但是因?yàn)榭床坏秸麖垐D，所以經(jīng)常拼回去會(huì)出現(xiàn)奇奇怪怪的情況。

  一般情況建議選擇全圖重繪，僅蒙版適用于針對(duì)性很強(qiáng)的情況，比如只重繪手部，這時(shí)候希望降低??重繪幅度避免變形，并對(duì)提示詞做凈化處理（5 fingers,hand open,high five）。僅蒙版模式時(shí)，右邊有個(gè)預(yù)留像素的參數(shù)，和5.2節(jié)SD Upscale里圖塊重疊像素的效果一樣，用于在拼回去時(shí)接口處進(jìn)行平滑過(guò)渡使用，根據(jù)蒙版大小來(lái)做對(duì)應(yīng)的調(diào)節(jié)。
  

• 重繪幅度（Denoising）：表示生成的圖和原圖的相似度。范圍 0 ～ 1，默認(rèn) 0.75。值越大，生成的圖片和原來(lái)的圖片相差越大。根據(jù)自己的需求進(jìn)行調(diào)整即可。

6.2 局部重繪之手涂蒙版（inpaint sketch）

??僅僅局部重繪，效果還是不夠強(qiáng)大。比如要重繪手部，AI還是容易畫錯(cuò)，此時(shí)可以選擇手涂蒙版，用于在蒙版上進(jìn)行手繪。

??下面例子中，在手涂蒙版下打開一張圖片，右上角多了一個(gè)調(diào)色盤按鈕，點(diǎn)開后可以選擇畫筆顏色。我們用藍(lán)色畫筆畫一幅口罩，再用白色畫筆在口罩上畫一個(gè)愛心，再增加對(duì)應(yīng)提示詞(blue face mask with heart sign:1.2)，重繪幅度設(shè)為0.8，最后點(diǎn)擊生成，效果如下：

??鼠標(biāo)作畫還是不夠靈敏，如果外接數(shù)控畫板，效果會(huì)更好。

??下面介紹如何畫手。我們上傳一張圖片，點(diǎn)擊調(diào)色盤旁邊的拾色器吸管，先吸取墻面背景顏色涂抹手部，再吸取臉部的肉色畫出手型，提示詞填上(5 fingers,detailed hand,high five:1.2)，負(fù)面提示詞用上之前講的 EasyNegativeV2 這個(gè)embedding。畫手的時(shí)候重繪幅度建議開0.5，太大會(huì)使勾勒的手部輪廓模糊。另外蒙版模糊也不宜太大，使用默認(rèn)數(shù)值4就行。下面是生成的效果：

??手涂蒙版比之前多了一個(gè)蒙版透明度的參數(shù)，如果你選擇手繪的顏色飽和度太重了，可以適當(dāng)開一點(diǎn)減弱顏色，保持和任務(wù)畫風(fēng)色彩比較一致。

6.3 繪圖（sketch）

??繪圖也可以單獨(dú)使用，例如為圖中人物加一條領(lǐng)帶。區(qū)別在于不啟用局部重繪的情況下，整張圖的畫面都會(huì)有一些改變。

或者是：

6.4 局部重繪之上傳蒙版（inpaint upload）

??上傳蒙版用于精確地控制蒙版范圍。本質(zhì)就是在PS軟件中，把需要重繪的部分摳出來(lái)，再將這個(gè)模板上傳到局部重繪中，就可以進(jìn)行局部重繪了。

??打開PS，如果圖片只有一個(gè)主體人物，點(diǎn)擊“選擇”-“主體”，就會(huì)自動(dòng)選擇人物，生成一圈螞蟻線表示的選區(qū)。如果人物較多，推薦使用工具欄里的對(duì)象選擇工具，框選某個(gè)人物區(qū)域，就會(huì)自動(dòng)選擇對(duì)應(yīng)人物。如果有多出或者殘缺的部分，使用套索工具。套索圈住選擇的部分會(huì)加入選區(qū)，按住alt進(jìn)行圈選，選擇區(qū)域就會(huì)被刪除。

剩下部分還是看視頻吧，《手把手教你玩轉(zhuǎn)局部重繪》第12min開始。

七、插件

??初始的webui界面是很簡(jiǎn)單的，所有的插件在extensions欄中，有已安裝、可安裝、通過(guò)鏈接安裝三個(gè)選框。

7.1 插件安裝方式

1. 自動(dòng)安裝。
   打開可安裝選框，點(diǎn)擊load form就可以看到所有可安裝的插件。在搜素框搜索到要安裝的插件，點(diǎn)擊右側(cè)install就可以自動(dòng)安裝了。
   

如果這個(gè)url不小心清除了，下面是兩個(gè)地址：

• 擴(kuò)展查閱地址：
  https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui-extensions/master/index.json
• 備用鏡像地址：
  https://gitee.com/akegarasu/sd-webui-extensions/raw/master/index.json
  https://gitgud.io/AUTOMATIC1111/stable-diffusion-webui/-/wikis/Extensions-index.md?

2. 根據(jù)url安裝
   打開install from url選框，復(fù)制插件的github網(wǎng)址，粘貼到url欄就行。
   

3. 下載安裝
   前兩種方式在網(wǎng)絡(luò)不好時(shí)可能會(huì)安裝錯(cuò)誤，更徹底的方式是直接下載插件安裝包進(jìn)行安裝。比如在extensions文件夾下使用代碼git clone https://github.com/Physton/sd-webui-prompt-all-in-one.git下載tag自動(dòng)翻譯插件（使用download手動(dòng)下載也行）。安裝完后點(diǎn)擊重啟webui進(jìn)行刷新，插件安裝正確就會(huì)出現(xiàn)在已安裝列表中。
   
   
   ??如果某個(gè)插件不能用了，點(diǎn)擊右側(cè)的檢查更新按鈕，一般更新到最新版本就可以解決了。如果某個(gè)插件還是有問題，可以點(diǎn)擊前面的復(fù)選框暫時(shí)取消使用。下面開始介紹8款插件：
   

1. 中文語(yǔ)言包：搜索zh（取消勾選本地化/Localization的篩選）

2. 圖庫(kù)瀏覽器：搜索image browser

3. 提示詞補(bǔ)全： 搜索tag complete，中文詞庫(kù)見網(wǎng)盤

4. 提示詞反推：搜索tagger

5. Ultimate Upscale腳本：SD upscale升級(jí)版，用于圖片放大。 搜索ultimate upscale

6. Local Latent Couple：局部細(xì)節(jié)重繪，搜索llul

7. Cutoff：精準(zhǔn)控色，防止串色，搜索cut off

8. prompt-all-in-one：prompt綜合插件，功能很多，詳見視頻《提示詞補(bǔ)全插件(自動(dòng)翻譯)插件》。

@Nenly

7.2 漢化包

??在可安裝選框中取消勾選localization，然后搜索zh，推薦安裝秋葉的安裝包云端漢化翻譯（第一個(gè)）。安裝后在settings——user interface中選擇切換語(yǔ)言為zh-Hans，然后重啟webui就可以了。

7.3 圖庫(kù)瀏覽器

??webui默認(rèn)只能在output文件夾里來(lái)查看之前生成的圖片信息，安裝了image browser之后就可以在圖庫(kù)瀏覽器里進(jìn)行查看圖片生成信息、一鍵發(fā)送圖片到文生圖圖生圖，圖片排序、打分篩選、刪除圖片和收藏圖片了。

• filename keyword search：對(duì)圖片的文件名進(jìn)行關(guān)鍵詞搜索，圖片文件名一般包含路徑、文件編號(hào)和一小段關(guān)鍵詞提示詞；
• EXIF keyword search：對(duì)圖片的所有生成信息進(jìn)行關(guān)鍵詞搜索。比如搜索smile，則所有包含smile提示詞的圖片都會(huì)被顯示出來(lái)
  
• 收藏：對(duì)部分滿意的圖片，點(diǎn)擊下方的添加到收藏夾，會(huì)把這些圖片放在一個(gè)單獨(dú)的目錄里
  
  
• 打分：對(duì)于一些明顯不要的圖片，可以全部打一分，其它的根據(jù)滿意度評(píng)分。比如下圖，在紅色區(qū)域打分，藍(lán)色區(qū)域篩選出只有一分的圖片，然后點(diǎn)開第一張一分圖，在黃色區(qū)域輸入N，就可以刪除這張及之后的N張圖片。
  

7.4 Tag插件

7.4.1 tag complete

?? tag complete：用于自動(dòng)補(bǔ)全沒有輸完的提示詞，還會(huì)提示你更符合AI邏輯的提示詞。比如下面脫下帽子，比起hat_off，hat_removed在AI圖片生成中會(huì)表達(dá)的更準(zhǔn)確。

??tag補(bǔ)全是基于本地booru實(shí)現(xiàn)的，補(bǔ)全內(nèi)容還包括時(shí)下熱門的動(dòng)漫IP等等。另外輸入<e,<l,<h，還可以自動(dòng)識(shí)別加載已經(jīng)安裝的embedding、lora、hypernetwork等，非常方便。

??強(qiáng)烈推薦安裝7W中文Tag補(bǔ)全，這個(gè)最大的優(yōu)點(diǎn)是可以輸入中文進(jìn)行tag搜索，示例如下：

??而原始的tag補(bǔ)全只能根據(jù)英文tag來(lái)補(bǔ)全或者搜索，類似下面這種效果。而prompt-all-in-one也只是輔助功能很多，以及聯(lián)網(wǎng)進(jìn)行中英文翻譯，也是沒有直接進(jìn)行中文tag搜索的功能的。

7W中文Tag補(bǔ)全的安裝方式也很簡(jiǎn)單，參考B站視頻《全網(wǎng)最全Tag詞庫(kù)》，親測(cè)安裝方式為：

1. 正常安裝原始的tag complete插件
2. 點(diǎn)此下載a1111-sd-webui-tagcomplete.zip壓縮包并解壓縮（不要解壓在extensions文件夾，否則會(huì)沖突，我們只需要里面的兩個(gè)csv文件就行）
3. 將解壓縮之后的tags文件夾下的zh_cn.csv和zh_cn_tr.csv文件復(fù)制到extensions/a1111-sd-webui-tagcomplete/tags路徑下
   

• 在settings——tag complete中，第一行Tag filename設(shè)置為zh_cn.csv；再往下翻，translate filename選擇zh_cn_tr.csv，這樣就配置好了，保存設(shè)置就行。默認(rèn)搜索結(jié)果只顯示5個(gè)，可自由設(shè)置Maximum results的值，或者選擇Show all results。配置好之后，就可以在提示詞框中直接輸入中文了。
  
  ??另外，，輸入<e,<l,<h，tag complete還可以自動(dòng)識(shí)別加載已經(jīng)安裝的embedding、lora、hypernetwork等，非常方便。

??以上我是在autodl云端環(huán)境配置的 ，也就是linux系統(tǒng)。如果是windows下使用秋葉安裝包，可能會(huì)有不同，建議查看原視頻教程下面的討論區(qū)。

7.4.2 tagger

??tagger用于提示詞反推，右下是反推出來(lái)的提示詞的置信度，我們可以設(shè)置置信度閾值來(lái)篩選反推出來(lái)的提示詞，設(shè)置之后再點(diǎn)一次反推按鈕就行。

??tagger左下還可以添加和排出提示詞，右上sensitive還可以顯示圖片的敏感度。

??另外B站還有中英雙語(yǔ)對(duì)照翻譯和另外的tag補(bǔ)全插件本地漢化詞庫(kù)文件，可參考視頻《中英雙語(yǔ)對(duì)照、TAG提示詞自動(dòng)補(bǔ)全》

7.4.3 prompt-all-in-one

參考視頻《提示詞補(bǔ)全插件(自動(dòng)翻譯)插件》

??之前的tag補(bǔ)全插件，本質(zhì)上是按照本地詞庫(kù)（兩個(gè)CSV文件）進(jìn)行對(duì)照翻譯，詞庫(kù)里沒有的詞就翻譯不出來(lái)；而這個(gè)插件是通過(guò)第三方接口進(jìn)行在線翻譯。我們?cè)谟覀?cè)方框里輸入中文，按enter就會(huì)自動(dòng)將英文tag加入提示詞框中了。下面對(duì)插件按鈕逐一介紹其作用：

• 第一個(gè)按鈕：設(shè)置語(yǔ)言；

• 第二個(gè)按鈕：設(shè)置；

  • 其中第一個(gè)api按鈕，點(diǎn)開后可以設(shè)置翻譯接口，其中上部分是免費(fèi)的，下部分有付費(fèi)的chatgpt等接口。可以輸入一段英文后點(diǎn)擊測(cè)試，查看效果。最下面提示了，可以借助本地文件進(jìn)行精準(zhǔn)翻譯。
    
    
  • A|B按鈕：自動(dòng)將提示詞框的英文tag翻譯為中文
  • En按鈕：輸入中文提示詞后，自動(dòng)翻譯為英文
  • T按鈕：勾選后，在插件下方顯示說(shuō)明性的提示

• 第三個(gè)按鈕：歷史記錄，點(diǎn)開后可以看到提示詞的歷史記錄，點(diǎn)擊右側(cè)收藏夾按鈕，可以將其添加到收藏夾，點(diǎn)擊最右側(cè)按鈕，就可以將其自動(dòng)輸入提示詞框
  

• 第四個(gè)按鈕：提示詞收藏列表

• A|B按鈕：將提示詞框的英文提示詞翻譯為中文，不用再用別的軟件進(jìn)行中英翻譯了。
  

• En按鈕：點(diǎn)一下就會(huì)將提示詞框所有中文翻譯為英文

• 最后兩個(gè)按鈕，分別是復(fù)制提示詞和刪除提示詞

??一般我們可以在提示詞框輸完中文后，點(diǎn)擊翻譯。后續(xù)要補(bǔ)提示詞，可以在右側(cè)方框里繼續(xù)輸入中文，按回車就自動(dòng)翻譯為英文并添加進(jìn)去了。

??另外將鼠標(biāo)移動(dòng)到下面的提示詞處，還可以快速拖動(dòng)提示詞、快速調(diào)整提示詞權(quán)重（點(diǎn)擊±號(hào)或括號(hào)），比較方便。

7.4.4 one button prompt

首先下載安裝one button prompt，

7.5 utimate upscale

見上文5.4節(jié)

7.6 Local Latent Couple

??Local Latent Couple用于豐富局部畫面細(xì)節(jié)。安裝完之后，在腳本下拉框中選擇LLuL，會(huì)出現(xiàn)一個(gè)方框界面，陰影框表示要細(xì)節(jié)放大的區(qū)域，默認(rèn)是整張圖的四分之一。拖動(dòng)方框選擇我們要放大的區(qū)域，其它參數(shù)特別是隨機(jī)種子保持不變，重新生成，新圖片上，衣服的細(xì)節(jié)就會(huì)更多。

7.7 cutoff精準(zhǔn)控色

??cutoff可以解決提示詞互相干預(yù)得我問題，比如輸入a cute girl, white shirt with green tie, red shoes, blue hair, yellow eyes, pink skirt，結(jié)果生成的圖片可能會(huì)出各部位串色的問題，開啟cutoff之后，可以有效抑制：

??實(shí)現(xiàn)原理：每個(gè)顏色詞單獨(dú)處理。顏色詞生成詞向量時(shí)，削減掉其他顏色詞，得到的結(jié)果作為本顏色詞的向量，即采用增加計(jì)算量的方法。本來(lái)一個(gè)文本prompt只需要過(guò)一次text encoder，現(xiàn)在需要過(guò)n次text encoder才能得到最終的文本表征（n代表這個(gè)prompt里有n種顏色）

在啟用cutoff之后，輸入上述顏色詞及cutoff的權(quán)重，如下圖所示：

其它參數(shù)：

• Enabled : 選中以啟用
• Target tokens(comma separated) : 需要分割的顏色，可以是顏色詞，也可以是逗號(hào)分隔的標(biāo)簽列表white shirt with green tie, red shoes, blue hair, yellow eyes, pink skirt。
• Weight : Cutoff 的強(qiáng)度
• Details: 詳細(xì)設(shè)置
  • Disable for Negative prompt. : 為反向提示詞禁用本插件
  • Cutoff strongly. : 強(qiáng)效提示詞，只能放一個(gè)，分割效果最大。
  • Padding token (ID or single token) : 填充令牌（ID 或單個(gè)令牌），通常留空。
  • Interpolation method : 插值方法，Lerp/SLerp（默認(rèn)為 Lerp）

7.8 oldsix-prompt

??如下圖所示，下載啟用之后，就可以點(diǎn)選預(yù)置的提示詞：

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-553997.html

到了這里，關(guān)于Stable Diffusion系列課程上：安裝、提示詞入門、常用模型（checkpoint、embedding、LORA）、放大算法、局部重繪、常用插件的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！