以下內(nèi)容參考:https://www.bilibili.com/video/BV1Qk4y1E7nv/?spm_id_from=333.337.search-card.all.click&vd_source=3969f30b089463e19db0cc5e8fe4583a
1、訓(xùn)練Lora的2個重點步驟
第一步，準備訓(xùn)練要使用的圖片，即優(yōu)質(zhì)的圖片
第二部，為這些圖片打標，即精準的tag
2、圖片要求
數(shù)量建議20-50張，最多100張圖片
不好的圖片：模糊的，動作扭曲的，臉部被遮擋的，背景比較復(fù)雜的圖（扣掉背景）
分辨率：如果以sd2作為基礎(chǔ)模型，需要768*768以上
批量調(diào)整圖片尺寸：https://www.birme.net/?target_width=512&target_height=512
批量調(diào)整圖片格式：https://www.wdku.net/image/imageformat
3、圖片打標
需要安裝兩個插件：
Tagger(地址:https://github.com/picobyte/stable-diffusion-webui-wd14-tagger) 以及 dataset tag editor(地址：https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor)
（1）Tagger插件
圖片生成tag信息的txt文件，通常輸入目錄和輸出目錄一致。
（2）Dataset Tag Editor
對tag進行處理
1）刪除重復(fù)的單詞，Remove duplicate tags
2）刪除屬于人物特征的tag，比如人物的眼睛、眉毛、鼻子、頭發(fā)長度等代表人物本身的屬性。凡是綁定在人物身上的，就要把它們刪除。（因為后續(xù)我們需要根據(jù)lora名稱直接生成這些特征，所以需要模型根據(jù)lora名稱直接學(xué)到這些特征，而不需要再提供其他提示詞）
以下內(nèi)容參考: https://www.jianshu.com/p/e8cb3ba45b1a
4、訓(xùn)練
安裝訓(xùn)練圖形化工具kohya，日本人寫的。
（1）下載
工程地址：https://github.com/bmaltais/kohya_ss
下載后在服務(wù)器的位置：/data/work/xiehao/kohya_ss
（2）安裝工程依賴包
進入該目錄，安裝依賴包：pip install -r requirements.txt
（3）生成執(zhí)行的配置文件
執(zhí)行accelerate config命令，我的配置如下：
（4）啟動訓(xùn)練圖形化界面
執(zhí)行命令：python kohya_gui.py --listen 0.0.0.0 --server_port 12348 --inbrowser
5、實戰(zhàn)
（1）從百度下載了25張zhangluyi的圖片
（2）圖片裁剪為768*768
https://www.birme.net/?target_width=768&target_height=768
（3）圖片都轉(zhuǎn)為jpt格式
https://www.wdku.net/image/imageformat
（4）使用Tag插件提取tag
批量提取的方式
執(zhí)行后在linux上生成了相應(yīng)的txt文件
（5）通過Dataset Tag Editor處理標簽
首先，移除重復(fù)項以及人物特征提示詞
然后，保存這次修改。
（6）在SD的訓(xùn)練模塊對訓(xùn)練集的文件名進行處理
生成的文件信息如下：
這些文件需要放在10_zly的目錄下。目錄名前面數(shù)字_字母，前面的數(shù)字是每次訓(xùn)練過程中網(wǎng)絡(luò)訓(xùn)練單張圖片的次數(shù)，這個目錄命名很重要，定位這個bug花了我一個小時。
（7）在kohya中進行訓(xùn)練
完成數(shù)據(jù)集準備之后，就可以在kohya進行訓(xùn)練了。
首先，配置基座模型信息。
提供的模型有兩種方式：
【方案1】?
Pretrained model name or path指定的linux位置對應(yīng)的模型，需要包含model_index.json、tokenizer目錄等信息，不能只有一個safetensors文件?？梢酝ㄟ^git lfs clone下載https://huggingface.co/digiplay/majicMIX_realistic_v4（18G）。
?這個關(guān)鍵點很重要，定位加下載處理花了我?guī)讉€小時。
【方案2】
Pretrained model name or path中填寫safetensors文件路徑，
然后在kohya的根目錄下存放兩個文件
文件1：openai/clip-vit-large-patch14
文件2：laion/CLIP-ViT-bigG-14-laion2B-39B-b160k
這兩個文件可以從Huggingface中下載，或者從百度云盤下載：百度網(wǎng)盤 請輸入提取碼
然后，配置訓(xùn)練目錄
接著，配置訓(xùn)練參數(shù)
Optimizer這個不能使用默認的值，目前源碼中只支持如下5種：
一個個試過去，看下哪個不報錯。
成功執(zhí)行后日志如下圖所示，訓(xùn)練占用6G左右的GPU顯存資源，訓(xùn)練時長20分鐘，最后生成的lora 10M左右。
（8）在stable diffusion webui中檢測lora模型效果
訓(xùn)練完成后，將Lora目錄放到sd根目錄extensions/sd-webui-additional-networks/models/lora下面
Webui上界面操作如下：文章來源：http://www.zghlxwxcb.cn/news/detail-659115.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-659115.html
到了這里，關(guān)于Stable Diffusion訓(xùn)練Lora模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
