點(diǎn)擊↑上方↑藍(lán)色“編了個(gè)程”關(guān)注我~

這是Yasin的第 89 篇原創(chuàng)文章

mj vs sd

最近隨著Chat GPT的大火，AI繪畫也火了起來。尤其是midjourney（以下簡稱mj），能夠通過文本關(guān)鍵詞生成AI圖片，還能指定各種風(fēng)格，簡直是我們這種又菜又愛玩的福音。

下面是我用mj隨便畫的一些圖：

mj上手比較容易，我這里就不詳細(xì)講了，感興趣的同學(xué)可以去b站或者抖音搜索，有較多的教程。友情提示：「使用mj需要科學(xué)上網(wǎng)」。

在了解mj的過程中，我又了解到另一款A(yù)I繪畫工具，叫stable diffustion（以下簡稱sd）。發(fā)現(xiàn)相比于mj，sd有以下的優(yōu)勢：

1. 本地運(yùn)行，不用科學(xué)上網(wǎng)：下載完對應(yīng)的資源后，就不用科學(xué)上網(wǎng)了；

2. 開源免費(fèi)：sd是開源免費(fèi)的繪畫平臺，而mj是收費(fèi)的，每個(gè)賬號有免費(fèi)的額度，可以畫幾十張圖；

3. 高度定制化：sd有開源的各種模型和插件，也可以自己訓(xùn)練風(fēng)格、局部修改、細(xì)節(jié)調(diào)整，甚至可以用自己的照片、寵物的照片高度定制化屬于自己期望風(fēng)格的AI繪畫。

所以今天整理一下sd上手的基本資料，供大家參考。

安裝

sd是一個(gè)AI繪畫平臺，底層是各種AI繪畫模型（其中以SD模型為base），上層是UI界面。

首先需要安裝sd的web界面。是一個(gè)github開源項(xiàng)目，地址是：GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI。

對于mac os M系列的芯片而言，有專門的安裝文檔：Installation on Apple Silicon · AUTOMATIC1111/stable-diffusion-webui Wiki · GitHub

安裝過程比較慢，需要下載大量的python資源，可以用這個(gè)命令設(shè)置python源為國內(nèi)清華大學(xué)的，這樣下載速度會快很多：

pip?config?set?global.index-url?https://pypi.tuna.tsinghua.edu.cn/simple

安裝完web界面后，可以下載對應(yīng)的sdk模型。應(yīng)該是內(nèi)置了sd 1.5的，不過2.0對風(fēng)景類型的有一些優(yōu)化，也可以安裝一個(gè)2.0和2.1的，后面可以隨時(shí)切換。

還有一個(gè)叫easy diffusion的網(wǎng)站，號稱能一鍵安裝，但我自己實(shí)操下來中途安裝失敗了，沒有找到解決辦法，所以還是自己去上面的github地址安裝的。

界面操作

安裝好后，運(yùn)行webui.sh就可以啟動了。打開界面一般長這樣：

大概解釋一下：

1. 模型選擇：可以選擇官方的模型，或者自己加載的第三方模型，比如我目前這個(gè)就是社區(qū)里面基于sd1.5訓(xùn)練的二次元風(fēng)格模型。點(diǎn)擊旁邊的刷新按鈕可以刷新剛剛安裝好的模型。

2. 操作類型，比較常用的就是文字到圖片，圖片到圖片。后面的有些是訓(xùn)練的插件，不展開講。

3. 提示詞：生成圖片最重要的部分，就是用文字來描述自己的需求，其中又有負(fù)面提示詞，用來去掉某些元素。提示詞有一些特殊的規(guī)則，后面單獨(dú)開文章講。

4. 參數(shù)設(shè)置區(qū)，有很多參數(shù)。一般畫人都會勾選面部修復(fù)，然后設(shè)置好圖片的寬高，自由發(fā)揮的程度。越低越自由，越高越貼合你的詞，一般推薦7~10?？梢栽O(shè)置每批幾張、一共跑幾批。

5. 圖片操作區(qū)，可以把生成好的圖片保存，或者發(fā)到圖生圖進(jìn)行后續(xù)處理。

模型和Lora

sd官方的模型就是上面安裝頁面的1.5, 2.0, 2.1這些，也可以去huggingface.co 這個(gè)網(wǎng)站下載。

而社區(qū)模型比較推薦的是civitai.com這個(gè)網(wǎng)站。里面有大量的別人訓(xùn)練好的模型或者Lora，有各種風(fēng)格。雖然我不知道為什么基本都是妹子的模型...

這里解釋一下模型和Lora的大概區(qū)別:

• 模型：基于sd原本的模型，通過大量的圖片訓(xùn)練后的模型，可以理解為換了一個(gè)畫家。

• Lora：基于sd原本的模型，訓(xùn)練后的插件，可以結(jié)合模型使用，可以理解為加了一層ps。

一般模型比較大（幾個(gè)GB大?。?，而Lora比較小，通常在MB級別。還有其他的模型類型，但是我自己一般比較常用的就是基礎(chǔ)模型和Lora。具體模型的原理和區(qū)別這里也不展開講了。

這里推薦幾個(gè)模型或者插件：

1. 二次元：anything-v3

2. 國風(fēng)：中國古風(fēng)游戲角色模型，具有2.5D質(zhì)感

3. dreamlike: 接近的mid風(fēng)格，顏色艷麗，比較炫酷，插畫的感覺

4. 真人風(fēng)格：protogen

高度定制化

細(xì)節(jié)優(yōu)化

因?yàn)镾D目前在一些細(xì)節(jié)處理上還不夠成熟。所以有一些社區(qū)的插件來解決這類的問題，比較出名的就是controlnet。

簡單來說你可以通過一個(gè)草圖或者一張已有的圖片來控制生成的圖片的大體位置和形狀。用來控制生成圖片的姿勢和布局非常有用。

controlnet在b站上有不少的課程，可以學(xué)習(xí)使用姿勢：

訓(xùn)練自己的風(fēng)格

sd還可以用圖片訓(xùn)練屬于自己風(fēng)格的模型（比如畫出來的妹子都是你訓(xùn)練的圖片的臉型，畫出來的狗都跟你訓(xùn)練的狗的圖片類似）。也是集成進(jìn)了web-ui，使用起來比較方便。這塊我也還沒具體用過，等后面用到了再詳細(xì)介紹吧。

附贈：今天畫的一些圖片

下面是同一組詞，同一個(gè)參數(shù)，在不同模型下生成的圖片：

prompt: ?lora:cuteGirlMix4_v10:1 1 girl, sitting posture, desk, books, backpack, school uniform, big eyes, smile, looking upward, frontal view

black prompt: ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy,

em... 我還是喜歡真人風(fēng)格，你呢？

關(guān)于作者

我是Yasin，一個(gè)愛寫博客的技術(shù)人

微信公眾號：編了個(gè)程(blgcheng)

個(gè)人網(wǎng)站：https://yasinshaw.com

歡迎關(guān)注這個(gè)公眾號文章來源地址http://www.zghlxwxcb.cn/news/detail-420799.html