基本的思路是使用魔改顯存8G的P104顯卡作為算力，在Ubuntu上部署novelai服務(wù)，破解網(wǎng)關(guān)以允許ipv6訪問實(shí)現(xiàn)內(nèi)網(wǎng)穿透。

安裝顯卡

首先建議使用一張顯存魔改為8G的P104顯卡，P104的核心與1070相當(dāng)，BIOS解鎖后顯存達(dá)到8g。但是價(jià)格只要150元上下，如此便宜是因?yàn)镻104作為計(jì)算卡并沒有HDMI輸出，PCIE接口傳輸帶寬也不高。然而這些限制對(duì)于運(yùn)行ai模型的目的來說不僅不成問題，足夠大的顯存也很適合載入模型進(jìn)行計(jì)算。

顯卡上機(jī)后，運(yùn)行

ubuntu-drivers devices

如果可以看到返回的顯卡參數(shù)和推薦驅(qū)動(dòng)列表，那直接安裝官方驅(qū)動(dòng)就可以了。

例如：

sudo ubuntu-drivers autoinstall

網(wǎng)絡(luò)可能比較慢，也可以從官網(wǎng)下載

https://www.nvidia.cn/drivers/unix/

若是運(yùn)行【ubuntu-drivers devices】沒有看到推薦驅(qū)動(dòng)列表，可以運(yùn)行

lspci

如果在返回信息里沒有像這樣找到NVIDIA的信息

那應(yīng)該考慮顯卡和主板的兼容問題，也就是主板不認(rèn)卡，參考這篇文章：

https://blog.csdn.net/qq_63533710/article/details/128865451?spm=1001.2014.3001.5502

簡(jiǎn)單來說就是用膠帶將顯卡接口20針（包括20針）以后的觸點(diǎn)屏蔽掉，就像這樣：

之后上機(jī)應(yīng)該就可以正常安裝驅(qū)動(dòng)了，安裝驅(qū)動(dòng)后運(yùn)行：

nvidia-smi

若是返回

說明驅(qū)動(dòng)安裝完成

內(nèi)網(wǎng)穿透

如果是在家搭建的服務(wù)器，那在外網(wǎng)是沒辦法直接訪問這個(gè)服務(wù)器的，自然也沒辦法在家外面使用ai繪畫的服務(wù)。因此我們需要內(nèi)網(wǎng)穿透，然而商用的內(nèi)網(wǎng)穿透方案價(jià)格不便宜，還需要繁瑣的備案和注冊(cè)認(rèn)證。我們可以參考這篇文章使用ipv6進(jìn)行內(nèi)網(wǎng)穿透：

https://blog.csdn.net/qq_63533710/article/details/128621073?spm=1001.2014.3001.5502

這一步很重要，也需要面對(duì)一定的安全風(fēng)險(xiǎn)，但是使用這種內(nèi)網(wǎng)穿透方案可以不用另外花錢，穩(wěn)定性往往也相當(dāng)不錯(cuò)。

部署novelai服務(wù)

在確定顯卡可用以及外網(wǎng)可以使用ipv6訪問我們搭建的機(jī)器后，就可以部署novelai服務(wù)了。

參考這篇文章：

https://hackmd.io/@remi-guan/SyYPgMGIj

但是似乎直接使用這里面的腳本會(huì)出問題，也可以嘗試使用我稍微修改的腳本。

首先新建一個(gè)setupai.sh文件,內(nèi)容如下：

#!/bin/bash
# install naifu
apt-get update -y
apt-get upgrade -y
apt install -y -qq aria2 python3 python3-pip
aria2c --summary-interval=5 -x 3 --allow-overwrite=true -Z   https://pub-2fdef7a2969f43289c42ac5ae3412fd4.r2.dev/naifu.tar   
tar xf naifu.tar && rm naifu.tar
# 這個(gè)地方要賦予naifu讀寫權(quán)限，否則下步會(huì)報(bào)錯(cuò)
sudo chmod 777 -R naifu/
#
cd naifu
pip install virtualenv && bash ./setup.sh
sed -i 's/# export SAVE_FILES="1"/export SAVE_FILES="1"/g' run.sh

# install caddy
sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | sudo tee /etc/apt/sources.list.d/caddy-stable.list
sudo apt update -y
sudo apt install -y caddy

# add systemd service 
sudo cat << EOF > /etc/systemd/system/naifu.service
[Unit]
Description=Naifu Web Service

[Service]
WorkingDirectory=/root/naifu
ExecStart=/root/naifu/run.sh

Restart=always
RestartSec=10

StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=autodeploy

[Install]
WantedBy=multi-user.target
EOF

然后在這個(gè)文件的同級(jí)目錄下打開終端，運(yùn)行

sudo?chmod?777?setupai.sh
sudo?./setupai,sh

由于網(wǎng)絡(luò)或者權(quán)限問題這個(gè)腳本有時(shí)候不能一次性執(zhí)行成功，可以將腳本的每一步分開輸入終端執(zhí)行，逐步排除問題。腳本大致的流程是下載naifu的相關(guān)文件，然后建立虛擬環(huán)境并且安裝相關(guān)依賴。

腳本運(yùn)行完成后會(huì)出現(xiàn)一個(gè)naifu文件夾，進(jìn)去文件夾，找到里面run.sh的文件，將最后一行：

$PYTHON -m uvicorn --host 0.0.0.0 --port=6969 main:app & bore local 6969 --to bore.pub

改為

$PYTHON -m uvicorn --host '::' --port=6969 main:app

這樣改是因?yàn)槿绻凑丈厦骀溄拥淖龇ǎ瑄vicorn服務(wù)只是支持ipv4訪問，但是我們的內(nèi)網(wǎng)穿透方案使用的是ipv6，可以參考uvicorn官方文檔：

https://www.uvicorn.org/

運(yùn)行

ifconfig

找到服務(wù)器的ipv6地址，就像這樣：

通常你會(huì)看到多個(gè)地址，隨便復(fù)制一個(gè)inet6后面的ipv6地址即可，但是不要選擇fe80開頭的內(nèi)網(wǎng)地址。

然后進(jìn)入naifu文件夾運(yùn)行run.sh

sudo?./run.sh

如果運(yùn)行不了可以先修改權(quán)限

sudo?chmod?777?run.sh

運(yùn)行應(yīng)該可以看到：

說明運(yùn)行成功了，服務(wù)已經(jīng)部署。

訪問服務(wù)

任何人想要訪問網(wǎng)站時(shí)只要在瀏覽器輸入剛剛復(fù)制下來的網(wǎng)址，要像這種格式輸入：

[<剛剛復(fù)制下來的網(wǎng)址>]:6969

比如這里：

如果無法訪問：

可能是訪問網(wǎng)站的人沒有ipv6網(wǎng)絡(luò)，通常使用手機(jī)熱點(diǎn)上網(wǎng)就可以獲得ipv6網(wǎng)絡(luò)了。

然后就可以畫紙片人了（）

部分手機(jī)瀏覽器也可以直接訪問：

大致性能

對(duì)512*512畫幅的生成速度

運(yùn)行時(shí)查看負(fù)載狀況，可以看：

nvidia-smi

服務(wù)器ipv6地址通常至少可以使用兩個(gè)月以上，當(dāng)?shù)刂纷兓瘜?dǎo)致無法訪問時(shí)可以參考內(nèi)網(wǎng)穿透部分的文章，從github獲取服務(wù)器的新網(wǎng)址。文章來源地址http://www.zghlxwxcb.cn/news/detail-410501.html