??? 個(gè)人主頁:IT貧道-CSDN博客
??? 私聊博主:私聊博主加WX好友,獲取更多資料哦~
??? 博主個(gè)人B棧地址:豹哥教你學(xué)編程的個(gè)人空間-豹哥教你學(xué)編程個(gè)人主頁-嗶哩嗶哩視頻
目錄
1.?老照片上色原理
2. 老照片上色環(huán)境準(zhǔn)備
2.1 下載DeOldify項(xiàng)目
2.2?下載權(quán)重文件
2.3?安裝依賴的python包
3.?給圖片上色
4.?給視頻上色
1.?老照片上色原理
老照片上色原理就是使用GAN生成式對抗網(wǎng)絡(luò),對于一些原始黑白圖片及對應(yīng)的彩色圖像,使用GAN生成式對抗網(wǎng)絡(luò)來實(shí)現(xiàn)上色。
2. 老照片上色環(huán)境準(zhǔn)備
2.1 下載DeOldify項(xiàng)目
項(xiàng)目下載地址:https://github.com/jantic/DeOldify,下載之后解壓到對應(yīng)的非中文路徑下,這里解壓到“J:\DeOldify-master”路徑。可以處理圖片上色,也可以處理視頻上色。DeOldfy的核心網(wǎng)絡(luò)框架是GAN,可以對圖片和視頻呈現(xiàn)更詳細(xì)、真實(shí)的渲染效果。
2.2?下載權(quán)重文件
DeOldify 是基于深度學(xué)習(xí)開發(fā)的,需要用到預(yù)訓(xùn)練權(quán)重,這里項(xiàng)目開發(fā)者已經(jīng)把訓(xùn)練好的權(quán)重上傳到網(wǎng)上,我們可以直接拿來使用,不需要我們再訓(xùn)練,本項(xiàng)目中用到的權(quán)重文件比較多,一共三個(gè):
- Artistic 權(quán)重,會(huì)使圖片上色效果 更大膽一些,下載地址:
https://data.deepai.org/deoldify/ColorizeArtistic_gen.pth
- Stable 權(quán)重,相對于 Artistic 上色效果更保守一些,下載地址:
https://www.dropbox.com/s/usf7uifrctqw9rl/ColorizeStable_gen.pth
- Video 權(quán)重,此權(quán)重文件用來給視頻上色,下載地址
https://data.deepai.org/deoldify/ColorizeVideo_gen.pth
權(quán)重文件下載完畢后,在項(xiàng)目根目錄下創(chuàng)建一個(gè)models文件夾,把下載好的三個(gè)權(quán)重文件放入models文件夾內(nèi)。
2.3?安裝依賴的python包
首先需要安裝pytorch,這里在“修復(fù)照片”中已經(jīng)處理,所以不再安裝,此外還需安裝如下:
從https://www.lfd.uci.edu/~gohlke/pythonlibs/?網(wǎng)站中下載“Bottleneck-1.3.2-cp36-cp36m-win_amd64.whl”手動(dòng)安裝,不然后面自動(dòng)下載不下來。
?
pip install -i Simple Index?fastai==1.0.51
pip install -i Simple Index?wandb
pip install -i Simple Index?tensorboardX==1.6
pip install -i Simple Index?ffmpeg
pip install -i Simple Index?ffmpeg-python==0.1.17
pip install -i Simple Index?youtube-dl>=2019.4.17
pip install -i Simple Index?jupyterlab
pip install -i Simple Index?opencv-python>=3.3.0.10
pip install -i Simple Index?pillow==8.2.0
?
可以直接 使用如下命令指定文件進(jìn)行批量安裝python依賴包:
D:\ProgramData\Anaconda3\envs\python36_oldimage\Scripts>pip install -r J:\DeOldify-master\requirements.txt
指定文件安裝,這里還是手動(dòng)每個(gè)安裝吧,指定文件下載太慢。
???????3.?給圖片上色
from deoldify import device
from deoldify.device_id import DeviceId
# choices: CPU, GPU0...GPU7
device.set(device=DeviceId.GPU0)
from deoldify.visualize import *
import gc
plt.style.use('dark_background')
# 加速訓(xùn)練
torch.backends.cudnn.benchmark=True
import warnings
warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")
#Artistic 為布爾值, True 表示啟用 Artistic 模式 ( False 啟用 Stable 模式);
colorizer = get_image_colorizer(artistic=True)
#render_factor 表示渲染因子,值越大效果越好,但同時(shí)需要更大的顯存;
#我的電腦設(shè)置1就承受不住了
render_factor=10
#source_path 表示輸入圖片路徑
source_path = 'J:\\s8.jpg'
# result_path = 'J:\\finished\\'
colorizer.plot_transformed_image(path=source_path, render_factor=render_factor, compare=True)
gc.collect()
前面提到過 Artistic 與 Stable 是有區(qū)別的(因?yàn)橛玫降臋?quán)重文件是不一樣的), Artistic 上色效果會(huì)更加激進(jìn)一些。
運(yùn)行代碼前如果使用Artistic模式那么下載resnet101-63fe2227.pt文件存在“C:\Users\wubai/.cache\torch\hub\checkpoints\”路徑下;
如果使用Stable模式那么下載https://download.pytorch.org/models/resnet101-63fe2227.pth放在“C:\Users\wubai/.cache\torch\hub\checkpoints\”路徑下。
目前Stable模式老是內(nèi)存不夠,我們就記住一個(gè)模式是Artistic即可。
問題解決:pip uninstall numpy pip uninstall pandas
4.?給視頻上色
給視頻上色需要兩個(gè)步驟:
1) 在window中安裝ffmpeg
ffmpeg主要用戶合成視頻。ffmpeg下載地址:Download FFmpeg
登錄后,選擇windows:
下載完成之后,解壓到某一路徑下,這里解壓到“J:\ffmpeg-4.4-essentials_build”,配置window環(huán)境變量:
2) 編寫代碼,轉(zhuǎn)換視頻
準(zhǔn)備視頻:old_video.mp4與old_video.mp4 ,編寫下面代碼:
from deoldify import device
from deoldify.device_id import DeviceId
#choices: CPU, GPU0...GPU7
device.set(device=DeviceId.GPU0)
from deoldify.visualize import *
plt.style.use('dark_background')
import warnings
warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")
colorizer = get_video_colorizer()
#NOTE: Max is 44 with 11GB video cards. 21 is a good default
render_factor=21
#"D:\ProgramData\Anaconda3\envs\python36_oldimage\lib\subprocess.py" 文件中 611行 shell=False 改成shell=True,不然讀取不到文件
file_name_ext = "J:\\old_video2.mp4"
# file_name_ext = file_name + ".mp4"
result_path = None
colorizer.colorize_from_file_name(file_name_ext, render_factor=render_factor)
轉(zhuǎn)換之后的視頻在目錄:“J:\DeOldify-master\video\result”中,在轉(zhuǎn)換過程中使用的顯卡非常大,內(nèi)存也比較多。文章來源:http://www.zghlxwxcb.cn/news/detail-809124.html
???????文章來源地址http://www.zghlxwxcb.cn/news/detail-809124.html
到了這里,關(guān)于AI老照片上色-DeOldify的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!