AI視頻插幀 附帶『視頻插幀』工具

視頻插幀工具來啦！
下載鏈接在最下面。

前言

• 繼視頻摳圖工具以來，本人又考慮制作一款視頻插幀的工具，最近一直在改各種問題（頭都大了- _ -），還好該來的終于來了(^ _ ^)?，F(xiàn)在自媒體越來越流行，很多人都開始自己做個小視頻玩玩，各大視頻平臺也都開放了高刷視頻功能。這次的靈感也就來源于之前搜了一搜目前視頻插幀的工具和方法，要么下載各種亂七八糟的軟件，要么就是折騰好一陣效果還是差強人意，總之很麻煩還浪費時間。于是還是想弄個幾鍵就開始處理的，不需要配置太多就能用的工具。
• 所以，我就搜集了一下目前插幀常用的方法，基本都是基于光流法，網(wǎng)上一搜基本都是用SVP4的視頻渲染軟件，把視頻提到60幀，但是這個下載和配置太麻煩了，而且僅僅也就60幀，再想提高就得掏money了。
• 之前看過一篇《Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video
  Interpolation》論文。于是想在其基礎上優(yōu)化一下，弄個輕量一點的模型。奈何效果還是有限，電腦跑了好久模型，處理速度還是太慢了。由于本人電腦用的nvidia顯卡cuda加速，可能目前還有大部分電腦只能用cpu處理，所以速度太慢了。如果有人僅需處理一小段視頻的話，可以下載用一用。

提示：工具缺點就是處理速度較慢，還有一些功能后續(xù)再完善。

一、視頻插幀效果

最終實現(xiàn)：幀數(shù)翻倍。
效果：在每幀圖片較為清晰的情況下，效果還是可以的。但是是在圖像較為模糊、兩段視頻轉場時，效果還是差強人意。

1.效果

運動一般較為模糊，也是受影響較大的部分，由于原始視頻幀就比較模糊，所以僅僅是提升了高刷新率的模糊幀，但是觀感還是更舒服了一點，如果原始視頻質量高的話，效果就會更好。

1.1 原始30fps

1.2 120fps

總結：相較于其他方法，使用較為簡便，但是由于每個人電腦配置不同，移植到不同設備上可能會有不同的bug，如果能用GPU加速的就用，如果不能用GPU的，我就不太建議視頻插幀了，因為處理速度太慢了。目前視頻插幀的普遍問題就是處理速度，這個受硬件限制太大了。但是你電腦不支持GPU加速也想嘗試一下的話，我也加入了取消勾選GPU的按鍵，利用cpu來處理，但僅供娛樂了。

二、采用的方法

??作者原代碼同樣為pytorch環(huán)境上訓練的類Unet結構模型。根據(jù)生成的雙向光流與偽標簽構建的無監(jiān)督模型，這里供上人家的[文章]。對于這個模型，本人對其進行輕量化改進，引入MobileNet的可分離卷積，使得處理速度與模型大小稍有改進，但還是有限。
??訓練所使用的數(shù)據(jù)集使用了adobe240fps，對其進行了處理。采用的損失包括了：重建損失（lr）、感知損失（lp）、平滑損失（ls）和wrap損失。對于可用GPU的cuda加速的情況，我對模型數(shù)據(jù)采用半精度來提升處理速度，模型結構也稍作改變。但還是胳膊擰不過大腿，對于這種圖像生成的模型，需要消耗比較多的時間。
??由于基于torch框架，其所占空間較大，所以這次的工具占的空間也就較大。

三、使用步驟

判斷GPU是否可用

如何判斷電腦是否支持GPU cuda加速:
1.首先是nvidia品牌，且cuda版本>=10.2，安裝好顯卡驅動。
2.其次可通過按下win+R組合鍵，打開cmd命令窗口。輸入nvidia-smi命令，查看CUDA Version版本。
  如果CUDA Version<=10.2,嘗試更新顯卡驅動，看看顯卡是否支持更高版本的cuda。

直接打開Interpolation tool by CS.exe，選擇安裝位置進行安裝，并生成桌面快捷方式，然后可以直接打開。

1.Data選擇

• Input Dir：選擇所需處理的視頻；
• Output Dir：選擇保存位置文件夾；

2.Advance設置

• GPU：選擇是否使用GPU。默認勾選，（如果運行時報錯，可嘗試判斷自身顯卡是否支持cuda10.2版本以上加速，若支持可嘗試更新顯卡驅動提升cuda版本；若不支持就取消勾選，采用cpu處理，但是速度非常慢）；
• BatchSize：選擇批處理大小。一般太大會爆顯存或內(nèi)存，自己嘗試找到適合自己電腦的最大值（一般不超過5）；
• ScaleRate：幀率提升的倍數(shù)。一般30幀視頻可以選擇設置為3倍，提升至90幀（幀數(shù)提升倍數(shù)越多，處理時間也會跟著翻倍，所以超過120幀就沒必要了）；

主界面

3.Start Run

• 點擊Run按鈕開始處理，可通過命令行窗口查看當前處理進度（注意處理時不要關閉這個窗口）。
• 如果不想處理了，可以點擊Stop按鈕結束處理進程。

最終輸出為output(+audio).mp4視頻。

4.錯誤提示的解決
錯誤一：

不支持顯卡GPU cuda加速。 根據(jù)上面的方法：判斷GPU是否可用，來自行判斷。如果不支持GPU，則取消勾選GPU按鈕再嘗試重新運行。

錯誤一

錯誤二：

BatchSize設置太大了，爆顯存、內(nèi)存了，嘗試調(diào)小。如果調(diào)到2還是爆內(nèi)存，那就是電腦配置不行了。

錯誤三：

Input Dir、Output Dir 輸入、輸出路徑?jīng)]有選擇。

錯誤三

成功運行：

分別顯示的是：完成百分比、已運行時間、預計剩余時間。

成功運行

總結

工具可從網(wǎng)盤獲取，提取碼：1210
目前bug較多，處理速度和效果有限，硬件依賴大，僅供娛樂。
制作不易，主界面有個小彩蛋，可以打賞一下呦，感激不盡!
如果大家喜歡的話，后面可以考慮再出個增強圖片、視頻分辨率的工具，讓你的人像與場景更加清晰！文章來源地址http://www.zghlxwxcb.cn/news/detail-414913.html

到了這里，關于AI視頻插幀 附帶『視頻插幀』工具的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！