編者按：視頻是當(dāng)下最流行的媒體形式之一。但由于視頻壓縮、網(wǎng)絡(luò)不穩(wěn)定等原因，我們常?？梢钥吹交ヂ?lián)網(wǎng)上的很多視頻其畫面質(zhì)量并不理想，尤其是在瀏覽器端，這極大地影響了觀看體驗(yàn)。不過，近期微軟 Edge 瀏覽器推出了一項(xiàng)新功能，一鍵就可以讓瀏覽器中的視頻變?yōu)楦咔灏?。這項(xiàng)神奇功能背后的技術(shù)秘訣是什么？今天，讓我們一起來了解一下微軟 Edge 視頻超分辨率功能的“秘密武器”——來自微軟亞洲研究院的智能視頻增強(qiáng)工具集 DaVinci 2.0。

近期，微軟 Edge 瀏覽器推出了一項(xiàng)新功能——視頻超分辨率（VSR）。用戶只需在 Edge 瀏覽器中開啟 VSR 功能，就能夠在瀏覽器端觀看高清視頻。即使是幾十年前的360P、480P老電影，或者在網(wǎng)絡(luò)不穩(wěn)定被迫降低視頻畫質(zhì)的情況下，用戶也可以時刻享受高清體驗(yàn)。

VSR 功能的背后是來自微軟亞洲研究院的智能化視頻增強(qiáng)工具集“達(dá)芬奇（DaVinci）”。該功能在不占用網(wǎng)絡(luò)帶寬的情況下即可在用戶端實(shí)時消除視頻壓縮的偽影，提高視頻分辨率，從而整體提升用戶瀏覽視頻的視覺體驗(yàn)。

微軟 Edge 視頻超分辨率示例。針對低于 720P 分辨率的視頻，開啟 Edge 中的視頻超分辨率功能，視頻質(zhì)量有了明顯提升。

現(xiàn)在，就跟著微軟 Edge 的節(jié)奏，讓視頻高清起來吧！

第一步，打開微軟 Edge 瀏覽器；第二步，單擊 Edge 地址欄中的高清圖標(biāo)并選擇增強(qiáng)視頻的切換開關(guān)；第三步，播放視頻，享受高清體驗(yàn)。（注：視頻超分辨率由 Edge 自動啟用，用戶可自行決定啟用或禁用該功能）

啟用或禁用視頻超分辨率功能的流程

*值得注意的是，受限于模型計(jì)算代價較高的限制，該功能目前僅針對具有相對高端顯卡的臺式機(jī)用戶開放測試（需要 Edge Stable 版本不低于117，Edge Canary 版本不低于119）。同時，微軟 Edge 團(tuán)隊(duì)也在不斷努力，希望可以將該功能逐步開放給所有具有獨(dú)立顯卡、集成顯卡的用戶。

從特定視頻域到開放域的挑戰(zhàn)

據(jù)微軟 Edge 團(tuán)隊(duì)調(diào)查，近四成用戶曾表示在 Edge 瀏覽器觀看視頻時，網(wǎng)頁上的視頻質(zhì)量較低，通常為 360P 或 480P，非常影響用戶體驗(yàn)。為此，微軟 Edge 團(tuán)隊(duì)希望與微軟亞洲研究院開展合作，借助創(chuàng)新技術(shù)來提升 Edge 網(wǎng)頁端所有低清視頻的質(zhì)量，給用戶以高清體驗(yàn)。2022年微軟亞洲研究院推出的智能視頻增強(qiáng)工具集“達(dá)芬奇（DaVinci）”，能夠?qū)崿F(xiàn)視頻超分辨率、視頻插幀、壓縮視頻超分辨率等功能，很好的滿足了微軟 Edge 團(tuán)隊(duì)的需求。

DaVinci項(xiàng)目鏈接：https://github.com/microsoft/DaVinci

然而，在將 DaVinci 算法模型應(yīng)用到產(chǎn)品的過程中存在著不小的挑戰(zhàn)。DaVinci 1.0 主要是針對特定領(lǐng)域進(jìn)行的訓(xùn)練，有明確的訓(xùn)練目標(biāo)；特定領(lǐng)域的數(shù)據(jù)分布一致，所以模型的優(yōu)化過程更加容易，優(yōu)化的上限也更高；而且，高質(zhì)量的垂直領(lǐng)域的數(shù)據(jù)更易于收集，可以獲得大量公開的訓(xùn)練數(shù)據(jù)。但進(jìn)入到 Edge 應(yīng)用場景下的開放域（open domain），技術(shù)難度呈指數(shù)級增加。在開放域中，視頻類別眾多，視覺差異較大，比如用戶在 Edge 中打開的可能是包含動物、植物、建筑、車輛等眾多元素在內(nèi)的影視、動畫、視頻會議等各種不確定類型的視頻。要讓一個模型補(bǔ)充不同類別視頻的細(xì)節(jié)，是 DaVinci 首先要面對的難題。

與此同時，模型的容量是否足夠大，可以支撐真實(shí)場景下的大量數(shù)據(jù)，并捕捉到不同的數(shù)據(jù)模式？如何定義開放域？開放域需要包含哪些特定領(lǐng)域的數(shù)據(jù)？評估指標(biāo)是什么？這些都是 DaVinci 模型需要克服的問題。

更適合開放域視頻的超分辨率算法

DaVinci 1.0 視頻超分辨率模型的目的是在從低質(zhì)量（LQ）或低分辨率的對應(yīng)幀預(yù)測的高質(zhì)量（HQ）幀的過程中來學(xué)習(xí)映射函數(shù)。然而，為了從高質(zhì)量的訓(xùn)練數(shù)據(jù)集生成對應(yīng)的低質(zhì)量/低分辨率的視頻幀，現(xiàn)有方法大多是使用預(yù)定義的算子（如，雙三次下采樣，bicubic down-sampling）來模擬退化過程，得到 LQ 輸入。這就限制了模型在真實(shí)視頻場景上的通用性，特別是對于具有高壓縮率的視頻流數(shù)據(jù)。所以在 DaVinci 2.0 的視頻超分辨率技術(shù)中，微軟亞洲研究院的研究員們將視頻壓縮也納入到模型中，并通過運(yùn)行具有不同壓縮策略的幾個流行視頻編解碼器來合成 LQ-HQ 視頻對，以訓(xùn)練模型。

同時，受到大語言模型的啟發(fā)，研究員還利用自監(jiān)督的 LQ-HQ 復(fù)原范式（restoration paradigm），使用來自不同類別的15萬個視頻片段對模型進(jìn)行了預(yù)訓(xùn)練。通過進(jìn)一步考慮來自不同編碼器的視頻壓縮偽影類型，使得 DaVinci 模型可以顯著恢復(fù)具有大范圍低質(zhì)量的不同視頻內(nèi)容。

為了進(jìn)一步提高模型的視覺質(zhì)量，研究員們采用兩階段訓(xùn)練策略。其中，第一階段旨在恢復(fù)結(jié)構(gòu)信息（如，對象的邊緣和邊界），第二階段則針對高頻紋理（如，樹葉和毛發(fā)），使用視覺感知和生成對抗性目標(biāo)進(jìn)行優(yōu)化。

由于當(dāng)前該領(lǐng)域中的現(xiàn)有指標(biāo)，如 LPIPS（Learned Perceptual Image Patch Similarity, 學(xué)習(xí)感知圖像塊相似度）和 FVD（Fréchet Video Distance，弗雷歇視頻距離）不能完全反映人類的視覺偏好，因此研究員們構(gòu)建了一個端到端流水線（pipeline），用于視頻增強(qiáng)任務(wù)的主觀評估，以便更好地了解改進(jìn)后的 DaVinci 模型性能，評估它在開放域視頻場景中所發(fā)揮的作用。

具體而言，就是讓參與者在十個類別中標(biāo)注出他們對真實(shí)場景視頻數(shù)據(jù)不同方法的偏好。參與者不僅要考慮每個視頻幀的靜態(tài)質(zhì)量，還要考慮動態(tài)質(zhì)量，這對于改善用戶體驗(yàn)尤為重要。該流水線評估方法表明，相比于瀏覽器中默認(rèn)的雙線性放大，超過90%的用戶更喜歡使用 DaVinci 2.0 模型來提升視頻質(zhì)量。

在微軟亞洲研究院與微軟 Edge 團(tuán)隊(duì)的通力合作下，Edge 瀏覽器的 VSR 功能基于 DaVinci 2.0 超分辨率模型，可以提升所有不確定內(nèi)容類型的視頻質(zhì)量，并且在不產(chǎn)生偽影的情況下，提高視頻清晰度，為 Edge 用戶提供絲滑、高清的視頻體驗(yàn)。

從視頻超分辨率到視頻生成

盡管 DaVinci 1.0 并沒有涉及到如此大規(guī)模的低質(zhì)量數(shù)據(jù)預(yù)訓(xùn)練，但 DaVinci 2.0 在 Edge 瀏覽器中的成功應(yīng)用，證明了模型具有從低質(zhì)量預(yù)訓(xùn)練到大規(guī)模高清數(shù)據(jù)應(yīng)用的高泛化能力。這也進(jìn)一步促進(jìn)了微軟亞洲研究院研究員們將創(chuàng)新技術(shù)應(yīng)用到更多開放域場景的探索。

“DaVinci 2.0 對視頻增強(qiáng)功能的創(chuàng)新，實(shí)現(xiàn)了對開放域視頻圖像細(xì)節(jié)的補(bǔ)充?；谝曨l幀間具有本質(zhì)關(guān)聯(lián)的特性，DaVinci 最終實(shí)現(xiàn)了高清結(jié)果。接下來，我們希望對技術(shù)進(jìn)行更深入的探索，最終達(dá)到從0到1的創(chuàng)造，”微軟亞洲研究院高級研究員傅建龍表示。

在以視頻為主流媒介的大趨勢下，微軟亞洲研究院希望未來還可以給用戶提供自動生成視頻、創(chuàng)建個性化視頻內(nèi)容的工具。在全方位為用戶提供極致的視頻觀看體驗(yàn)的同時，也幫助用戶從事更復(fù)雜、更具創(chuàng)造力的內(nèi)容創(chuàng)作工作。文章來源地址http://www.zghlxwxcb.cn/news/detail-732994.html

到了這里，關(guān)于如何在微軟Edge瀏覽器上一鍵觀看高清視頻？的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！