史無前例，高清又不卡。

5月，百視TV聯(lián)合上海人民廣播電臺、時代峰峻共同出品的《東方風(fēng)云榜》，絢爛呈現(xiàn)一場三十周年音樂分享會·時代少年團《理想之途》。有人說，這是一場似夢非夢的記憶。

演唱會由“樂園”、“少年”、“烏托邦”三大篇章組成，精心之作引來社交話題近30億次，滿足3萬多現(xiàn)場觀眾的同時，線上由百視TV全程直播，沸騰的直播間里更是被觀眾評論接連刷屏，事件熱度值一再打破歷史記錄。

“嘎嘎清晰”的超高清畫質(zhì)、“一點不卡”的直播體驗、“懂觀眾心理”的調(diào)度和鏡頭切換……觀眾的花式評論泉涌不斷，確實，高清又不卡，誰不愛。

觀眾們直呼，“這輩子沒看過這么高清的直播！”。

（圖片截選自社交媒體）

官方信息顯示，在演唱會直播當(dāng)晚，峰值在線人數(shù)超過130萬，直播間評論量達423萬，在這海量數(shù)據(jù)背后的絲滑、超清直播體感，是百視TV聯(lián)合阿里云視頻云在聚焦原創(chuàng)音樂發(fā)展、助力傳統(tǒng)IP宣發(fā)及「內(nèi)容+服務(wù)」的商業(yè)模式上的全新探索。

一、窄帶高清，毫厘細(xì)節(jié)的精妙畫感

達到觀眾驚呼的視覺感，是一場畫質(zhì)修復(fù)與編碼算法的精妙之戰(zhàn)。

首先，要理解大型戶外演唱會直播的錯綜因子。

相較電商直播帶貨和其他直播場景，大型戶外演唱會的影響因素很多，讓直播視覺效果的呈現(xiàn)會更為復(fù)雜。

• 舞臺布局多元復(fù)雜，如常見的鐳光管和頻閃燈打造光影交織的幻影效果、變幻多樣；
• 現(xiàn)場煙霧、巨幕AR大屏等元素，構(gòu)成了絢麗多彩的視覺效果；
• Idol的多層次妝造和舞臺道具，往往包含極為細(xì)膩豐富的細(xì)節(jié)；
• 現(xiàn)場多機位拍攝，配合Idol快速的動態(tài)舞動，導(dǎo)致直播畫面切換快，目標(biāo)運動性很強。

這些復(fù)雜情景都不可小覷，需要全部納入直播視頻流處理的范疇。

對于現(xiàn)場觀眾，這些豐富變幻可以將演唱會的直面效果拉滿，但滿足百萬千萬的線上直播觀眾，想要達到復(fù)刻甚至更佳的視覺氛圍，這些復(fù)雜因子對直播過程中的視頻編碼壓縮技術(shù)，帶來極大挑戰(zhàn)。

再者，用生成式細(xì)節(jié)修復(fù)力，逆轉(zhuǎn)直播源流的低畫質(zhì)。

一般來說，大型活動直播對實時性和流暢度的要求是第一位的，而在戶外活動直播中，現(xiàn)場網(wǎng)絡(luò)質(zhì)量很容易發(fā)生波動，高碼率傳輸會導(dǎo)致卡頓和延遲現(xiàn)象。

因此，為了優(yōu)先保障這場演唱會的直播信號穩(wěn)定和流暢，百視TV選擇較小的碼率進行推流（8Mbps @1080p 50fps）。然而，對于呈現(xiàn)這類視效高度復(fù)雜的演唱會，1080p 50fps的信號源，通常需要大于30Mbps的碼率，才能保證較好的編碼輸出質(zhì)量。

這意味著，實際推流碼率遠(yuǎn)低于直播高畫質(zhì)所需要的碼率，因此，會存在因高壓縮率導(dǎo)致的明顯畫質(zhì)損失，具體表現(xiàn)為：背景光影區(qū)大片的馬賽克塊效應(yīng)；臉部細(xì)節(jié)模糊不清，頭發(fā)紋理細(xì)節(jié)丟失，以及服裝道具細(xì)節(jié)丟失；服裝、字幕、貼片圖案、LOGO等邊緣毛刺現(xiàn)象。

下圖是8Mpbs 1080p直播源流的兩個典型畫面的截圖，畫面中，Idol的發(fā)絲不再有細(xì)節(jié)，同時出現(xiàn)了明顯的面部馬賽克塊效應(yīng)，和字幕邊緣的毛刺感。顯然，這些畫質(zhì)問題堆積成流動的低細(xì)節(jié)畫面，必然極大影響觀感體驗。

直播源流畫面1: 存在面部馬賽克塊效應(yīng)

直播源流畫面2: 存在字幕邊緣毛刺問題

針對這類直播推流存在的畫質(zhì)問題，百視TV使用了阿里云“窄帶高清2.0”技術(shù)，通過生成式細(xì)節(jié)修復(fù)能力，顯著提升源流的畫面清晰度；同時，通過自適應(yīng)編碼能力，降低源流的碼率；從而達到轉(zhuǎn)碼流相比源流碼率更低，但畫質(zhì)清晰度更優(yōu)，呈現(xiàn)毫厘細(xì)節(jié)的精妙畫感。

整體來看，“窄帶高清2.0”有兩大核心模塊：

• 視覺編碼

「窄帶高清2.0」采用基于場景和內(nèi)容的幀類型決策和塊級碼率分配，模式?jīng)Q策采用面向主觀友好的算法；在內(nèi)容自適應(yīng)編碼部分，考慮到，人眼感知的視頻空間域的亮度、對比度以及時域失真是不連續(xù)的，通過基于恰可察覺失真（JND）自適應(yīng)編碼技術(shù)，丟棄視覺冗余信息，在主觀質(zhì)量不發(fā)生明顯降低的情況下，可以大幅節(jié)省碼率；同時，通過ROI碼控技術(shù)調(diào)整碼率分配策略，進一步提升人眼感興趣區(qū)域的清晰度。

• 細(xì)節(jié)修復(fù)

「窄帶高清2.0」采用基于生成對抗網(wǎng)絡(luò)（GAN）的細(xì)節(jié)修復(fù)生成技術(shù)，在修復(fù)因編碼壓縮引起的馬賽克塊效應(yīng)和邊緣毛刺的同時，“腦補”生成一些自然的紋理細(xì)節(jié)，使得畫面紋理細(xì)節(jié)更豐富、更自然、更有質(zhì)感。

窄帶高清2.0 核心技術(shù)模塊解讀

通過窄帶高清處理，我們將原有的碼率降低的同時，反而可以獲得更好的視覺效果：演唱會視頻中，場景的編碼塊效應(yīng)、邊緣毛刺被有效去除，丟失的發(fā)絲細(xì)節(jié)再度呈現(xiàn)，面部皮膚修復(fù)后更有膚質(zhì)感，字幕文字清晰度也更加優(yōu)質(zhì)。

第三，演唱會人像的定制模版，更是點睛之筆。

對于超大型偶像演唱會，看清Idol的“顏”一定是觀眾粉絲的首要訴求。

著力一場“更懂觀眾”的演唱會直播，阿里云視頻云“窄帶高清2.0”在基礎(chǔ)模型的效果之上，專屬打造了演唱會場景Idol人像定制模版，針對優(yōu)化人像區(qū)域的細(xì)節(jié)修復(fù)生成效果，將Idol的“懟臉直拍”，通過直播清晰還原送到觀眾屏幕前。

當(dāng)然，業(yè)界已存在一些針對人像修復(fù)的處理方案，但這類方案一般是將視頻畫面中的人臉摳圖操作，再單獨進行處理。

然而，在演唱會直播轉(zhuǎn)碼場景，這類方案存在兩個問題：一是對于非正面及人像有遮擋的情況，處理效果不佳會存在比較明顯的bad case，因此，直播轉(zhuǎn)碼可能會出現(xiàn)意想不到的翻車風(fēng)險；二是摳像后再處理，整個方案耗時存在不確定性，對于直播50 fps的場景，可能會因此帶來卡頓。

因此，窄帶高清2.0人像優(yōu)化功能采用更優(yōu)的語義分割圖引導(dǎo)的圖像復(fù)原技術(shù)，處理模型的輸入除了低畫質(zhì)視頻，還有該視頻對應(yīng)的語義分割圖，而語義分割圖用于引導(dǎo)模型更聚焦在人像區(qū)域的生成效果。

以下是窄帶高清2.0對Idol臉細(xì)節(jié)修復(fù)效果呈現(xiàn)：

左：直播源流 8Mpbs右：窄帶高清2.0轉(zhuǎn)碼輸出 6Mpbs

左：直播源流 8Mpbs右：窄帶高清2.0轉(zhuǎn)碼輸出 6Mpbs

左：直播源流 8Mpbs右：窄帶高清2.0轉(zhuǎn)碼輸出 6Mpbs

針對垂直細(xì)分場景的專屬修復(fù)，阿里云視頻云探索不斷，去年的NBA賽季，在百視TV NBA轉(zhuǎn)播場景，為了更好地平衡直播流暢性、穩(wěn)定性和高清畫質(zhì)，窄帶高請2.0針對籃球賽事場景進行針對性優(yōu)化，為百視TV定制了籃球直播賽事的轉(zhuǎn)碼模版和AI修復(fù)模型，極大提升了畫面清晰度和整體視覺表現(xiàn)，觀賽效果極佳。

總言之，把握場景特征的專屬定制，往往是沉浸視感的點睛一環(huán)，利用算法的精妙將場景造勢發(fā)揮極致。

二、超高清高并發(fā)的“零卡頓”，是極致天花板

我們顯然可見《理想之途》演唱會的熱烈之象，百視TV的線上直播間也是空前沸騰，僅僅通過預(yù)約階段158萬的人數(shù)便可窺見。

再疊加天時之勢，恰逢五一假期，演唱會直播19:30-22:30更是一場晚間的超級流量場，這自然帶來一個問題：直播質(zhì)量如何保障？

我們總說，極致流暢、零卡頓播放是直播保障追求的目標(biāo)，但真實落地絕非易事。對演唱會這類強沉浸強互動的場景，尤其對“時代少年團”的這場光耀的超高清直播，每一次卡頓大概都是情緒的窒息。

于是，當(dāng)百萬受眾瞬時涌入，如何守住如此高清質(zhì)感的直播“零卡頓”？

當(dāng)然這要受益于阿里云文體直播解決方案系統(tǒng)化的綜合能力，全球3200+節(jié)點、180+TB帶寬儲備、全球?qū)崟r流媒體傳輸網(wǎng)絡(luò)（GRTN），足以保障千萬級用戶高并發(fā)下的高品質(zhì)觀看體驗。

定制化的全鏈路災(zāi)備與應(yīng)急預(yù)案，和多年大型直播活動積累的最佳實踐經(jīng)驗，更是給予了這場超大型演唱會落地的高可靠性。

為了防止在高峰期流量資源搶占帶來不良影響，阿里云提前為百視TV就演唱會直播預(yù)約情況進行帶寬資源準(zhǔn)備及鎖量，一旦直播過程中，遇到斷流或幀率異常，配置的主備流能實現(xiàn)“自動切換”。

正是在這些完備的預(yù)案和保障下，即使直播過程中遇到突發(fā)情況，也能讓觀眾“毫無察覺”，沉浸于流暢之境。

三、演唱會直播，調(diào)動更多感官

超大型演唱會直播引發(fā)的感官與話題，儼然成為一個時代的文化現(xiàn)象，百萬人共屏，千萬人共振，數(shù)億級的衍生回蕩。

有幸的是，視頻云技術(shù)在這其中釋放淋漓之力。

如今的窄帶高清2.0，突破當(dāng)代視頻編碼器的能力上限，深度升級了流暢度與高清度，實現(xiàn)在同等畫質(zhì)下更省流、在同等帶寬下更高清的商業(yè)價值和觀看體感，雙重滿足平臺與觀眾。

不止如此，阿里云文體直播解決方案也在不斷豐富，帶來極致流暢、視覺飽滿、音視沉浸的超現(xiàn)實感受。

在畫質(zhì)優(yōu)化上，從海量數(shù)據(jù)中所沉淀的具有美學(xué)價值的高質(zhì)量色彩、亮度轉(zhuǎn)換，通過SDR+頻率分解技術(shù)，對面部和膚色區(qū)域進行專門的色彩處理和保護，使得處理后的畫質(zhì)通透感、清晰度大幅提升。以普惠化的視角，即使觀眾所用的終端不支持HDR的設(shè)備，也能同樣獲得端側(cè)一致的超高清體驗。

在聽覺沉浸上，支持杜比音效的基礎(chǔ)上，視頻云音頻團隊研發(fā)了“音量歸一”，展現(xiàn)演唱會直播流暢一致的音量水平，解決音量在不同音頻內(nèi)容上忽大忽小的惡劣體驗；而“環(huán)繞聲”、“人聲增強”等技術(shù)，在帶來更具層次感和弧線感的沉浸體驗基礎(chǔ)上，去除嘈雜聲音干擾，從而更加凸顯高質(zhì)量的人聲質(zhì)感。

這其中，還提出了全景聲音頻。

全景聲音頻(Ambisonics格式)是通過獨有的雙耳渲染技術(shù)，轉(zhuǎn)換為含有全部空間信息的雙聲道音頻，在VR頭顯以及具有陀螺儀的手機設(shè)備上，實現(xiàn)自由視角下的聲像始終保持統(tǒng)一，達到“人轉(zhuǎn)動聲源位置不動”的沉浸式之感。這也是一項提供全景聲內(nèi)容從生產(chǎn)到消費的全鏈路技術(shù)。

在任何一場大型文娛的共頻現(xiàn)場，我們渴望更多的感官調(diào)動和超現(xiàn)實的鏈接，基于云的音視頻技術(shù)在背后默默推動。

回顧這一次的《理想之途》，期待下一次的“烏托邦之境”。文章來源地址http://www.zghlxwxcb.cn/news/detail-466897.html

到了這里，關(guān)于窄帶高清技術(shù)之百萬級并發(fā)下的演唱會直播細(xì)節(jié)修復(fù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！