測試人員,如何對直播類產(chǎn)品的直播質(zhì)量進行測試呢?
用戶最關心的性能表現(xiàn)如何呢?
音視頻質(zhì)量測試的標準是什么呢?
真正決定未來競爭的關鍵,是在功能滿足用戶需求的前提下,提高直播軟件的各項質(zhì)量指標,對流暢度、清晰度、音質(zhì)、穩(wěn)定性和流量消耗等進行專項測試,從而音視頻通話質(zhì)量。
音視頻基本原理
1.采集
音視頻需要經(jīng)過攝像頭、麥克風上等硬件設備上通過其上的傳感器采集傳輸轉(zhuǎn)化,最終成為計算機數(shù)字信號的過程。其中雙人視頻和群視頻中的播片,采集播放都是由ffmpeg插件完成。
?
2.前處理
采集完的音視頻數(shù)據(jù)需要經(jīng)過一些處理得到更好的效果,音頻的前處理包括增益控制(AGC)?、噪聲抑制(ANS)、回聲抵消(AEC)、靜音檢測(VAD)等,視頻的前處理包括視頻降噪、縮放 等。
3.編解碼
一個信號或者一個數(shù)據(jù)流需要進行編解碼操作,這里指的變換既包括將信號或者數(shù)據(jù)流進行編碼(通常是為了傳輸、存儲或者加密)或者提取得到一個編碼流的操作。視頻編解碼器眾多,例如vp8、vp9、MPEG、H264等;音頻類編解碼器可分兩大類,語音類編解碼器(SILK、Speex、iSAC等)和音頻類編解碼器(ECELT、AAC等)。
4.網(wǎng)絡傳輸
在網(wǎng)絡傳輸中,會針對不同的網(wǎng)絡環(huán)境選取UDP或TCP傳輸,在即時音視頻通話上一般優(yōu)先采用UDP,因為其可自由度、延時都較好;除外還會針對傳輸過程中存在的損耗進行處理,包括控制包大小、FEC機制、丟包重傳、Jitter控制、時延、亂序等等。
?
5.后處理
數(shù)據(jù)經(jīng)過網(wǎng)絡傳輸?shù)浇邮芊胶蠼?jīng)過解碼進入后處理環(huán)節(jié),該環(huán)節(jié)中,音頻數(shù)據(jù)可能需要重采樣或混音,而視頻可能需要消除塊效應、時域降頻等等。
6.播放/渲染顯示
在經(jīng)過后處理后,數(shù)字信號轉(zhuǎn)化為聲音及畫面的過程就是播放/渲染。Windows系統(tǒng)中常用的音頻播放api有DirectSound、WaveOut、CoreAudio。
視頻質(zhì)量標準
以下介紹視頻質(zhì)量標準和測試方法。
1. 進房速度
正常網(wǎng)絡要求:進入房間耗時小于1秒(iOS和Android端)
弱網(wǎng)絡要求:弱網(wǎng)絡下對進房速度沒有制定標準
Android建議使用中低端機型(如小米note),IOS建議使用iphone6S測試
測試方法
覆蓋場景:入口要覆蓋全,比如app內(nèi)部、QQ、QQ空間、微信、朋友圈、新浪微博
1.一臺手機打開毫秒級的秒表,然后另一臺測試手機打開被測產(chǎn)品,進入主播房間;
2.進入主播房間出現(xiàn)第一幀畫面后,暫停秒表記錄數(shù)據(jù);
3.需要重復以上步驟,進行20次數(shù)據(jù),最終結果取均值。
?競品數(shù)據(jù)
機型 |
應用 |
進入房間耗時(ms) |
安卓 |
競品A |
|
競品B |
||
競品C |
||
競品D |
||
蘋果 |
競品A |
|
競品B |
||
競品C |
||
競品D |
?
2. 清晰度
正常網(wǎng)絡要求:跟上個版本相比,清晰度沒有出現(xiàn)劣化現(xiàn)象
弱網(wǎng)絡要求:在網(wǎng)絡丟包率10%場景下,清晰度跟正常網(wǎng)絡的數(shù)據(jù)相比沒有出現(xiàn)明顯下降
工具:Imatest
環(huán)境調(diào)試:
1.攝像頭和目標卡片的距離為0.75m,光源與被拍攝卡片的角度保持在45°,以確??ㄆ砻娌粫嘘幱爱a(chǎn)生;
2.使用熒光燈(D65/CWF/SP35)進行測試前,至少預熱光源15 分鐘;
3.測量反射性卡片表面的9 個點的照度和色溫,以確保燈光一致性,調(diào)節(jié)被測手機位置,使其拍攝位置居中。
?
操作步驟:
1.使用不同競品拍攝卡片,將拍攝的圖片導入PC,使用Imatest工具計算清晰度,點擊 SFR:New File;
2.選擇需要處理的圖片,進行添加,選中圖片上的13個分布點(如下圖)框圖處理,框圖完成點擊【 Yes,Continue】
3.點擊【 OK 】和【 Yes 】,計算生成的MTF50P即為圖片的清晰度
影響因素
清晰度受視頻分辨率和碼率影響較大,發(fā)送碼率越大且分辨率越高,則視頻清晰度越好,注意不要脫離碼率僅僅依據(jù)分辨率大小來判斷清晰度高低。
競品數(shù)據(jù)
主播手機平臺 |
競品 |
清晰度值 |
IOS |
競品A |
|
競品B |
||
競品C |
||
Android |
競品A |
|
競品B |
||
競品C |
?
3.幀率
正常網(wǎng)絡要求:由于人類眼睛的特殊生理結構,如果所看畫面幀率高于16的時候,就會認為是連貫的,因此幀率建議不低于16幀。設置幀率時可根據(jù)需求綜合考慮,對比競品。而幀率低于5幀時,人眼能明顯感覺到畫面不連貫,產(chǎn)生卡的感覺。
弱網(wǎng)絡要求:在網(wǎng)絡丟包率10%場景下,幀率跟正常網(wǎng)絡相比沒有出現(xiàn)明顯下降
測試方法
設備:2臺電腦 + 1個攝像頭 + 2部手機。一臺電腦播放視頻,一臺電腦錄制視頻,一部手機當主播,一部手機當觀眾,攝像頭采集觀眾端畫面。
視頻源:特定視頻demo.avi
操作步驟:
1.電腦1播放循環(huán)視頻demo.avi,電腦2插入攝像頭,打開“會聲會影”軟件;
2.手機A發(fā)起直播,手機B當該直播的觀眾,A對準播放視頻的電腦,打開“會聲會影”軟件,將錄制視頻電腦的攝像頭對準B;
3.點擊“會聲會影”軟件的捕獲——》捕獲視頻——》設置“捕獲文件夾”,點擊捕獲視頻(大概錄制10~20s),視頻捕獲完成。捕獲之后的視頻格式為mpg格式;
4.將mpg格式的文件轉(zhuǎn)換為yuv格式:編輯mepg2Dec.cmd文件,如下圖所示,將文件名改為所捕獲的視頻文件名,保存之后運行mpeg2dec.exe;
5.打開YUVviewerPlus.exe文件,如下圖所示,設置錄制視頻的分辨率(會聲會影錄制文件默認分辨率為720*480),點擊open File打開轉(zhuǎn)換后的yuv格式文件;
6.點擊“next”開始數(shù)幀數(shù),以1s 30幀為基準,30下內(nèi)場景圖像變動的次數(shù)即為幀率(最好是數(shù)3s)3s圖像變動的次數(shù)取平均值。建議取錄制視頻的開頭/中間/尾部3處求平均值。
影響因素
在網(wǎng)絡正常無損傷的情況下,幀率主要受視頻影響,視頻碼率越大則會編碼高幀率和高分辨率的視頻碼流。
競品數(shù)據(jù)
競品 |
主播手機平臺 |
幀率 |
競品A |
IOS |
|
Android | ||
競品B |
IOS |
|
Android | ||
競品C |
IOS |
|
Android |
4. 卡頓次數(shù)
標準
正常網(wǎng)絡要求:
弱網(wǎng)絡要求:
測試方法
地球儀(IOS)或自動化測試工具(Android)
?影響因素
在網(wǎng)絡正常無損傷的情況下,幀率主要受視頻影響,視頻碼率越大則會編碼高幀率和高分辨率的視頻碼流
5.視頻質(zhì)量穩(wěn)定性
在各種損傷變化場景下,直播3小時內(nèi)未出現(xiàn)花屏、黑屏、自動中斷等現(xiàn)象
測試方法
1.損傷自動化測試,并使用軟件會聲會影進行錄制;
2.查看錄制的視頻是否有花屏、黑屏或異常中斷等現(xiàn)象。
音頻質(zhì)量標準
以下介紹音頻質(zhì)量標準和測試方法。
1.采樣率
正常網(wǎng)絡要求:音頻采樣率大于16k
弱網(wǎng)絡要求:音頻采樣率大于16k
測試需覆蓋直播場景和連麥場景。
測試方法
設備:兩臺手機、可播放樣本設備、錄音筆
1.一臺手機進入主播環(huán)境,另一臺手機作為觀眾端;
2.使用一個可播放語音(音樂)樣本的設備在主播端進行播放;
3. 觀眾端用錄音筆錄下接收到的語音
4.使用adobe audition查看頻譜:最高頻譜為7k左右,因此采樣率應為16k;
2.音質(zhì)客觀評分
正常網(wǎng)絡要求:正常網(wǎng)絡直播時,語音音質(zhì)均分>=4.0分
弱網(wǎng)絡要求:弱網(wǎng)絡直播時,語音音質(zhì)均分>=3.5分
測試方法
直播模式:由于直播時延大于2秒,因此采用音頻線錄制并剪切后再用SPIRENT設備進行測分。
設備:兩條音頻線,一臺PC,兩臺手機
1.主播端的麥克風連接PC的揚聲器,觀眾端的揚聲器連接PC的麥克風;
2.PC循環(huán)播放48k語音樣本(樣本時長為10s);
3.打開adobe audition進行錄制,錄制時間約2mins;
4.把錄制下來的音頻進行分段剪切(每段語音為10s,前面空白語音保留約3s)
5.上傳剪切的音頻文件到SPIRENT設備并算出POLQA均分。
連麥模式:時延低于1s,可用SPIRENT設備直接測音質(zhì)。
1.主播端與觀眾端連麥;
2.接入SPIRENT設備測試音質(zhì),雙向測試時間約為8mins;
3.得出音質(zhì)平均分
3.音畫同步
正常網(wǎng)絡和弱網(wǎng)絡下,出現(xiàn)音畫不同步現(xiàn)象概率為0。
測試方法
觀看直播過程中,主觀判斷視頻畫面中主播口型跟聲音是否對得上
連麥-噪聲抑制
主播和觀眾連麥模式下,主播→觀眾的噪聲消除效果跟上個版本相比,噪聲抑制效果沒有變差。
測試方法
設備:音頻線一條,播放語音樣本設備、PC一臺
1.主播端與觀眾端連麥;
2.把主播端手機放在消音室并固定位置,然后在消音室內(nèi)使用可播放語音樣本的設備播放噪聲樣本;
3. 觀眾觀的揚聲器口連接PC的麥克風;
4.使用Adobe Audition 進行錄制并保存文件;
5. 相同方法錄制上一版本(保持相同的測試環(huán)境);
6.新舊版本進行對比,選取相同的語音段和噪聲段,算出信噪比。
?4.連麥-回聲抵消
標準:主播和觀眾連麥模式下,單講和雙講時,說話方聽到的回聲較小,不會影響交流。
測試方法
單講:觀眾端開啟揚聲器,主播端說話,主觀聽是否有自己的回聲;反過來觀眾端說話,聽是否有回聲。
雙講:雙方都開啟揚聲器,并同時說話,主觀聽是否有回聲,或聲音斷續(xù)有剪切。
?
最后感謝每一個認真閱讀我文章的人,禮尚往來總是要有的,雖然不是什么很值錢的東西,如果你用得到的話可以直接拿走:
文章來源:http://www.zghlxwxcb.cn/news/detail-798022.html
?這些資料,對于【軟件測試】的朋友來說應該是最全面最完整的備戰(zhàn)倉庫,這個倉庫也陪伴上萬個測試工程師們走過最艱難的路程,希望也能幫助到你!有需要的小伙伴可以點擊下方小卡片領取文章來源地址http://www.zghlxwxcb.cn/news/detail-798022.html
到了這里,關于直播帶貨那么火,測試人員如何對直播類產(chǎn)品的直播質(zhì)量進行測試呢?的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!