概述
網(wǎng)絡(luò)攝像頭可以通過(guò)網(wǎng)絡(luò)遠(yuǎn)程查看實(shí)時(shí)視頻圖像,也可以和瀏覽器與手機(jī)APP等對(duì)講，對(duì)講方案有P2P/SFU/MCU等。metaRTC+ZLMediaKit是一個(gè)比較適合的SFU對(duì)講方案。
語(yǔ)音編碼
考慮攝像頭算力低以及拾音器采樣率等因素，G711比OPUS更適合。
- metaRTC支持G711A(PCMA)/G711U(PCMU)
- metaRTC采用緩存等技術(shù)實(shí)現(xiàn)G711A/G711U占用CPU算力極低
- ZLMediaKit支持G711 webRTC推拉流
視頻編碼
考慮到市面上攝像頭硬編碼大多支持H264/H265，視頻編碼H264/H265是比較適合的選項(xiàng)。
綜上所述推薦G711+H264/H265音視頻編碼。
語(yǔ)音處理
攝像頭對(duì)講語(yǔ)音處理是其中非常重要的模塊，實(shí)現(xiàn)流暢、清晰、穩(wěn)定的對(duì)講需要多種聲音處理模塊。
回聲消除AEC(Acoustic Echo Chancellor)
AEC會(huì)監(jiān)測(cè)揚(yáng)聲器和麥克風(fēng)拾音器輸入之間的回聲，并使用算法來(lái)抵消回聲信號(hào)，避免出現(xiàn)回聲和延遲以提高語(yǔ)音對(duì)講質(zhì)量。
YangRtcAec *aec;
//aecLib 1:webrtc aec 0:speexdsp aec 2:內(nèi)置AEC或其他AEC實(shí)現(xiàn)
yang_create_rtcaec(session->aec,aecLib);
aec->echoPlayback(aec->session,pcm);
aec->echoCapture(aec->session, input, pcm);自適應(yīng)增益控制AGC(Automatic Gain Control)
AGC可以自動(dòng)檢測(cè)音頻信號(hào)強(qiáng)度和自動(dòng)調(diào)整輸入和輸出音頻信號(hào)的音量，防止音頻音量忽大忽小，保證音頻采集和播放的穩(wěn)定性。
YangAgc* agc;
agc->agcProcess(agc->session,pcm);背景噪音抑制ANS(Automatic Noise Suppression)
ANS可探測(cè)出背景固定頻率的雜音并消除背景噪音，例如：風(fēng)扇、空調(diào)聲等雜音會(huì)自動(dòng)濾除，使聲音更清晰。
YangRtcAns* ans;
ans->preprocess_run(ans->session,pcm);語(yǔ)音動(dòng)態(tài)偵測(cè)VAD(Voice Activity Detection)
VAD算法的作用是檢測(cè)是否是人的語(yǔ)音，可作為其他音頻處理的參考。
YangVad* vad;
vad->voiceActivity(vad->session,pcm,frameSize,sampleRate);舒適噪音生成CNG(Comfort Noise Generation)
CNG是一個(gè)在對(duì)講過(guò)程中出現(xiàn)短暫靜音時(shí)用來(lái)為對(duì)講產(chǎn)生背景噪聲的模塊，常用在VAD檢測(cè)沒(méi)有人聲時(shí)處理。
YangCng* cng;
cng->voiceGenerate(cng->session,pcm,frameSize,sampleRate);視頻處理
對(duì)講時(shí)受網(wǎng)絡(luò)影響視頻會(huì)有花屏綠屏、卡頓等情形發(fā)生，花屏綠屏影響尤甚，花屏?xí)环菍I(yè)用戶誤認(rèn)為是產(chǎn)品質(zhì)量問(wèn)題而非網(wǎng)絡(luò)問(wèn)題。
視頻處理模塊非常重要的一項(xiàng)功能是減少或者消除花屏綠屏情形。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-457097.html
音視頻流
考慮到ZLMediaKit等SFU只接收單向傳輸流，對(duì)講需建立推拉兩個(gè)流。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-457097.html
- 推流：采集攝像頭視頻和拾音器(麥克風(fēng))音頻推流到ZLMediaKit。
- 拉流：從ZLMediaKit拉流播放遠(yuǎn)端視頻和聲音。
到了這里，關(guān)于攝像頭webrtc對(duì)講方案之metaRTC+ZLMediaKit的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
