樂(lè)鑫 ESP-RTC 實(shí)時(shí)音視頻通信方案
樂(lè)鑫科技推出 ESP-RTC (Real-Time Communication) 音視頻通信方案，能夠?qū)崿F(xiàn)穩(wěn)定流暢、超低延時(shí)的語(yǔ)音和視頻實(shí)時(shí)通信。
ESP-RTC 以樂(lè)鑫?ESP32-S3-Korvo-2?多媒體開(kāi)發(fā)板為核心。ESP32-S3-Korvo-2 搭載?ESP32-S3?AI SoC，擁有雙麥克風(fēng)陣列，支持近/遠(yuǎn)場(chǎng)語(yǔ)音喚醒和語(yǔ)音識(shí)別。它還集成了攝像頭、Micro SD 卡、LCD 等外設(shè)，支持基于 MJPEG 視頻流的處理，為用戶(hù)構(gòu)建低成本、低功耗、可聯(lián)網(wǎng)的音視頻產(chǎn)品提供了理想的開(kāi)發(fā)原型。
ESP-RTC 方案基于樂(lè)鑫自研的 SIP（Session Initialization Protocol，會(huì)話初始協(xié)議）協(xié)議棧，實(shí)現(xiàn)了實(shí)時(shí)的音視頻通信。協(xié)議棧包含傳輸層、事務(wù)層和會(huì)話層，其信令交互模塊支持 UDP、TCP 和 TLS 三種方式，媒體傳輸模塊支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透?jìng)鲄f(xié)議。值得一提的是，ESP-RTC 方案還在傳輸模塊中增加了弱網(wǎng)對(duì)抗算法，如 Jitter Buffer 和 PLC，有效解決了丟包、抖動(dòng)、擁塞、延時(shí)等問(wèn)題，能夠充分保證音視頻通信的流暢性與實(shí)時(shí)性。
ESP-RTC 方案也支持 RTSP（Real Time Streaming Protocol，實(shí)時(shí)流協(xié)議）協(xié)議棧，其媒體傳輸模塊同時(shí)支持 RTP/UDP 和 RTP over TCP。ESP-RTC 方案既可以作為 RTSP 服務(wù)器，支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器進(jìn)行點(diǎn)播；也可以作為 RTSP 客戶(hù)端，支持對(duì) EasyDarwin 等開(kāi)源服務(wù)器進(jìn)行直播推流和拉流播放。
ESP-RTC 基于樂(lè)鑫自研的音頻 3A 算法?(AEC 聲學(xué)回聲消除、ANS 背景噪聲抑制、AGC 音頻自動(dòng)增益)，降低了通話中的噪音和回聲，使語(yǔ)音對(duì)講保持高質(zhì)量穩(wěn)定。它還采用樂(lè)鑫芯片級(jí)編解碼算法，為用戶(hù)提供了清晰畫(huà)質(zhì)的視頻通話體驗(yàn)。結(jié)合樂(lè)鑫 AI SoC ESP32-S3，ESP-RTC 可借助其出色的 AI 運(yùn)算能力，實(shí)現(xiàn)高性能語(yǔ)音喚醒與識(shí)別、圖像識(shí)別等應(yīng)用，廣泛適用于智能音箱、可視對(duì)講門(mén)鈴、智能家居控制面板、寵物監(jiān)控、車(chē)載行車(chē)記錄儀、兒童玩具等場(chǎng)景。
ESP-RTC 方案支持 FreeSWITCH、FreePBX 等開(kāi)源服務(wù)器，也可接入成熟的 SFU 云端服務(wù)器，實(shí)現(xiàn)多人同屏音視頻通話。用戶(hù)借助樂(lè)鑫開(kāi)源物聯(lián)網(wǎng)開(kāi)發(fā)框架?ESP-IDF?和音頻開(kāi)發(fā)框架?ESP-ADF，即可快速搭建音視頻通信相關(guān)應(yīng)用。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-413285.html
如果您想了解更多關(guān)于樂(lè)鑫 ESP-RTC 實(shí)時(shí)音視頻通信方案的信息，或?qū)で笊虡I(yè)項(xiàng)目合作，請(qǐng)聯(lián)系我們的客戶(hù)支持團(tuán)隊(duì)。您也可以前往樂(lè)鑫官?淘寶店鋪購(gòu)買(mǎi) ESP32-S3-Korvo-2 開(kāi)發(fā)板，構(gòu)建自己的音視頻通話應(yīng)用。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-413285.html
到了這里，關(guān)于樂(lè)鑫ESP-RTC 實(shí)時(shí)音視頻通信方案的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[開(kāi)源]企業(yè)級(jí)在線辦公系統(tǒng)，基于實(shí)時(shí)音視頻完成在線視頻會(huì)議功能](https://imgs.yssmx.com/Uploads/2024/02/745090-1.png)
