RTMP（Real Time Messaging Protocol）是專門用來傳輸音視頻數(shù)據(jù)的流媒體協(xié)議，最初由Macromedia 公司創(chuàng)建，后來歸Adobe公司所有，是一種私有協(xié)議，主要用來聯(lián)系Flash Player和RtmpServer，如FMS,Red5,crtmpserver等。RTMP協(xié)議可用于實(shí)現(xiàn)直播、點(diǎn)播應(yīng)用，通過FMLE（Flash Media Live Encoder）推送音視頻數(shù)據(jù)至RtmpServer，可實(shí)現(xiàn)攝像頭實(shí)時直播。不過，畢竟FMLE應(yīng)用范圍有限，想要把它嵌入到自己的程序中，還是要自己來實(shí)現(xiàn)RTMP協(xié)議的推送。本人實(shí)現(xiàn)了一個RTMPLiveEncoder，通過采集攝像頭視頻和麥克風(fēng)音頻，并進(jìn)行H.264和AAC編碼，然后發(fā)送到FMS和crtmpserver上，實(shí)現(xiàn)實(shí)時直播，可以通過flash player正常觀看，目前效果良好，延遲時間在2秒左右。本文就介紹一下RTMPLiveEncoder的主要思路和關(guān)鍵點(diǎn)，以期對需要這方面技術(shù)的朋友有所幫助。

技術(shù)分析

---

要實(shí)現(xiàn)RTMPLiveEncoder，需要以下四種關(guān)鍵技術(shù)：

• 采集攝像頭視頻和麥克風(fēng)音頻

• H264編碼和AAC編碼

• 視頻和音頻數(shù)據(jù)封裝為可被流媒體服務(wù)器識別的可播放流

• RTMP協(xié)議實(shí)現(xiàn)報(bào)文發(fā)送

把音視頻數(shù)據(jù)封裝為可播放流，這個是一個難點(diǎn)。仔細(xì)研究一下，你會發(fā)現(xiàn)，RTMP Packet中封裝的音視頻數(shù)據(jù)流，其實(shí)和FLV封裝音頻和視頻數(shù)據(jù)的方式是相同的，所以，我們只需要按照FLV封裝H264和AAC的方式，即可生成可播放流。

我們再看一下RTMP協(xié)議。Adobe曾經(jīng)發(fā)布過一份文檔《RTMP Specification》，不過wikipedia指出這份文檔隱藏了很多細(xì)節(jié)，單獨(dú)根據(jù)它是無法正確實(shí)現(xiàn)RTMP的。不過，它還是有參考意義的。其實(shí)Adobe發(fā)布之前，RTMP協(xié)議就已經(jīng)被破解的差不多了，現(xiàn)在也已經(jīng)有比較完善的實(shí)現(xiàn)，比如：RTMPDump，它提供的是C語言的接口，這意味著可以很方便的在其他語言中調(diào)用。

程序框架

---

采用DirectShow技術(shù)來實(shí)現(xiàn)音視頻采集，音頻編碼和視頻編碼，在各自線程（AudioEncoderThread和VideoEncoderThread）中循環(huán)進(jìn)行，RTMP的推送另起一個線程（RtmpThread）。兩個編碼線程實(shí)時編碼音視頻數(shù)據(jù)后，將數(shù)據(jù)交與Rtmp線程，由Rtmp線程循環(huán)封裝為Rtmp Packet，然后發(fā)出去。

線程之間的數(shù)據(jù)交換，通過一個隊(duì)列DataBufferQueue來實(shí)現(xiàn)。AudioEncoderThread和VideoEncoderThread把數(shù)據(jù)指針post到DataBufferQueue之后，立即返回，這樣就可以避免因?yàn)榘l(fā)送Rtmp報(bào)文的而影響到編碼線程的正常執(zhí)行時間。

RtmpThread的主要工作就是發(fā)送音頻數(shù)據(jù)流的解碼信息頭和視頻數(shù)據(jù)流的解碼信息頭，并不斷從DataBufferQueue中取出數(shù)據(jù)，封裝為RTMP Packet，發(fā)送出去。流程如下列代碼所示：（process_buf_queue_，即是上圖中的DataBufferQueue）

librtmp

---

一、編譯librtmp

下載rtmpdump的代碼，你會發(fā)現(xiàn)，它是一個地道的linux項(xiàng)目，除了一個簡單的Makefile，其他什么都沒有。好像librtmp不依賴于系統(tǒng)，我們可以不用費(fèi)太多功夫，把它在windows上編譯。不過，librtmp依賴于openssl和zlib，我們需要首先編譯好它們。

1. 編譯openssl1.0.0e

a) 下載并安裝ActivePerl

b) 下載并安裝nasm(http://nasm.sourceforge.net/)

c) 解壓openssl壓縮包

d) 運(yùn)行cmd命令行，切到openssl目錄，分別執(zhí)行以下命令

>perl Configure VC-WIN32 --prefix=c:\some\dir

>ms\do_nasm

e) 運(yùn)行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執(zhí)行以下命令。

>nmake -f ms\nt.mak

>nmake -f ms\nt.mak install

f) 編譯完畢后，即可在第一個命令所指定的目錄下發(fā)現(xiàn)編譯好的sdk。

2. 編譯zlib

a) 解壓zlib壓縮包

b) 運(yùn)行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執(zhí)行以下命令

>cd contrib\masmx86

>bld_ml32.bat

c) 回到zlib目錄，進(jìn)入contrib\vstudio\vc10目錄，打開vs2010解決方案文件，在zlibstat工程屬性中，去掉預(yù)編譯宏 ZLIB_WINAPI

d) 選擇debug或release編譯即可

3. 編譯librtmp

a) 首先打開visual studio 2010，新建一個win32 console工程，指定為靜態(tài)鏈接庫

b) 將librtmp的代碼導(dǎo)入工程，把openssl、zlib的頭文件和librtmp放在一起，把編譯好的openssl和zlib的靜態(tài)庫放在一起

c) 在工程設(shè)置中，添加之前編譯好的openssl和zlib的庫，編譯即可。

二、librtmp的使用

---

首先初始化RTMP結(jié)構(gòu)

開始之后，就要向RTMP Server發(fā)起握手連接報(bào)文

連接成功，就可以開始循環(huán)發(fā)送報(bào)文了，這里需要指定時戳和數(shù)據(jù)類型（Audio、Video、Metadata）。這里有一點(diǎn)需要注意的是，在調(diào)用Send之前，buf中的數(shù)據(jù)，必須是已經(jīng)封裝好的H264或AAC數(shù)據(jù)流。

關(guān)閉

最后是釋放

H264和AAC數(shù)據(jù)流

---

本文提到過，RTMP推送的音視頻流的封裝形式和FLV格式相似，由此可知，向FMS推送H264和AAC直播流，需要首先發(fā)送"AVC sequence header"和"AAC sequence header"，這兩項(xiàng)數(shù)據(jù)包含的是重要的編碼信息，沒有它們，解碼器將無法解碼。

AVC sequence header就是AVCDecoderConfigurationRecord結(jié)構(gòu)，該結(jié)構(gòu)在標(biāo)準(zhǔn)文檔“ISO-14496-15 AVC file format”中有詳細(xì)說明。

AAC sequence header存放的是AudioSpecificConfig結(jié)構(gòu)，該結(jié)構(gòu)則在“ISO-14496-3 Audio”中描述。AudioSpecificConfig結(jié)構(gòu)的描述非常復(fù)雜，這里我做一下簡化，事先設(shè)定要將要編碼的音頻格式，其中，選擇"AAC-LC"為音頻編碼，音頻采樣率為44100，于是AudioSpecificConfig簡化為下表：

這樣，AVC sequence header和AAC sequence header的內(nèi)容可以基本確定了，更詳細(xì)的信息，大家可以去翻閱相關(guān)文檔。

原文地址

FFmpeg/WebRTC/RTMP/NDK/Android音視頻流媒體高級開發(fā) 學(xué)習(xí)

★文末名片可以免費(fèi)領(lǐng)取音視頻開發(fā)學(xué)習(xí)資料，內(nèi)容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音視頻學(xué)習(xí)路線圖等等。

見下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓文章來源地址http://www.zghlxwxcb.cn/news/detail-404494.html