背景

最近在測試視頻錄制功能時發(fā)現，AudioRecord + MediaCodec + MediaMuxer生成的MP4，PC瀏覽器無法播放 ，但是Android、Windows、Mac的播放器應用都能正常播放。雖然不禁想吐槽瀏覽器視頻組件的容錯性差，但我也意識生成的文件格式肯定也是有問題的。

然后嘗試了合成MP4視頻時，只保留視頻通道，不要音頻，發(fā)現拖到瀏覽器中可以正常播放。使用ffprobe檢查有問題的MP4文件，有如下錯誤輸出：

[aac @ 0x7f95c9c0e7c0] Input buffer exhausted before END element found

至此，基本確定問題出現在生成的音頻數據上。

解決過程

由于此前個人音視頻開發(fā)經驗不足，MediaCodec、MediaMuxer編碼和合成視頻的相關代碼參考了一些開源項目及博客。
但由于開發(fā)周期緊急，沒有足夠的時間來仔細研究和排查，當時就采用了一種曲線救國的方案。

曲線修復方案

能想到這個方案也比較偶然。當時查閱了一些資料和博客，用到了ffmpeg和ffprobe工具對問題視頻進行分析。

在嘗試了使用ffmpeg工具對問題視頻進行轉換后，意外地發(fā)現，雖然命令也會報錯[aac @ 0x7f95c9c0e7c0] Input buffer exhausted before END element found，但是，問題視頻經過fmpeg轉換后，生成的新視頻，用ffprobe命令查看是沒有錯誤輸出的，也可以正常播放！也就是說，ffmpeg在處理轉換有問題的音頻時，會自動跳過那些有問題的數據。

由此，想到了一個比較曲折的方案：先用AudioRecord + MediaCodec + MediaMuxer生成MP4，然后使用ffmpeg命令對生成的視頻進行一點無關緊要的轉換（重點是讓它處理掉有問題的數據），然后就能得到一個格式正確的音頻數據，然后用MediaExtractor提取出原MP4中的視頻數據，最后用MediaMuxer合成最終格式正確的mp4文件。
因為是音頻有問題，所以實踐中我就使用了如下命令來轉換：

ffmpeg -i input.mp4 -vn -ab 96k out.m4a

-vn參數指定不要視頻數據，-ab 96k將音頻碼率轉為96k。

現在，只需要裁剪、交叉編譯一個滿足以上需求的arm版本的ffmpeg可執(zhí)行程序就好了。關于如何裁剪和編譯ffmpeg，網上音視頻相關的技術文章一大把，就不贅述細節(jié)了。

這里記錄一下我反復測試編譯配置參數后，能輸出較小體積（約2.6MB）arm版ffmpeg可執(zhí)行命令的編譯腳本，方便以后查看。因為我只需要處理音頻，所以這個配置編譯出的ffmpeg只能解碼MP4和aac，并且只支持輸出m4a音頻。

#!/bin/sh

# NDK路徑，根據電腦環(huán)境配置情況調整
NDK_HOME="/Users/shenyong/Library/Android/sdk/ndk/21.4.7075529"
TOOLCHAIN="$NDK_HOME/toolchains/llvm/prebuilt/darwin-x86_64"
SYSROOT="$TOOLCHAIN/sysroot"

# 默認使用arm編譯配置
API=29
ARCH=arm
CPU=armv7-a
TOOL_CPU_NAME=armv7a
# CROSS_PREFIX, CC and CXX for arm
CROSS_PREFIX="$TOOLCHAIN/bin/arm-linux-androideabi-"
CC="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-androideabi$API-clang"
CXX="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-androideabi$API-clang++"
OUTPUT_DIR="./android/$CPU"
OPTIMIZE_CFLAGS="-march=$CPU"

function config_arm64() {
  ARCH=arm64
  CPU=armv8-a
  TOOL_CPU_NAME=aarch64
  # CROSS_PREFIX, CC and CXX for arm64
  CROSS_PREFIX="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-android-"
  CC="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-android$API-clang"
  CXX="$TOOLCHAIN/bin/$TOOL_CPU_NAME-linux-android$API-clang++"
  OUTPUT_DIR="./android/$CPU"
  OPTIMIZE_CFLAGS="-march=$CPU"

  #libmediandk.so路徑
  MEDIA_NDK_LIB=$TOOLCHAIN/sysroot/usr/lib/aarch64-linux-android/$API
  ADD_MEDIA_NDK_SO="--extra-ldflags=-L$MEDIA_NDK_LIB --extra-libs=-lmediandk "
}

# 如果需要編譯arm64版本，將以下行取消注釋即可
config_arm64

#清除之前的編譯配置及輸出
make distclean

./configure \
--prefix=$OUTPUT_DIR \
--target-os=android \
--arch=$ARCH \
--cpu=$CPU \
--enable-cross-compile \
--cross-prefix=$CROSS_PREFIX \
--sysroot=$SYSROOT \
--cc=$CC \
--cxx=$CXX \
--extra-cflags="-Os -fpic $OPTIMIZE_CFLAGS " \
--disable-shared \
--enable-static \
--enable-neon \
--disable-asm \
--disable-gpl \
--disable-postproc \
--enable-ffmpeg \
--disable-ffplay \
--disable-ffprobe \
--disable-avdevice \
--disable-doc \
--disable-symver \
--disable-protocols \
--enable-protocol=file \
--disable-network \
--disable-jni \
--disable-mediacodec \
--disable-hwaccels \
--disable-encoders \
--enable-encoder=aac \
--disable-decoders \
--enable-decoder=aac \
--enable-decoder=mpeg4 \
--disable-muxers \
--enable-muxer=ipod \
--disable-demuxers \
--enable-demuxer=aac \
--enable-demuxer=mpegvideo \
--enable-demuxer=mov \
--disable-parsers \
--enable-parser=aac \
--enable-parser=mpeg4video \
--enable-parser=mpegaudio \
--disable-filters \
--disable-bsfs \
--enable-bsf=aac_adtstoasc

make clean
make -j12
make install

解決問題根源

既然自己分析找不到問題根源，就看看別人正常工作的代碼有什么不一樣吧，于是開始在GitHub上找相似功能的開源庫。在運行AudioVideoRecordingSample這個演示庫后，發(fā)現別人生成的視頻和音頻，用ffprobe命令檢查格式都是正確的。

仔細分析對比后，終于找到了問題點。網上各種博客的示例代碼中，都是在dequeueOutputBuffer()返回的輸出buffer下標大于0時，就直接寫入Muxer，關鍵部分類似這樣：

int outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
    // 將mMediaCodec的指定的格式的數據軌道，設置到mMediaMuxer上
    mAudioTrackIndex = mMediaMuxer.addTrack(mAudioCodec.getOutputFormat());
	// ...
} else {
    while (outputBufferIndex >= 0) {
        // 獲取數據
        ByteBuffer outBuffer = mAudioCodec.getOutputBuffers()[outputBufferIndex];
        audioPts = (System.nanoTime() - startNanoTime) / 1000;
        bufferInfo.presentationTimeUs = audioPts;
        // 編碼數據寫入muxer
        mMediaMuxer.writeSampleData(mAudioTrackIndex, outBuffer, bufferInfo);
        // 釋放 outBuffer
        mAudioCodec.releaseOutputBuffer(outputBufferIndex, false);

        outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
    }
}

但是，我發(fā)現AudioVideoRecordingSample這個庫在獲取的outputBufferIndex >= 0時，還有一個關鍵的處理：

// ...
if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
    // You shoud set output format to muxer here when you target Android4.3 or less
    // but MediaCodec#getOutputFormat can not call here(because INFO_OUTPUT_FORMAT_CHANGED don't come yet)
    // therefor we should expand and prepare output format from buffer data.
    // This sample is for API>=18(>=Android 4.3), just ignore this flag here
    if (DEBUG) Log.d(TAG, "drain:BUFFER_FLAG_CODEC_CONFIG");
    mBufferInfo.size = 0;
}
if (mBufferInfo.size != 0) {
    // ...
    muxer.writeSampleData(mTrackIndex, encodedData, mBufferInfo);
}
/// ...

就是判斷當前的mBufferInfo有BUFFER_FLAG_CODEC_CONFIG這個標志時，把size置為0了，所以這一次回調的數據，是沒有寫入muxer的。于是趕緊看了一眼BUFFER_FLAG_CODEC_CONFIG的官方文檔：

    /**
     * This indicated that the buffer marked as such contains codec
     * initialization / codec specific data instead of media data.
     */
    public static final int BUFFER_FLAG_CODEC_CONFIG = 2;

這才恍然大悟！當BufferInfo有這個標志的時候，buffer包含編解碼器初始化或編解碼器特定的數據而不是媒體數據！

于是在自己的代碼中也上這個判斷處理，生成的視頻文件再用ffprobe查看，也能正常輸出信息，沒有報錯了。關鍵代碼如下：

while (true) {
    try {
        // 返回有效數據填充的輸出緩沖區(qū)的索引
        int outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
        if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
            // 將mMediaCodec的指定的格式的數據軌道，設置到mMediaMuxer上
            mAudioTrackIndex = mMediaMuxer.addTrack(mAudioCodec.getOutputFormat());
        } else {
            while (outputBufferIndex >= 0) {
                // 獲取數據
                ByteBuffer outBuffer = mAudioCodec.getOutputBuffers()[outputBufferIndex];
                // 修改音頻的 pts,基準時間戳
                audioPts = (System.nanoTime() - startNanoTime) / 1000;
                bufferInfo.presentationTimeUs = audioPts;
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
                    Log.w(TAG, "audio BUFFER_FLAG_CODEC_CONFIG bufferInfo.size: " + bufferInfo.size);
                    // 配置回調，不是有效的媒體數據，不寫入。如果寫入了，會導致mp4文件有錯誤數據幀，
                    // 容錯性不夠好的播放器（比如pc瀏覽器）可能無法正常播放視頻。
                      bufferInfo.size = 0;
                }
                // 寫入音頻數據
                if (bufferInfo.size > 0) {
                    mMediaMuxer.writeSampleData(mAudioTrackIndex, outBuffer, bufferInfo);
                }
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                    Log.w(TAG, "audio BUFFER_FLAG_END_OF_STREAM bufferInfo.size: " + bufferInfo.size);
                }
                // 釋放 outBuffer
                mAudioCodec.releaseOutputBuffer(outputBufferIndex, false);
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                    Log.w(TAG, "audio got BUFFER_FLAG_END_OF_STREAM flag. audioPts: "
                            + bufferInfo.presentationTimeUs + "bufferInfo.size: " + bufferInfo.size);
                    if (shouldExit) {
                        onDestroy();
                        return;
                    }
                }
                outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

這樣一來，使用Mediacodec+Muxer就能生成格式正確的mp4視頻文件了，無需其他處理，效率大大提高。

從打印日志來看，帶這個標志的一般就是第一個輸出的buffer，并且數據量很少：

2023-09-21 10:16:36.664 BaseVid...corder  W  audio BUFFER_FLAG_CODEC_CONFIG bufferInfo.size: 2
2023-09-21 10:16:36.675 BaseVid...corder  W  video BUFFER_FLAG_CODEC_CONFIG bufferInfo.size: 30

最后經過測試驗證，也確實是這樣的：
只要bufferInfo有BUFFER_FLAG_CODEC_CONFIG標志時，把buffer數據寫入muxer了，用ffprobe查看生成的視頻文件，就一定會有[aac @ 0x7f95c9c0e7c0] Input buffer exhausted before END element found這個錯誤輸入；反之不寫入就是正常的。文章來源地址http://www.zghlxwxcb.cn/news/detail-730869.html

到了這里，關于【音視頻筆記】Mediacodec+Muxer生成mp4，瀏覽器無法播放問題處理的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！