1重采樣

1.1 什么是重采樣

所謂的重采樣，就是改變?頻的采樣率、sample format、聲道數(shù)等參數(shù)，使之按照我們期望的參數(shù)輸出。

1.2 為什么要重采樣

為什么要重采樣？當然是原有的?頻參數(shù)不滿?我們的需求，?如在FFmpeg解碼?頻的時候，不同的?源有不同的格式，采樣率等，在解碼后的數(shù)據(jù)中的這些參數(shù)也會不?致(最新FFmpeg 解碼?頻后，?頻格
式為AV_SAMPLE_FMT_FLTP，這個參數(shù)應該是?致的)，如果我們接下來需要使?解碼后的?頻數(shù)據(jù)做其他操作，?這些參數(shù)的不?致導致會有很多額外?作，此時直接對其進?重采樣，獲取我們制定的?頻參數(shù)，這樣就會?便很多。

再?如在將?頻進?SDL播放時候，因為當前的SDL2.0不?持planar格式，也不?持浮點型的，?最新的FFMPEG 16年會將?頻解碼為AV_SAMPLE_FMT_FLTP格式，因此此時就需要我們對其重采樣，使之可以在SDL2.0上進?播放。

2 對應參數(shù)解析

2.1 采樣率

采樣設備每秒抽取樣本的次數(shù)

2.2采樣格式及量化精度（位寬）

每種?頻格式有不同的量化精度（位寬），位數(shù)越多，表示值就越精確，聲?表現(xiàn)?然就越精準。FFMpeg中?頻格式有以下?種，每種格式有其占?的字節(jié)數(shù)信息（libavutil/samplefmt.h）：

enum AVSampleFormat {
    AV_SAMPLE_FMT_NONE = -1,
    AV_SAMPLE_FMT_U8, ///< unsigned 8 bits
    AV_SAMPLE_FMT_S16, ///< signed 16 bits
    AV_SAMPLE_FMT_S32, ///< signed 32 bits
    AV_SAMPLE_FMT_FLT, ///< float
    AV_SAMPLE_FMT_DBL, ///< double
    AV_SAMPLE_FMT_U8P, ///< unsigned 8 bits, planar
    AV_SAMPLE_FMT_S16P, ///< signed 16 bits, planar
    AV_SAMPLE_FMT_S32P, ///< signed 32 bits, planar
    AV_SAMPLE_FMT_FLTP, ///< float, planar
    AV_SAMPLE_FMT_DBLP, ///< double, planar
    AV_SAMPLE_FMT_S64, ///< signed 64 bits
    AV_SAMPLE_FMT_S64P, ///< signed 64 bits, planar
    AV_SAMPLE_FMT_NB ///< Number of sample formats. DO NOT USE if linking dynamically
};

2.3 分?（plane）和打包（packed）

以雙聲道為例，帶P（plane）的數(shù)據(jù)格式在存儲時，其左聲道和右聲道的數(shù)據(jù)是分開存儲的，左聲道的數(shù)據(jù)存儲在data[0]，右聲道的數(shù)據(jù)存儲在data[1]，每個聲道的所占?的字節(jié)數(shù)為linesize[0]和linesize[1]；

不帶P（packed）的?頻數(shù)據(jù)在存儲時，是按照LRLRLR...的格式交替存儲在data[0]中，linesize[0]表示總的數(shù)據(jù)量。

2.4 聲道分布（channel_layout)

聲道分布在FFmpeg\libavutil\channel_layout.h中有定義，?般來說?的?較多的是AV_CH_LAYOUT_STEREO（雙聲道）和AV_CH_LAYOUT_SURROUND（三聲道），這兩者的定義如下：

#define AV_CH_LAYOUT_STEREO (AV_CH_FRONT_LEFT|AV_CH_FRONT_RIGHT)
#define AV_CH_LAYOUT_SURROUND (AV_CH_LAYOUT_STEREO | AV_CH_FRONT_CENTER)

2.5 ?頻幀的數(shù)據(jù)量計算

?幀?頻的數(shù)據(jù)量（字節(jié)）=channel數(shù) * nb_samples樣本數(shù) * 每個樣本占?的字節(jié)數(shù)

如果該?頻幀是FLTP格式的PCM數(shù)據(jù)，包含1024個樣本，雙聲道，那么該?頻幀包含的?頻數(shù)據(jù)量是210244=8192字節(jié)。

AV_SAMPLE_FMT_DBL ： 210248 = 16384

2.6 ?頻播放時間計算

以采樣率44100Hz來計算，每秒44100個sample，?正常?幀為1024個sample，可知每幀播放時間/1024=1000ms/44100，得到每幀播放時間=1024*1000/44100=23.2ms （更精確的是23.21995464852608）。

?幀播放時間（毫秒） = nb_samples樣本數(shù) *1000/采樣率 =

（1）1024*1000/44100=23.21995464852608ms ->約等于 23.2ms，精度損失了0.011995464852608ms，如果累計10萬幀，誤差>1199毫秒，如果有視頻?起的就會有?視頻同步的問題。 如果按著23.2去計算pts（0 23.2 46.4 ）就會有累積誤差。

（2）1024*1000/48000=21.33333333333333ms

3 FFmpeg重采樣API

分配?頻重采樣的上下?

struct SwrContext *swr_alloc(void);

當設置好相關的參數(shù)后，使?此函數(shù)來初始化SwrContext結構體

int swr_init(struct SwrContext *s);

分配SwrContext并設置/重置常?的參數(shù)。

struct SwrContext* swr_alloc_set_opts(struct SwrContext* s, // ?頻重采樣上下?
    int64_t out_ch_layout, // 輸出的layout, 如：5.1聲道
    enum AVSampleFormat out_sample_fmt, // 輸出的采樣格式。Float, S16,?般選?是s16 絕?部分聲卡?持
    int out_sample_rate, //輸出采樣率
    int64_t in_ch_layout, // 輸?的layout
    enum AVSampleFormat in_sample_fmt, // 輸?的采樣格式
    int in_sample_rate, // 輸?的采樣率
    int log_offset, // ?志相關，不?管先，直接為0
    void* log_ctx // ?志相關，不?管先，直接為NULL
);

將輸?的?頻按照定義的參數(shù)進?轉換并輸出

int swr_convert(struct SwrContext* s, // ?頻重采樣的上下?
    uint8_t** out, // 輸出的指針。傳遞的輸出的數(shù)組
    int out_count, //輸出的樣本數(shù)量，不是字節(jié)數(shù)。單通道的樣本數(shù)量。
    const uint8_t** in, //輸?的數(shù)組，AVFrame解碼出來的DATA
    int in_count // 輸?的單通道的樣本數(shù)量。
);

in和in_count可以設置為0，以最后刷新最后?個樣本。

釋放掉SwrContext結構體并將此結構體置為NULL;

void swr_free(struct SwrContext **s);

?頻重采樣，采樣格式轉換和混合庫。與lswr的交互是通過SwrContext完成的，SwrContext被分配給swr_alloc（）或
swr_alloc_set_opts（）。 它是不透明的，所以所有參數(shù)必須使?AVOptions API設置。為了使?lswr，你需要做的第?件事就是分配SwrContext。 這可以使?swr_alloc（）或 swr_alloc_set_opts（）來完成。 如果您使?前者，則必須通過AVOptions API設置選項。 后?個函數(shù)提供了相同的功能，但它允許您在同?語句中設置?些常?選項。

例如，以下代碼將設置從平?浮動樣本格式到交織的帶符號16位整數(shù)的轉換，從48kHz到44.1kHz的下采
樣，以及從5.1聲道到?體聲的下混合（使?默認混合矩陣）。 這是使?swr_alloc（）函數(shù)。

SwrContext * swr = swr_alloc();
av_opt_set_channel_layout(swr, "in_channel_layout", AV_CH_LAYOUT_5POINT1, 0);
av_opt_set_channel_layout(swr, "out_channel_layout", AV_CH_LAYOUT_STEREO, 0);
av_opt_set_int(swr, "in_sample_rate", 48000, 0);
av_opt_set_int(swr, "out_sample_rate", 44100, 0);
av_opt_set_sample_fmt(swr, "in_sample_fmt", AV_SAMPLE_FMT_FLTP, 0);
av_opt_set_sample_fmt(swr, "out_sample_fmt", AV_SAMPLE_FMT_S16, 0);

同樣的?作也可以使?swr_alloc_set_opts（）：

SwrContext * swr = swr_alloc_set_opts(NULL, // we're allocating a new context
    AV_CH_LAYOUT_STEREO, // out_ch_layout
    AV_SAMPLE_FMT_S16, // out_sample_fmt
    44100, // out_sample_rate
    AV_CH_LAYOUT_5POINT1, // in_ch_layout
    AV_SAMPLE_FMT_FLTP, // in_sample_fmt
    48000, // in_sample_rate
    0, // log_offset
    NULL); // log_ctx

?旦設置了所有值，它必須?swr_init（）初始化。 如果需要更改轉換參數(shù)，可以使?AVOptions來更改參數(shù)，如上?第?個例?所述; 或者使?swr_alloc_set_opts（），但是第?個參數(shù)是分配的上下?。 您必須再次調?swr_init（）。?旦設置了所有值，它必須?swr_init（）初始化。 如果需要更改轉換參數(shù)，可以使?AVOptions來更改參數(shù)，如上?第?個例?所述; 或者使?swr_alloc_set_opts（），但是第?個參數(shù)是分配的上下?。 您必須再次調?swr_init（）。
轉換本身通過重復調?swr_convert（）來完成。 請注意，如果提供的輸出空間不?或采樣率轉換完成后，樣本可能會在swr中緩沖，這需要“未來”樣本。 可以隨時通過使?swr_convert（）（in_count可以設置為0）來檢索不需要將來輸?的樣本。 在轉換結束時，可以通過調?具有NULL in和in incount的swr_convert（）來刷新重采樣緩沖區(qū)。

4 go代碼

見 moonfdd/ffmpeg-go

文章來源地址http://www.zghlxwxcb.cn/news/detail-439398.html

到了這里，關于音視頻八股文（11）-- ffmpeg 音頻重采樣的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！