說明
? ? 參數(shù)估計(jì)在科研、工程乃至生活中都有廣泛的應(yīng)用。參數(shù)估計(jì)要解決的問題簡(jiǎn)單來說就是：基于一組觀測(cè)數(shù)據(jù)，通過某種方法來獲得我們想要的，與觀測(cè)數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)參數(shù)。
? ? 克拉美-羅界(Cramr-Rao Bound, CRB)是無偏估計(jì)里我們常用的且十分重要的一種對(duì)不同參數(shù)估計(jì)方法性能評(píng)價(jià)的參考(對(duì)比)指標(biāo)：對(duì)于同一組觀測(cè)數(shù)據(jù)，可能會(huì)有很多不同的方法來做估計(jì) 并得到各自的估計(jì)結(jié)果，那么，這些方法的優(yōu)劣(包括其相對(duì)優(yōu)劣、以及參數(shù)估計(jì)結(jié)果與真實(shí)值的逼近程度)如何，需要我們提出一種客觀的評(píng)價(jià)指標(biāo)(參考)，克拉美羅界就是這樣一個(gè)指標(biāo)。
? ? 當(dāng)然，克拉美羅界的用處不止于此，以及關(guān)于什么是無偏估計(jì)，我將在本博文中做出更詳細(xì)的說明。 ?克拉美羅界是參數(shù)估計(jì)相關(guān)paper中不可或缺的元素，在去年一個(gè)老哥帶我發(fā)的一篇文章中，審稿人之一對(duì)我們提了這樣的要求：“The CRLB should be also include to show the performance benchmark for the estimation algorithms.”那會(huì)兒對(duì)CRLB還沒有什么概念…,初看了一下覺得蠻繁瑣，匆匆寫了個(gè)理由忽悠過去了(可能主要是期刊比較水所以能忽悠過去…)，后面就一直拖到現(xiàn)在才得空來對(duì)這個(gè)概念做一些學(xué)習(xí)和梳理，并形成了本篇博文。
? ? 關(guān)于CRLB，網(wǎng)上確實(shí)有一些比較好的資料，但是讀者若要系統(tǒng)以及細(xì)節(jié)地理解參數(shù)估計(jì)以及關(guān)于CRLB的概念，建議看看參考資料[1]。本文的內(nèi)容相對(duì)簡(jiǎn)單，主要是試圖理清楚關(guān)于參數(shù)估計(jì)、無偏估計(jì)、CRLB的由來和原理等概念，并以一維線陣為例，給出線陣DOA估計(jì)的CRLB、不同DOA估計(jì)算法的性能比較?？赡軙?huì)有一些錯(cuò)誤，歡迎讀者評(píng)論指正，我會(huì)不定期補(bǔ)充維護(hù)。
Blog
2024.3.25 博文第一次撰寫
目錄
說明
目錄
一、參數(shù)估計(jì)&克拉美羅下界基本概念
二、線陣&單目標(biāo)下 不同DOA估計(jì)算法方差結(jié)果及其與CRLB對(duì)比
2.1 ?不同SNR下的結(jié)果
2.2? 不同角度下的結(jié)果
2.3? 小結(jié)
三、總結(jié)
四、參考資料
五、代碼
一、參數(shù)估計(jì)&克拉美羅下界基本概念
? ? 參數(shù)估計(jì)要解決的問題簡(jiǎn)單來說就是：基于一組觀測(cè)數(shù)據(jù)，通過某種方法來獲得我們想要的與觀測(cè)數(shù)據(jù)相關(guān)的一個(gè)或多個(gè)參數(shù)?，F(xiàn)在計(jì)算機(jī)技術(shù)、AD轉(zhuǎn)換等技術(shù)已經(jīng)發(fā)展得足夠成熟了，在雷達(dá)、聲吶、通信等各類系統(tǒng)中，我們一般都會(huì)將各類模擬量采樣并存儲(chǔ)為離散時(shí)間波形，因此，參數(shù)估計(jì)問題就是從得到的離散時(shí)間波形或數(shù)據(jù)集中提取參數(shù)的問題。用數(shù)學(xué)語言來表達(dá)就是：假設(shè)我們有N點(diǎn)的數(shù)據(jù)集合：{x[0],x[1],x[2],…x[N-1]}，它與未知參數(shù)y有關(guān)，我們希望基于該數(shù)據(jù)集合來確定估計(jì)量y:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1-1)
? ? 式中，g是某個(gè)函數(shù)(某種參數(shù)估計(jì)方法)。
是參數(shù)y在g方法下的估測(cè)值。對(duì)應(yīng)到本博文后面將要探討的一維線陣的DOA估計(jì)問題：這里的x就可以理解成每個(gè)接收通道采集的數(shù)據(jù)，y是目標(biāo)角度，我們做DOA估計(jì)的方法有很多(關(guān)于DOA估計(jì)，讀者可以參考我之前寫過的一篇博文[2]：車載毫米波雷達(dá)DOA估計(jì)綜述-CSDN博客)。比如有經(jīng)典的FFT、DBF、Music、Capon等。
? ? 這便是參數(shù)估計(jì)問題。
? ? 而無偏估計(jì)是指估計(jì)量的平均值為未知參數(shù)的真值。對(duì)應(yīng)到前面的數(shù)學(xué)語言上，即假設(shè)我們有M組N點(diǎn)的數(shù)據(jù)集合：第一組為 X_1:{x_1[0],x_1[1],x_1[2],…x_1[N-1]}、第二組為X_2: {x_1[0],x_1[1],x_1[2],…x_1[N-1]}、以此類推一直到第M組。我們用方法g對(duì)這M組的數(shù)據(jù)進(jìn)行估計(jì)，可以得到M個(gè)
，此時(shí)，如果：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (1-2)
? ? 式中y為參數(shù)的真值，則我們稱該估計(jì)為無偏估計(jì)。我們基于FFT、DBF、Music、Capon的方法做線陣的DOA估計(jì)都屬于無偏估計(jì)。
? ? 如前文說明中所述，對(duì)于同一組觀測(cè)數(shù)據(jù)，可能會(huì)有很多不同的方法來做估計(jì)并得到各自的估計(jì)結(jié)果，那么此時(shí)我們會(huì)感興趣的一個(gè)問題是：大多數(shù)情況下，哪一種估計(jì)方法得到的估計(jì)量是更優(yōu)的？ 一個(gè)很自然的想法是：均方誤差(mean square error, MSE),其定義為：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1-3)
? ? 均方誤差度量了估計(jì)量偏離真值的平方偏差的統(tǒng)計(jì)平均值，對(duì)于同一個(gè)參數(shù)，如果某種估測(cè)方法下得到估測(cè)值的均方誤差越小，我們可以認(rèn)為其更優(yōu)！但遺憾的是，該準(zhǔn)則的采用導(dǎo)致我們無法得到最優(yōu)估計(jì)量，因?yàn)檫@個(gè)估計(jì)量不能寫成數(shù)據(jù)的唯一函數(shù)，我們可以將上式重寫：
? ? ? ? ? ? ? ? （1-4）
? ? 進(jìn)一步地：
? ? ? ? ? ? ? ? ? ? ? ? ? ? （1-5）
? ? 上式表明，MSE是由估計(jì)量的方差?
??(方差是針對(duì)估計(jì)量的均值，而均方差是針對(duì)真值)以及偏差引起的誤差組成的。這里面包含了參數(shù)真值，我們無法求得使MSE最小的參數(shù)估計(jì)值。
但是，如果我們將問題約束(限定)為無偏估計(jì)問題呢？由前文對(duì)無偏估計(jì)的討論我們知道，無偏估計(jì)下
，此時(shí)跳開了真值，最小MSE(也就對(duì)應(yīng)了最小方差)對(duì)應(yīng)的估計(jì)量是可以實(shí)現(xiàn)的！這樣的估計(jì)量被稱為最小方差無偏(minimum variance unbiased, MVU)估計(jì)量。
? ? 此時(shí)新產(chǎn)生的一個(gè)問題是：對(duì)于任意一個(gè)參數(shù)無偏估計(jì)問題，我們使用不同的參數(shù)估計(jì)方法得到的參數(shù)估計(jì)值的最小方差能小到多少？ 這個(gè)最小的方差值，就是所謂的克拉美羅下界(Cramer-Rao Lower Bound, CRLB)。如果某種參數(shù)估計(jì)方法下得到的參數(shù)估計(jì)值，其方差值等于克拉美羅下界，我們認(rèn)為該估計(jì)方法是最優(yōu)的(至少是最小方差無偏估計(jì))。
? ? 【CRLB可以幫助我們確定所使用的估計(jì)方法得到的參數(shù)效果如何(對(duì)比較無偏估計(jì)量的性能提供了一個(gè)標(biāo)準(zhǔn))、是否是MVU估計(jì)量？、此外，也提醒我們不可能求得方差小于下限的無偏估計(jì)量，這在信號(hào)處理的可行性研究中通常是有用的。】
? ? 那么，如何得到無偏估計(jì)下的CRLB？無偏估計(jì)下我們假定所估測(cè)參數(shù)的似然函數(shù)(似然函數(shù)表征參數(shù)取不同值下的概率)的表達(dá)式滿足高斯分布：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1-6）
? ? 我們對(duì)其取自然對(duì)數(shù)：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1-7）
? ? 則其一階導(dǎo)數(shù)為：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1-8）
? ? 負(fù)的二階導(dǎo)數(shù)為：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1-9）
? ? 二階導(dǎo)數(shù)衡量的是曲率，由上式可知，曲率隨著
的減小而增加。我們已經(jīng)知道估計(jì)量y的方差為：σ2，那么對(duì)于該例子，其方差為：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1-10)
? ? 盡管在本例中二階導(dǎo)數(shù)并不依賴x,但一般來說是和x有關(guān)的，這樣，曲率更一般的度量是(取均值)：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (1-11)
? ? 它度量的是對(duì)數(shù)自然函數(shù)的平均曲率(此時(shí)曲率隨著x的變化而變化)。該值越大，則估計(jì)的方差越小。
? ? 假定p(x;θ)滿足“正則”條件：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1-12)
? ? 那么任何無偏估計(jì)量
的方差必定滿足：
?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1-13)
? ? 由于二階導(dǎo)數(shù)是與x有關(guān)的隨機(jī)變量(我們之前的例子不是，但是大多數(shù)情況下是的)，所以上式的數(shù)學(xué)期望由下式給出：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1-14)
? ? 以前述討論和得到的公式為基礎(chǔ)，在參考資料[1]中，給出了不同參數(shù)估計(jì)問題下的CRLB的表達(dá)式（這部分內(nèi)容更具體的讀者還是看參考資料[1],其實(shí)我也不是很理解）。如一維線陣、單目標(biāo)下的方位估計(jì)，其CRLB表達(dá)式為：
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1-15）
? ? (對(duì)于接收到的數(shù)據(jù)為復(fù)數(shù)的情況下，如果是實(shí)數(shù)，則上面的分子為12),這里的θ對(duì)應(yīng)的是線陣所在直線與 目標(biāo)位置和第一個(gè)陣元連線的 夾角。M是陣元個(gè)數(shù)，L是陣列孔徑，對(duì)于間隔為d的均勻線陣，L = （M-1）*d 。后文的仿真將基于該公式。 對(duì)于DOA估計(jì)，其CRLB是由陣元個(gè)數(shù)、孔徑、SNR唯一確定的。
二、線陣&單目標(biāo)下 不同DOA估計(jì)算法方差結(jié)果及其與CRLB對(duì)比
? ? 本章基于蒙特卡羅方法，評(píng)估：
1. 線陣、單目標(biāo)、且目標(biāo)角度確定的情況下，不同SNR下不同DOA估計(jì)算法的方差，及其與CRLB的對(duì)比。（只使用單快拍數(shù)據(jù)）
2. 線陣、單目標(biāo)、且目標(biāo)SNR確定的情況下，不同角度下不同DOA估計(jì)算法的方差，及其與CRLB的對(duì)比。(只使用單快拍數(shù)據(jù))
? ? 本章的DOA估計(jì)算法在原代碼中我寫了三種：DBF、Music、Capon，但是Capon在單快拍下效果太差了(其測(cè)量結(jié)果抖動(dòng)很厲害，實(shí)在沒眼看…，不過多快拍下還不錯(cuò)。),所以后面的圖中我沒有給出Capon的測(cè)量結(jié)果(不過我提供的代碼中還是有的，只是注釋了，讀者可以關(guān)閉注釋，自己試試)。關(guān)于DOA估計(jì)方法和細(xì)節(jié)，這里不做說明，讀者可以參看資料[2],此外，關(guān)于蒙特卡羅方法，讀者可以參考我之前寫的另一篇博文[3]：關(guān)于蒙特卡羅方法及其在信號(hào)處理中的應(yīng)用-CSDN博客，這里也不給出具體的使用說明。
? ? 本章仿真中，所使用的主要參數(shù)列表如下：
表2.1 仿真參數(shù)列表
| 參數(shù) |
值 |
|
| 不同SNR下 ?不同DOA算法參數(shù)估計(jì)方差對(duì)比 |
陣元數(shù) |
8 |
| 陣元相對(duì)位置關(guān)系 |
(0:1:7)*0.5*λ |
|
| 目標(biāo)角度 |
5° |
|
| 快拍數(shù) |
1 |
|
| SNR |
(15:2:35) |
|
| 蒙特卡羅次數(shù) |
1000 |
|
| 不同角度下 ?不同DOA算法參數(shù)估計(jì)方差對(duì)比 |
陣元數(shù) |
8 |
| 陣元相對(duì)位置關(guān)系 |
(0:1:7)*0.5*λ |
|
| 目標(biāo)角度 |
(0:5:70) |
|
| 快拍數(shù) |
1 |
|
| SNR |
25 |
|
| 蒙特卡羅次數(shù) |
1000 |
2.1 ?不同SNR下的結(jié)果
圖2.1? 不同SNR下各DOA估計(jì)方法的方差對(duì)比(1)
? ? 趨勢(shì)上是沒有問題的、各DOA算法的方差與CRLB的位置關(guān)系上也沒有問題。不過感覺有問題的兩點(diǎn)是：1. DBF和單快拍Music的結(jié)果一樣？？ 2.CRLB有那么小嗎（還是說上面的公式有問題？）…?? 同樣的結(jié)論可以給到2.2節(jié)。
? ? 有鑒于此，我嘗試將快拍數(shù)改成10，得到結(jié)果如下(我沒有提供代碼，不過讀者可以基于上面的代碼做一點(diǎn)點(diǎn)修改即可)：
圖2.1? 不同SNR下各DOA估計(jì)方法的方差對(duì)比(2)
? ? 快拍數(shù)的改變沒有影響CRLB(按理說應(yīng)該會(huì)影響的？)，不過此時(shí)可以看到不同DOA算法下的對(duì)比了。
2.2? 不同角度下的結(jié)果
圖2.3? 不同角度下各DOA估計(jì)方法的方差對(duì)比(1)
圖2.4? 不同角度下各DOA估計(jì)方法的方差對(duì)比(2)
? ? 圖示結(jié)果符合預(yù)期，但是又有點(diǎn)不符合預(yù)期，討論同2.1。
2.3? 小結(jié)
? ? 本章基于第一章中的結(jié)論以及本人之前的工作積累(包括DOA[2]和蒙特卡羅方法[3])，評(píng)估了不同DOA估計(jì)算法的估測(cè)方差及其與CRLB的對(duì)比，具體地：分成了同一目標(biāo)角度，不同SNR和同一SNR，不同角度兩種情況。仿真的結(jié)果與預(yù)期基本吻合，但是CRLB計(jì)算方法的正確性似乎有待商榷(歡迎讀者指正)。
三、總結(jié)
? ? 本博文的內(nèi)容相對(duì)簡(jiǎn)單，主要是試圖理清楚關(guān)于參數(shù)估計(jì)、無偏估計(jì)、CRLB的由來和原理等概念，并以一維線陣為例，給出線陣DOA估計(jì)的CRLB、不同DOA估計(jì)算法的性能比較。后續(xù)有更多的細(xì)節(jié)和拓展我再不定期補(bǔ)充。
四、參考資料
[1] 《統(tǒng)計(jì)信號(hào)處理基礎(chǔ)-估計(jì)與檢測(cè)理論》 Steven M. Kay
[2] 車載毫米波雷達(dá)DOA估計(jì)綜述-CSDN博客
[3] 關(guān)于蒙特卡羅方法及其在信號(hào)處理中的應(yīng)用-CSDN博客文章來源：http://www.zghlxwxcb.cn/news/detail-849924.html
五、代碼
關(guān)于克拉美羅下界(CRLB)-及不同DOA估計(jì)算法下的方差(性能)對(duì)比博文對(duì)應(yīng)的代碼資源-CSDN文庫文章來源地址http://www.zghlxwxcb.cn/news/detail-849924.html
到了這里，關(guān)于關(guān)于克拉美羅下界(CRLB)-及不同DOA估計(jì)算法下的方差(性能)對(duì)比的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
