1.切比雪夫不等式

切比雪夫不等式可以對隨機變量偏離期望值的概率做出估計，這是大數(shù)定律的推理基礎(chǔ)。以下介紹一個對切比雪夫不等式的直觀證明。

1.1 示性函數(shù)

對于隨機事件A，我們引入一個示性函數(shù)$I_A=\{\begin{array}{ll}1& ,\text{A發(fā)生}\\ 0& ,\text{A不發(fā)生}\end{array}$，即一次實驗中，若$A$發(fā)生了，則$I$的值為1，否則為0。

現(xiàn)在思考一個問題：這個函數(shù)的自變量是什么？

我們知道，隨機事件在做一次試驗后有一個確定的觀察結(jié)果，稱這個觀察結(jié)果為樣本點$\omega$，所有可能的樣本點的集合稱為樣本空間$\Omega =\left { \omega \right } \Omega$的一個子集$A$為隨機事件。

例如，擲一個六面骰子，記得到數(shù)字$k$的樣本點為${\omega }_k$，則 Ω = { ω 1 , ω 2 , ω 3 , ω 4 , ω 5 , ω 6 } \Omega = \{\omega_1,\omega_2,\omega_3,\omega_4,\omega_5,\omega_6\} Ω={ω1?,ω2?,ω3?,ω4?,ω5?,ω6?}，隨機事件“得到的數(shù)字為偶數(shù)”為 A = { ω 2 , ω 4 , ω 6 } A = \{\omega_2,\omega_4,\omega_6\} A={ω2?,ω4?,ω6?}。

由此可知，示性函數(shù)是關(guān)于樣本點的函數(shù)，即
$$I_A(\omega )=\{\begin{array}{ll}1& ,\omega \in A\\ 0& ,\omega \notin A\end{array}\text{(試驗后)}$$

在試驗之前，我們能獲得哪個樣本點也是未知的，因此樣本點也是個隨機事件，記為$\xi$，相應(yīng)的示性函數(shù)可以記為
$$I_A=\{\begin{array}{ll}1& ,\xi \in A\\ 0& ,\xi \notin A\end{array}\text{(試驗前)}$$

在試驗之前，$I$的值也是未知的，因此$I$是個二值隨機變量。這樣，我們就建立了隨機事件$A$和隨機變量$I$之間的一一對應(yīng)關(guān)系。

對$I$求數(shù)學期望可得
$$\mathbb{E}{I}_A=1\times P(\xi \in A)+0\times P(\xi \notin A)=P(\xi \in A)$$

$P(\xi \in A)$是什么？是樣本點落在$A$里面的概率，也就是$A$事件發(fā)生的概率$P(A)$，由此我們就得到了示性函數(shù)很重要的性質(zhì)：其期望值正是對應(yīng)的隨機事件的概率，即
$$\mathbb{E}{I}_A=P(A)$$

1.2 馬爾科夫不等式

對于非負的隨機變量$X$和定值$a$，考慮隨機事件 A = { X ≥ a } A=\{X \ge a\} A={X≥a}，我們可以畫出示性函數(shù)$I_A$關(guān)于觀察值$x$的圖像，如圖所示：

容易發(fā)現(xiàn)$I_{X\ge a}(x)\le \frac{x}{a}$恒成立。把$x$換為隨機變量$X$，再對該式取數(shù)學期望得
$$\mathbb{E}{I}_{X\ge a}=P(X\ge a)\le \frac{\mathbb{E}X}{a}$$
稱該不等式為馬爾科夫Markov不等式，

從理解上說，如果非負隨機變量$X$的期望存在，則$X$超過某個定值$a$的概率不超過$\frac{\mathbb{E}}{a}$。舉個簡單的例子：如果我們知道所有人收入的平均數(shù)$a$，那么隨機抽一個人收入超過$10a$的概率不超過$10\%$。

根據(jù)圖中兩個函數(shù)的差距，我們大致能理解這個不等式對概率的估計時比較粗超的。

1.3 切比雪夫不等式

對于隨機變量$X$，記$\mu =\mathbb{E}X$，考慮隨機事件 A = { ∣ X ? μ ∣ ≥ a } A=\{|X-\mu|\ge a\} A={∣X?μ∣≥a}，其示性函數(shù)的圖像如圖所示：

易知$I_{|X?\mu |\ge a}\le \frac{{(x?\mu )}^2}{a^2}$恒成立。將該式$x$換成$X$并取數(shù)學期望得
$$\mathbb{E}{I}_{|X?\mu |\ge a}=P(|X?\mu |\ge a)\le \frac{\mathbb{D}X}{a^2}$$
稱上面這個不等式為切比雪夫Chebyshev不等式。

從理解上來說，如果隨機變量$X$的期望和方差存在，則$X$和期望值的距離大于$a$的概率不超過$\frac{\mathbb{D}X}{a^2}$，給定的范圍越大（$a$越大），或$X$的方差越小，則偏離的概率越小，這和直覺是相符的。

同樣的，切比雪夫不等式對概率的估計也比較粗糙。

2. 大數(shù)定律

對于一系列隨機變量 { X n } \{X_n\} {Xn?}，設(shè)每個隨機變量都有期望。由于隨機變量之和${\sum }_{i=1}^n{X}_i$很有可能發(fā)散到無窮大，我們轉(zhuǎn)而考慮隨機變量的均值${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$和其期望$\mathbb{E}({\bar{X}}_n)$之間的距離。若 { X n } \{X_n\} {Xn?}滿足一定條件，當$n$足夠大時，這個距離會以非常大的概率接近0，這就是大數(shù)定律的主要思想。

定義：
任取$\epsilon >0$，若恒有 lim ? n → ∞ P ( ∣ X ˉ n ? E X ˉ n ∣ < ε ) = 1 \lim_{n \to \infty} P(\left | \bar{X}_n-\mathbb{E}\bar{X}_n \right | < \varepsilon )=1 limn→∞?P( ?Xˉn??EXˉn? ?<ε)=1，稱 { X n } \{X_n\} {Xn?}服從（弱）大數(shù)定律，稱${\bar{X}}_n$依概率收斂于$\mathbb{E}({\bar{X}}_n)$，記作
$${\bar{X}}_n\stackrel{P}{?}\mathbb{E}({\bar{X}}_n)$$

2.1 馬爾可夫大數(shù)定律

任取$\epsilon >0$，由切比雪夫不等式可知
P ( ∣ X ˉ n ? E X ˉ n ∣ < ε ) ≥ 1 ? D ( X ˉ n ) ε 2 P(\left | \bar{X}_n-\mathbb{E}\bar{X}_n \right | < \varepsilon )\ge 1-\frac{\mathbb{D}({\bar{X}_n})}{{\varepsilon}^2} P( ?Xˉn??EXˉn? ?<ε)≥1?ε2D(Xˉn?)?
$$=1?\frac{1}{{\epsilon }^2{n}^2}\mathbb{D}(\sum _{i=1}^n{X}_i)$$
由此得到馬爾可夫大數(shù)定律:
如果${\lim }_{n\to \infty }\frac{1}{n^2}\mathbb{D}({\sum }_{i=1}^n{X}_i)=0$，則 { X n } \{X_n\} {Xn?}服從大數(shù)定律。

2.2 切比雪夫大數(shù)定律

在馬爾可夫大數(shù)定律的基礎(chǔ)上，如果 { X n } \{X_n\} {Xn?}兩兩不相關(guān)，則方差可以拆開：
$$\frac{1}{n^2}\mathbb{D}(\sum _{i=1}^n{X}_i)=\frac{1}{n^2}\sum _{i=1}^n\mathbb{D}{X}_i$$
如果$\mathbb{D}{X}_i$有共同的上界c，則
$$\frac{1}{n^2}\mathbb{D}(\sum _{i=1}^n{X}_i)\le \frac{nc}{n^2}=\frac{c}{n}$$
P ( ∣ X ˉ n ? E X ˉ n ∣ < ε ) ≥ 1 ? c ε 2 n P(\left | \bar{X}_n-\mathbb{E}\bar{X}_n \right | < \varepsilon )\ge 1-\frac{c}{{\varepsilon}^2n} P( ?Xˉn??EXˉn? ?<ε)≥1?ε2nc?
由此得到切比雪夫大數(shù)定律：
如果 { X n } \{X_n\} {Xn?}兩兩不相關(guān)，且方差有共同的上界，則 { X n } \{X_n\} {Xn?}兩兩不相關(guān)服從大數(shù)定律。

3. 中心極限定理

大數(shù)定律研究的是一系列隨機變量 { X n } \{X_n\} {Xn?}的均值${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$是否會依概率收斂于其期望$\mathbb{E}({\bar{X}}_n)$這個數(shù)值，而中心極限定理進一步研究${\bar{X}}_n$服從什么分布。若 { X n } \{X_n\} {Xn?}滿足一定的條件，當$n$足夠大時，${\bar{X}}_n$服從正態(tài)分布，這就是中心極限定理的主要思想，這也體現(xiàn)了正態(tài)分布的重要性和普遍性。

3.1 獨立同分布中心極限定理（林德貝格-勒維）

如果 { X n } \{X_n\} {Xn?}獨立同分布，且$\mathbb{E}X=\mu$，$\mathbb{D}X={\sigma }^2>0$，則$n$足夠大時${\bar{X}}_n$近似服從正態(tài)分布$N(\mu ,\frac{{\sigma }^2}{n})$，即
$$\underset{x\to \infty }{\lim }P(\frac{{\bar{X}}_n?\mu }{\sigma /\sqrt{n}}<a)=\Phi (a)={\int }_{?\infty }^a\frac{1}{\sqrt{2\pi }}{e}^{?t^2/2}dt$$文章來源地址http://www.zghlxwxcb.cn/news/detail-767243.html

到了這里，關(guān)于大數(shù)定律&中心極限定理的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！