深度學習
必備的數(shù)學知識
概率論
在上一篇文章中，我?guī)Т蠹页趼缘牧私饬烁怕收撌鞘裁础＿@篇文章中我將為大家講解概率論中的隨機變量和概率分布。
隨機變量
在概率論中，隨機變量（random variable）是一個可以隨機地取不同值的變量。一個隨機變量是對可能的狀態(tài)的描述，它的取值范圍是事件的所有可能的狀態(tài)。它必須伴隨著概率分布來指定每個狀態(tài)的可能性。隨機變量可以是離散的，也可以是連續(xù)的，取決于它的值是否可以在一個連續(xù)的范圍內變化。
離散型隨機變量的例子有：擲骰子的結果，1到6的整數(shù)
連續(xù)型隨機變量的例子有：一個人的體重，一個人的體重可以在一個連續(xù)的范圍內取任何值。
概率分布
概率分布（probability distribution）用來描述隨機變量在每一個可能取到的狀態(tài)的可能性。換句話說，概率分布是描述隨機變量可能的取值及其對應概率的函數(shù)。
對于離散型隨機變量和連續(xù)型隨機變量使用不同的方式描述。
概率質量函數(shù)
對于離散型隨機變量的概率分布可以用概率質量函數(shù)描述（probability mass function,PMF）。我們通常使用大寫字母P來描述概率質量函數(shù)。通常每一個隨機變量都有著不同的概率密度函數(shù)，也就是說概率密度函數(shù)是不通用的。我們不通過函數(shù)名來推斷所使用的概率密度函數(shù)，而是通過隨機變量來推斷。如 P ( x ) P(x) P(x)與 P ( y ) P(y) P(y)是不一樣的。
x = x x=x x=x（前一個x是隨機變量本身，后一個是隨機變量的取值）的概率密度函數(shù)記作 P ( x ) P(x) P(x)，通常我們明確寫出隨機變量的名稱來避免混淆，如： P ( x = x ) P(x=x) P(x=x)。使用~符號表示隨機變量遵循的概率密度函數(shù)，如：$x $ ~ P ( x ) P(x) P(x)。
概率密度函數(shù)是將隨機變量能取到的每個狀態(tài)映射到隨機變量取得該狀態(tài)的概率，概率為1表示x=x是必然發(fā)生的，概率為0表示x=x是不可能發(fā)生。
如果一個函數(shù)P是隨機變量的概率密度函數(shù)，則必須滿足以下三個條件
- 函數(shù)的定義域是隨機變量所有可能的狀態(tài)的集合
- ? x ∈ x \forall x \in x ?x∈x, 0 ≤ P ( x ) ≤ 1 0\leq P(x) \leq 1 0≤P(x)≤1,必然發(fā)生的事概率為1，不存在比這概率還大的；必然不可能發(fā)生的事件的概率是0，不存在比這概率還小的。
- ∑ x ∈ x P ( x ) = 1 \sum_{x \in x} P(x)=1 ∑x∈x?P(x)=1,隨機變量的能取到的所有可能的狀態(tài)的概率加起來等于1。這稱為歸一化（normalized）。
我們再拿出擲骰子這個例子。我們用隨機變量x表示擲骰子的結果，它一共有6個不同的狀態(tài)(
x
1
,
x
2
,
.
.
,
x
6
x_1,x_2,..,x_6
x1?,x2?,..,x6?)。在理想情況下，x是均勻分布的，也就是它的每一個狀態(tài)是等可能的。此時我們可以將x的PMF設為
P
(
x
=
x
i
)
=
1
6
P(\texttt{x}=x_i)=\frac{1}{6}
P(x=xi?)=61?
這個函數(shù)滿足上述的條件，這很容易就可以看出來。
概率質量函數(shù)可以用于多個隨機變量，如 P ( x = x , y = y ) P(x=x,y=y) P(x=x,y=y),它表示的是當x=x，y=y同時發(fā)生的概率，我們也可以簡寫為P(x,y)。這稱為聯(lián)合概率分布
概率密度函數(shù)
對于連續(xù)性隨機變量的概率分布我們使用概率密度函數(shù)（probability density function，PDF）。概率密度函數(shù) P ( x ) P(x) P(x)并沒有直接給出特定狀態(tài)的概率。這是因為連續(xù)性隨機變量，它的可能的狀態(tài)是無限多的，以至于取到某一個特定的狀態(tài)的概率為0。概率密度函數(shù) P ( x ) P(x) P(x)給出的是隨機變量落在x附近無窮小的區(qū)間的概率。具體來說，如果Δx是一個很小的正數(shù)，那么X落在[x, x+Δx]內的概率近似等于p(x)Δx。
我們可以通過
P
(
x
)
P(x)
P(x)對某個區(qū)間區(qū)間[a,b]求積分來獲得x落在區(qū)間中的概率，
∫
a
b
P
(
x
)
d
x
\int_{a}^P(x)dx
∫ab?P(x)dx文章來源：http://www.zghlxwxcb.cn/news/detail-771608.html
概率密度函數(shù)需要滿足以下條件：文章來源地址http://www.zghlxwxcb.cn/news/detail-771608.html
- 函數(shù)的定義域是隨機變量所有可能的狀態(tài)的集合
- ? x ∈ x \forall x \in x ?x∈x, P ( x ) ≥ 0 P(x) \geq 0 P(x)≥0，PDF表示的是隨機變量在某個特定值附近的概率密度，所有PDF值可以大于1/
-
∫
P
(
x
)
d
x
=
1
\int P(x)dx=1
∫P(x)dx=1，隨機變量x的任意可能的狀態(tài)它必然會落到定義域中。這反映了所有可能事件的概率之和為1的事實。
聯(lián)合概率分布對于概率密度函數(shù)同樣成立。對于多個隨機變量，我們可以定義聯(lián)合概率密度函數(shù)，它描述了這些隨機變量同時取特定值的概率密度。
到了這里，關于深度學習-必備的數(shù)學知識-概率論2的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
