深度學(xué)習(xí)
必備的數(shù)學(xué)知識
概率論
我們將接著上一篇文章繼續(xù)講解。
條件概率
大家還記得上一篇文章的提到的聯(lián)合概率分布嗎？定義在一組變量的聯(lián)合概率分布的子集上的概率分布被稱為邊緣概率分布（marginal probability distribution）。
對于離散型隨機(jī)變量x和y，如果我們有
P
(
x
,
y
)
P(x,y)
P(x,y),則可以根據(jù)以下求和法則（sum rule）來計(jì)算
P
(
x
)
P(x)
P(x)
?
x
∈
x
,
P
(
x
=
x
)
=
∑
y
P
(
x
=
x
,
y
=
y
)
\forall x \in x,P(x=x)=\sum_{y}P(x=x,y=y)
?x∈x,P(x=x)=y∑?P(x=x,y=y)
例如，假設(shè)我們有兩個離散隨機(jī)變量
x
x
x和
y
y
y，它們的可能值分別為
x
=
1
,
2
x = {1, 2}
x=1,2和
y
=
a
,
b
y = {a, b}
y=a,b。假設(shè)我們知道以下聯(lián)合概率：
-
P ( x = 1 , y = a ) = 0.1 P(x=1, y=a) = 0.1 P(x=1,y=a)=0.1
-
P ( x = 1 , y = b ) = 0.2 P(x=1, y=b) = 0.2 P(x=1,y=b)=0.2
-
P ( x = 2 , y = a ) = 0.3 P(x=2, y=a) = 0.3 P(x=2,y=a)=0.3
-
P ( x = 2 , y = b ) = 0.4 P(x=2, y=b) = 0.4 P(x=2,y=b)=0.4
那么我們可以通過對所有可能的 y y y值求和來計(jì)算 x x x取特定值的概率： -
P ( x = 1 ) = P ( x = 1 , y = a ) + P ( x = 1 , y = b ) = 0.1 + 0.2 = 0.3 P(x=1) = P(x=1, y=a) + P(x=1, y=b) = 0.1 + 0.2 = 0.3 P(x=1)=P(x=1,y=a)+P(x=1,y=b)=0.1+0.2=0.3
-
P ( x = 2 ) = P ( x = 2 , y = a ) + P ( x = 2 , y = b ) = 0.3 + 0.4 = 0.7 P(x=2) = P(x=2, y=a) + P(x=2, y=b) = 0.3 + 0.4 = 0.7 P(x=2)=P(x=2,y=a)+P(x=2,y=b)=0.3+0.4=0.7
這就是如何使用這個公式來計(jì)算概率的一個例子。
對于連續(xù)性隨機(jī)變量，通過對聯(lián)合概率求積分來計(jì)算
P
(
x
)
P(x)
P(x)
P
(
x
)
=
∫
P
(
x
,
y
)
d
y
P(x)=\int P(x,y)dy
P(x)=∫P(x,y)dy
條件概率
條件概率指的是某件事在給定的其他事件發(fā)生時(shí)出現(xiàn)的概率。我們將當(dāng)x=x時(shí)，y=y發(fā)生的概率記作
P
(
y
=
y
∣
x
=
x
)
P(y=y|x=x)
P(y=y∣x=x)。條件概率可以通過以下公式計(jì)算
P
(
y
=
y
∣
x
=
x
)
=
P
(
y
=
y
,
x
=
x
)
P
(
x
=
x
)
P(y=y|x=x)=\frac{P(y=y,x=x)}{P(x=x)}
P(y=y∣x=x)=P(x=x)P(y=y,x=x)?
需要注意的是，條件概率只有在
P
(
x
=
x
)
>
0
P(x=x)>0
P(x=x)>0時(shí)才有定義，也就是說，我們不能計(jì)算在某個肯定不會發(fā)生的事件的條件下另一事件發(fā)生的概率
注意條件概率說的不是某件事發(fā)生后會發(fā)生什么。假定一個人拿著車鑰匙出門，那么他開車的概率很高，但是讓一個人拿車鑰匙他的出行方式不會改變。
條件概率的鏈?zhǔn)椒▌t
概率的鏈?zhǔn)椒▌t（chain rule）（也稱為乘法法則）是一種用于計(jì)算多個隨機(jī)變量的聯(lián)合概率的方法。對于兩個隨機(jī)變量 x x x和 y y y，鏈?zhǔn)椒▌t可以寫作：
P ( x = x , y = y ) = P ( x = x ) ? P ( y = y ∣ x = x ) P(x=x, y=y) = P(x=x) \cdot P(y=y|x=x) P(x=x,y=y)=P(x=x)?P(y=y∣x=x)
這個公式表示 x = x x=x x=x和 y = y y=y y=y同時(shí)發(fā)生的概率等于 x = x x=x x=x發(fā)生的概率乘以在 x = x x=x x=x的條件下 y = y y=y y=y發(fā)生的概率。
相信大家已經(jīng)看出來了，這是從關(guān)系概率的公式推導(dǎo)而來的。
P
(
y
=
y
∣
x
=
x
)
=
P
(
y
=
y
,
x
=
x
)
P
(
x
=
x
)
P
(
x
=
x
)
?
P
(
y
=
y
∣
x
=
x
)
=
P
(
y
=
y
,
x
=
x
)
P
(
x
=
x
)
?
P
(
x
=
x
)
P
(
y
=
y
,
x
=
x
)
=
P
(
x
=
x
)
?
P
(
y
=
y
∣
x
=
x
)
P(y=y|x=x)=\frac{P(y=y,x=x)}{P(x=x)}\\ P(x=x) \cdot P(y=y|x=x)=\frac{P(y=y,x=x)}{P(x=x)} \cdot P(x=x)\\ P(y=y,x=x)= P(x=x) \cdot P(y=y|x=x)
P(y=y∣x=x)=P(x=x)P(y=y,x=x)?P(x=x)?P(y=y∣x=x)=P(x=x)P(y=y,x=x)??P(x=x)P(y=y,x=x)=P(x=x)?P(y=y∣x=x)
鏈?zhǔn)椒▌t可以擴(kuò)展到更多的隨機(jī)變量
P
(
x
(
1
)
,
x
(
2
)
,
.
.
.
,
x
(
n
)
)
=
P
(
x
1
)
∏
i
n
P
(
x
(
i
)
∣
x
1
,
.
.
.
,
x
(
i
?
1
)
)
P(x^{(1)},x^{(2)},...,x^{(n)})=P(x^{1})\prod^{n}_{i}P(x^{(i)}|x^{1},...,x^{(i-1)})
P(x(1),x(2),...,x(n))=P(x1)i∏n?P(x(i)∣x1,...,x(i?1))
獨(dú)立性和條件獨(dú)立性
我們稱兩個隨機(jī)變量相互獨(dú)立的（independent），這意味著它的聯(lián)合概率分布等于它們各自的概率分布的乘積,知道
x
x
x的值并不會改變
y
y
y的概率分布，反之亦然。
?
x
∈
x
,
y
∈
y
P
(
x
=
x
,
y
=
y
)
=
P
(
x
=
x
)
?
P
(
y
=
y
)
\forall x \in x,y \in y P(x=x,y=y)=P(x=x) \cdot P(y=y)
?x∈x,y∈yP(x=x,y=y)=P(x=x)?P(y=y)文章來源：http://www.zghlxwxcb.cn/news/detail-773354.html
如果在給定隨機(jī)變量z=z的條件下，隨機(jī)變量x和y是獨(dú)立的，我們就說x和y在z=z的條件下是條件獨(dú)立的conditionally independent）。換句話說，對于x和y的條件概率分布對于z的每一個值都可以寫成乘積的形式。用公式表示為：
?
x
∈
X
,
y
∈
Y
,
z
∈
Z
,
P
(
X
=
x
,
Y
=
y
∣
Z
=
z
)
=
P
(
X
=
x
∣
Z
=
z
)
?
P
(
Y
=
y
∣
Z
=
z
)
\forall x \in X, y \in Y, z \in Z, P(X=x, Y=y|Z=z) = P(X=x|Z=z) \cdot P(Y=y|Z=z)
?x∈X,y∈Y,z∈Z,P(X=x,Y=y∣Z=z)=P(X=x∣Z=z)?P(Y=y∣Z=z)文章來源地址http://www.zghlxwxcb.cn/news/detail-773354.html
到了這里，關(guān)于深度學(xué)習(xí)-必備的數(shù)學(xué)知識-概率論3的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
