上文總結:
① ABtest主要是對比兩組數(shù)據(jù),判斷變量的影響。
② 但我們知道,數(shù)據(jù)之間的差異,既有可能是隨機誤差,也可能是變量導致的本質差異。
③ 所以,我們需要根據(jù)隨機誤差的概率,判斷數(shù)據(jù)差異究竟是隨機誤差,還是由變量影響導致的本質差異。
- 如果隨機誤差概率大,則無法證明變量是否有影響
- 如果隨機誤差概率極小,則可認為數(shù)據(jù)差異是變量影響導致的本質差異。
————————————————
原文鏈接:https://blog.csdn.net/weixin_50348308/article/details/129732894
根據(jù)隨機誤差的概率大小,判斷兩個數(shù)據(jù)差異是隨機誤差,還是本質差異的方式,是統(tǒng)計學中的顯著性檢驗本質。
那么顯著性檢驗,是如何計算隨機誤差的概率?又如何判斷概率大小的呢?
二、顯著性檢驗原理
假設檢驗中的顯著性檢驗,是根據(jù)一組數(shù)據(jù)的分布規(guī)律,來計算數(shù)據(jù)差異的隨機性概率大?。措S機誤差的概率),進而根據(jù)概率判斷數(shù)據(jù)差異究竟是隨機差異,還是變量導致的本質差異。
因此,我們需要先了解數(shù)據(jù)的分布規(guī)律。
1. 數(shù)據(jù)分布規(guī)律
在生活中,大量數(shù)據(jù)通常呈現(xiàn)出對應的分布規(guī)律,我們之前學過的正態(tài)分布,則是非常普遍的數(shù)值分布規(guī)律。
如果數(shù)據(jù)服從正態(tài)分布,那么我們是可以通過數(shù)學公式很快計算出數(shù)據(jù)差異的概率值,進而可以根據(jù)概率來判斷數(shù)據(jù)差異的情況。
因此,我們主要講解的是數(shù)據(jù)服從正態(tài)分布時的顯著性檢驗。
首先,我們來簡單回顧一下正態(tài)分布。
1.1 回顧正態(tài)分布
如果一個數(shù)據(jù)集服從正態(tài)分布N(μ,σ),那么這個數(shù)據(jù)集里的數(shù)據(jù)分布圖像就如下圖所示:
均值μ表示曲線的中間位置,標準差σ表示曲線的離散程度。
它對應的概率分布規(guī)律就是,數(shù)據(jù)大概率會落在均值μ的附近,越偏離均值μ,概率越小。
在正態(tài)分布中,只要計算除了均值的差異程度,就可以相應地計算出對應的概率。
接下來,我們先看看正態(tài)分布中的均值偏離程度及其對應的隨機誤差概率是如何計算的。
2. 計算均值偏離程度
在正態(tài)分布中,均值與均值之間的偏差程度,通常用檢驗統(tǒng)計量表示。
在理解檢驗統(tǒng)計量的計算前,先了解一下【中心極限定理】
2.1 中心極限定理
- 中心極限定理:當樣本量足夠大時,樣本均值的分布近似服從正態(tài)分布
- Excel 實例驗證中心極限定理如下圖(近似服從正態(tài)分布,如果樣本量更大,則更接近正態(tài))
中心極限定理,是顯著性檢驗的基礎理論。
2.2 認識檢驗統(tǒng)計量
繼續(xù)-檢驗統(tǒng)計量
檢驗統(tǒng)計量是根據(jù)兩個數(shù)據(jù)的均值之差,除以標準誤得到的。
它表示兩個數(shù)據(jù)的均值相差幾個標準誤。(圖為z檢驗時的檢驗統(tǒng)計量)
總體標準差:σ(抽單個數(shù)值作為樣本,抽樣次數(shù)為n)
樣本標準差:所有樣本偏離樣本均值的程度S=
(
Σ
(
x
?
x
?
)
2
)
\sqrt{(Σ(x-x^-)2)}
(Σ(x?x?)2)?
(抽單個數(shù)值作為樣本,抽樣次數(shù)為n)
- 對所有樣本組合得到的均值,會等于總體均值。此時:
樣本均值的標準誤差:標準差的標準差
(
Σ
(
S
?
S
?
)
2
)
\sqrt{(Σ(S-S^-)2)}
(Σ(S?S?)2)?,S為每一個樣本標準差,總和即為所有樣本標準差的標準差
(抽幾個數(shù)值的樣本均值為樣本,抽樣次數(shù)為所有可能的樣本組合)
- 但實際我們無法抽取多次樣本,來計算樣本均值的標準誤差,因此一般采用抽取一次樣本進行估算,估算公式如下:
標準誤= 標準 差 2 / n \sqrt{標準差2/n} 標準差2/n?= 方差 / n \sqrt{方差/n} 方差/n?= σ 2 / n \sqrt{σ2/n} σ2/n?
標準誤:當n越大,則表示樣本均值與總體均值的誤差越?。?br> 當n接近于總體的數(shù)量N時(N為無限總體),則z值為0,表示樣本均值是總體均值的無偏估計。
當N不是無限總體時,Z值一般有不一樣的計算公式:
當樣本量n相對較小時,則樣本均值與總體均值的偏差也會更大。
用中心極限定理理解更直接,抽樣次數(shù)增加,樣本均值服從均值為總體均值,方差為(總體方差/樣本容量)的正態(tài)分布。
- 為什么有些資料寫著:Z檢驗,一般要求樣本量n>30(或樣本量足夠大);
- 因為只有當樣本量足夠大時,樣本均值才能近似服從正態(tài)分布,進而可以正確計算出檢驗統(tǒng)計量。
*因此,當樣本容量足夠大的時候,樣本是可以不需要服從正態(tài)分布的?。。。????
但是,也有個困惑:多次抽樣后的樣本均值數(shù)據(jù),是否能夠代表兩組原數(shù)據(jù)進行檢驗呢?
——【有待驗證,但私以為是不行的】
因為雖然樣本均值服從正態(tài)分布,但若總體不服從正態(tài)分布,那么樣本均值的檢驗,是否能夠代表總體的檢驗呢???這個尚未有明確定論。
- 回到檢驗統(tǒng)計量z值
??如果檢驗統(tǒng)計量越大,說明均值偏離越遠;
??如果檢驗統(tǒng)計量越小,說明均值偏離越近。 - 為什么兩組數(shù)據(jù)的差異,不直接用x-μ就好,非得用檢驗統(tǒng)計量呢?
理由1:即使是x-μ的值相同,在不同正態(tài)分布下,根據(jù)x-μ計算出的對應概率是不同的。
(不同的正態(tài)分布,有不同的概率密度函數(shù),分門別類去計算太麻煩,可統(tǒng)一轉為標準正態(tài)分布后計算)
理由2:計算概率值,是通過標準正態(tài)分布的概率密度函數(shù)計算得到的。
(Excel工具基本是基于標準正態(tài)分布的概率密度函數(shù)進行計算的)
因此,可以通過將普通正態(tài)分布,轉化為標準正態(tài)分布:N(μ1,σ2)→N(0,1)
轉化公式為:z=
x
?
μ
σ
\frac{x-μ}{σ}
σx?μ?,它表示,均值相差幾個標準差。
(這就像“一頭牛值幾頭豬”一樣,用σ作為單位)
- 這樣就可以用標準正態(tài)分布的概率密度函數(shù)來計算概率了。
這時,大大的困惑困住了我?。。。。。?!
為什么Z檢驗統(tǒng)計量公式,跟轉化為標準正態(tài)分布的公式,不一樣呢?
檢驗統(tǒng)計量:z=
x
?
μ
σ
2
n
\frac{x-μ}{\sqrt{\frac{σ2}{n}}}
nσ2??x?μ?
轉為標準正態(tài)公式:z=
x
?
μ
σ
\frac{x-μ}{σ}
σx?μ?
我覺得,我......不理解......但就算不管要不要轉化為標準正態(tài)分布這檔子事,光憑檢驗統(tǒng)計量的公式,也是可以繼續(xù)應用顯著性檢驗的............唉...
檢驗統(tǒng)計量:z=
x
?
μ
σ
2
n
\frac{x-μ}{\sqrt{\frac{σ2}{n}}}
nσ2??x?μ?
計算出檢驗統(tǒng)計量后,我們就可以計算出對應的隨機誤差概率值。
3. 計算隨機誤差概率
著名的【正態(tài)分布經(jīng)驗法則-3σ】里的概率,就是通過計算出來的:
-大約68%的觀察值將分布在均值 ±1 倍標準差之間,即其 z值在 -1~1 之間;
-大約95%的觀察值將分布在均值 ±2 倍標準差之間,即其 z值在 -2~2 之間;
-幾乎全部(99.7%)的觀察值將分布在均值 ±3 倍標準差之間,即其 z值在 -3~3 之間。
(ps:切比雪夫定理,跟正態(tài)分布經(jīng)驗法則。。。并不是一回事)
- 繼續(xù)隨機誤差概率
隨機誤差概率:兩組數(shù)據(jù)的差異,隨機性發(fā)生的概率。
3.1 回顧隨機誤差概率
(算了,把我做的課內(nèi)容放上來吧…)
小貓咪太可愛了,屋里女豬腳
回顧總結:要計算服從正態(tài)分布下的隨機誤差概率。
3.2 左、右尾 P值
概率密度函數(shù),本身就是一個導函數(shù)。它的積分(即面積),就是原函數(shù)的值。
左尾 P值,是正常概率密度函數(shù)下的積分值。
右尾 P值 = 1-左尾P值
很多人容易混淆,雙尾P值的計算,這里要做澄清:
?? z值<0時,表示在正態(tài)中心左側:
- 計算出的左尾 P值為-∞到z的積分值;
- 計算出的右尾 P值為z到+∞的積分。
?? z值>0時,表示在正態(tài)中心右側:
- 計算出的左尾 P值為-∞到z的積分值;
- 計算出的右尾 P值為z到+∞的積分。
左右為并不會因為z的正負,而有不同的計算公式?。。?!
?? z值<0時,表示在正態(tài)中心左側:
我們可以通過數(shù)學相關的工具,直接求出檢驗統(tǒng)計量所對應的隨機誤差概率值,簡稱P值。
例如下圖,是我用Excel計算出的P值,你暫時只需要簡單了解。
(插工具圖)
計算出檢驗統(tǒng)計量對應的隨機誤差概率P值后,接下來,我們將根據(jù)P值進行判斷數(shù)據(jù)差異的情況。
判斷隨機誤差概率
我們知道,當隨機誤差概率P值較大時,無法判斷出兩組數(shù)據(jù)的差異,究竟是隨機出現(xiàn)的差異,還是變量影響導致的本質差異。
在顯著性檢驗中,這種情況通常認為是數(shù)據(jù)差異不顯著,兩組數(shù)據(jù)本質無差異。
只有當隨機誤差概率P值極小時,我們才能認為兩組數(shù)據(jù)的差異,不太可能是隨機出現(xiàn)的,應該是變量影響導致的本質差異。
在顯著性檢驗中,這種情況通常認為是數(shù)據(jù)差異顯著,兩組數(shù)據(jù)本質有差異。
那么隨機誤差概率P值,要多小,才能認為是兩組數(shù)據(jù)的差異不可能是隨機誤差,而是變量影響導致的本質差異呢?
這就需要我們?nèi)藶槿ヒ?guī)定一個概率P值的界限,而這個界限通常稱為顯著性水平α。
在統(tǒng)計學應用中,通常將這個顯著性水平α設置為0.05,它表示樣本均值落在距離總體均值大約正負1.96個標準差位置之外的兩側區(qū)域時,即檢驗統(tǒng)計量為正負1.96時,計算出的隨機誤差概率值0.05。
正態(tài)分布曲線下的面積,即為概率值。
顯著性水平α所對應的界限范圍內(nèi)的中間區(qū)域,一般稱為置信區(qū)間。
顯著性水平α所對應的界限范圍外的兩側區(qū)域,一般稱為拒絕域。
(插圖)
如果計算出的P值小于顯著性水平α(即P值<0.05),說明P值對應的檢驗統(tǒng)計量落在拒絕域內(nèi),統(tǒng)計學上通常稱為 差異顯著。
這時,隨機誤差概率P值偏小,我們可以認為兩組數(shù)據(jù)的差異幾乎不太可能是隨機出現(xiàn)的,應該是變量導致的本質差異。
因此,P值<α,表示差異顯著,我們認為這兩組數(shù)據(jù)是本質差異。
就比如,我們在池塘A里幾乎不可能撈出鱷魚,但在池塘B卻一次撈上鱷魚,因此我們認為池塘A和池塘B本質是不同的,有可能池塘A是普通水池,池塘B是專業(yè)養(yǎng)殖鱷魚池。
如果計算出的P值大于顯著性水平α(即P值>0.05),P值對應的檢驗統(tǒng)計量落在置信區(qū)間里,統(tǒng)計學上通常稱為 差異不顯著。
這時,隨機誤差概率P值較大,說明這兩組數(shù)據(jù)的差異,既有可能是隨機出現(xiàn)的,也有可能是變量導致的本質差異。
因此,P值>α,表示差異不顯著,我們無法判斷這兩組數(shù)據(jù)本質上是否有差異。
就比如,在池塘A里,有較大可能撈到鱷魚,在池塘B一次撈上鱷魚,并無法說明池塘A和池塘B本質是否相同。有可能池塘A是野生水池,池塘B是專業(yè)養(yǎng)殖鱷魚池;也有可能池塘A、B都是專業(yè)養(yǎng)殖鱷魚池。
以上就是數(shù)據(jù)服從正態(tài)分布時,對兩個數(shù)據(jù)差異進行顯著性檢驗的統(tǒng)計學原理。
顯著性檢驗原理總結
總結來看,就是當數(shù)據(jù)服從正態(tài)分布時,先計算出兩組數(shù)據(jù)均值的偏差程度(即檢驗統(tǒng)計量),再計算出對應的隨機誤差概率(即隨機誤差概率P值),最后判斷隨機誤差概率(規(guī)定顯著性水平α),明確數(shù)據(jù)差異的顯著性。
(插圖)
如果P值>α,說明數(shù)據(jù)差異不顯著,無法判斷差異是隨機誤差,還是本質差異。
如果P值<α,說明數(shù)據(jù)差異顯著,認為是變量影響導致的本質差異。
剛才介紹的基于正態(tài)分布的假設檢驗,是一個總體數(shù)據(jù)服從正態(tài)分布情況下,對樣本均值與總體均值差異的檢驗,屬于單樣本檢驗。這種統(tǒng)計情況一般使用單樣本Z檢驗。
例如檢驗一小批人的薪資均值(樣本均值)與全國薪資均值(總體均值)的差異情況。
除了單樣本Z檢驗外,還有其他的顯著性檢驗方式。文章來源:http://www.zghlxwxcb.cn/news/detail-762695.html
顯著性檢驗方式及區(qū)別
實際進行均值差異的顯著性檢驗時,會有多種檢驗方式。下圖是我們常用的4種檢驗統(tǒng)計方式:單樣本z檢驗、雙獨立樣本z檢驗、單樣本t檢驗、雙獨立樣本t檢驗。
不同檢驗方式的差別在于,根據(jù)數(shù)據(jù)統(tǒng)計情況的不同,導致檢驗統(tǒng)計量的計算公式不同。
(插圖)
例如,在實際收集數(shù)據(jù)時,總體數(shù)據(jù)量太大,我們很難采集到總體數(shù)據(jù)。那么這種情況下,我們可以用服從正態(tài)分布的樣本來代替總體。用一個樣本代替一個總體的單樣本檢驗,一般使用單樣本T檢驗方式。
如果采集的數(shù)據(jù)是兩個服從正態(tài)分布的樣本數(shù)據(jù),且這兩個樣本數(shù)據(jù)之間是相互獨立的。那么就可以選擇雙樣本獨立T檢驗。
具體選擇哪個檢驗方式,還是要因地制宜,根據(jù)根據(jù)不同的數(shù)據(jù)統(tǒng)計類型、不同的數(shù)據(jù)關系、不同的分布形態(tài)來選擇。文章來源地址http://www.zghlxwxcb.cn/news/detail-762695.html
到了這里,關于檢驗統(tǒng)計量的深度認識(亂七八糟的草稿)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!