1. 綜述

本文主要講述的是標(biāo)準(zhǔn)化與歸一化之間的區(qū)別、相同點和聯(lián)系，以及各自的應(yīng)用場景

歸一化：主要應(yīng)用與沒有距離計算的地方(丟失分布與距離，保留權(quán)值信息）— 奇異數(shù)據(jù)，小數(shù)據(jù)場景

標(biāo)準(zhǔn)化：主要應(yīng)用于不關(guān)乎權(quán)重的地方（保留分布與距離，丟失權(quán)值信息）—-需要距離來度量相似性，有異常值和噪聲

2. 不同點

標(biāo)準(zhǔn)差與權(quán)重:

標(biāo)準(zhǔn)差越大，權(quán)重應(yīng)當(dāng)越大

某個指標(biāo)數(shù)據(jù)對應(yīng)的數(shù)據(jù)集標(biāo)準(zhǔn)差過大,說明其不確定性增加,所提供的信息量也會增加,因此在進(jìn)行綜合指標(biāo)評價的時候,權(quán)重也會對應(yīng)的增大.—-類似熵權(quán)法

3. 相同點及其聯(lián)系

（1）聯(lián)系:

歸一化廣義上是包含標(biāo)準(zhǔn)化的,Z-Score方法也是歸一化的方法之一,在這里主要是從狹義上,區(qū)分兩者

（2）本質(zhì)上都是進(jìn)行特征提取,數(shù)據(jù)都通過先平移(分子相減)后縮放(分母)進(jìn)行進(jìn)行提取;

（3）都是為了縮小范圍.便于后續(xù)的數(shù)據(jù)處理.

（4） 作用:(重點)

i) 加快梯度下降,損失函數(shù)收斂;—速度上

ii) 提升模型精度–也就是分類準(zhǔn)確率.(消除不同量綱,便于綜合指標(biāo)評價,提高分類準(zhǔn)確率)—質(zhì)量上

iii) 防止梯度爆炸(消除因為數(shù)據(jù)輸入差距(1和2000)過大,而帶來的輸出差距過大(0.8,999),進(jìn)而在 反向傳播的過程當(dāng)中,導(dǎo)致梯度過大(因為反向傳播的過程當(dāng)中進(jìn)行梯度計算,會使用的之前對應(yīng)層的輸入x),從而形成梯度爆炸)—穩(wěn)定性上

說明:特征縮放其實并不需要太精確，其目的只是為了讓梯度下降能夠運行得更快一點，讓梯度下降收斂所需的循環(huán)次數(shù)更少一些而已。

4 歸一化（廣義）（縮放數(shù)據(jù)）場景

A. 除非本來各維數(shù)據(jù)的分布范圍就比較接近，否則必須進(jìn)行標(biāo)準(zhǔn)化，以免模型參數(shù)被分布范圍較大 或較小的數(shù)據(jù)支配

B. 數(shù)據(jù)分布差異比較大–標(biāo)準(zhǔn)化，奇異數(shù)據(jù)(單個有影響的也要)–歸一化

4.1. 特征/數(shù)據(jù)需要歸一化的場景

① logistic regression模型:邏輯回歸,雖然迭代若幾次沒有影響,但實際當(dāng)中遠(yuǎn)不止若干次,這樣就會導(dǎo)致邏輯回歸模型的目標(biāo)函數(shù)過于扁化,導(dǎo)致梯度很難下降,不容易得到較好的模型參數(shù).

②SVM模型:因為涉及到向量/數(shù)據(jù)的距離(向量之間差異過大/過小,就會導(dǎo)致最佳分離超平面可能會由最大/遠(yuǎn)或者最小/近的幾個向量支配,導(dǎo)致魯棒性較差,因此需要進(jìn)行標(biāo)準(zhǔn)化—可以保留向量間的模型)

③NeuralNetwork模型:初始輸入值過大,反向傳播時容易梯度爆炸(上面有解釋)

④SGD:加快梯度下降.

4.2. 不需要歸一化的場景

1 0/1取值的特征通常不需要歸一化，歸一化會破壞它的稀疏性

2 決策樹

3 基于平方損失的最小二乘法OLS不需要歸一化(因為本質(zhì)上是一個拋物線,強(qiáng)凸函數(shù),下降速度快.)

5. 歸一化（狹義）注意事項

5.1 歸一化的方法

5.1.1 小數(shù)定標(biāo)標(biāo)準(zhǔn)化

這種方法通過移動數(shù)據(jù)的小數(shù)點位置來進(jìn)行標(biāo)準(zhǔn)化。小數(shù)點移動多少位取決于屬性A的取值中的最大絕對值。將屬性A的原始值x使用decimal scaling標(biāo)準(zhǔn)化到x’的計算方法是：

x'=x/(10^j),其中，j是滿足條件的最小整數(shù)。例如 假定A的值由-986到917，A的最大絕對值為986，為使用小數(shù)定標(biāo)標(biāo)準(zhǔn)化，我們用1000（即，j=3）除以每個值，這樣，-986被規(guī)范化為-0.986。

5.1.2 softmax對數(shù)歸一化

5.1.3 L2歸一化

5.2 歸一化的使用前提

在存在奇異樣本數(shù)據(jù)的情況下，進(jìn)行訓(xùn)練之前最好進(jìn)行歸一化，如果不存在奇異樣本數(shù)據(jù)，則可以不用歸一化

6.標(biāo)準(zhǔn)化的過程

即零-均值標(biāo)準(zhǔn)化

其中 u是樣本數(shù)據(jù)的均值（mean），是樣本數(shù)據(jù)的標(biāo)準(zhǔn)差（std）。

上圖則是一個散點序列的標(biāo)準(zhǔn)化過程：原圖->減去均值(均值為0–>數(shù)據(jù)以原點為中心)->除以標(biāo)準(zhǔn)差對應(yīng)到三維圖像(以損失函數(shù)為例)

機(jī)器學(xué)習(xí)的目標(biāo)無非就是不斷優(yōu)化損失函數(shù)，使其值最小。在上圖中，J(w,b)就是我們要優(yōu)化的目標(biāo)函數(shù),在上圖中,我們可以看到,損失函數(shù),未處理之前:梯度的方向就會偏離最小值的方向，走很多彎路,經(jīng)過標(biāo)準(zhǔn)化處理之后,我們損失函數(shù)的曲線也變得比較圓,有利于加快梯度下降,加快找到最佳模型參數(shù).具體如下圖:文章來源地址http://www.zghlxwxcb.cn/news/detail-442118.html