目錄

一、概念

1、歸一化（Normalization）：

?2、標(biāo)準(zhǔn)化（Standardization）：

3、中心化/零均值化（zero-centered）：

二、聯(lián)系和差異：

三、標(biāo)準(zhǔn)化和歸一化的多種方式

三、為什么要歸一化/標(biāo)準(zhǔn)化？

3.1、數(shù)據(jù)的量綱不同；數(shù)量級差別很大

3.2、避免數(shù)值問題：太大的數(shù)會引發(fā)數(shù)值問題。

3.3、平衡各特征的貢獻(xiàn)

3.4、一些模型求解的需要：加快了梯度下降求最優(yōu)解的速度

四、什么時候用歸一化？什么時候用標(biāo)準(zhǔn)化？

4.1 歸一化、標(biāo)準(zhǔn)化使用場景

4.2、所有情況都應(yīng)當(dāng)Standardization或Normalization么

五、神經(jīng)網(wǎng)絡(luò)為什么要進(jìn)行歸一化

5.1 數(shù)值問題

5.2 求解需要

一、概念

1、歸一化（Normalization）：

（1）將一列數(shù)據(jù)變化到某個固定區(qū)間(范圍)中，通常，這個區(qū)間是[0, 1] 或者（-1,1）之間的小數(shù)。主要是為了數(shù)據(jù)處理方便提出來的，把數(shù)據(jù)映射到0～1范圍之內(nèi)處理，更加便捷快速。

（2）把有量綱表達(dá)式變成無量綱表達(dá)式，便于不同單位或量級的指標(biāo)能夠進(jìn)行比較和加權(quán)。歸一化是一種簡化計算的方式，即將有量綱的表達(dá)式，經(jīng)過變換，化為無量綱的表達(dá)式，成為純量。

從公式看： 歸一化輸出范圍在0-1之間

? ? ? ? ???????該方法實現(xiàn)對原始數(shù)據(jù)的等比例縮放。通過利用變量取值的最大值和最小值（或者最大值）將原始數(shù)據(jù)轉(zhuǎn)換為界于某一特定范圍的數(shù)據(jù)，從而消除量綱和數(shù)量級影響，改變變量在分析中的權(quán)重來解決不同度量的問題。由于極值化方法在對變量無量綱化過程中僅僅與該變量的最大值和最小值這兩個極端值有關(guān)，而與其他取值無關(guān)，這使得該方法在改變各變量權(quán)重時過分依賴兩個極端取值。

?2、標(biāo)準(zhǔn)化（Standardization）：

原始數(shù)據(jù)減均值之后，再除以標(biāo)準(zhǔn)差。將數(shù)據(jù)變換為均值為0，標(biāo)準(zhǔn)差為1的分布，切記：并非一定是正態(tài)的。

雖然該方法在無量綱化過程中利用了所有的數(shù)據(jù)信息，但是該方法在無量綱化后不僅使得轉(zhuǎn)換后的各變量均值相同，且標(biāo)準(zhǔn)差也相同，即無量綱化的同時還消除了各變量在變異程度上的差異，從而轉(zhuǎn)換后的各變量在聚類分析中的重要性程度是同等看待的。

從公式看：標(biāo)準(zhǔn)化輸出范圍是負(fù)無窮到正無窮

# python實現(xiàn)
X -= np.mean(X, axis = 0)  # zero-center
X /= np.std(X, axis = 0)   # normalize

在機器學(xué)習(xí)中，我們可能要處理不同種類的資料，例如，音訊和圖片上的像素值，這些資料可能是高維度的，資料標(biāo)準(zhǔn)化后會使每個特征中的數(shù)值平均變?yōu)?(將每個特征的值都減掉原始資料中該特征的平均)、標(biāo)準(zhǔn)差變?yōu)?，這個方法被廣泛的使用在許多機器學(xué)習(xí)算法中(例如：支持向量機、邏輯回歸和類神經(jīng)網(wǎng)絡(luò))。

???????

?上圖中左圖是原圖可視化，中圖是減均值后的可視化，右圖是除以標(biāo)準(zhǔn)差后的可視化。

3、中心化/零均值化（zero-centered）：

中心化，也叫零均值處理，就是將每個原始數(shù)據(jù)減去這些數(shù)據(jù)的均值。因此?中心化后的數(shù)據(jù)平均值為0，對標(biāo)準(zhǔn)差無要求。

二、聯(lián)系和差異：

歸一化和標(biāo)準(zhǔn)化的區(qū)別:

• 歸一化是將樣本的特征值轉(zhuǎn)換到同一量綱下把數(shù)據(jù)映射到[0,1]或者[-1, 1]區(qū)間內(nèi)，縮放比例僅由變量的最大、最小極值決定。
• 標(biāo)準(zhǔn)化和整體樣本分布相關(guān)，與歸一化相比，標(biāo)準(zhǔn)化中每個樣本點都能對標(biāo)準(zhǔn)化產(chǎn)生影響（通過均值和標(biāo)準(zhǔn)差造成影響）。
• 顯而易見，歸一化（Normalization）會嚴(yán)格的限定變換后數(shù)據(jù)的范圍，比如按之前最大最小值處理的Normalization，它的范圍嚴(yán)格在[0,1]之間；
  而標(biāo)準(zhǔn)化（Standardization）就沒有嚴(yán)格的區(qū)間，變換后的數(shù)據(jù)沒有范圍，只是其均值是0 0，標(biāo)準(zhǔn)差為1，變換后數(shù)據(jù)的范圍是負(fù)無窮到正無窮。

歸一化和標(biāo)準(zhǔn)化的相同點:

• 它們的相同點在于都能取消由于量綱不同引起的誤差；本質(zhì)上都是一種線性變換，因為二者都是不會改變原始數(shù)據(jù)排列順序的線性變換，都是對向量X按照比例壓縮再進(jìn)行平移。

標(biāo)準(zhǔn)化和中心化的區(qū)別：

• 標(biāo)準(zhǔn)化是原始分?jǐn)?shù)減去平均數(shù)然后除以標(biāo)準(zhǔn)差，中心化是原始分?jǐn)?shù)減去平均數(shù)。 所以一般流程為先中心化再標(biāo)準(zhǔn)化。

都能實現(xiàn)無量綱：我的理解就是通過某種方法能去掉實際過程中的單位，從而簡化計算。

總結(jié)：

對比點	歸一化	標(biāo)準(zhǔn)化
概念	將數(shù)值規(guī)約到(0,1)或(-1,1)區(qū)間	將對應(yīng)數(shù)據(jù)的分布規(guī)約在均值為0,標(biāo)準(zhǔn)差為1的分布上
側(cè)重點	數(shù)值的歸一，丟失數(shù)據(jù)的分布信息，對數(shù)據(jù)之間的距離沒有得到較好的保留，但保留了權(quán)重	數(shù)據(jù)分布的歸一，較好的保留了數(shù)據(jù)之間的分布，也即保留了樣本之間的距離，但丟失了權(quán)值
形式
缺點	1.丟失樣本間的距離信息； 2.魯棒性較差，當(dāng)有新的樣本加入時最大值與最小值很容易受異常點影響	1.丟失樣本間的權(quán)重信息；
適合場景	1.小數(shù)據(jù)/固定數(shù)據(jù)的使用； 2.不涉及距離度量、協(xié)方差計算、數(shù)據(jù)不符合正態(tài)分布的時候； 3.進(jìn)行多指標(biāo)綜合評價的時候；	1.在分類、聚類算法中，需要使用距離來度量相似性； 2.有較好的魯棒性，有產(chǎn)出取值范圍的離散數(shù)據(jù)或?qū)ψ畲笾底钚≈滴粗那闆r下；
縮放方式	先使用最小值平移，后使用最值差縮放	先使用均值u平移，之后用標(biāo)準(zhǔn)差進(jìn)行縮放
目的	便于消除量綱，將各個指標(biāo)的數(shù)據(jù)納入到綜合評價中；	便于后續(xù)的梯度下降和激活函數(shù)對數(shù)據(jù)的處理。因為標(biāo)準(zhǔn)化后，數(shù)據(jù)以0為中心左右分布，而函數(shù)sigmoid,Tanh,Softmax等也都以0為中心左右分布；

三、標(biāo)準(zhǔn)化和歸一化的多種方式

廣義的說，標(biāo)準(zhǔn)化和歸一化同為對數(shù)據(jù)的線性變化，所以我們沒必要規(guī)定死，歸一化就是必須到[0,1]之間。

1、歸一化的最通用模式Normalization，也稱線性歸一化：

2、Mean normalization：

?3、標(biāo)準(zhǔn)化(Standardization)，Z-score規(guī)范化，也叫標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化 / 零均值標(biāo)準(zhǔn)化

三、為什么要歸一化/標(biāo)準(zhǔn)化？

如前文所說，歸一化/標(biāo)準(zhǔn)化實質(zhì)是一種線性變換，線性變換有很多良好的性質(zhì)，這些性質(zhì)決定了對數(shù)據(jù)改變后不會造成“失效”，反而能提高數(shù)據(jù)的表現(xiàn)，這些性質(zhì)是歸一化/標(biāo)準(zhǔn)化的前提。比如有一個很重要的性質(zhì)：線性變換不會改變原始數(shù)據(jù)的數(shù)值排序。

3.1、數(shù)據(jù)的量綱不同；數(shù)量級差別很大

經(jīng)過標(biāo)準(zhǔn)化處理后，原始數(shù)據(jù)轉(zhuǎn)化為無量綱化指標(biāo)測評值，各指標(biāo)值處于同一數(shù)量級別，可進(jìn)行綜合測評分析。

如果直接用原始指標(biāo)值進(jìn)行分析，就會突出數(shù)值較高的指標(biāo)在綜合分析中的作用，相對削弱數(shù)值水平較低指標(biāo)的作用。

3.2、避免數(shù)值問題：太大的數(shù)會引發(fā)數(shù)值問題。

3.3、平衡各特征的貢獻(xiàn)

一些分類器需要計算樣本之間的距離（如歐氏距離），例如KNN。

如果一個特征值域范圍非常大，那么距離計算就主要取決于這個特征，從而與實際情況相悖（比如這時實際情況是值域范圍小的特征更重要）。

3.4、一些模型求解的需要：加快了梯度下降求最優(yōu)解的速度

1）在使用梯度下降的方法求解最優(yōu)化問題時， 歸一化/標(biāo)準(zhǔn)化后可以加快梯度下降的求解速度，即提升模型的收斂速度。如左圖所示，未歸一化/標(biāo)準(zhǔn)化時形成的等高線偏橢圓，迭代時很有可能走“之”字型路線（垂直長軸），從而導(dǎo)致迭代很多次才能收斂。而如右圖對兩個特征進(jìn)行了歸一化，對應(yīng)的等高線就會變圓，在梯度下降進(jìn)行求解時能較快的收斂。

示例分析假設(shè)：

theta1 為房間數(shù)量，范圍可以是 0~10

theta2?為房間面積，范圍可以是 0~1000

數(shù)據(jù)沒有歸一化的表達(dá)式，可以為：

?而數(shù)據(jù)歸一化之后，損失函數(shù)的表達(dá)式可以表示為：

從歸一化的公式中可以看到，變量的前面系數(shù)幾乎一樣，則圖像的等高線為類似圓形形狀，最優(yōu)解的尋優(yōu)過程像上圖所示。

同時，從上可以看出，數(shù)據(jù)歸一化后，最優(yōu)解的尋優(yōu)過程明顯會變得平緩，更容易正確的收斂到最優(yōu)解。?

四、什么時候用歸一化？什么時候用標(biāo)準(zhǔn)化？

4.1 歸一化、標(biāo)準(zhǔn)化使用場景

1. 如果對輸出結(jié)果范圍有要求，用歸一化。
2. 如果數(shù)據(jù)較為穩(wěn)定，不存在極端的最大最小值，用歸一化。
3. 如果數(shù)據(jù)存在異常值和較多噪音，用標(biāo)準(zhǔn)化，可以間接通過中心化避免異常值和極端值的影響。

某知乎博主分享了他個人經(jīng)驗：一般來說，我個人建議優(yōu)先使用標(biāo)準(zhǔn)。對于輸出有要求時再嘗試別的方法，如歸一化或者更加復(fù)雜的方法。很多方法都可以將輸出范圍調(diào)整到[0, 1]，如果我們對于數(shù)據(jù)的分布有假設(shè)的話，更加有效的方法是使用相對應(yīng)的概率密度函數(shù)來轉(zhuǎn)換。

4.2、所有情況都應(yīng)當(dāng)Standardization或Normalization么

當(dāng)原始數(shù)據(jù)不同維度特征的尺度(量綱)不一致時，需要標(biāo)準(zhǔn)化步驟對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化或歸一化處理，反之則不需要進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化。也不是所有的模型都需要做歸一的，比如模型算法里面有沒關(guān)于對距離的衡量，沒有關(guān)于對變量間標(biāo)準(zhǔn)差的衡量。比如決策樹，他采用算法里面沒有涉及到任何和距離等有關(guān)的，所以在做決策樹模型時，通常是不需要將變量做標(biāo)準(zhǔn)化的；另外，概率模型不需要歸一化，因為它們不關(guān)心變量的值，而是關(guān)心變量的分布和變量之間的條件概率。

五、神經(jīng)網(wǎng)絡(luò)為什么要進(jìn)行歸一化

5.1 數(shù)值問題

歸一化/標(biāo)準(zhǔn)化可以避免一些不必要的數(shù)值問題。輸入變量的數(shù)量級有可能會引起數(shù)值問題。因為tansig（tanh）的非線性區(qū)間大約在[-1.7，1.7]。意味著要使神經(jīng)元有效，tansig(w1x1 + w2x2 +b) 里的 w1x1 +w2x2 +b 數(shù)量級應(yīng)該在1.7所在的數(shù)量級左右。這時如果輸入較大，就意味著權(quán)值必須較小，一個較大，一個較小，兩者相乘，就引起數(shù)值問題了。
假如你的輸入是421，你也許認(rèn)為，這并不是一個太大的數(shù)，但因為有效權(quán)值大概會在1/421左右，結(jié)果是1左右，例如0.00243，那么，在matlab里輸入 421*0.00243 == 0.421*2.43，會發(fā)現(xiàn)不相等，這就是一個數(shù)值問題。

5.2 求解需要

a、初始化：在初始化時我們希望每個神經(jīng)元初始化成有效的狀態(tài)，tansig函數(shù)在[-1.7, 1.7]范圍內(nèi)有較好的非線性，所以我們希望函數(shù)的輸入和神經(jīng)元的初始化都能在合理的范圍內(nèi)使得每個神經(jīng)元在初始時是有效的。（如果權(quán)值初始化在[-1,1]且輸入沒有歸一化且過大，會使得神經(jīng)元飽和）

b、梯度：以輸入-隱層-輸出這樣的三層BP為例，我們知道對于輸入-隱層權(quán)值的梯度有2ew(1-a^2)*x的形式（e是誤差，w是隱層到輸出層的權(quán)重，a是隱層神經(jīng)元的值，x是輸入），若果輸出層的數(shù)量級很大，會引起e的數(shù)量級很大，同理，w為了將隱層（數(shù)量級為1）映身到輸出層，w也會很大，再加上x也很大的話，從梯度公式可以看出，三者相乘，梯度就非常大了。這時會給梯度的更新帶來數(shù)值問題。

c、學(xué)習(xí)率：由b知，梯度非常大，學(xué)習(xí)率就必須非常小，因此，學(xué)習(xí)率（學(xué)習(xí)率初始值）的選擇需要參考輸入的范圍，不如直接將數(shù)據(jù)歸一化，這樣學(xué)習(xí)率就不必再根據(jù)數(shù)據(jù)范圍作調(diào)整。 隱層到輸出層的權(quán)值梯度可以寫成 2ea，而輸入層到隱層的權(quán)值梯度為 2ew(1-a^2)x ，受 x 和 w 的影響，各個梯度的數(shù)量級不相同，因此，它們需要的學(xué)習(xí)率數(shù)量級也就不相同。對w1適合的學(xué)習(xí)率，可能相對于w2來說會太小，若果使用適合w1的學(xué)習(xí)率，會導(dǎo)致在w2方向上步進(jìn)非常慢，會消耗非常多的時間，而使用適合w2的學(xué)習(xí)率，對w1來說又太大，搜索不到適合w1的解。如果使用固定學(xué)習(xí)率，而數(shù)據(jù)沒歸一化，則后果可想而知。

d、搜索軌跡：上面已解釋過

另一篇文章：

深入探討：為什么要做特征歸一化/標(biāo)準(zhǔn)化？文章來源地址http://www.zghlxwxcb.cn/news/detail-441632.html

到了這里，關(guān)于歸一化 （Normalization）、標(biāo)準(zhǔn)化 （Standardization）和中心/零均值化 （Zero-centered）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！