數(shù)據(jù)的預(yù)處理是數(shù)據(jù)分析，或者機器學(xué)習(xí)訓(xùn)練前的重要步驟。
通過數(shù)據(jù)預(yù)處理，可以

• 提高數(shù)據(jù)質(zhì)量，處理數(shù)據(jù)的缺失值、異常值和重復(fù)值等問題，增加數(shù)據(jù)的準(zhǔn)確性和可靠性
• 整合不同數(shù)據(jù)，數(shù)據(jù)的來源和結(jié)構(gòu)可能多種多樣，分析和訓(xùn)練前要整合成一個數(shù)據(jù)集
• 提高數(shù)據(jù)性能，對數(shù)據(jù)的值進行變換，規(guī)約等（比如無量綱化），讓算法更加高效

本篇介紹的數(shù)據(jù)縮放處理，主要目的是消除數(shù)據(jù)的不同特征之間的量綱差異，使得每個特征的數(shù)值范圍相同。這樣可以避免某些特征對模型的影響過大，從而提高模型的性能。

1. 原理

數(shù)據(jù)縮放有多種方式，其中有一種按照最小值-最大值縮放的算法是最常用的。
其主要步驟如下：

1. 計算數(shù)據(jù)列的最小值（min）和最大值（max）
2. 對數(shù)據(jù)列中的每個值進行最小-最大縮放，即將其轉(zhuǎn)換為 **[0,1]區(qū)間 **之內(nèi)的一個值

縮放公式為：\(new\_data = \frac{data -min}{max-min}\)

實現(xiàn)縮放的代碼如下：

# 數(shù)據(jù)縮放的實現(xiàn)原理

data = np.array([10, 20, 30, 40, 50])
min = np.min(data)
max = np.max(data)

data_new = (data - min) / (max-min)

print("處理前: {}".format(data))
print("處理后: {}".format(data_new))

# 運行結(jié)果
處理前: [10 20 30 40 50]
處理后: [0.   0.25 0.5  0.75 1.  ]

數(shù)值被縮放到 **[0,1]區(qū)間 **之內(nèi)。
這個示例只是為了演示縮放的過程，實際場景中最好使用scikit-learn庫中的函數(shù)。

scikit-learn中的minmax_scale函數(shù)是封裝好的數(shù)據(jù)縮放函數(shù)。

from sklearn import preprocessing as pp

data = np.array([10, 20, 30, 40, 50])
pp.minmax_scale(data, feature_range=(0, 1))

# 運行結(jié)果
array([0.  , 0.25, 0.5 , 0.75, 1.  ])

使用scikit-learn中的minmax_scale函數(shù)得到的結(jié)果是一樣的，數(shù)據(jù)也被壓縮到 **[0,1]區(qū)間 **之內(nèi)。
所以 數(shù)據(jù)縮放 的這個操作有時也被稱為歸一化。

不過，數(shù)據(jù)縮放不一定非得把數(shù)據(jù)壓縮到 **[0,1]區(qū)間 **之內(nèi)，
通過調(diào)整feature_range參數(shù)，可以把數(shù)據(jù)壓縮到任意的區(qū)間。

# 壓縮到[0, 1]
print(pp.minmax_scale(data, feature_range=(0, 1)))

# 壓縮到[-1, 1]
print(pp.minmax_scale(data, feature_range=(-1, 1)))

# 壓縮到[0, 5]
print(pp.minmax_scale(data, feature_range=(0, 5)))

# 運行結(jié)果
[0.   0.25 0.5  0.75 1.  ]
[-1.  -0.5  0.   0.5  1. ]
[0.   1.25 2.5  3.75 5.  ]

2. 作用

數(shù)據(jù)縮放的作用主要有：

2.1. 統(tǒng)一數(shù)據(jù)尺度

通過縮放處理，將不同量綱、不同尺度、不同單位的數(shù)據(jù)轉(zhuǎn)換成一個統(tǒng)一的尺度，
避免由于數(shù)據(jù)量綱不一致而導(dǎo)致的數(shù)據(jù)分析結(jié)果失真或誤導(dǎo)。

2.2. 增強數(shù)據(jù)可比性

通過縮放處理，將不同量綱、不同尺度、不同單位的數(shù)據(jù)轉(zhuǎn)換成一個統(tǒng)一的尺度，使得不同數(shù)據(jù)之間的比較更加方便和有意義。
例如，在評價多個樣本的性能時，如果采用不同的量綱、不同尺度、不同單位進行比較，會導(dǎo)致比較結(jié)果不準(zhǔn)確甚至誤導(dǎo)。
通過統(tǒng)一的縮放處理之后，可以消除這種影響，使得比較結(jié)果更加準(zhǔn)確可信。

2.3. 增強數(shù)據(jù)穩(wěn)定性

通過縮放處理，將數(shù)據(jù)的數(shù)值范圍調(diào)整到一個相對較小的區(qū)間內(nèi)，
增加數(shù)據(jù)的穩(wěn)定性，避免由于數(shù)據(jù)分布范圍過大或過小而導(dǎo)致的分析誤差或計算誤差。

2.4. 提高算法效率和精度

通過縮放處理，使得一些計算算法的效率和精度得到提高。
例如，在神經(jīng)網(wǎng)絡(luò)算法中，如果輸入數(shù)據(jù)的尺度過大或過小，會導(dǎo)致算法訓(xùn)練時間過長或過短，同時也會影響算法的精度和穩(wěn)定性。
而縮放處理之后，就可以使算法的訓(xùn)練時間和精度得到優(yōu)化。

3. 總結(jié)

在scikit-learn庫中，處理數(shù)據(jù)縮放不是只有上面的最小值-最大值縮放，
還可用StandardScaler進行標(biāo)準(zhǔn)化縮放；用RobustScaler實現(xiàn)尺度縮放和平移等等。

進行數(shù)據(jù)縮放時，需要注意一點，就是縮放處理對異常值非常敏感，
如果數(shù)據(jù)中存在極大或者極小的異常值時，有可能會破壞原始數(shù)據(jù)本身。
所以，縮放處理前，最好把異常值過濾掉。文章來源地址http://www.zghlxwxcb.cn/news/detail-759996.html

到了這里，關(guān)于【scikit-learn基礎(chǔ)】--『預(yù)處理』之 數(shù)據(jù)縮放的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！