原理
最小二乘法由勒讓德（A.M.Legendre）于1805年在其著作《計(jì)算彗星軌道的新方法》中提出，主要思想是最小化誤差二次方和尋找數(shù)據(jù)的最佳匹配函數(shù)，利用最小二乘法求解未知參數(shù)，使得理論值與觀測(cè)值之差（即誤差，或稱為殘差）的二次方和達(dá)到最小，即：
E = ∑ i = 1 n ? i 2 = ∑ i = 1 n ( y i ? y ^ ) 2 E=\sum_{i=1}^{n}\epsilon_i^2=\sum_{i=1}^{n}(y_i-\hat{y})^2 E=i=1∑n??i2?=i=1∑n?(yi??y^?)2
其中， y ^ \hat{y} y^?是樣本數(shù)據(jù)； y i y_i yi?是假設(shè)擬合函數(shù)。
示例
下面是一個(gè)簡(jiǎn)單的例子：
假設(shè)通過(guò)觀測(cè)或?qū)嶒?yàn)得到一組 ( x , y ) (x,y) (x,y)數(shù)據(jù)： ( 1 , 6 ) , ( 3 , 5 ) , ( 5 , 7 ) , ( 6 , 12 ) (1,6),(3,5),(5,7),(6,12) (1,6),(3,5),(5,7),(6,12)。目標(biāo)是用一條與這幾個(gè)點(diǎn)最匹配的直線來(lái)表示出這些數(shù)據(jù)之間的關(guān)系。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-833200.html
通過(guò)分析數(shù)據(jù)可知，這些點(diǎn)差不多分布在一條直線上，因此可以利用線性式子： y = a x + b y=ax+b y=ax+b表示它們之間的關(guān)系，設(shè)方程組如下：
{ 6 = a + b 5 = 3 a + b 7 = 5 a + b 12 = 6 a + b \begin {cases} 6=a+b\\5=3a+b\\7=5a+b\\12=6a+b \end {cases} ?
?
??6=a+b5=3a+b7=5a+b12=6a+b?
這樣就需確定參數(shù) a 和 b a和b a和b的值，通常這樣的 a 和 b a和b a和b是不存在的，也就是找不到一條直線穿過(guò)所有的點(diǎn)。我們希望能找到一條線與這些點(diǎn)距離最近的線。
假設(shè)有某個(gè)方法可以確定 a 和 b a和b a和b，則按 y = a x + b y=ax+b y=ax+b，給出一個(gè)x便可以計(jì)算出一個(gè) y y y，記作 y i = a x i + b y_i=ax_i+b yi?=axi?+b。 y i y_i yi?稱為 y y y的估計(jì)值，它們之間的差(通常稱為殘差) ? k = y i ? y \epsilon_k=y_i-y ?k?=yi??y無(wú)疑是衡量被確定的參數(shù) a 和 b a和b a和b（也就是近似多項(xiàng)式 y = a x + b y=ax+b y=ax+b）好壞的重要標(biāo)志。
可以規(guī)定許多原則來(lái)確定參數(shù) a a a和 b b b，例如：文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-833200.html
- 使殘差絕對(duì)值中最大的一個(gè)達(dá)到最小，即 T = m a x ( ∣ ? k ∣ ) T=max(|\epsilon_k|) T=max(∣?k?∣)。
- 使殘差絕對(duì)值之和達(dá)到最小，即 ∑ i = 1 k ∣ ? k ∣ \sum_{i=1}^{k}|\epsilon_k| ∑i=1k?∣?k?∣為最小。
- 使殘差的二次方和達(dá)到最小，即 ∑ i = 1 k ? k 2 \sum_{i=1}^{k}\epsilon_k^2 ∑
到了這里，關(guān)于人工智能之?dāng)?shù)學(xué)基礎(chǔ)【最小二乘法】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
