最小二乘在直線擬合上的應(yīng)用

在前一篇最小二乘的文章中：

線性代數(shù) --- 投影與最小二乘 下(多元方程組的最小二乘解與向量在多維子空間上的投影)_松下J27的博客-CSDN博客多變量方程組的最小二乘，向量到多維子空間上的投影。https://blog.csdn.net/daduzimama/article/details/129559433?spm=1001.2014.3001.5501

我們知道了：1，正規(guī)方程，?2，計算最優(yōu)解的方法，3，計算投影的方法

????????在這篇文章中，我會從最小二乘在擬合直線上的應(yīng)用開始，先是用實例來說明最小二乘的實際應(yīng)用。緊接著，我會從這個例子出發(fā)，循序漸進(jìn)的引出為什么我們希望A的列向量不僅僅是相互獨立的，更希望他們是相互正交的。從而導(dǎo)出，如何令A(yù)的列向量彼此正交，這就是著名的Gram-Schmidt正交化。（需要再次重申的是，學(xué)習(xí)不是為了考試，不是為了背公式，更不需要題海戰(zhàn)術(shù)，而是“知其(Gram-Schmidt)然，知其(Gram-Schmidt)所以然”）

擬合直線

? ? ? ? 擬合直線可以說是最小二乘最好的應(yīng)用之一。簡而言之，就是用m>2個點(也可以說是m個觀測點，及其所對應(yīng)的m個數(shù)據(jù))去擬合一條直線。

? ? ? ? 對某個實驗而言，如果他的實驗結(jié)果是線性的，且沒有任何實驗誤差，則兩次實驗的結(jié)果就能確定一條符合這一實驗規(guī)律的直線b=C+Dt，而且后續(xù)所有的實驗結(jié)果都應(yīng)當(dāng)落在這條直線上。假定現(xiàn)有m個實驗結(jié)果，他們在橫坐標(biāo)上的值為,,...,，他們在縱坐標(biāo)中所對應(yīng)的值分別是,,...,?，F(xiàn)在我們用方程=C+D表示一條穿過這些點的直線，得到如下方程組：

????????如果m個實驗結(jié)果都沒有誤差，則，上述方程組有解，且有唯一解C,D。但，如果實驗結(jié)果有誤差，則不可能找到一個完美的C,D，讓這條直線穿過所有的點。這是一個(overdetermined system)超定方程組，m>2個方程，2個未知數(shù)，方程組無解。用矩陣來表示為：

????????因?qū)嶒灲Y(jié)果的誤差導(dǎo)致方程組無解，因此，我們只能找一條盡可能貼近所有點的直線。對于矩陣A而言，他有兩個列向量，方程組無解，所以無法通過線性組合得到等式右端的列向量。在維持A的兩個列向量不變的情況下，我們通過新的線性組合，，在A的列空間中找到了最接近向量b的向量p，即，b在A的列空間C(A)上的投影。

? ? ? ? 同時，也最小化了每個點與直線之間的縱向誤差，即，最小化。其中，。（但這不是我推崇的思維，應(yīng)該優(yōu)先考慮用投影的角度思考?。?/p>

方程左右兩邊同時乘以，得到“正規(guī)方程(Normal Equation)”：

(或,其中P為投影矩陣)

其中等式左邊等于：

?等式右邊等于：

最終得到：

?Example 1:

?如圖（a），在一個實驗中的不同時刻t1,t2,t3下，得到三組測量值b1,b3,b3，分別是(注意，他們并不是等間隔的)：

?對應(yīng)的方程組為：

????????方程組無解，因為這三點不在一條直線上。通過求解最小二乘方程組，聯(lián)立正規(guī)方程。

????????????????????????????????

左邊：

右邊：

得到：

?最終得到最優(yōu)解為，,。?

?

對應(yīng)的最佳擬合直線為：

投影p為：

????????現(xiàn)在我們結(jié)合下圖（b），從投影的角度來回顧一下這個問題。 向量b無法通過矩陣A的兩個列向量[1,1,1]和[-1，1,2]通過線性組合得到，因為，b不在A的列空間內(nèi)。通過把向量b投影到A的列空間上，在A的列空間上找到了一個離向量b最近的向量p，這個投影向量p可以通過A的兩個列向量的線性組合得到，線性組合的權(quán)重為?,?。

?Attention:

????????現(xiàn)在，我們已經(jīng)得到了最優(yōu)擬合的直線方程f(t)=9/7+4/7t，我們把t=(-1, 1, 2)時在直線上所對應(yīng)的點求出來，看看有什么神奇的事發(fā)生！

當(dāng)t=-1時，f(t=-1)=9/7-4/7=5/7，當(dāng)t=1時，f(t=1)=9/7+4/7=13/7，當(dāng)t=2時，f(t=2)=9/7+8/7=17/7。然后把這些點繪制到圖（a）上，并且把圖（a）和圖（b）放在一起看。

? ? ? ? 接下來我們會看到，這兩幅圖以不同的藝術(shù)形式描述了同一個數(shù)學(xué)問題, 且, 他們是密切相關(guān)的！

關(guān)聯(lián)1：投影向量p

????????最開始，我們在圖（a）中，描繪了三個不在同一直線上的數(shù)據(jù)點(t1=-1,b1=1),(t2=1,b2=1),(t3=2,b3=3)。然后，我們用投影的方式/求解正規(guī)方程的方式求得了最小二乘解，同時也求出了向量b在A的列空間C(A)上的投影向量p=[5/7, 13/7, 17/7]，這些都體現(xiàn)在了圖（b）中。最后，我們根據(jù)最優(yōu)擬合直線的函數(shù)，算出了t=(t1,t2,t3)時在直線上所對應(yīng)的數(shù)據(jù)點(t1=-1,p1=5/7),(t2=1,p2=13/7),(t3=2,p3=17/7)，并繪制到圖（a）中。

? ? ? ? 可見，投影向量p中三個元素的值，正好是擬合直線上t所對應(yīng)的點。對于圖（b）而言，用線性代數(shù)的語言說，是把b拉到了子空間C(A)上。對于圖（a）而言，通過最小化每個點到最優(yōu)擬合直線上的距離e1,e2,e3，把本不在同一直線上的三個點b1,b2,b3拉到了同一條直線上。且p1,p2,p3正好等于投影向量p中元素的值。

? ? ? ? 換句話說，“把b投影到A的列空間上”和“把三個原始數(shù)據(jù)點(t1,b1),(t2,b2),(t3,b3)移到了同一條直線上”，這兩個概念是等同的。

關(guān)聯(lián)2：誤差向量e

向量b減去投影向量p，就能得到誤差向量e(他垂直于C(A))：

向量e中的每個元素值的含義是什么??實際上就是圖（a）中，每個b與p之間的誤差。

（全文完）

作者 --- 松下J27

參考文獻(xiàn)(鳴謝)：

1，線性代數(shù)及其應(yīng)用，侯自新，南開大學(xué)出版社，1990.

2，Linear Algebra and Its Applications(Fourth Edition) - Gilbert Strang（文中大部分插圖來自于這本書）

3，Introduction to Linear Algebra，F(xiàn)ifth Edition - Gilbert Strang

格言摘抄：

????????吾嘗終日而思矣，不如須臾之所學(xué)也；吾嘗跂而望矣，不如登高之博見也。---《勸學(xué)》

（配圖與本文無關(guān)）

版權(quán)聲明：文中的部分圖片，文字或者其他素材，可能來自很多不同的網(wǎng)站和說明，在此沒法一一列出，如有侵權(quán)，請告知，立即刪除。歡迎大家轉(zhuǎn)載，但是，如果有人引用或者COPY我的文章，必須在你的文章中注明你所使用的圖片或者文字來自于我的文章，否則，侵權(quán)必究。 ----松下J27文章來源地址http://www.zghlxwxcb.cn/news/detail-406077.html

到了這里，關(guān)于線性代數(shù) --- 最小二乘在直線擬合上的應(yīng)用與Gram-Schmidt正交化的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！