一、非齊次線性方程組AX=b的最小二乘解
超定方程組無解是因為方程組包含了過多的約束條件，無法滿足所有的約束條件，在這種情況下，方程組的某些方程必然是矛盾的，也就是說，他們描述的條件是不兼容的，無法同時滿足。 所以求解超定方程組其實是一個擬合問題，其基本思想是最小化所有方程的誤差平方和，從而得到最優(yōu)的解！
矩陣A列滿秩表示的意思：就是我們要求的q個變量x是互相無關的（沒有向量可用有限個其他向量的線性組合所表示），必須要把這q個變量都求出來才行，不能說求出q-1個就能把q個變量決定。
然后說一下當矩陣A列滿秩的第二種情況：p=q表示A矩陣是個方陣，又因為是列滿秩，所以是一個滿秩的方陣，由于滿秩的性質(zhì)那么A的行列式不等于0。這時候Ax=y這個方程就很好求了，方程左右乘A的逆，就有唯一解了。
我們要關注的求最小二乘解，就是當矩陣A列滿秩的第三種情況p＞q：p＞q就是表示我給的約束要比你求的參數(shù)多。這個時候我們定義一個能量函數(shù)E(x)，讓A和x乘完后與y越接近越好。即讓Ax-y的總誤差越接近于0越好。這個時候求出的解就叫最小二乘解。兩根豎線是表示求向量的?；蛘呖醋鯨2范數(shù)。
因此對于線性最小二乘問題，只要ATA非奇異，就可以用上圖的求解方法1求解（A列滿秩已經(jīng)保證了ATA非奇異了，因為A列滿秩-》A滿秩-》ATA可逆(非奇異））。ATA是否可逆取決于該A是否是滿秩矩陣（PS：不管矩陣A是不是方陣，列的秩和行的秩都是一樣的，所以是否滿秩看列或行的一個秩即可），如果不是A滿秩矩陣，說明約束不夠，這個方法無效，如果可逆那么這個問題就有唯一解！（PS：矩陣非奇異通常也被稱為可逆矩陣，是等價的概念！是指一個方陣的行列式不等于零。）
二、齊次線性方程組AX=0的最小二乘解
在這種情況下，要關注的求最小二乘解，同樣是當矩陣A列滿秩的第三種情況p＞q：這個時候我們同樣還是用上面的求解方法1對x求偏導，然后令導數(shù)等于0，但我們發(fā)現(xiàn)這樣求解出的未知數(shù)x向量其實是一個0向量，但多數(shù)情況下，我們對0解沒有興趣，我們想要的是非0解，所以必須給X加一個約束，讓X在滿足條件的情況下使得║AX║的平方最小，于是就構造了一個帶約束的最小二乘問題。
三、非線性方程組的最小二乘解
非線性最小二乘求解的問題，如果未知數(shù)X列向量的元素都寫成一次項的話，就不能把方程組的系數(shù)寫成上述線性方程組中的矩陣A的形式了，這同時也說明了矩陣只適用于對X做線性變換的性質(zhì)，對于做非線性變換的變換，矩陣表示不出來。（PS：矩陣的線性變換可以用來描述向量的旋轉(zhuǎn)、縮放、投影等變換。）
文章來源：http://www.zghlxwxcb.cn/news/detail-478799.html
Refer：線性方程組的最小二乘解文章來源地址http://www.zghlxwxcb.cn/news/detail-478799.html
到了這里，關于線性方程組AX=b，AX=0以及非線性方程組的最小二乘解（解方程組-＞優(yōu)化問題）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
