向量b在多維子空間上的投影

回顧：任意向量b在另一個(gè)向量上（直線上）的投影

在研究向量在子空間上的投影前，先回顧一下前面學(xué)習(xí)的一個(gè)任意向量b在另一個(gè)向量a上的投影，共三個(gè)部分。

1，求權(quán)重系數(shù)（A constant）

基于投影即分量的理論，一個(gè)向量b在另一個(gè)向量a上的投影p，是b在a方向上的分量。投影p與向量a的方向相同，但大小不同，而這個(gè)大小就是b在p（a）上分量的多少。因?yàn)椋覀冏钕妊芯康氖侨绾斡?jì)算出向量a所乘的常數(shù)項(xiàng)權(quán)重系數(shù)。（這里我覺得叫英文中的scale也很貼切）

2, p (A vector)

有了前面的常數(shù)項(xiàng)系數(shù)/權(quán)重系數(shù)，我們就可以求出向量b在向量a上的投影p，其中a已知。

3, P (A matrix)

重新改變一下上式中的乘法順序，就能找到可以把任何向量都投影到向量a上的投影矩陣P（下圖中用紅色方框框出的）。

從投影到列空間（向量在直線上的投影）：

把一個(gè)向量b投影到另一個(gè)向量a上，他不僅僅是投影到了一個(gè)向量上，他更是投影到了向量a所在的一條直線上，而這條直線就是向量a通過線性組合所張成的。如果把列向量a看作是一個(gè)nx1矩陣A中的列，那么a所張成的這條直線(一個(gè)一維子空間)就是矩陣A的列空間。這樣一來，b在a上的投影就不單單是在一個(gè)向量上的投影，更是在A的列空間上的投影。

例：在二維空間中，x軸和y軸分別是由列向量，所張成的兩條直線。

如果把列向量看成是2x1的矩陣中的列，把看成是2x1的矩陣中的列。則x軸和y軸這兩條過0點(diǎn)的直線，就是，所張成的兩個(gè)一維子空間(即，的列空間和的列空間)。在二維空間中的任意向量b，在x軸上的投影和在y軸上的投影，實(shí)際上就是投影在了以為列的2x1矩陣的列空間上，和投影在了以為列的2x1矩陣的列空間上。

推廣到多維：

設(shè)，列向量(共m個(gè)元素)是多維空間中的某個(gè)基向量。

然后令列向量為mx1矩陣中的列，得到矩陣An。則，任意向量b，在所張成的直線上的投影，實(shí)際上也是在nx1矩陣An的列空間上的投影，其中屬于An的列空間。

---

從向量b在直線(向量)上的投影，到向量b在多維子空間上的投影：

前面說的b在直線（向量）上的投影，基本上可以看成是b在n維(當(dāng)n=1時(shí))子空間上的投影。當(dāng)n>1時(shí)，我們投影的對(duì)象就不再是一條直線，而是一個(gè)平面，一個(gè)三維空間，或者是一個(gè)更高維度的子空間。

實(shí)際上，不論b在幾維空間上的投影。只要牢牢抓住以下幾個(gè)核心概念即可：

1，投影即分量

2，投影向量p在投影目標(biāo)的子空間（列空間）內(nèi)

3，什么是列空間

為了更好的理解如何計(jì)算向量b在多維子空間上的投影，我把研究過程分成了正向推導(dǎo)和逆向推導(dǎo)兩部分：

正向推導(dǎo)：

我的正向推導(dǎo)過程，更多的是基于向量的幾何關(guān)系和投影即分量的意義"直接"得到的。我們先從下面的這個(gè)例子開始。向量b=[1 2 3]'是中的一個(gè)向量，它不在x-y平面上。而x-y平面，是由向量a1=[1 0]'和向量a2=[0 1]'所張成的一個(gè)二維子空間，它屬于。現(xiàn)在，我們要把這個(gè)不在x-y平面上的向量b投影到x-y平面上。

根據(jù)投影即分量的原則，b在x-y平面上的投影p等于[1 2]'，這是根據(jù)幾何關(guān)系直觀得到的（向量b中的第三個(gè)元素，屬于b在z軸上的分量）。這里，如果我們?cè)龠M(jìn)一步拆分，我們會(huì)發(fā)現(xiàn)，b在x-y二維子空間上的投影，又可以進(jìn)一步被拆分成了p在另外兩個(gè)向量a1和a2上的投影p1=[1 0]'和p2=[0 2]'。也就是說，b在二維子空間x-y平面上的投影p，等于它在x軸上的二次投影p1=[1 0]'和它在y軸上的二次投影p2=[0 2]'的和。

（注：[x x x x]' 表示列向量）

p1和p2是什么？那不就是向量b在向量a1所在直線x軸和向量a2所在直線y軸上的直接投影嗎？！換句話說，通過對(duì)向量b進(jìn)行多次投影/分解后得到的子投影p1和p2和把向量b直接投影到a1,a2上所得到的投影是一樣的。

也就是說，要想找到b在x-y平面上的投影p，只需直接計(jì)算b在x軸(a1)和y軸(a2)上的投影p1,p2即可，因?yàn)樗麄兌咧驼玫扔谖覀円业腷在x-y平面上的投影p。

這樣一來，我們就把求解向量b在二維子空間上的投影的問題，變成了直接求解向量b在x軸(向量a1所張成的),y軸(向量a2所張成的)上投影的問題，這是我們之前已經(jīng)掌握了的知識(shí)。只需要分別求出a1前面的常數(shù)項(xiàng)系數(shù)=1和a2所乘的常數(shù)項(xiàng)系數(shù)=2即可。

如需求解b在更高維度子空間上的投影，只需要一一求出b在子空間每一個(gè)基向量上的投影，然后再把他們加起來就行了。即：

逆向推導(dǎo)：

前面的正向推導(dǎo)過程，我其實(shí)更多的是根據(jù)直覺(缺乏數(shù)學(xué)論證)，利用三維空間中的幾何關(guān)系逐步分解b向量的過程（如果b所投影的目標(biāo)子空間的維度非常大，就需要不斷的對(duì)子投影分解，直到不能再分解為止。），它說明了b在子空間上的投影(分量)p等于多個(gè)子投影(子分量)p1,p2的和，且，計(jì)算p1,p2時(shí)，可以跳過一步步的分解過程，直接計(jì)算向量b在x軸和y軸上的投影即可。

逆向推導(dǎo)過程和前面不同，前面的三維空間是現(xiàn)成的（已知的），重在對(duì)于分解的理解。而逆向推導(dǎo)要用已知向量去構(gòu)造子空間，更像是一個(gè)回溯/追根溯源的過程。最終，也會(huì)得到和前面相同的結(jié)論，更重要的是，在這一節(jié)，會(huì)推導(dǎo)出更加快速，更加通用的計(jì)算投影p的方法。（這也是教科書上常用的方法）

現(xiàn)有兩個(gè)已知的線性無關(guān)向量a1,a2(共m個(gè)元素)，他們共同張成了一個(gè)二維子空間W。由于b在子空間W上的投影p必在W內(nèi)，因而，p一定可以通過向量a1和a2的線性組合得到。即，以p=a1+a2的方式進(jìn)行線性組合，其中，，都是常數(shù)，是向量a1,a2在進(jìn)行線性組合時(shí)的權(quán)重系數(shù)。用線性代數(shù)的語(yǔ)言表示就是：

(注意，這里我只是暫時(shí)用和表示權(quán)重系數(shù)，還沒有證明這里線性組合所使用的權(quán)重系數(shù)，正好等于b在a1,a2上的投影p1,p2的權(quán)重系數(shù)。也就是說，到目前為止，我還沒有證明這里通過線性組合的方式"合成"投影向量p的兩個(gè)分量a1,a2正好也是P在另外兩個(gè)方向上的子投影p1和p2。所以，這里的和，只能看成是一個(gè)普通的常數(shù)項(xiàng)權(quán)重系數(shù))

對(duì)上式進(jìn)行改寫，我們就能得到如下公式：

其中，矩陣A是向量a1,a2組成的矩陣，矩陣的第一列為列向量a1,矩陣的第二列為列向量a2。向量是由權(quán)重系數(shù)組成的列向量。

得到：

這個(gè)公式賦予了投影p另一層含義。即，子空間W不再只是a1,a2所張成的子空間，更是矩陣A的列空間。投影p不再只是a1和a2的線性組合，更是屬于矩陣A的列空間。

A的列空間是什么？！A的列空間就是矩陣A中各列所有可能的線性組合。我所要找的投影p只是這眾多組合中的一種，在本例中，這種組合各列所對(duì)應(yīng)的權(quán)重就是和。

從2個(gè)線性無關(guān)的列向量到n個(gè)線性無關(guān)的列向量：

現(xiàn)在，我們把線性無關(guān)的向量個(gè)數(shù)從a1,a2,...一直增加到an個(gè)（假設(shè)每個(gè)列向量都包含m個(gè)元素）。對(duì)于他們共同所張成的m維子空間而言，投影p一定可以通過a1,a2,...an的線性組合得到，對(duì)應(yīng)的權(quán)重系數(shù)也從之前的兩個(gè)變成了n個(gè)，，,...。

改變乘法的順序然后再展開有：

這樣一來，向量b在m維子空間上的投影p就不單單是幾個(gè)向量的線性組合，而是屬于mxn矩陣A的列空間，其中矩陣A等于：

等于：

這樣一來，我們要想求出向量b在m維度子空間上的投影，只需求出向量即可。(注意：和前面的說明一樣，不論是我們這里的p1,p2...pn，還是，,...都不能看成是投影，也不能看成是一維投影中的投影系數(shù)，只能看作普通的數(shù)學(xué)符號(hào)。因?yàn)椋覀儠簳r(shí)還沒從數(shù)學(xué)上證明線性組合出投影p的所使用的權(quán)重，正好就是b在每個(gè)列向量上的投影所對(duì)應(yīng)的權(quán)重系數(shù)，,...）

---

誤差向量e正交于所要投影的子空間：

求解向量的秘訣，就在于巧妙的利用幾何上的正交。

如圖，n個(gè)線性無關(guān)的列向量a1,a2...an所構(gòu)成的mxn矩陣A的列空間col(A)為W，屬于。向量b在W上的投影為p，p在W內(nèi)。p到b之間的誤差向量e(mx1)為：

由于我們所求的投影p是b在某個(gè)多維子空間上的投影。故而，從幾何關(guān)系上說：誤差向量e不僅垂直于投影向量p, 更是垂直于整個(gè)子空間W，即,垂直于矩陣A的列空間W。又因?yàn)?，A的列空間是由n個(gè)線性無關(guān)的列向量a1,a2...an所張成，且，這些向量也都在子空間內(nèi)。

故此，誤差向量e垂直于每一個(gè)列向量。根據(jù)兩個(gè)相互垂直的列向量，他們的內(nèi)積為0。有：

正好得到一個(gè)關(guān)于權(quán)重向量的方程(踏破鐵鞋無覓處，得來全不費(fèi)工夫!)，是這個(gè)方程組的系數(shù)矩陣，A已知。

這樣一來，我們就找到了可以一次性直接求出對(duì)應(yīng)于a1,a2,....an的n個(gè)權(quán)重系數(shù)，,...的快速方法：

繼而，我們就能直接求出向量b在m維子空間(A的列空間)上的投影p(mx1)，以及能把任意向量都投影到m維度子空間(A的列空間)上的投影矩陣P(mxm)：

我們把他和之前學(xué)習(xí)的一維投影，即，一個(gè)向量b在另一個(gè)向量a上的投影的結(jié)論做了一個(gè)比較：

這兩個(gè)結(jié)果極為相似，一維投影中的1/(一個(gè)常數(shù)的倒數(shù))，在多維子空間的投影中變成了(一個(gè)逆矩陣)。

1，對(duì)而言，一維投影是一個(gè)常數(shù)，而在多維中是包含n個(gè)權(quán)重系數(shù)一個(gè)向量。

2，對(duì)于投影向量p而言，一維投影表示的是一個(gè)對(duì)單個(gè)向量a的縮放(Scale)后的結(jié)果。而在多維矩陣中，表示的是多個(gè)對(duì)多個(gè)向量a的縮放后的綜合結(jié)果。

A的左零空間的妙用：

上文提到，在求解向量時(shí)，基于誤差向量e垂直于整個(gè)所要投影的子空間，因而也垂直于張成這個(gè)子空間的每一個(gè)列向量，這一幾何關(guān)系求出了向量(nx1)：

可如果我們?cè)僮屑?xì)看看上面我用紅色方框框出來的方程，它其實(shí)還包含了另一層意思，那就是正因?yàn)檎`差向量e垂直于A的列空間，所以e屬于A的左零空間。根據(jù)線性代數(shù)基本定理，A的列空間正交于A的左零空間，且，A的列空間與左零空間互為正交補(bǔ)，即：

也就是說，根據(jù)“垂直于A的列空間的任意向量，必然屬于A的左零空間”這一定理，我們同樣可以推導(dǎo)出計(jì)算向量的公式，得到和前面一樣的結(jié)果。

總結(jié)：

（全文完）

作者 --- 松下J27

參考文獻(xiàn)(鳴謝)：

1，線性代數(shù)及其應(yīng)用，侯自新，南開大學(xué)出版社，1990.

2，Linear Algebra and Its Applications(Fourth Edition) - Gilbert Strang

3，Introduction to Linear Algebra，F(xiàn)ifth Edition - Gilbert Strang

本文于2023年2月13日，修正了“A的左零空間的妙用”的一張插圖中的錯(cuò)誤。

本文于2023年3月對(duì)文中的一些不嚴(yán)謹(jǐn)?shù)恼f法做了修改，對(duì)插圖中的一些影響觀看的水印做了處理，也修復(fù)了插圖中的一些問題。

格言摘抄：

傳統(tǒng)觀念的死結(jié)就在一個(gè)“靠”字上，在家靠父母，出門靠朋友，靠上帝、靠菩薩、靠上天……總之靠什么都行，就是別靠自己，所以就只能在精神上跪著。 —— 丁元英《天道》

（配圖與本文無關(guān)）

版權(quán)聲明：所有的筆記，可能來自很多不同的網(wǎng)站和說明，在此沒法一一列出，如有侵權(quán)，請(qǐng)告知，立即刪除。歡迎大家轉(zhuǎn)載，但是，如果有人引用或者COPY我的文章，必須在你的文章中注明你所使用的圖片或者文字來自于我的文章，否則，侵權(quán)必究。 ----松下J27文章來源地址http://www.zghlxwxcb.cn/news/detail-795275.html