• 參考：麻省理工線性代數(shù)
• 閱讀本文前請(qǐng)先了解矩陣四個(gè)基本子空間，參考：線性代數(shù)拾遺（5） —— 矩陣的四個(gè)基本子空間

1. 向量投影到一維空間（向量間投影）

• 考察二維平面投影，如下將向量 $b$ 投影到向量 $a$ 方向，得到 $a$ 的子空間中的向量 $p$，假設(shè)是 $a$ 的 $x$ 倍
  

  如圖可見 $b?p$ 可以衡量 $a,b$ 間的誤差，它與向量 $a$ 正交，內(nèi)積為 0，即有
  $$\begin{array}{rl}& a^{?}(b?p)=a^{?}(b?xa)=0\\ & ?x=\frac{a^{?}b}{a^{?}a}\\ & ?p=ax=a\frac{a^{?}b}{a^{?}a}=(\frac{a{a}^{?}}{a^{?}a})b\end{array}$$ 這時(shí)，我們把 $\frac{\mathbf{a}{\mathbf{a}}^{?}}{{\mathbf{a}}^{?}\mathbf{a}}$ 稱為 投影矩陣，記為 $P$，用它左乘原始向量 $b$ 就得到投影向量 $p$，即 $Pb=p$

• 兩種特殊情況

  1. 若 $b$ 和 $a$ 平行，有 $Pb=b$
  2. 若 $b$ 和 $a$ 正交，有 $Pb=0$

  二維空間中，平行和正交于向量 $a$ 的兩個(gè)向量構(gòu)成一組基，可以線性表出任意向量，投影本質(zhì)就是保留平行部分而消除正交部分

• 研究投影矩陣 $P=\frac{\mathbf{a}{\mathbf{a}}^{?}}{{\mathbf{a}}^{?}\mathbf{a}}$ 性質(zhì)

  1. 分子 ${\mathbf{a}}^{?}\mathbf{a}$ 是向量?jī)?nèi)積，是個(gè)常數(shù)，不管它
  2. 分子 $\mathbf{a}{\mathbf{a}}^{?}$，這是個(gè)矩陣，顯然有 $\text{rank}(A)=1$，其列空間就是 $ka$，因此用投影矩陣左乘向量會(huì)把向量變換到其列空間 $ka$ 中，實(shí)現(xiàn)投影

     注：用矩陣左乘一個(gè)向量時(shí)，相當(dāng)于對(duì)這個(gè)矩陣的列向量做線性組合，得到的向量位于矩陣的列空間中

  3. $\mathbf{a}{\mathbf{a}}^{?}$ 對(duì)稱，所以 $p$ 是對(duì)稱矩陣，$P=P^{?}$
  4. 重復(fù)投影兩次，結(jié)果不變，即有 $P^2=P$

     這個(gè)也可以簡(jiǎn)單地展開計(jì)算驗(yàn)證

• 另外提一句， 假設(shè)向量 $a,b$ 夾角為 $\theta$，常見的向量?jī)?nèi)積 $$a^{?}b=||b||?||a||?cos(\theta )$$ 計(jì)算的就是一個(gè)向量的模乘以另一個(gè)向量在此向量上投影的模長(zhǎng)。如果把其中某一個(gè)向量的模長(zhǎng)設(shè)為1（即變?yōu)閱挝幌蛄浚詈笤俪艘栽撓蛄?，就得到投影向量，?br> 當(dāng)投影方向不是單位向量時(shí)，增加其模的倒數(shù)進(jìn)行縮放，如上圖中的 $p=||b||cos(\theta )\frac{\mathbf{a}}{||\mathbf{a}||}$

2. 向量投影到多維空間

2.1 計(jì)算方法

• 完全和第 1 節(jié)中二維情況完全類似，現(xiàn)有矩陣 $A$，將向量 $b$ 投影到 $A$ 列向量 $a_1,a_2,...,a_n$ 張成的空間中得到 $p$。三維情況示意圖如下
  可見這時(shí)仍有 $e=b?p$ 可以衡量 $b$ 和 $A$ 列空間間的誤差，我們希望希望二者正交（也就是希望誤差最小化），這意味著 $b$ 與 $A$ 的所有列向量正交，內(nèi)積均為 0；另一方面，這時(shí) $p$ 在 $A$ 列空間中，故能用 $A$ 的列向量線性表示，設(shè) $p=A\hat{x}$，則有
  ???? [ a 1 ? a 2 ? ? a m ? ] ( b ? p ) = [ a 1 ? a 2 ? ? a m ? ] ( b ? A x ^ ) = [ 0 0 ? 0 ] ? A ? ( b ? A x ^ ) = 0 ? x ^ = ( A ? A ) ? 1 A ? b ? p = A x ^ = A ( A ? A ) ? 1 A ? b \begin{aligned} &\space\space\space\space\begin{bmatrix} \pmb{a}_1^\top \\ \pmb{a}_2^\top \\ \vdots\\ \pmb{a}_m^\top \end{bmatrix} (\pmb{b-p}) = \begin{bmatrix} \pmb{a}_1^\top \\ \pmb{a}_2^\top \\ \vdots\\ \pmb{a}_m^\top \end{bmatrix} (\pmb-\pmb{A}\pmb{\hat{x}}) = \begin{bmatrix} \pmb{0}\\ \pmb{0} \\ \vdots\\ \pmb{0} \end{bmatrix} \\ &\Rightarrow \pmb{A^\top}(\pmb{b-\pmb{A}\hat{x}}) = \pmb{0}\\ &\Rightarrow \pmb{\hat{x}} = (\pmb{A^\top A})^{-1}\pmb{A^\top b} \\ &\Rightarrow \pmb{p} = \pmb{A\hat{x}} = \pmb{A}(\pmb{A^\top A})^{-1}\pmb{A^\top b} \end{aligned} ????? ?a1??a2???am??? ?(b?p)= ?a1??a2???am??? ?(b?Ax^)= ?00?0? ??A?(b?Ax^)=0?x^=(A?A)?1A?b?p=Ax^=A(A?A)?1A?b? 這時(shí)，我們把 $A(A^{?}A{)}^{?1}{A}^{?}$ 稱為 投影矩陣，記為 $P$，用它左乘原始向量 $b$ 就得到投影向量 $p$，即 $Pb=p$。

• 兩種特殊情況

  1. 若 $b\in C(A)$，有 $Pb=b$

     這時(shí) $b=Ax$ 是 $A$ 的線性組合，有 $Pb=A(A^{?}A{)}^{?1}{A}^{?}Ax=Ax=b$

  2. 若 $b\perp C(A)$，即 $b\in N(A^{?})$，有 $Pb=0$

     這時(shí) $A^{?}b=0$，有 $Pb=A(A^{?}A{)}^{?1}{A}^{?}x=0$

  $m$ 維（$A$ 列向量尺寸）空間可以分解為 $C(A)$ 和 $N(A^{?})$ 的正交直和，因此這兩個(gè)空間的基放在一起就構(gòu)成 $m$ 維空間的一組基，可以線性表出任意向量，投影本質(zhì)就是保留 $C(A)$ 中部分而消除 $N(A^{?})$ 中部分，可以用子空間關(guān)系圖如下表示
  
  如圖可見，除了上述投影 $Pb=p$ 把 $b$ 投影到 $C(A)$ 中以外，還有另一個(gè)投影 $(I?P)b=e$ 將 $b$ 投影到 $N(A^{?})$ 中，可見當(dāng) $P$ 是投影矩陣時(shí)，$I?P$ 也是一個(gè)投影矩陣

• 研究投影矩陣 $P=A(A^{?}A{)}^{?1}{A}^{?}$ 性質(zhì)文章來源地址http://www.zghlxwxcb.cn/news/detail-466210.html

  1. 當(dāng) $A$ 非方陣時(shí)，$A$ 列滿秩 $?A^{?}A$ 可逆，
  2. 當(dāng) $A$ 是可逆方陣時(shí)，其中的括號(hào)可以打開，這時(shí)有 $P=I$，即投影矩陣做的是恒等映射。確實(shí)如此，因?yàn)?$A$ 可逆，意味著列滿秩，其列空間是整個(gè) $n$ 維空間，投影前后都在同一個(gè)空間中，那么恒等映射顯然是誤差最小的
  3. 簡(jiǎn)單計(jì)算即可得到 $P$ 是對(duì)稱矩陣，即有 $P=P^{?}$
  4. 重復(fù)投影兩次，結(jié)果不變，即有 $P^2=P$，也可從代數(shù)角度簡(jiǎn)單計(jì)算驗(yàn)證
  5. $P$ 是投影矩陣時(shí)，$I?P$ 也是一個(gè)投影矩陣

2.2 意義

• 現(xiàn)實(shí)生活中常有這樣的應(yīng)用：根據(jù)一些測(cè)量值求解另一些值，比如根據(jù)衛(wèi)星與幾個(gè)基站的通訊延時(shí)測(cè)量其位置。這其實(shí)就是在解方程，通常一組觀測(cè)值解出一個(gè)結(jié)果，為了提高準(zhǔn)確性，通常會(huì)收集很多數(shù)據(jù)，這樣就聯(lián)立到得到方程組 $$Ax=b$$一般情況下樣本量遠(yuǎn)大于未知數(shù)個(gè)數(shù)，即 $A_{m\times n}$ 中 $m>>n$，這樣的超定方程很難有解析解，除非其中含有多達(dá) $m?n$ 個(gè)無效約束，因?yàn)槲覀儧]法對(duì)非方陣的 $A$ 求逆來得到 $x=A^{?1}b$
• 這時(shí)我們可以不斷地去除方程，直到剩下的方程組有解為止，但這會(huì)造成數(shù)據(jù)浪費(fèi)。另一種更好的方法是找一個(gè)和已知數(shù)據(jù) “誤差最小” 的解，設(shè)這個(gè)近似解為 $\hat{x}$，我們有
  $$A\hat{x}=p$$ 第 1 節(jié)中已分析過，我們這時(shí)是通過矩陣 $A$ 左乘，把向量 $\hat{x}$ 變換到了 $A$ 的列空間中得到 $p$，為了保證 “誤差最小” ，這時(shí) $p$ 應(yīng)當(dāng)是 $b$ 在 $A$ 列空間中的投影
• 一句話說，可以利用空間投影估計(jì)無解線性方程組的最小誤差解，基于這個(gè)原理可以得到最小二乘法

到了這里，關(guān)于線性代數(shù)拾遺（6）—— 向量空間投影與投影矩陣的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！