投影矩陣 /冪等矩陣

投影矩陣 /冪等矩陣 （idempotent matrix）$\mathbf{P}$滿足$P^2=P$，也即$P(I?P)=0$

• 冪等矩陣 $P$ 的幾何意義：將向量 $\mathbf{x}$ 投影至 $P$ 的列空間 $C(P)$內(nèi)
  而$P^2=P$的意義就是“投影兩次等效于投影一次”
• 投影也分為兩類：斜投影(oblique projection) 和 正交投影（額外滿足$P^H=P$）

下面先介紹一般投影的特點，然后再介紹正交投影

投影矩陣 /冪等矩陣 的性質(zhì)

關(guān)于特征值和行列式：

• 特征值必為$\lambda =0或1$（證明：$P^2\mathbf{x}=P\mathbf{x}$，則${\lambda }^2\mathbf{x}=\lambda \mathbf{x}$，${\lambda }^2=\lambda$）
  ①其中，$\lambda =1$ 的特征子空間為$C(P)$， $\lambda =0$ 的特征子空間為$N(P)$
  ② $\det P=0或1$
• 推論：投影矩陣$P$必然可以相似對角化為$\mathrm{diag}(1,\dots ,1,0,\dots ,0)$

證明：
因為$\lambda =1$ 的特征子空間為$C(P)$， $\lambda =0$ 的特征子空間為$N(P)$，而${\mathbb{C}}^n=C(P)\oplus N(P)$（后面證明），有充足的無關(guān)特征向量，代數(shù)重數(shù)=幾何重數(shù)，投影矩陣$P$**必然可以相似對角化

• $\mathrm{rank}(P)=\mathrm{trace}(P)$

證明：$\mathrm{trace}(P)={\lambda }_1+...+{\lambda }_n=特征值1的個數(shù)$

另外，投影矩陣的重要意義是，投影隱含了兩個投影矩陣、隱含了空間的直和分解

• $(I?P)$也是冪等矩陣，幾何意義是將向量正交投影至$C(I?P)$
  并且 $C(I?P)$與$C(P)$互為直和補：${\mathbb{C}}^n=C(P)\oplus C(I?P)$

如圖，任意向量可拆分為投影部分$C(P)$和投影的“軌跡”部分$C(I?P)$：$$\mathbf{x}=P\mathbf{x}+(I?P)\mathbf{x}$$

• $N(P)=C(I?P)$， 同理有$N(I?P)=C(P)$
  推論：$P(I?P)=0$、$(I?P)P=0$

證明：
①若 $\mathbf{x}\in N(P)$，$P\mathbf{x}=0$，故 $(I?P)\mathbf{x}=\mathbf{x}?P\mathbf{x}=\mathbf{x}$，亦即 $\mathbf{x}\in C(I?P)$
②若$\mathbf{x}\in C(I?P)$，$\mathbf{x}=(I?P)\mathbf{y}$，故 $P\mathbf{x}=P(I?P)\mathbf{y}=0\mathbf{y}=0$，即 $\mathbf{x}\in N(P)$

• 推論：每個投影矩陣，唯一對應(yīng)空間的一個直和分解：${\mathbb{C}}^n=C(P)\oplus N(P)$

證明：${\mathbb{C}}^n=C(P)\oplus C(I?P)$，帶入 $C(I?P)=N(P)$即可

正交投影矩陣

在此冪等矩陣$P^2=P$的基礎(chǔ)上，$P$為正交投影矩陣的充要條件是：

1. $P^2=P=P^H$

為何正交投影要求$P^H=P$？
理解：“垂直投影”即$P^H(I?P)\mathbf{x}=0$，
這要求$P^H=P^{H}P$，又因為$(P^{H}P{)}^H=P^{H}P$，則$P^H=P$

2. $P=P^{H}P$

這是$P^2=P=P^H$的等價描述
證明：
若 $P^2=P=P^H$，則 $P^{H}P=PP=P$;
若 $P=P^{H}P$，則 $P^H=P^{H}P=P$，且 $P=P^{H}P=PP$。

• 正交投影矩陣$P$的幾何意義：“垂直”的投影，i.e. 投影“軌跡”$\mathbf{x}?P\mathbf{x}=(I?P)\mathbf{x}$必然垂直于$C(P)$

正交投影矩陣的性質(zhì)與一般的投影矩陣相同，主要有以下不同：

• 正交投影矩陣必為 Hermite矩陣、必為 正規(guī)矩陣（$P^H=P$，$P^{H}P=P{P}^H$）
  因此，正交投影矩陣必必有一套正交的特征向量（可酉對角化）、必有實特征值（0和1）、滿足$A\mathbf{x}=\lambda \mathbf{x}?A^H\mathbf{x}=\bar{\lambda }\mathbf{x}$、奇異值${\sigma }_1,...,{\sigma }_n=|{\lambda }_1|,\dots ,|{\lambda }_n|$（特征值的絕對值）
• 正交投影矩陣至少為半正定矩陣
  原因：正交投影矩陣滿足$P^H=P$，且特征值為0和1（特征值$\ge 0$），故為半正定矩陣
• [將空間分解為${\mathbb{C}}^n=\mathcal{X}\oplus {\mathcal{X}}^{\perp }$] 唯一對應(yīng)一個 [正交投影矩陣]，反之亦然

向$C(P)$做投影，斜投影矩陣有無數(shù)個，正交投影矩陣則只有一個（$\mathcal{X}$唯一確定其正交補${\mathcal{X}}^{\perp }$）
①對于斜投影矩陣$P$，空間被分為${\mathbb{C}}^n=C(P)\oplus N(P)$，我們說矩陣 $P$ 將向量 $\mathbf{v}$ 沿著 $N(P)$ 投影至 $C(P)$（$N(P)$與$C(P)$不一定正交）
②對于正交投影矩陣$P$，空間被分為${\mathbb{C}}^n=C(P)\oplus N(P)$（其中$N(P)=C(P{)}^{\perp }$ ），我們可以直接說矩陣 $P$ 將向量 $\mathbf{v}$ （沿著 $N(P)=C(P{)}^{\perp }$ ）投影至 $C(P)$

• 正交投影中實際上隱含了兩個正交投影矩陣，也將空間分解為兩個正交補
  ①$P$將向量正交投影至$C(P)$；$(I?P)$將向量正交投影至$C(I?P)$；
  ②${\mathbb{C}}^n=C(P)\oplus C(I?P)$，且$C(P{)}^{\perp }=C(I?P)$（正交補）
  ③${\mathbb{C}}^n=C(P)\oplus N(P)$，且$C(P{)}^{\perp }=N(P)$（因為$N(P)=C(I?P)$ ）

如圖，任意向量可拆分為$\mathbf{x}=P\mathbf{x}+(I?P)\mathbf{x}$， 且 $P\mathbf{x}\perp (I?P)\mathbf{x}$

• 對于任意的$\mathbf{x}$，正交投影矩陣保證$\Vert P\mathbf{x}\Vert \le \Vert \mathbf{x}\Vert$
  這就是說，正交投影 $P\mathbf{x}$ 的長度必不大于原向量 $\mathbf{x}$ 的長度
• 反過來，任何不會增長向量長度的投影必為正交投影
  i.e. 對于投影矩陣$P=P^2$，若對任意$\mathbf{x}$有$\Vert P\mathbf{x}\Vert \le \Vert \mathbf{x}\Vert$，則$P^H=P$
• 兩正交投影矩陣 $P$ 和 $Q$ 正交（$P^{H}Q=PQ=0$），則
  ①它們所投影到的空間也正交（$C(P)$與$C(Q)$正交）
  ②進(jìn)而有$Q=I?P$

證明：
若 $P^{H}Q=0$ 且 $\mathbf{x}\in C(P)$，$\mathbf{y}\in C(Q)$，則${\mathbf{x}}^H\mathbf{y}=(P\mathbf{x}{)}^H(Q\mathbf{y})={\mathbf{x}}^H{P}^{H}Q\mathbf{y}=0$
若 $C(P)\perp C(Q)$，則對于$Q\mathbf{x}\in C(Q)?C(P{)}^{\perp }$，有$P^H(Q\mathbf{x})=0$，即$P^{H}Q=0$

如何求向 C ( A ) C(A) C(A)做正交投影的正交投影矩陣

給出列滿秩矩陣$A$（列向量線性無關(guān)），我們希望向列空間$C(A)$做正交投影
對應(yīng)的正交投影矩陣就是$$P=A(A^{T}A{)}^{?1}{A}^T$$，可以驗證$P^2=P=P^T$、$C(P)=C(A)$

說明：
①再次強調(diào)前提：$rankA=n$，此時才有$A^{T}A$可逆
②注意，其中$(A^{T}A{)}^{?1}{A}^T$就是$A$的左逆$A_{left}^{?1}$
③$P=A(A^{T}A{)}^{?1}{A}^T$中左側(cè)先出現(xiàn)因子$A$，這保證了$C(P)=C(A)$
推導(dǎo)過程：線代膠囊──正交投影矩陣

• 假如$A$的列向量是正交化的，公式得到簡化：
  將QR分解$A=QR$帶入$P=A(A^{T}A{)}^{?1}{A}^T$，化簡得到$P=Q{Q}^T$

另外，如果 P = Q Q T = [ q 1 T ? q k T ] [ q 1 ? q k ] = q 1 q 1 T + ? + q k q k T P=QQ^{T}=\begin{bmatrix} \mathbf{q}_1^T\\ \vdots\\ \mathbf{q}_k^T \end{bmatrix}\begin{bmatrix} \mathbf{q}_1&\cdots&\mathbf{q}_k \end{bmatrix}=\mathbf{q}_1\mathbf{q}_1^T+\cdots+\mathbf{q}_k\mathbf{q}_k^{T} P=QQT= ?q1T??qkT?? ?[q1????qk??]=q1?q1T?+?+qk?qkT?
那么向量$\mathbf{x}$的投影容易計算：$P\mathbf{x}=({\mathbf{q}}_1{\mathbf{q}}_1^T+?+{\mathbf{q}}_k{\mathbf{q}}_k^T)\mathbf{x}=({\mathbf{q}}_1^T\mathbf{x}){\mathbf{q}}_1+?+({\mathbf{q}}_k^T\mathbf{x}){\mathbf{q}}_k$

• 注意，這里的正交投影矩陣 $P$ 是唯一的：
  即使$A$的列向量改變，只要$C(A)$仍不變、$A$仍列滿秩，則$A$仍不變
• 當(dāng)$A$為一個向量$\mathbf{a}$，正交投影矩陣退化為$P=\mathbf{a}({\mathbf{a}}^T\mathbf{a}{)}^{?1}{\mathbf{a}}^T=\frac{\mathbf{a}{\mathbf{a}}^T}{{\mathbf{a}}^T\mathbf{a}}$

reference：
直和與投影（前置知識）
特殊矩陣 （5）：冪等矩陣
線代膠囊──正交投影矩陣
正交投影矩陣的性質(zhì)與界定
從線性變換解釋最小平方近似（正交投影的應(yīng)用：最小二乘法）文章來源地址http://www.zghlxwxcb.cn/news/detail-736352.html

到了這里，關(guān)于矩陣?yán)碚搢 特殊矩陣：冪等矩陣、投影、正交投影的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！