• 本節(jié)討論圍繞這個(gè)問題展開

注意： 的研究的目的是為了求出點(diǎn)在世界坐標(biāo)系下的信息，也就是$P_w$ 是要求出來的量。

1. 相機(jī)模型和內(nèi)參

1. 以針孔相機(jī)為例，我們來推導(dǎo)內(nèi)參的由來，首先在三維世界中，拍照的數(shù)學(xué)模型如下（左）：

以光心為原點(diǎn)的一組相似三角形(對頂角的)，取它的$xoz$ 或者$yoz$ 投影上圖（右）：
成像過程： 空間中一點(diǎn)(以相機(jī)為坐標(biāo)系看)$$\begin{gathered} \mathbf{P}=[\mathbf{X},\mathbf{Y},\mathbf{Z}{]}^{\mathbf{T}} \\ ? \end{gathered}$$ 投影到物理成像平面 $$\begin{gathered} {\mathbf{P}}^{\prime }=[{\mathbf{X}}^{\prime },{\mathbf{Y}}^{\prime },{\mathbf{Z}}^{\prime }{]}^{\mathbf{T}}由上圖，Z^{\prime }=f(焦距) \\ ? \end{gathered}$$縮放和光心平移到(像素坐標(biāo)系)${{\mathbf{p}}^{\prime }=[\mathbf{u},\mathbf{v}]}^T$

1.1 內(nèi)參推導(dǎo)

?? \; 本來推導(dǎo)出的相似三角形應(yīng)該有負(fù)號(hào)(針孔模型–倒立)，但是我們選擇為正(將對頂角對稱到同側(cè)(同角))，如下：

由相似關(guān)系:
$$\frac{Z}{Z^{\prime }}即\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}$$
整理(這就是相機(jī)坐標(biāo)系下點(diǎn)P到成像平面的步驟，對應(yīng)上邊第一個(gè)$?$)：
$$X^{\prime }=f\frac{X}{Z},Y^{\prime }=f\frac{Y}{Z}(1)$$
像素坐標(biāo)系：和成像平面只差$\text{縮放}$(X縮放$\alpha$得到$u$Y縮放$\beta$得到$v$)和$\text{光心(原點(diǎn))}$的平移$[c_x,c_y{]}^T$，看不懂直接看下邊式子：
{ u = α X ′ + c x = 帶入式 1 α f X Z + c x = 記 a f 為 f x f x X Z + c x v = β Y ′ + c y = 帶入式 1 β f Y Z + c x = 記 β f 為 f y f y Y Z + c y ? 寫成矩陣形式如下 ( 齊次坐標(biāo) ) ( u v 1 ) = 1 Z ( f x 0 c x 0 f x c y 0 0 1 ) ( X Y Z ) ? 1 Z K P ? 更經(jīng)常的我們會(huì)這么寫 Z ( u v 1 ) = ( f x 0 c x 0 f x c y 0 0 1 ) ( X Y Z ) ? K P ( 2 ) \begin{cases} u=\alpha X'+c_x \overset{帶入式1}{=} \alpha f\frac {X}{Z} +c_x \overset{記af為f_x} {=}f_x\frac {X}{Z}+c_x\\ v=\beta Y'+c_y \overset{帶入式1}{=} \beta f\frac {Y}{Z} +c_x \overset{記\beta f為f_y} {=}f_y\frac {Y}{Z}+c_y \end{cases}\\ \quad \\ \Downarrow 寫成矩陣形式如下(齊次坐標(biāo)) \\ \quad \\\begin{pmatrix}u\\v\\1\end{pmatrix} = \frac{1}{Z} \begin{pmatrix}f_x&0&c_x \\0&f_x&c_y \\0&0&1 \end{pmatrix} \begin{pmatrix}X\\Y\\Z\end{pmatrix} \triangleq \frac {1}{Z}KP\\ \quad \\ \Downarrow 更經(jīng)常的我們會(huì)這么寫 \\ \quad \\Z\begin{pmatrix}u\\v\\1\end{pmatrix} = \color{red} \begin{pmatrix}f_x&0&c_x \\0&f_x&c_y \\0&0&1 \end{pmatrix}\color{blue} \begin{pmatrix}X\\Y\\Z\end{pmatrix} \triangleq \color{red} K\color{blue} P \color\qquad\qquad (2) {u=αX′+cx?=帶入式1αfZX?+cx?=記af為fx?fx?ZX?+cx?v=βY′+cy?=帶入式1βfZY?+cx?=記βf為fy?fy?ZY?+cy???寫成矩陣形式如下(齊次坐標(biāo)) ?uv1? ?=Z1? ?fx?00?0fx?0?cx?cy?1? ? ?XYZ? ??Z1?KP?更經(jīng)常的我們會(huì)這么寫Z ?uv1? ?= ?fx?00?0fx?0?cx?cy?1? ? ?XYZ? ??KP(2)

• 其中K就是我們常說的內(nèi)參(矩陣)(Camera Intrinsics)，P還是相機(jī)坐標(biāo)系下的點(diǎn)，Z就是點(diǎn)的Z坐標(biāo)的值。
• 內(nèi)參通常認(rèn)為出廠后固定（通常不會(huì)在使用中發(fā)生變化）,有時(shí)廠商提供，有時(shí)需要自己確定內(nèi)參（這一過程也稱作標(biāo)定）

1.2 外參推導(dǎo)

\quad 上邊的坐標(biāo)$P$ 都是在相機(jī)坐標(biāo)系下進(jìn)行的，而相機(jī)是運(yùn)動(dòng)的，所以實(shí)際中我們需要世界坐標(biāo)系中的點(diǎn)$P_w$ 來進(jìn)行這個(gè)過程。即：世界坐標(biāo)$P_w$ 到相機(jī)坐標(biāo)(也就是上式可用的$P$ )的變換。
\quad 這種: 變換上節(jié)介紹過,就是$P_w\stackrel{經(jīng)過旋轉(zhuǎn)R和平移T}{?}轉(zhuǎn)換到P$(相機(jī)坐標(biāo)系) 的過程。如下：

$$R{P}_w+t=P$$
這其中求得$R$ 和$t$就是相機(jī)的位姿，也是相機(jī)的外參(Camera Extrinsics)，帶入上式(2)有

Z P u v = Z [ u v 1 ] = K ( R P w + t ) = K T P w ? 齊次坐標(biāo)乘以系數(shù)表達(dá)相同含義，故 P u v = K T P w ZP_{uv} = Z\begin{bmatrix}u\\v\\1\end{bmatrix}=K(RP_w+t) = KTP_w \\ \Downarrow 齊次坐標(biāo)乘以系數(shù)表達(dá)相同含義，故\\\quad \\P_{uv} = KTP_w ZPuv?=Z ?uv1? ?=K(RPw?+t)=KTPw??齊次坐標(biāo)乘以系數(shù)表達(dá)相同含義，故Puv?=KTPw?
，這個(gè)點(diǎn)所在的平面也成為歸一化平面，經(jīng)過這樣處理的點(diǎn)可以看成一個(gè)二維的其次坐標(biāo)，位于$z=1$平面上，故稱為歸一化坐標(biāo)。
\quad

下面對以上內(nèi)容進(jìn)行總結(jié)：

• 相機(jī)內(nèi)參就是$f_x,f_y,c_x,c_y$，所以基本出廠就確定好了
• 相機(jī)外參就是$R,t$ 即相機(jī)位姿，隨運(yùn)動(dòng)時(shí)刻變化

2. 畸變

2.1 徑向畸變

\qquad 1. 透鏡自身形狀對光線傳播的影響 $?$ 徑向畸變（分為桶形畸變和枕形畸變）
\qquad 2. 這種畸變是徑向?qū)ΨQ的
\qquad 3. 將點(diǎn)看做極坐標(biāo)下的$[r,\theta ]$ 的話，徑向畸變是$r$ 發(fā)生了畸變$\delta r$。

誤差隨著距離中心的距離而變化，可以利用這個(gè)特性糾正：
歸一化平面上的點(diǎn)$[x,y]$ ， 糾正完畢的點(diǎn)$[x_c,y_c]$,$c$ 就是$corrected$
$$?\begin{array}{l}{x}_c=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\\ \\ y_c=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\end{array}$$
中心區(qū)域畸變小$k_1$ 起作用，畸變較大的用$k_2$ 起作用

2.2 切向畸變

\qquad 1. 組裝過程中透鏡和成像平面不完全平行 $?$ 切向畸變
\qquad 3. 將點(diǎn)看做極坐標(biāo)下的$[r,\theta ]$ 的話，徑向畸變是$\theta$ 發(fā)生了畸變$\delta \theta$。

切向畸變糾正如下:
$$?\begin{array}{l}{x}_c=x+2p_{1}xy+p_2(r^2+2x^2)\\ \\ y_c=x+p_1(r^2+2y^2)+2p_{2}xy\end{array}$$

合并徑向和切向畸變：
$$\begin{gathered} ?\begin{array}{l}{x}_c=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2)\\ \\ y_c=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2y^2)+2p_{2}xy\end{array} \\ ?歸一化平面?像素平面 \\ \{\begin{array}{l}u=f_x?x_c+c_x\\ v=f_y?y_c+c_y\end{array} \end{gathered}$$
\quad 至此，用5個(gè)畸變項(xiàng)就完成了，實(shí)際中k甚至可以取一個(gè)。靈活搭配即可

3. 深度信息

\quad 上邊的相機(jī)模型從光心到歸一化平面連線上的所有點(diǎn)都可以投影到該像素(2式中的$Z$值是齊次的)。因此只有確定了P的深度，才能知道位置信息。

3.1 算法測距

1. 雙目相機(jī)模型
   \quad 稱為基線(Baseline)，按照幾何模型推導(dǎo)
   $$\frac{z?f}{z}=\frac{b?u_L+u_R}{b}$$
   \quad 整理，$d$ 為視差:左右圖橫坐標(biāo)之差
   $z$ 就是深度信息：

$$z=\frac{fb}{d}d=?u_L+u_R$$

• 由上式可知：視差越大，距離越近，視差越小，距離遠(yuǎn)。
• 兩個(gè)相機(jī)越近(基線越小)，距離越近，反之越近。

計(jì)算量大，計(jì)算量主要用于精準(zhǔn)定位左右眼的匹配點(diǎn)。文章來源地址http://www.zghlxwxcb.cn/news/detail-547326.html

3.2 物理測距

2. RGB-D相機(jī)

• 在RGB-D深度圖中，記錄了每個(gè)像素距離相機(jī)的距離(單位：$mm$)，一般的量程在十幾米范圍左右。此外還有和普通相機(jī)一樣的彩色圖。

到了這里，關(guān)于【視覺SLAM入門】3. 相機(jī)模型，內(nèi)外參，畸變推導(dǎo)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！