這篇文章是關(guān)于色彩恢復(fù)的一項(xiàng)工作，發(fā)表在 CVPR2023，其中之一的作者是 Michael S. Brown，這個(gè)老師是加拿大 York 大學(xué)的，也是 ISP 領(lǐng)域的大牛，現(xiàn)在好像也在三星研究院擔(dān)任兼職，這個(gè)老師做了很多這種類似的工作，通過一些輕量模型，將一些數(shù)據(jù)轉(zhuǎn)換過程中的變換關(guān)系進(jìn)行擬合，然后再進(jìn)行恢復(fù)，比如 RAW域 到 sRGB 域的轉(zhuǎn)換，這篇文章是 wide RGB 到 sRGB 的轉(zhuǎn)換

一般相機(jī)的 ISP 或者一些圖像編輯軟件，可以處理更為寬廣的色域，也就是 wide-gamut，廣色域基本涵蓋了 90% 的可見光色彩空間，不過這些圖像最終轉(zhuǎn)換到標(biāo)準(zhǔn)色域 standard-RGB (sRGB) 的時(shí)候，由于標(biāo)準(zhǔn)色域空間 sRGB 只涵蓋了 30% 的色彩空間，所以會(huì)有很多的截?cái)嗉熬葥p失，這篇文章也是借助神經(jīng)網(wǎng)絡(luò)強(qiáng)大的隱式表達(dá)能力，這篇文章提出在進(jìn)行色彩轉(zhuǎn)換的時(shí)候，用一個(gè)輕量級的的 MLP 去記錄轉(zhuǎn)換時(shí)的截?cái)嘞袼刂怠＿@個(gè) MLP 需要大概 2s 的時(shí)間訓(xùn)練，需要大概 23k 的存儲(chǔ)空間，可以看到，這是一個(gè)類似在線擬合的過程，每轉(zhuǎn)換一張圖片，需要同步去訓(xùn)練一個(gè) MLP 在線擬合這個(gè)色彩轉(zhuǎn)換過程，然后后面需要再進(jìn)行色彩恢復(fù)的時(shí)候，可以調(diào)用這個(gè)模型進(jìn)行色彩恢復(fù)。

文章整體的思路還是比較直觀簡單的，可以分成兩個(gè)階段，第一個(gè)階段是編碼階段，也就是從 wide gamut 到 standard gamut 的時(shí)候，需要同步訓(xùn)練一個(gè) MLP; 第二個(gè)階段可以認(rèn)為是解碼階段，就是從 standard gamut 重新擴(kuò)展成 wide gamut 的時(shí)候。

• 編碼階段

• 解碼階段

假設(shè)一張 wide gamut 的圖像可以表示成 ${\mathbf{I}}_{PP}\in {\mathbb{R}}^{3\times N}$，轉(zhuǎn)換后的 sRGB 圖像為 ${\mathbf{I}}_{sRGB}$，整個(gè)轉(zhuǎn)換過程可以表示為：

$${\mathbf{I}}_{sRGB}=g(\text{clip}(\mathbf{M}{\mathbf{I}}_{PP},min=0,max=1.0))\text{\hspace{1em}(1)}$$

$\mathbf{M}$ 是一個(gè)色彩轉(zhuǎn)換矩陣，${\mathbf{I}}_{PP}$ 表示廣色域的圖像，clip 是一個(gè)截?cái)嗖僮鳎?span id="n5n3t3z" class="katex--inline">$g$ 表示 gamma 變換，可以看到，由于其中有一個(gè) clip 的截?cái)嗖僮?，所在這個(gè)變換是不可逆的，當(dāng)從 sRGB 圖像轉(zhuǎn)換回 wide gamut 圖像時(shí)，可以用下面的式子表示：

$${\mathbf{I}}_{ClipedPP}={\mathbf{M}}^{?1}{g}^{?1}({\mathbf{I}}_{sRGB})\text{\hspace{1em}(2)}$$

為了能從 ${\mathbf{I}}_{ClipedPP}$ 恢復(fù)得到真正的 ${\mathbf{I}}_{PP}$，文章提出用一個(gè) MLP 網(wǎng)絡(luò)來進(jìn)行擬合。MLP 本身預(yù)測的是殘差，整個(gè)恢復(fù)過程如下所示：

$${\hat{\mathbf{I}}}_{PP}(\mathbf{x})=f_{\theta }(\mathbf{x},{\mathbf{I}}_{ClipedPP}(\mathbf{x}))+{\mathbf{I}}_{ClipedPP}(\mathbf{x})\text{\hspace{1em}(3)}$$

其中，$f_{\theta }(\mathbf{x},{\mathbf{I}}_{ClipedPP}(\mathbf{x}))$ 就是 MLP 網(wǎng)絡(luò)預(yù)測的殘差，${\hat{\mathbf{I}}}_{PP}(\mathbf{x})$ 表示最終恢復(fù)的 wide gamut 的 RGB 值，網(wǎng)絡(luò)的輸入是一個(gè)五維的向量 $(x,y,R^{\prime },G^{\prime },B^{\prime })$ ，文章中用了一個(gè)編碼函數(shù)，對每個(gè)維度進(jìn)行了編碼，編碼函數(shù)如下所示：

$$\gamma (m)=(\sin (2^0\pi m),\cos (2^0\pi m),...,\sin (2^{K?1}\pi m),\cos (2^{K?1}\pi m))\text{\hspace{1em}(4)}$$

每個(gè)維度編碼成一個(gè) 24 維的向量，5 個(gè)維度一共是 120 維的向量。最終的損失函數(shù)是一個(gè) $L_2$ 的 loss

L g a m u t = ∑ x ∥ I ^ P P ( x ) ? I P P ( x ) ∥ (5) \mathcal{L}_{gamut} = \sum_{\mathbf{x}} \left \| \hat{\mathbf{I}}_{PP}(\mathbf{x}) - \mathbf{I}_{PP}(\mathbf{x}) \right \| \tag{5} Lgamut?=x∑? ?I^PP?(x)?IPP?(x) ?(5)

文章中也提到，訓(xùn)練的時(shí)候，不能只用 out-of-gamut 的像素值訓(xùn)練，out-of-gamut 和 in-gamut 都用上，模型擬合的效果最好，文章最后用了 20% 的 out-of-gamut 的像素，以及 2% 的 in-gamut 的像素，混合著訓(xùn)練。最后就是實(shí)驗(yàn)結(jié)果了。

這篇文章主要是為了解決色域轉(zhuǎn)換時(shí)候的精度損失及截?cái)鄦栴}，通過在線訓(xùn)練一個(gè) MLP 網(wǎng)絡(luò)，對轉(zhuǎn)換過程進(jìn)行擬合，文章整體的思路簡單直觀，效果從文章給的結(jié)果來看，比之前的一些方法要好。畢竟是每張圖片都需要單獨(dú)訓(xùn)練一個(gè) MLP 網(wǎng)絡(luò)，用效率換效果了。文章來源地址http://www.zghlxwxcb.cn/news/detail-826944.html

到了這里，關(guān)于論文閱讀：GamutMLP A Lightweight MLP for Color Loss Recovery的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！