論文: 《ICON : Implicit Clothed humans Obtained from Normals》
github: https://github.com/yuliangxiu/icon
創(chuàng)新點(diǎn)
現(xiàn)有方法需要3D掃描或者具有精心控制的2D圖像進(jìn)行3D重建，作者提出ICON，可通過不受約束的2D圖像建模，結(jié)合所有建模結(jié)果生成動畫；
現(xiàn)有方法對各種姿勢人體3D建模不夠魯棒，由于使用全局特征進(jìn)行編碼，對全局姿勢比較敏感；為解決這個問題，ICON使用局部特征。
在AGORA和CAPE數(shù)據(jù)集上，即使訓(xùn)練數(shù)據(jù)有限，ICON獲得SOTA，而且在非同分步數(shù)據(jù)集上也比較魯棒。
算法
mesh-based方法具有很好的正則化，而深層隱式函數(shù)具有更強(qiáng)的表現(xiàn)力；ICON將兩者結(jié)合。ICON輸入穿衣的人體RGB圖及SMPL人體估計(jì)，輸出穿衣的像素級3D重構(gòu)結(jié)果；
ICON結(jié)構(gòu)如圖3，主要包括兩個模塊：Body-guided normal預(yù)測、基于局部特征隱式三維重建。
Body-guided normal prediction
Body-guided normal預(yù)測流程：
1、使用PyMAF從圖像
I
I
I估計(jì)SMPL mesh,
M
(
β
,
θ
)
∈
R
N
×
3
M(\beta,\theta)\in R^{N\times 3}
M(β,θ)∈RN×3；
2、使用PyTorch3D中可微渲染器DR，從前后兩面渲染M得到SMPL-body normal
N
b
=
{
N
f
r
o
n
t
b
,
N
b
a
c
k
b
}
N^b=\{N^b_{front}, N^b_{back}\}
Nb={Nfrontb?,Nbackb?}，如式1；
3、將
N
b
N^b
Nb與原圖
I
I
I concat后，通過網(wǎng)絡(luò)
G
N
=
{
G
f
r
o
n
t
N
,
G
b
a
c
k
N
}
G^N=\{G^N_{front}, G^N_{back}\}
GN={GfrontN?,GbackN?}得到預(yù)測clothed-body normal maps，
N
^
c
=
{
N
^
f
r
o
n
t
c
,
N
^
b
a
c
k
c
}
\hat N^c=\{\hat N^c_{front}, \hat N^c_{back}\}
N^c={N^frontc?,N^backc?}，如式2；
4、訓(xùn)練
G
N
G^N
GN的損失函數(shù)如式3，
其中，
L
p
i
x
e
l
=
∣
N
v
c
?
N
^
v
c
∣
,
v
=
{
f
r
o
n
t
,
b
a
c
k
}
,
L
V
G
G
L_{pixel}=|N^c_v - \hat N^c_v|,v=\{front,back\},L_{VGG}
Lpixel?=∣Nvc??N^vc?∣,v={front,back},LVGG?為感知損失，有助于恢復(fù)細(xì)節(jié)。
精細(xì)化SMPL
準(zhǔn)確的SMPL body有助于生成質(zhì)量更佳的clothed-body normals，但是實(shí)際中不會生成像素級對齊的SMPL fit；因此，在推理時，SMPL fit依靠SMPL-body normal maps
N
b
N^b
Nb和預(yù)測的clothed-body normal maps
N
c
N^c
Nc之間的差異進(jìn)行優(yōu)化，如圖4；
SMPL的參數(shù)優(yōu)化損失函數(shù)如式4、5
其中，
L
N
_
d
i
f
f
L_{N_{\_diff}}
LN_diff??為normal map的L1損失，
L
S
_
d
i
f
f
L_{S_{\_diff}}
LS_diff??為SMPL body normal-map輪廓
S
b
S^b
Sb與人體mask
S
^
c
\hat S^c
S^c之間L1損失。
ICON在推理時，交替進(jìn)行a.使用預(yù)測的clothed-body normal
N
^
c
\hat N^c
N^c優(yōu)化SMPL mesh；b.使用精細(xì)化SMPL mesh預(yù)測
N
^
c
\hat N^c
N^c;
Local-feature based implicit 3D reconstruction
給定預(yù)測的clothed-body normal maps
N
^
c
\hat N^c
N^c及SMPL-body mesh
M
M
M，基于局部特征
F
P
F_P
FP?回歸3D surface，
F
P
F_P
FP?如式6，
其中，
F
s
F_s
Fs?為point P到最近body point
P
b
∈
M
P^b\in M
Pb∈M的有符號距離；
F
n
b
F^b_n
Fnb?為
P
b
P^b
Pb的barycentric surface normal；
F
n
c
F^c_n
Fnc?為從
N
^
c
=
{
N
^
f
r
o
n
t
c
,
N
^
b
a
c
k
c
}
\hat N^c=\{\hat N^c_{front}, \hat N^c_{back}\}
N^c={N^frontc?,N^backc?}提取的normal向量；
F
P
F_P
FP?經(jīng)過隱函數(shù)
I
F
(
M
L
P
網(wǎng)
絡(luò)
)
IF(MLP網(wǎng)絡(luò))
IF(MLP網(wǎng)絡(luò))，估計(jì)點(diǎn)P的occupancy
o
^
(
P
)
\hat o(P)
o^(P)，通過MSE損失訓(xùn)練
I
F
IF
IF；
實(shí)驗(yàn)
評估方式
作者使用三種評估方式：
Chamfer距離： 計(jì)算真值scan與重構(gòu)mesh之間距離；這種評該評估方法捕獲了較大的幾何差異，但遺漏了較小的幾何細(xì)節(jié)。
P2S距離： CAPE數(shù)據(jù)集scan包含大的空洞，為了排除孔洞影響，我們記錄scan點(diǎn)到最近重構(gòu)表面點(diǎn)之間距離，為Chamfer距離的單向版本；
Normal difference: 表示使用重構(gòu)的及真值surface分別進(jìn)行渲染normal圖片，計(jì)算兩者之間L2距離，用于捕獲高頻幾何細(xì)節(jié)誤差。
實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)結(jié)果如表2，
實(shí)驗(yàn)結(jié)果表明：
1、如表2-A，ICON超過所有原始SOTA方法，ICON泛化性強(qiáng)，；
2、如表2-B，沒有SMPL-X-body引導(dǎo)，誤差變大，使用body引導(dǎo)，可有效改善遮擋部位重建，如圖5.
3、表2-C，作者評估局部特征
F
P
F_P
FP?的重要性，作者將局部特征
F
P
F_P
FP?替換為使用2D卷積提取全局特征，應(yīng)用于image及clothed-body normal map及僅應(yīng)用于clothed-body normal maps，結(jié)果表明在非同分布數(shù)據(jù)集CAPE-NFP上，重建表現(xiàn)比較差。
如圖6，作者對不同方法使用不同量級數(shù)據(jù)進(jìn)行訓(xùn)練，結(jié)果表明，ICON始終優(yōu)于其他方法，同時僅使用少量數(shù)據(jù)即可達(dá)到SOTA性能，作何歸因于使用局部特征，使得泛化性增強(qiáng).
4、表2-D，SMPL-X從圖像估計(jì)結(jié)果可能無法于圖中身體像素點(diǎn)完全對齊。ICON需要對SMPL-X shape及pose不同噪聲級別都比較魯棒，ICON+BR使用噪聲性能與PaMIR*使用真值性能相當(dāng)。
應(yīng)用
動畫生成。
作者將視頻幀進(jìn)行3D重建，重建結(jié)果輸入SCANimate，得到動畫輸出，如圖8b。
文章來源：http://www.zghlxwxcb.cn/news/detail-415027.html
結(jié)論
作者提出的ICON可以從圖片魯棒地生成3D clothed-body person，其準(zhǔn)確性和真實(shí)性超越了現(xiàn)有方法。這有兩個關(guān)鍵：
1、使用3D body model，同時迭代優(yōu)化body model；
2、使用局部特征消除與全局姿態(tài)相關(guān)性；
問題：
如圖7，對于寬松衣服重建效果不佳，因?yàn)閎ody是在正交視角下訓(xùn)練的，無法產(chǎn)生透視效果，因此產(chǎn)生不對稱的四肢或解剖學(xué)上不可能的形狀。
文章來源地址http://www.zghlxwxcb.cn/news/detail-415027.html
到了這里，關(guān)于人體3D重建-ICON論文解讀的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
