鏈接：人體關(guān)鍵點(diǎn)檢測與MMPose_嗶哩嗶哩_bilibili

趕了個進(jìn)度，實(shí)際上沒聽到，一個方向被濃縮成50分鐘是有點(diǎn)難度。后續(xù)有需要再回顧吧

人體姿態(tài)估計：識別人體關(guān)鍵點(diǎn)坐標(biāo)。模式識別任務(wù)，難點(diǎn)是始終在變化。以關(guān)鍵點(diǎn)連線，2/3D中還原人體姿態(tài)。PoseC3D：基于人體姿態(tài)識別行為動作。CG動畫追蹤表情、手勢姿態(tài)等。

• 人體姿態(tài)估計的介紹與運(yùn)用
• 2D姿態(tài)估計
  • 自頂向下
  • 自底向上
  • 單階段
  • 基于transformer
• 3D姿態(tài)估計
• 人體姿態(tài)估計的評估方法
• DensePose
• 人體參數(shù)化模型

一、2D姿態(tài)估計

1.1基于regression based

將關(guān)鍵點(diǎn)的檢測變成一個回歸問題

?

?輸入一張圖像，輸出一個回歸的坐標(biāo)，類似于boundingbox回歸的感覺。但是精度不高。是監(jiān)督學(xué)習(xí)。

1.2 Heatmap Based

不直接回歸關(guān)鍵點(diǎn)坐標(biāo)，量預(yù)測關(guān)鍵點(diǎn)任務(wù)變成每個位置的概率

表示關(guān)鍵點(diǎn)位于的概率為1，是熱力圖，尺寸與原圖像相同或者按比例縮小，概率圖啊。

?

?類似于分類概率了吧?？梢酝ㄟ^求極大值的方法得到關(guān)鍵點(diǎn)的坐標(biāo)。

熱力圖相對回歸坐標(biāo)容易一些，模型精度也更高（講著認(rèn)為熱力圖識別關(guān)鍵點(diǎn)符合神經(jīng)網(wǎng)絡(luò)特性），但是熱力圖計算量也比較大。

1.3關(guān)鍵點(diǎn)熱力圖的標(biāo)注

搜索

?將每個點(diǎn)的概率，通過高斯核變成一個熱力的概率圖。

1.4使用熱力圖訓(xùn)練模型

?輸入圖像->預(yù)測熱力圖

? ? 關(guān)鍵點(diǎn)->高斯模糊后的熱力圖?

損失函數(shù)是1范式或者2范式

1.5 從熱力圖中還原關(guān)鍵點(diǎn)

• 樸素方法：求最大概率點(diǎn)。多個點(diǎn)不夠魯棒，另外講著提到結(jié)果不是高斯的？
• ?歸一化概率，取其期望，即高斯重心

?因?yàn)槭蔷W(wǎng)絡(luò)是反向傳播，模型可以求導(dǎo)，熱力圖是可以求導(dǎo)的，坐標(biāo)也可以求導(dǎo)，從而指引熱力圖

1.6 自頂向下的方法（多人估計）

先檢測人，然后做單肢體的估計

• ?整體精度受限于檢測器的精度，也就是第一環(huán)節(jié)的行人識別者確度影響隨后的環(huán)節(jié)。也就是精度
• 速度和計算量與人數(shù)成正比。也就是速度。
• 多階段模型

1.7 自底向上（多人估計）

?先檢測關(guān)鍵點(diǎn)，然后在組合成單個任務(wù)形態(tài)

1.8 單階段（多人估計）

?1.9 基于回歸的自頂向下方法

DeepPose(2014)

通過級聯(lián)提升精度?

?所有預(yù)測類的網(wǎng)絡(luò)都里能發(fā)現(xiàn)這種思路，多階段變成單階段，然后單網(wǎng)絡(luò)變成級聯(lián)網(wǎng)絡(luò)。

回歸方法的優(yōu)勢與劣勢

優(yōu)勢：

• 回歸精度無上限，但熱力圖受限特征圖空間分辨率。
• 熱力圖計算需要在高分辨率特征圖上，因此計算成本高。

劣勢：

• 圖像到關(guān)鍵點(diǎn)坐標(biāo)映射是高度非線性的，更難收斂，精度也比熱力圖差。2D關(guān)鍵點(diǎn)預(yù)測大部分集中于基于熱力圖。

Residual Log-likelihood Estimation(RLE) (2021)

對關(guān)鍵點(diǎn)位置進(jìn)行更準(zhǔn)確的概率建模，從而提高位置預(yù)測的精度

?高斯分布不一定符合數(shù)據(jù)的真實(shí)分布？？？使用均值比較，就是默認(rèn)服從高斯分布，如果均值一致，服從的分布一致？？？這里的高斯核剛才講到的熱力圖，通過高斯模糊是一個意思，點(diǎn)位置的高斯。

RLE主要是構(gòu)建概率分布，然后通過最大似然。

回歸和最大似然估計的聯(lián)系。

這里揭示了為啥基于均值比較的二范數(shù)回歸問題暗含高斯分布。固定方程和各向同性？？？

?RLE是一個可學(xué)習(xí)的分布？？？

標(biāo)準(zhǔn)化流 Normalizing Flow?

這個是什么意思呢？神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個映射？將最初的概率分部映射成復(fù)雜的概率密度函數(shù)?？

?正向變換是求解映射函數(shù)？逆向映射就可以將復(fù)雜概率函數(shù)恢復(fù)成原始的概率分部。

?實(shí)際上應(yīng)該是復(fù)雜、都類型的分布以通用形式組合而來，類似于小波變換什么的。。。

重參數(shù)化設(shè)計

?也就是將復(fù)雜的概率分部通過使用高斯分布去表示，這個是網(wǎng)絡(luò)模型中常用的方案，在VAE等模型中也提到過。

殘差似然函數(shù)

也就是在高斯分布x的基礎(chǔ)上有一個x_0的概念，這個x_0就是殘差似然

?完整的RLE模型

?殘差似然 x 基礎(chǔ)似然，通過均值和方差進(jìn)行平移拉伸，得到最終的似然函數(shù)P

基于熱力圖的自頂向下的方法

?網(wǎng)絡(luò)模型少不了的幾大內(nèi)容都提到了，局部信息、全局信息、殘差鏈接，最終的目的生成熱力圖

級聯(lián)的hourglass模塊

?常規(guī)的級聯(lián)套路，就是一級一級的裁剪、細(xì)化

?simple? Baseline

?特征提取網(wǎng)絡(luò)改成resnet了

HRNet

?多分辨率網(wǎng)絡(luò)結(jié)構(gòu)的特征融合，實(shí)際上這種網(wǎng)絡(luò)畫起來這種形式反而不好看懂。

?這里講的更多的是融合策略，maxpooling，感覺這種網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，魯棒性可能更低，因?yàn)橄鄬Χ员贿^擬合了。

HRNet配合不同任務(wù)頭

?自底向上

Part Affinity Fields & OpenPose

先檢測關(guān)鍵點(diǎn)，和四肢走向（四肢走向？），然后利用聚類，兩個關(guān)鍵點(diǎn)有某段肢體相連，則關(guān)鍵點(diǎn)屬于同一人。

?關(guān)鍵點(diǎn)與肢體預(yù)測

?預(yù)測全部肢體的方向場，關(guān)鍵點(diǎn)和對應(yīng)向量，下一個點(diǎn)也能得到。

肢體定義的關(guān)鍵點(diǎn)親和度

?

?這里類似于不連續(xù)線段檢測，如何將不連續(xù)的線段組合成一條長的連續(xù)線段。

基于親和度匹配關(guān)鍵點(diǎn)

K部圖？？？不是很懂，大意可能就是首先所有節(jié)點(diǎn)全連接，然后按照一定拓?fù)浣Y(jié)合刪掉某些鏈接

?單階段方法

SPM

?structured pose representation(spr)

位置和不同的方向的回歸

?hierarchical SPR

?降低由于形變帶來的關(guān)節(jié)點(diǎn)距離差異變化導(dǎo)致的回歸難度。

?網(wǎng)絡(luò)設(shè)計

回歸策略

根節(jié)點(diǎn)+稠密位移圖

?損失函數(shù)

?

?基于transformer的方法

PRTR2021

?主要是全局信息吧

?STN網(wǎng)絡(luò)就很常見了，主要是應(yīng)對多種變化的

TokenPose(2021)

?每個關(guān)鍵點(diǎn)是一個token？？？是把位置信息作為關(guān)鍵點(diǎn)，和token組合了？那預(yù)測呢

?

?文章來源地址http://www.zghlxwxcb.cn/news/detail-470618.html

?3D人體姿態(tài)估計

任務(wù)描述

感覺原理上和2D是一樣的，難度就是代碼上。

?絕對坐標(biāo)VS相對坐標(biāo)

?難點(diǎn)：從2D圖像中回復(fù)3D信息

?語義信息中包含剛性變換

?視頻幀之間的變換

?單張圖片

?

?Coarse-to-fine

為每一個關(guān)節(jié)點(diǎn)預(yù)測一個64x64xd的3D熱力圖

?Simple Baseline 3D

?VideoPose3D

這個是不是就是利用時空信息

?VoxelPose

?評估指標(biāo)

?

?

?

?DensePose

mesh

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

到了這里，關(guān)于MMPose（openmmlab AI實(shí)戰(zhàn)營二期第一節(jié)）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！