一、圖像分割類
1.1 AutoFocusFormer: Image Segmentation off the Grid
AutoFocusFormer：網(wǎng)格外的圖像分割
論文地址：
https://arxiv.org/abs/2304.12406
真實(shí)世界的圖像通常具有高度不平衡的內(nèi)容密度。 有些區(qū)域非常均勻，例如大片藍(lán)天，而其他區(qū)域則散布著許多小物體。 然而，卷積深度網(wǎng)絡(luò)中常用的連續(xù)網(wǎng)格下采樣策略平等對(duì)待所有區(qū)域。 因此，小對(duì)象在很少的空間位置表示，導(dǎo)致分割等任務(wù)的結(jié)果更差。 直觀地說，在下采樣期間保留更多代表小對(duì)象的像素有助于保留重要信息。 為實(shí)現(xiàn)這一目標(biāo)，我們提出了 AutoFocusFormer (AFF)，一種局部注意力變換器圖像識(shí)別主干，它通過學(xué)習(xí)保留任務(wù)最重要的像素來執(zhí)行自適應(yīng)下采樣。 由于自適應(yīng)下采樣會(huì)生成一組不規(guī)則分布在圖像平面上的像素，因此我們放棄了經(jīng)典的網(wǎng)格結(jié)構(gòu)。 相反，我們開發(fā)了一種新的基于點(diǎn)的局部注意力塊，由平衡聚類模塊和可學(xué)習(xí)的鄰域合并模塊提供便利，它為我們最先進(jìn)的分割頭的基于點(diǎn)的版本生成表示。 實(shí)驗(yàn)表明，我們的 AutoFocusFormer (AFF) 比類似尺寸的基線模型有顯著改進(jìn)。
推薦理由：文章來源：http://www.zghlxwxcb.cn/news/detail-661656.html
該論文提出了 AutoFocusFormer (AFF)，一種局部注意力變換器圖像識(shí)別主干，它通過學(xué)習(xí)保留任務(wù)最重要的像素來執(zhí)行自適應(yīng)下采樣。放棄了經(jīng)典的網(wǎng)格結(jié)構(gòu)，該論文開發(fā)了一種新的基于點(diǎn)的局部注意力塊，由平衡聚類模塊和可學(xué)習(xí)的鄰域合并模塊提供便利，可以為最先進(jìn)的分割頭的基于點(diǎn)的版本生成表示。實(shí)驗(yàn)表明，AutoFocusFormer (AFF) 比類似尺寸的基線模型有顯著改進(jìn)。
1.2 FreeSeg: Unified, Universal and Open-Vocabulary Image Segmentation
FreeSeg：統(tǒng)一、通用和開放詞匯的圖像分割
論文地址：
https://arxiv.org/abs/2303.17225
最近，出現(xiàn)了開放詞匯學(xué)習(xí)來完成任意類別的基于文本的描述的分割，這使得分割系統(tǒng)推廣到更通用的應(yīng)用場景。 然而，現(xiàn)有的方法致力于為特定的分割任務(wù)設(shè)計(jì)專門的架構(gòu)或參數(shù)。 這些定制的設(shè)計(jì)范式導(dǎo)致各種分割任務(wù)之間的碎片化，從而阻礙了分割模型的統(tǒng)一性。 因此，在本文中，我們提出了 FreeSeg，這是一個(gè)通用框架，可以實(shí)現(xiàn)統(tǒng)一、通用和開放詞匯的圖像分割。 FreeSeg 通過一次性訓(xùn)練優(yōu)化一體化網(wǎng)絡(luò)，并采用相同的架構(gòu)和參數(shù)在推理過程中無縫處理各種分割任務(wù)。 此外，自適應(yīng)提示學(xué)習(xí)有助于統(tǒng)一模型捕獲任務(wù)感知和類別敏感的概念，從而提高模型在多任務(wù)和各種場景中的穩(wěn)健性。 廣泛的實(shí)驗(yàn)結(jié)果表明，F(xiàn)reeSeg 在三個(gè)分割任務(wù)的性能和泛化方面建立了新的最先進(jìn)結(jié)果，大大優(yōu)于最佳特定任務(wù)架構(gòu)：語義分割 5.5% mIoU，實(shí)例 mAP 17.6% 分割，COCO 上未見類的全景分割 PQ 為 20.1%。
推薦理由：
該論文提出了 FreeSeg，這是一個(gè)通用框架，可以實(shí)現(xiàn)統(tǒng)一、通用和開放詞匯的圖像分割。廣泛的實(shí)驗(yàn)結(jié)果表明，F(xiàn)reeSeg 在三個(gè)分割任務(wù)的性能和泛化方面建立了新的最先進(jìn)結(jié)果，大大優(yōu)于最佳特定任務(wù)架構(gòu)：語義分割 5.5% mIoU，實(shí)例 mAP 17.6%分割，COCO 上未見類的全景分割 PQ 為 20.1%。
1.3 Parameter Efficient Local Implicit Image Function Network for Face Segmentation
用于人臉分割的參數(shù)高效局部隱式圖像函數(shù)網(wǎng)絡(luò)
論文地址：
https://arxiv.org/abs/2303.15122
人臉解析被定義為包含人臉的圖像的逐像素標(biāo)記。 標(biāo)簽被定義為識(shí)別關(guān)鍵面部區(qū)域，如眼睛、嘴唇、鼻子、頭發(fā)等。在這項(xiàng)工作中，我們利用人臉的結(jié)構(gòu)一致性提出了一種使用局部隱式函數(shù)網(wǎng)絡(luò)的輕量級(jí)面部解析方法， FP-LIIF。 我們提出了一個(gè)簡單的架構(gòu)，它有一個(gè)卷積編碼器和一個(gè)像素 MLP 解碼器，與最先進(jìn)的模型相比，它使用 1/26 數(shù)量的參數(shù)，但在多個(gè)數(shù)據(jù)集上匹配或優(yōu)于最先進(jìn)的模型， 像 CelebAMask-HQ 和 LaPa。 我們不使用任何預(yù)訓(xùn)練，與其他作品相比，我們的網(wǎng)絡(luò)還可以在不改變輸入分辨率的情況下生成不同分辨率的分割。 這項(xiàng)工作允許在低計(jì)算或低帶寬設(shè)備上使用面部分割，因?yàn)樗哂懈叩?FPS 和更小的模型尺寸。
推薦理由：
人臉解析被定義為包含人臉的圖像的每像素標(biāo)記。定義標(biāo)簽來識(shí)別眼睛、嘴唇、鼻子、頭發(fā)等關(guān)鍵面部區(qū)域。該論文利用人臉的結(jié)構(gòu)一致性，提出了一種使用局部隱函數(shù)網(wǎng)絡(luò)FP-LIF的輕量級(jí)人臉解析方法。也提出了一種簡單的架構(gòu)，該架構(gòu)具有卷積編碼器和像素MLP解碼器，與最先進(jìn)的模型相比，該架構(gòu)使用了1/26個(gè)參數(shù)，但在多個(gè)數(shù)據(jù)集（如CelebMask HQ和LaPa）上匹配或優(yōu)于最先進(jìn)的模型。
二、全景分割類
2.1 You Only Segment Once: Towards Real-Time Panoptic Segmentation
你只分割一次：邁向?qū)崟r(shí)全景分割
論文地址：
https://arxiv.org/abs/2303.14651
在本文中，我們提出了實(shí)時(shí)全景分割框架 YOSO。 YOSO 通過全景內(nèi)核和圖像特征圖之間的動(dòng)態(tài)卷積來預(yù)測掩碼，其中您只需要為實(shí)例和語義分割任務(wù)分割一次。 為了減少計(jì)算開銷，我們設(shè)計(jì)了一個(gè)用于特征圖提取的特征金字塔聚合器，以及一個(gè)用于全景核生成的可分離動(dòng)態(tài)解碼器。 聚合器以卷積優(yōu)先的方式重新參數(shù)化插值優(yōu)先模塊，這可以顯著加快管道速度而無需任何額外成本。 解碼器通過可分離的動(dòng)態(tài)卷積執(zhí)行多頭交叉注意，以提高效率和準(zhǔn)確性。 據(jù)我們所知，YOSO 是第一個(gè)實(shí)時(shí)全景分割框架，與最先進(jìn)的模型相比，它提供了具有競爭力的性能。 具體來說，YOSO在COCO上實(shí)現(xiàn)了46.4 PQ，45.6 FPS； Cityscapes 為 52.5 PQ，22.6 FPS； 在 ADE20K 上為 38.0 PQ、35.4 FPS； 在 Mapillary Vistas 上為 34.1 PQ、7.1 FPS。 此 https URL 上提供了代碼。
推薦理由：
該論文提出了YOSO，一種實(shí)時(shí)全景分割框架。YOSO通過全景內(nèi)核和圖像特征圖之間的動(dòng)態(tài)卷積來預(yù)測掩碼，其中只需為實(shí)例和語義分割任務(wù)分割一次。為了減少計(jì)算開銷，設(shè)計(jì)了一個(gè)用于特征圖提取的特征金字塔聚合器，以及一個(gè)用于全景內(nèi)核生成的可分離動(dòng)態(tài)解碼器。
2.2 UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
UniDAformer：通過分層掩模校準(zhǔn)的統(tǒng)一域自適應(yīng)全景分割變換器
論文地址：
https://arxiv.org/abs/2206.15083
域自適應(yīng)全景分割旨在通過利用一個(gè)或多個(gè)相關(guān)源域中的現(xiàn)成注釋數(shù)據(jù)來減輕數(shù)據(jù)注釋挑戰(zhàn)。 然而，現(xiàn)有研究采用兩個(gè)獨(dú)立的網(wǎng)絡(luò)進(jìn)行實(shí)例分割和語義分割，這導(dǎo)致過多的網(wǎng)絡(luò)參數(shù)以及復(fù)雜且計(jì)算密集的訓(xùn)練和推理過程。 我們設(shè)計(jì)了 UniDAformer，一種統(tǒng)一的域自適應(yīng)全景分割變換器，它很簡單，但可以在單個(gè)網(wǎng)絡(luò)中同時(shí)實(shí)現(xiàn)域自適應(yīng)實(shí)例分割和語義分割。 UniDAformer 引入了分層掩模校準(zhǔn) (HMC)，可通過實(shí)時(shí)在線自我訓(xùn)練糾正區(qū)域、超像素和像素級(jí)別的不準(zhǔn)確預(yù)測。 它具有三個(gè)獨(dú)特的特點(diǎn)：1）它可以實(shí)現(xiàn)統(tǒng)一域自適應(yīng)全景自適應(yīng)； 2）它減輕了錯(cuò)誤預(yù)測并有效地改進(jìn)了域自適應(yīng)全景分割； 3) 它是端到端可訓(xùn)練的，具有更簡單的訓(xùn)練和推理管道。 對(duì)多個(gè)公共基準(zhǔn)的廣泛實(shí)驗(yàn)表明，與最先進(jìn)的技術(shù)相比，UniDAformer 實(shí)現(xiàn)了卓越的域自適應(yīng)全景分割。
推薦理由：
該論文設(shè)計(jì)了UniDAformer，這是一種統(tǒng)一域自適應(yīng)全景分割轉(zhuǎn)換器，它簡單，但可以在單個(gè)網(wǎng)絡(luò)中同時(shí)實(shí)現(xiàn)域自適應(yīng)實(shí)例分割和語義分割。它具有三個(gè)獨(dú)特的功能：1）可實(shí)現(xiàn)統(tǒng)一域自適應(yīng)全景自適應(yīng);2）有效減少錯(cuò)誤預(yù)測，提高域自適應(yīng)全景分割;3）它是端到端的，可以通過更簡單的訓(xùn)練和推理管道進(jìn)行訓(xùn)練。在多個(gè)公共基準(zhǔn)測試上進(jìn)行的廣泛實(shí)驗(yàn)表明，與最先進(jìn)的技術(shù)相比，UniDAformer 實(shí)現(xiàn)了卓越的域自適應(yīng)全景分割。
2.3 Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models
使用文本到圖像擴(kuò)散模型的開放詞匯全景分割
論文地址：
https://arxiv.org/abs/2303.04803
我們提出了 ODISE：基于開放詞匯擴(kuò)散的全景分割，它統(tǒng)一了預(yù)訓(xùn)練的文本圖像擴(kuò)散和判別模型來執(zhí)行開放詞匯全景分割。 文本到圖像擴(kuò)散模型具有生成具有多種開放式詞匯語言描述的高質(zhì)量圖像的非凡能力。 這表明它們的內(nèi)部表示空間與現(xiàn)實(shí)世界中的開放概念高度相關(guān)。 另一方面，像 CLIP 這樣的文本圖像判別模型擅長將圖像分類為開放式詞匯標(biāo)簽。 我們利用這兩個(gè)模型的凍結(jié)內(nèi)部表示來執(zhí)行野外任何類別的全景分割。 我們的方法在開放詞匯全景和語義分割任務(wù)上的表現(xiàn)都優(yōu)于以前的最先進(jìn)技術(shù)。 特別是，僅通過 COCO 訓(xùn)練，我們的方法在 ADE20K 數(shù)據(jù)集上實(shí)現(xiàn)了 23.4 PQ 和 30.0 mIoU，與之前的最先進(jìn)技術(shù)相比有 8.3 PQ 和 7.9 mIoU 的絕對(duì)改進(jìn)。 我們在這個(gè) https URL 上開源我們的代碼和模型。
推薦理由：
該論文提出了 ODISE：基于開放詞匯擴(kuò)散的全景分割，它統(tǒng)一了預(yù)訓(xùn)練的文本圖像擴(kuò)散和判別模型來執(zhí)行開放詞匯全景分割。該論文方法在開放詞匯全景和語義分割任務(wù)上的表現(xiàn)都優(yōu)于以前的最先進(jìn)技術(shù)。特別是，僅通過 COCO 訓(xùn)練，該方法在 ADE20K 數(shù)據(jù)集上實(shí)現(xiàn)了 23.4 PQ 和 30.0 mIoU，與之前的最先進(jìn)技術(shù)相比有 8.3 PQ 和 7.9 mIoU 的絕對(duì)改進(jìn)。
三、語義分割類
3.1 Federated Incremental Semantic Segmentation
聯(lián)合增量語義分割
論文地址：
https://arxiv.org/abs/2304.04620
基于聯(lián)邦學(xué)習(xí)的語義分割（FSS）通過對(duì)本地客戶端的分散培訓(xùn)引起了廣泛關(guān)注。 然而，大多數(shù) FSS 模型假設(shè)類別是預(yù)先固定的，因此在本地客戶端增量接收新類別而沒有內(nèi)存存儲(chǔ)來訪問舊類別的實(shí)際應(yīng)用中，會(huì)嚴(yán)重遺忘舊類別。 此外，收集新課程的新客戶可能會(huì)加入 FSS 的全球培訓(xùn)，這進(jìn)一步加劇了災(zāi)難性遺忘。 為了克服上述挑戰(zhàn)，我們提出了一種遺忘平衡學(xué)習(xí) (FBL) 模型，從客戶端內(nèi)和客戶端間兩個(gè)方面解決舊類的異構(gòu)遺忘問題。 具體來說，在通過自適應(yīng)類平衡偽標(biāo)簽生成的偽標(biāo)簽的指導(dǎo)下，我們開發(fā)了遺忘平衡語義補(bǔ)償損失和遺忘平衡關(guān)系一致性損失，以糾正具有背景偏移的舊類別的客戶端內(nèi)異質(zhì)遺忘。 它在本地客戶端中執(zhí)行平衡梯度傳播和關(guān)系一致性蒸餾。 此外，為了從客戶端間的角度解決異構(gòu)遺忘問題，我們提出了一個(gè)任務(wù)轉(zhuǎn)換監(jiān)視器。 它可以識(shí)別隱私保護(hù)下的新類，并存儲(chǔ)最新的舊全局模型以進(jìn)行關(guān)系蒸餾。 定性實(shí)驗(yàn)表明我們的模型相對(duì)于比較方法有了很大的改進(jìn)。
推薦理由：
該論文提出了一種遺忘平衡學(xué)習(xí)（FBL）模型，從客戶端內(nèi)和客戶端間兩個(gè)方面解決舊類上的異構(gòu)遺忘問題。在自適應(yīng)類平衡偽標(biāo)簽生成的偽標(biāo)簽的指導(dǎo)下，開發(fā)遺忘平衡語義補(bǔ)償損失和遺忘平衡關(guān)系一致性損失，以糾正具有背景轉(zhuǎn)移的舊類別的客戶端內(nèi)異構(gòu)遺忘。此外該論文還提出了一種任務(wù)轉(zhuǎn)移監(jiān)視器。它可以識(shí)別受隱私保護(hù)的新類，并存儲(chǔ)最新的舊全局模型以進(jìn)行關(guān)系提取。定性實(shí)驗(yàn)表明，與比較方法相比，該模型有了很大的改進(jìn)。
3.2 Exploiting the Complementarity of 2D and 3D Networks to Address Domain-Shift in 3D Semantic Segmentation
利用 2D 和 3D 網(wǎng)絡(luò)的互補(bǔ)性來解決 3D 語義分割中的域轉(zhuǎn)移問題
論文地址：
https://arxiv.org/abs/2304.02991
3D 語義分割是許多現(xiàn)實(shí)世界應(yīng)用程序中的一項(xiàng)關(guān)鍵任務(wù)，例如自動(dòng)駕駛、機(jī)器人和混合現(xiàn)實(shí)。 然而，由于 3D 點(diǎn)云的非結(jié)構(gòu)化、稀疏和無色性質(zhì)導(dǎo)致的模糊性，這項(xiàng)任務(wù)極具挑戰(zhàn)性。 一種可能的解決方案是將 3D 信息與來自具有不同模式的傳感器（例如 RGB 相機(jī)）的其他信息相結(jié)合。 最近的多模態(tài) 3D 語義分割網(wǎng)絡(luò)利用這些模態(tài)依賴于獨(dú)立處理 2D 和 3D 信息的兩個(gè)分支，努力保持每種模態(tài)的強(qiáng)度。 在這項(xiàng)工作中，我們首先解釋了為什么這種設(shè)計(jì)選擇是有效的，然后展示了如何改進(jìn)它以使多模態(tài)語義分割對(duì)域轉(zhuǎn)移更加穩(wěn)健。 我們出人意料的簡單貢獻(xiàn)在四個(gè)流行的多模式無監(jiān)督域適應(yīng)基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能，并在域泛化場景中取得了更好的結(jié)果。
推薦理由：
3D語義分割是許多現(xiàn)實(shí)世界應(yīng)用中的一項(xiàng)關(guān)鍵任務(wù)，如自動(dòng)駕駛、機(jī)器人和混合現(xiàn)實(shí)。然而，由于3D點(diǎn)云的非結(jié)構(gòu)化、稀疏和未著色性質(zhì)帶來的模糊性，該任務(wù)極具挑戰(zhàn)性。該論文貢獻(xiàn)在四個(gè)流行的多模態(tài)無監(jiān)督領(lǐng)域自適應(yīng)基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能，并在領(lǐng)域泛化場景中取得了更好的結(jié)果。
3.3 Instant Domain Augmentation for LiDAR Semantic Segmentation
LiDAR 語義分割的即時(shí)域增強(qiáng)
論文地址：
https://arxiv.org/abs/2303.14378
盡管 LiDAR 傳感器越來越受歡迎，但使用 3D LiDAR 數(shù)據(jù)的感知算法仍在努力解決“傳感器偏差問題”。 具體來說，當(dāng)由于域差異而在測試時(shí)應(yīng)用未見過的 LiDAR 傳感器規(guī)格時(shí)，感知算法的性能會(huì)顯著下降。 本文提出了一種用于語義分割任務(wù)的快速靈活的 LiDAR 增強(qiáng)方法，稱為“LiDomAug”。 它聚合原始 LiDAR 掃描并創(chuàng)建任何配置的 LiDAR 掃描，同時(shí)考慮動(dòng)態(tài)失真和遮擋，從而實(shí)現(xiàn)即時(shí)域增強(qiáng)。 我們的按需增強(qiáng)模塊以 330 FPS 的速度運(yùn)行，因此它可以無縫集成到學(xué)習(xí)框架中的數(shù)據(jù)加載器中。 在我們的實(shí)驗(yàn)中，基于學(xué)習(xí)的方法輔助所提出的 LiDomAug 受傳感器偏差問題的影響較小，并且在不使用目標(biāo)域數(shù)據(jù)的情況下在 SemanticKITTI 和 nuScenes 數(shù)據(jù)集上實(shí)現(xiàn)了新的最先進(jìn)的域適應(yīng)性能。 我們還提出了一個(gè)與傳感器無關(guān)的模型，該模型忠實(shí)地適用于各種 LiDAR 配置。
推薦理由：
本文提出了一種用于語義分割任務(wù)的快速靈活的LiDAR增強(qiáng)方法，稱為“LiDomAug”。它聚合原始 LiDAR 掃描，并在考慮動(dòng)態(tài)失真和遮擋的情況下創(chuàng)建任何配置的 LiDAR 掃描，從而實(shí)現(xiàn)即時(shí)域增強(qiáng)。在該實(shí)驗(yàn)中，借助所提出的LiDomAug的基于學(xué)習(xí)的方法受傳感器偏差問題的影響較小，并且在不使用目標(biāo)域數(shù)據(jù)的情況下，在SemanticKITTI和nuScenes數(shù)據(jù)集上實(shí)現(xiàn)了新的最先進(jìn)的域適應(yīng)性能。
四、實(shí)例分割類
4.1 SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance Segmentation
SIM：用于框監(jiān)督實(shí)例分割的語義感知實(shí)例掩碼生成
論文地址：
https://arxiv.org/abs/2303.08578
僅使用邊界框注釋的弱監(jiān)督實(shí)例分割最近引起了很多研究關(guān)注。 目前的大多數(shù)努力都是利用低級(jí)圖像特征作為額外的監(jiān)督，而沒有明確利用對(duì)象的高級(jí)語義信息，當(dāng)前景對(duì)象與背景或附近的其他對(duì)象具有相似的外觀時(shí)，這將變得無效。 我們通過開發(fā)語義感知實(shí)例掩碼 (SIM) 生成范例提出了一種新的框監(jiān)督實(shí)例分割方法。 我們沒有嚴(yán)重依賴相鄰像素之間的局部成對(duì)親和力，而是構(gòu)建了一組類別特征質(zhì)心作為原型來識(shí)別前景對(duì)象并為它們分配語義級(jí)偽標(biāo)簽。 考慮到語義感知原型無法區(qū)分相同語義的不同實(shí)例，我們提出了一種自我糾正機(jī)制來糾正錯(cuò)誤激活的區(qū)域，同時(shí)增強(qiáng)正確的區(qū)域。 此外，為了處理對(duì)象之間的遮擋，我們?yōu)槿醣O(jiān)督實(shí)例分割任務(wù)定制了復(fù)制粘貼操作，以增加具有挑戰(zhàn)性的訓(xùn)練數(shù)據(jù)。 廣泛的實(shí)驗(yàn)結(jié)果證明了我們提出的 SIM 方法優(yōu)于其他最先進(jìn)的方法。
推薦理由：
僅使用邊界框注釋的弱監(jiān)督實(shí)例分割最近引起了廣泛的研究關(guān)注。該論文通過開發(fā)語義感知實(shí)例掩碼（SIM）生成范式，提出了一種新的框監(jiān)督實(shí)例分割方法?？紤]到語義感知原型無法區(qū)分相同語義的不同實(shí)例，該論文提出了一種自我糾正機(jī)制來糾正錯(cuò)誤激活的區(qū)域，同時(shí)增強(qiáng)正確的區(qū)域。廣泛的實(shí)驗(yàn)結(jié)果表明，提出的SIM方法優(yōu)于其他最先進(jìn)的方法。
4.2 DynaMask: Dynamic Mask Selection for Instance Segmentation
DynaMask：用于實(shí)例分割的動(dòng)態(tài)掩碼選擇
論文地址：
https://arxiv.org/abs/2303.07868
代表性的實(shí)例分割方法大多使用固定分辨率的掩碼來分割不同的對(duì)象實(shí)例，例如 28*28 網(wǎng)格。 然而，低分辨率掩碼會(huì)丟失豐富的細(xì)節(jié)，而高分辨率掩碼會(huì)導(dǎo)致二次計(jì)算開銷。 為每個(gè)實(shí)例預(yù)測最佳二進(jìn)制掩碼是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。 在本文中，我們建議為不同的目標(biāo)提議動(dòng)態(tài)選擇合適的掩碼。 首先，開發(fā)了具有自適應(yīng)特征聚合的雙層特征金字塔網(wǎng)絡(luò)（FPN），以逐漸增加掩模網(wǎng)格分辨率，確保對(duì)象的高質(zhì)量分割。 具體來說，引入了一種有效的區(qū)域級(jí)自上而下路徑 (r-FPN)，以合并來自圖像級(jí) FPN (i-FPN) 不同階段的互補(bǔ)上下文和詳細(xì)信息。 然后，為了減輕使用大掩碼導(dǎo)致的計(jì)算和內(nèi)存成本的增加，我們開發(fā)了一個(gè)計(jì)算成本可忽略不計(jì)的掩碼切換模塊（MSM）來為每個(gè)實(shí)例選擇最合適的掩碼分辨率，在保持高分割精度的同時(shí)實(shí)現(xiàn)高效率。 沒有花哨的地方，所提出的方法，即 DynaMask，以適度的計(jì)算開銷帶來了比其他最先進(jìn)的一致和顯著的性能改進(jìn)。
推薦理由：
為了減輕使用大掩碼導(dǎo)致的計(jì)算和內(nèi)存成本的增加，該論文開發(fā)了一個(gè)計(jì)算成本可忽略不計(jì)的掩碼切換模塊（MSM）來為每個(gè)實(shí)例選擇最合適的掩碼分辨率，在保持高分割精度的同時(shí)實(shí)現(xiàn)高效率。沒有花哨的地方，所提出的方法，即 DynaMask，以適度的計(jì)算開銷帶來了比其他最先進(jìn)的一致和顯著的性能改進(jìn)。
4.3 ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution
ISBNet：具有實(shí)例感知采樣和框感知?jiǎng)討B(tài)卷積的 3D 點(diǎn)云實(shí)例分割網(wǎng)絡(luò)
論文地址：
https://arxiv.org/abs/2303.00246
現(xiàn)有的 3D 實(shí)例分割方法以自下而上的設(shè)計(jì)為主——手動(dòng)微調(diào)算法將點(diǎn)分組到簇中，然后是細(xì)化網(wǎng)絡(luò)。 然而，通過依賴于集群的質(zhì)量，這些方法在（1）具有相同語義類的附近對(duì)象被打包在一起，或（2）具有松散連接區(qū)域的大對(duì)象時(shí)產(chǎn)生易受影響的結(jié)果。 為了解決這些限制，我們引入了 ISBNet，這是一種新穎的無集群方法，它將實(shí)例表示為內(nèi)核并通過動(dòng)態(tài)卷積解碼實(shí)例掩碼。 為了有效地生成高召回率和判別力的內(nèi)核，我們提出了一種名為 Instance-aware Farthest Point Sampling 的簡單策略來對(duì)候選對(duì)象進(jìn)行采樣，并利用受 PointNet++ 啟發(fā)的局部聚合層對(duì)候選特征進(jìn)行編碼。 此外，我們表明在動(dòng)態(tài)卷積中預(yù)測和利用 3D 軸對(duì)齊邊界框可進(jìn)一步提高性能。 我們的方法在 AP 方面在 ScanNetV2 (55.9)、S3DIS (60.8) 和 STPLS3D (49.2) 上設(shè)置了新的最先進(jìn)結(jié)果，并保持了快速推理時(shí)間（ScanNetV2 上每個(gè)場景 237 毫秒）。
推薦理由：
現(xiàn)有的3D實(shí)例分割方法主要是自下而上的設(shè)計(jì)——手動(dòng)微調(diào)算法，將點(diǎn)分組為簇，然后是細(xì)化網(wǎng)絡(luò)。為了解決這些限制，該論文引入了ISBNet，這是一種新的無集群方法，它將實(shí)例表示為內(nèi)核，并通過動(dòng)態(tài)卷積解碼實(shí)例掩碼。為了有效地生成高召回率和判別性內(nèi)核，還提出了一種名為實(shí)例感知最遠(yuǎn)點(diǎn)采樣的簡單策略來對(duì)候選進(jìn)行采樣，并利用PointNet++啟發(fā)的局部聚合層對(duì)候選特征進(jìn)行編碼。文章來源地址http://www.zghlxwxcb.cn/news/detail-661656.html
到了這里，關(guān)于【計(jì)算機(jī)視覺】CVPR 2023 上的分割論文真的是神仙打架（介紹前12篇，圖像分割，全景分割，語義分割，實(shí)例分割）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
