一、分割|語義相關(guān)(7篇)

1.1 NOVIS: A Case for End-to-End Near-Online Video Instance Segmentation

Novis：端到端近在線視頻實例分割實例

https://arxiv.org/abs/2308.15266

直到最近，視頻實例分割（VIS）社區(qū)在以下共同信念下操作：離線方法通常優(yōu)于逐幀在線處理。然而，最近在線方法的成功質(zhì)疑這種信念，特別是對于具有挑戰(zhàn)性和長視頻序列。我們將這項工作理解為對最近觀察結(jié)果的反駁，并呼吁社區(qū)關(guān)注專用的近在線VIS方法。為了支持我們的論點，我們提出了一個詳細的分析不同的處理范式和新的端到端的可訓(xùn)練NOVIS（近在線視頻實例分割）方法。我們的基于變換器的模型直接預(yù)測幀的剪輯的時空掩模體積，并通過重疊嵌入執(zhí)行剪輯之間的實例跟蹤。NOVIS代表了第一個接近在線的VIS方法，它避免了任何手工制作的跟蹤啟發(fā)式。我們的表現(xiàn)遠遠優(yōu)于所有現(xiàn)有的VIS方法，并在YouTube-VIS（2019/2021）和OVIS基準測試中提供了最先進的結(jié)果。

1.2 A Multimodal Visual Encoding Model Aided by Introducing Verbal Semantic Information

一種引入言語語義信息的多模式視覺編碼模型

https://arxiv.org/abs/2308.15142

生物學(xué)研究表明，大腦皮層中的言語語義信息作為一個額外的來源，參與了非言語語義任務(wù)，如視覺編碼。然而，以前的視覺編碼模型沒有納入言語語義信息，矛盾的生物學(xué)發(fā)現(xiàn)。針對這一問題，提出了一種基于刺激圖像和相關(guān)文本信息的多模態(tài)視覺信息編碼網(wǎng)絡(luò)模型。我們的視覺信息編碼網(wǎng)絡(luò)模型將刺激圖像作為輸入，并利用文本圖像生成模型生成的文本信息作為口頭語義信息。這種方法將新的信息注入視覺編碼模型。隨后，Transformer網(wǎng)絡(luò)對齊圖像和文本特征信息，創(chuàng)建多模態(tài)特征空間。然后，卷積網(wǎng)絡(luò)從該多模態(tài)特征空間映射到體素空間，構(gòu)建多模態(tài)視覺信息編碼網(wǎng)絡(luò)模型。實驗結(jié)果表明，所提出的多模態(tài)視覺信息編碼網(wǎng)絡(luò)模型在精確的訓(xùn)練代價下優(yōu)于以往的模型。在對象1的大腦的左半球的體素預(yù)測中，性能提高了大約15.87%，而在右半球中，性能提高了大約4.6%。多模態(tài)視覺編碼網(wǎng)絡(luò)模型表現(xiàn)出優(yōu)異的編碼性能。此外，消融實驗表明，我們提出的模型更好地模擬大腦的視覺信息處理。

1.3 Abdominal Multi-Organ Segmentation Based on Feature Pyramid Network and Spatial Recurrent Neural Network

基于特征金字塔網(wǎng)絡(luò)和空間遞歸神經(jīng)網(wǎng)絡(luò)的腹部多器官分割

https://arxiv.org/abs/2308.15137

隨著人工智能的最新進展正在導(dǎo)致傳統(tǒng)診斷方法的衰落，端到端診斷的實現(xiàn)正在快速接近。超聲圖像分割是診斷過程中的重要步驟。一個準確和強大的分割模型加速了過程，并減輕了超聲檢查師的負擔(dān)。與以前的研究相比，我們考慮了超聲圖像的兩個固有特征：（1）不同的器官和組織在空間大小上不同;（2）人體內(nèi)部的解剖結(jié)構(gòu)形成相對恒定的空間關(guān)系?；谶@兩個思想，我們提出了一個新的圖像分割模型相結(jié)合的特征金字塔網(wǎng)絡(luò)（FPN）和空間遞歸神經(jīng)網(wǎng)絡(luò)（SRNN）。我們討論了為什么我們使用FPN來提取不同尺度的解剖結(jié)構(gòu)，以及如何實現(xiàn)SRNN來提取腹部超聲圖像中的空間上下文特征。

1.4 Auto-Prompting SAM for Mobile Friendly 3D Medical Image Segmentation

移動友好三維醫(yī)學(xué)圖像分割中的自動提示SAM算法

https://arxiv.org/abs/2308.14936

分割任意模型（SAM）已迅速被用于分割范圍廣泛的自然圖像。然而，最近的研究表明，SAM表現(xiàn)出低于標準的3D醫(yī)學(xué)圖像分割任務(wù)的性能。除了自然圖像和醫(yī)學(xué)圖像之間的領(lǐng)域差距，2D和3D圖像之間的空間布置的差異，強大的GPU服務(wù)器強加的大量計算負擔(dān)，以及耗時的手動提示生成阻礙SAM擴展到更廣泛的醫(yī)學(xué)圖像分割應(yīng)用。為了解決這些挑戰(zhàn)，在這項工作中，我們介紹了一種新的方法，AutoSAM適配器，專為三維多器官CT為基礎(chǔ)的分割設(shè)計。我們采用參數(shù)高效的適應(yīng)技術(shù)，在開發(fā)一個自動提示學(xué)習(xí)范式，以促進轉(zhuǎn)換的SAM模型的能力，3D醫(yī)學(xué)圖像分割，消除了手動生成的提示的需要。此外，我們有效地將獲取的AutoSAM適配器的知識轉(zhuǎn)移到其他專門為3D醫(yī)學(xué)圖像分析量身定制的輕量級模型，在醫(yī)學(xué)圖像分割任務(wù)上實現(xiàn)了最先進的（SOTA）性能。通過廣泛的實驗評估，我們證明了AutoSAM適配器作為一個重要的基礎(chǔ)，有效地利用新興的能力的基礎(chǔ)模型在2D自然圖像分割3D醫(yī)學(xué)圖像分割。

1.5 Maturity-Aware Active Learning for Semantic Segmentation with Hierarchically-Adaptive Sample Assessment

基于分層自適應(yīng)樣本評估的成熟度主動學(xué)習(xí)語義分割算法

https://arxiv.org/abs/2308.14904

用于語義分割的主動學(xué)習(xí)（AL）由于嚴重的類不平衡和定義“樣本”（像素、區(qū)域等）的不同方式而具有挑戰(zhàn)性。使得數(shù)據(jù)分布的解釋模糊不清。我們提出了“基于成熟度感知分布分解的主動學(xué)習(xí)”（MADBAL），這是一種AL方法，它受益于分層方法來定義多視圖數(shù)據(jù)分布，該方法聯(lián)合考慮了不同的“樣本”定義，因此能夠選擇最有影響力的分割像素，并具有全面的理解。MADBAL還具有一個新的不確定性公式，其中AL支持模塊被包括來感知功能的成熟度，其加權(quán)影響不斷有助于不確定性檢測。通過這種方式，MADBAL即使在AL早期階段也能實現(xiàn)顯著的性能飛躍，從而顯著減輕了訓(xùn)練負擔(dān)。它優(yōu)于Cityscapes和PASCAL VOC數(shù)據(jù)集上的最先進的方法，在我們廣泛的實驗中得到了驗證。

1.6 BIT: Bi-Level Temporal Modeling for Efficient Supervised Action Segmentation

BIT：用于高效有監(jiān)督動作分割的兩級時態(tài)建模

https://arxiv.org/abs/2308.14900

我們解決的任務(wù)，監(jiān)督的行動分割，其目的是將視頻分割成非重疊的片段，每個代表一個不同的行動。最近的工作應(yīng)用Transformers進行時間建模的幀級，這遭受高的計算成本，不能很好地捕捉動作的依賴關(guān)系，在很長的時間范圍。為了解決這些問題，我們提出了一個有效的BI級時態(tài)建模（BIT）框架，學(xué)習(xí)明確的動作令牌來表示動作段，并行執(zhí)行幀和動作級別的時態(tài)建模，同時保持低的計算成本。我們的模型包含（i）一個使用卷積來學(xué)習(xí)幀級關(guān)系的幀分支，（ii）一個使用Transformer來學(xué)習(xí)動作級依賴關(guān)系的動作分支，以及（iii）交叉關(guān)注以允許兩個分支之間的通信。我們應(yīng)用并擴展了一個集合預(yù)測目標，允許每個動作令牌表示一個或多個動作片段，從而可以避免在具有許多片段的長視頻上學(xué)習(xí)大量令牌。由于我們的動作分支的設(shè)計，我們還可以無縫地利用視頻的文本轉(zhuǎn)錄（當可用時），通過使用它們來初始化動作令牌來幫助動作分割。我們在四個視頻數(shù)據(jù)集（兩個以自我為中心的和兩個第三人稱）上評估了我們的模型，用于有和沒有轉(zhuǎn)錄的動作分割，表明BIT顯著提高了最先進的準確性，與現(xiàn)有的基于變換器的方法相比，計算成本要低得多（快30倍）。

1.7 Shape-Margin Knowledge Augmented Network for Thyroid Nodule Segmentation and Diagnosis

形狀邊緣知識增強的甲狀腺結(jié)節(jié)分割與診斷網(wǎng)絡(luò)

https://arxiv.org/abs/2308.15386

甲狀腺結(jié)節(jié)分割是醫(yī)生和計算機輔助診斷系統(tǒng)診斷過程中的關(guān)鍵步驟。大多數(shù)情況下，目前的研究處理分割和診斷作為獨立的任務(wù)，而不考慮這些任務(wù)之間的相關(guān)性。在計算機輔助診斷系統(tǒng)中，這些獨立任務(wù)的順序步驟可能導(dǎo)致錯誤的積累。因此，通過探討甲狀腺結(jié)節(jié)分割與診斷的關(guān)系，將兩者結(jié)合起來是值得的。根據(jù)甲狀腺影像報告和數(shù)據(jù)系統(tǒng)（TI-RADS），甲狀腺結(jié)節(jié)的形態(tài)和邊緣特征是鑒別良惡性的前提。這些特征可以在甲狀腺結(jié)節(jié)分割掩模中觀察到。受TI-RADS診斷程序的啟發(fā)，本文提出了一種形狀邊緣知識增強網(wǎng)絡(luò)（SkaNet），同時甲狀腺結(jié)節(jié)分割和診斷。由于分割和診斷之間視覺特征的相似性，SkaNet在特征提取階段共享視覺特征，然后利用雙分支架構(gòu)同時執(zhí)行甲狀腺結(jié)節(jié)分割和診斷任務(wù)。為了增強有效的區(qū)分特征，設(shè)計了指數(shù)混合模塊，該模塊通過指數(shù)加權(quán)將卷積特征映射和自注意映射結(jié)合起來。然后，SkaNet是聯(lián)合優(yōu)化的知識增強的多任務(wù)損失函數(shù)與約束懲罰項。它通過數(shù)值計算嵌入形狀和邊緣特征，并建立甲狀腺結(jié)節(jié)診斷結(jié)果與分割掩模之間的關(guān)系。文章來源地址http://www.zghlxwxcb.cn/news/detail-701689.html

到了這里，關(guān)于【計算機視覺 | 圖像分割】arxiv 計算機視覺關(guān)于圖像分割的學(xué)術(shù)速遞（8 月 30 日論文合集）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！