一、《Benchmarking PathCLIP for Pathology Image Analysis》

1、Abstract：

????????準(zhǔn)確的圖像分類和檢索對于臨床診斷和治療決策具有重要意義。最近的對比語言圖像預(yù)訓(xùn)練（CLIP）模型在理解自然圖像方面表現(xiàn)出了顯著的能力。從CLIP中汲取靈感，PathCLIP專為病理學(xué)圖像分析而設(shè)計(jì)，在訓(xùn)練中使用超過200，000個圖像和文本對。雖然PathCLIP的性能令人印象深刻，但其在各種圖像損壞下的魯棒性仍然未知。因此，我們進(jìn)行了廣泛的評估，以分析PathCLIP在骨肉瘤和WSSS 4LUAD數(shù)據(jù)集的各種損壞圖像上的性能。在我們的實(shí)驗(yàn)中，我們引入了七種腐敗類型，包括亮度，對比度，高斯模糊，分辨率，飽和度，色調(diào)和標(biāo)記在四個嚴(yán)重程度。????????

????????通過實(shí)驗(yàn)，我們發(fā)現(xiàn)PathCLIP對圖像污染具有較強(qiáng)的魯棒性，在zero-shot分類方面優(yōu)于OpenAI-CLIP和PLIP。在這七種損壞中，模糊和分辨率會導(dǎo)致PathCLIP的服務(wù)器性能下降。這表明，在進(jìn)行臨床測試之前，確保圖像質(zhì)量至關(guān)重要。此外，我們評估了PathCLIP在圖像圖像檢索任務(wù)中的魯棒性，揭示了PathCLIP在骨肉瘤上的表現(xiàn)不如PLIP有效，但在不同的腐敗情況下在WSSS 4LUAD上表現(xiàn)更好。總體而言，PathCLIP提供了令人印象深刻的zero-shot分類和病理圖像檢索性能，但在使用它時(shí)需要適當(dāng)?shù)恼疹?。我們希望這項(xiàng)研究提供了一個定性的印象PathCLIP，并有助于了解它與其他CLIP模型的差異。

2、Conclusion：

????????在這項(xiàng)工作中，我們評估了PathCLIP在病理圖像分析中的魯棒性。具體來說，我們研究了PathCLIP在現(xiàn)實(shí)世界中七種常見類型的損壞上的性能。我們的發(fā)現(xiàn)表明，PathCLIP對損壞相對魯棒，在零樣本分類中優(yōu)于OpenAI-CLIP和PLIP。在七種損壞中，模糊和分辨率可以顯著影響PathCLIP的性能。因此，在應(yīng)用臨床測試之前確保圖像質(zhì)量很重要。我們還評估了PathCLIP在圖像-圖像檢索任務(wù)中的魯棒性。結(jié)果表明，在各種損壞下，PathCLIP在骨肉瘤方面的性能劣于PLIP。實(shí)驗(yàn)結(jié)果表明，PLIP可能更適合于骨癌的病理圖像分析。為了臨床應(yīng)用，建議根據(jù)任務(wù)靈活使用其中一個CLIP模型?？偟膩碚f，PathCLIP作為病理圖像中的零樣本分類和圖像-圖像檢索的基準(zhǔn)模型具有很大的潛力。未來的工作將考慮在模型訓(xùn)練期間進(jìn)行圖像損壞，以實(shí)現(xiàn)魯棒性能。另一個方向?qū)Ｗ⒂陂_發(fā)PathCLIP和大型語言模型，以實(shí)現(xiàn)深度多模態(tài)理解，其中AI可以根據(jù)文本和視覺輸入理解和生成響應(yīng)或病理診斷。

3、Result：

二、《Clinical-grade computational pathology using weakly supervised deep learning on whole slide images》?

from：Nature Medicine 2019?

參考文章：http://t.csdnimg.cn/9ZQqThttp://t.csdnimg.cn/9ZQqT

http://t.csdnimg.cn/8Bjzxhttp://t.csdnimg.cn/8Bjzx

http://t.csdnimg.cn/Yo6ZLhttp://t.csdnimg.cn/Yo6ZL

1、Abstract：

病理學(xué)決策支持系統(tǒng)的發(fā)展以及其在臨床實(shí)踐中的部署受到了對大量手動注釋數(shù)據(jù)集需求的阻礙。為了克服這個問題，我們提出了一種基于多實(shí)例學(xué)習(xí)的深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)僅使用報(bào)告的診斷作為訓(xùn)練標(biāo)簽，從而避免了昂貴且耗時(shí)的像素級手動注釋。我們在一個規(guī)模龐大的數(shù)據(jù)集上評估了這一框架，該數(shù)據(jù)集包含44732張全切片圖像，來自15187名患者，沒有任何形式的數(shù)據(jù)管理。對前列腺癌、基底細(xì)胞癌和乳腺癌轉(zhuǎn)移到腋窩淋巴結(jié)的測試結(jié)果顯示，所有癌癥類型的曲線下面積均超過0.98。其臨床應(yīng)用將使病理學(xué)家能夠排除65-75%的幻燈片，同時(shí)保持100%的敏感性。我們的結(jié)果表明，該系統(tǒng)有能力以前所未有的規(guī)模訓(xùn)練準(zhǔn)確的分類模型，為臨床實(shí)踐中部署計(jì)算決策支持系統(tǒng)奠定了基礎(chǔ)。

2、Conclusion：

????????使用大規(guī)模的弱標(biāo)簽訓(xùn)練集訓(xùn)練得到的模型，其效果遠(yuǎn)好于使用少量像素級別專家標(biāo)注訓(xùn)練集訓(xùn)練的效果，能夠達(dá)到臨床水平。

三、《PathAsst: Redefining Pathology through Generative Foundation AI Assistant for Pathology》

1、Abstract：

????????隨著大型語言模型（LLM）和多模態(tài)技術(shù)的不斷成熟，通用多模態(tài)大型語言模型（MLLM）的發(fā)展已經(jīng)蓬勃發(fā)展，在自然圖像解釋方面具有顯著的應(yīng)用。然而，病理學(xué)領(lǐng)域在這方面仍未得到充分開發(fā)，盡管對準(zhǔn)確、及時(shí)和個性化的診斷需求日益增長。為了彌補(bǔ)病理學(xué)MLLM領(lǐng)域的差距，我們在這項(xiàng)研究中提出了PathAsst，這是一個用于革新病理診斷和預(yù)測分析的生成式基礎(chǔ)AI助手。為了開發(fā)PathAsst，我們從各種可靠來源收集了超過142K個高質(zhì)量的病理圖像-文本對，包括PubMed、全面的病理學(xué)教科書、著名的病理學(xué)網(wǎng)站以及由病理學(xué)家注釋的私有數(shù)據(jù)。利用ChatGPT/GPT-4的先進(jìn)功能，我們生成了超過180K個遵循指令的樣本。此外，我們還設(shè)計(jì)了額外的遵循指令數(shù)據(jù)，專門針對病理學(xué)特定模型的調(diào)用，使PathAsst能夠根據(jù)輸入圖像和用戶意圖有效地與這些模型進(jìn)行交互，從而增強(qiáng)模型的診斷能力。隨后，我們的PathAsst基于Vicuna-13B語言模型與CLIP視覺編碼器進(jìn)行訓(xùn)練。PathAsst的結(jié)果表明，利用AI驅(qū)動的生成式基礎(chǔ)模型提高病理學(xué)診斷和治療過程的潛力。我們致力于開源我們精心策劃的數(shù)據(jù)集，以及旨在幫助研究人員廣泛收集和預(yù)處理他們自己的數(shù)據(jù)集的綜合工具包。

2、Conclusion：

3、Result：

四、《Task-specificFine-tuningviaVariationalInformationBottleneckfor Weakly-supervisedPathologyWholeSlideImageClassification》

from：CVPR 2023

1、Abstract：

????????雖然多實(shí)例學(xué)習(xí)（MIL）在數(shù)字病理學(xué)全切片圖像（WSI）分析中表現(xiàn)出有前途的結(jié)果，但這種范式仍然面臨著性能和泛化問題，因?yàn)橛?jì)算成本高昂，而且對吉兆像素（Gigapixel）WSIs的監(jiān)督有限。為了解決計(jì)算問題，之前的方法利用從ImageNet預(yù)訓(xùn)練得到的冷凍模型來獲得表示，然而，由于領(lǐng)域差距大，可能會丟失關(guān)鍵信息，而且沒有進(jìn)行圖像級別的訓(xùn)練時(shí)間數(shù)據(jù)增強(qiáng)，從而阻礙了泛化能力。盡管自監(jiān)督學(xué)習(xí)（SSL）提出了可行的表示學(xué)習(xí)方案，但下游任務(wù)特定的特征通過部分標(biāo)簽調(diào)整并沒有得到探索。為了緩解這個問題，我們提出了一種基于信息瓶頸理論的WSI微調(diào)框架。該理論使框架能夠找到WSI的最小充分統(tǒng)計(jì)量，從而支持我們僅根據(jù)WSI級別的弱標(biāo)簽將主干微調(diào)為特定任務(wù)的表示。我們對WSI-MIL問題進(jìn)行了進(jìn)一步分析，從理論上推導(dǎo)出了我們的微調(diào)方法。我們在五個病理學(xué)WSI數(shù)據(jù)集上對各種WSI頭進(jìn)行了實(shí)驗(yàn)評估。實(shí)驗(yàn)結(jié)果表明，與之前的工作相比，該方法在準(zhǔn)確性和泛化方面均取得了顯著改進(jìn)。

2、Conclusion：

????????在這項(xiàng)工作中，我們提出了一種基于弱監(jiān)督的幻燈片級別標(biāo)簽的WSI分類微調(diào)方法。首先，我們引入了一個有效的信息瓶頸（IB）模塊來降低Gigapixel WSI的訓(xùn)練成本，該模塊將過大的數(shù)據(jù)包精簡為稀疏數(shù)據(jù)包。然后，實(shí)例的主干能夠在MIL框架中進(jìn)行端到端訓(xùn)練，通過學(xué)習(xí)并對精簡的數(shù)據(jù)包進(jìn)行分類。因此，通過保留主要任務(wù)特定信息，WSI分類性能得到了提高。此外，自監(jiān)督學(xué)習(xí)（SSL）可以與提出的框架相結(jié)合以實(shí)現(xiàn)進(jìn)一步的改進(jìn)。與完全監(jiān)督學(xué)習(xí)相比，我們的方法可以利用極其微弱的WSI標(biāo)簽實(shí)現(xiàn)具有競爭力的準(zhǔn)確度。此外，我們的訓(xùn)練方案可以為具有領(lǐng)域變化的數(shù)據(jù)庫引入多種訓(xùn)練時(shí)間增強(qiáng)，這是之前工作不可避免的挑戰(zhàn)。實(shí)驗(yàn)結(jié)果反映了我們的方法在準(zhǔn)確性和泛化方面的進(jìn)展?？偟膩碚f，我們提出的方法在真實(shí)世界病理診斷的MIL應(yīng)用中具有很大的潛力，具有更好的性能、更快的收斂速度和注釋效率。

3、Result：

五、《Color-S4L: Self-supervised Semi-supervised Learning with Image Colorization》

1、Abstract：

????????這項(xiàng)工作解決了半監(jiān)督圖像分類任務(wù)的問題，集成了幾個有效的自我監(jiān)督的預(yù)訓(xùn)練任務(wù)。與半監(jiān)督學(xué)習(xí)中廣泛使用的一致性正則化不同，本文提出了一種新的自監(jiān)督半監(jiān)督學(xué)習(xí)框架（Color-S4L），特別是圖像著色代理任務(wù)，并深入評估了各種網(wǎng)絡(luò)結(jié)構(gòu)在這種特殊管道中的性能。此外，我們證明了它的有效性和最佳性能CIFAR-10，SVHN和CIFAR-100數(shù)據(jù)集相比，以前的監(jiān)督和半監(jiān)督的最佳方法。

2、Conclusion：

????????我們提出了一種新穎的Color-S4L模型，該模型將多個自監(jiān)督的預(yù)訓(xùn)練任務(wù)與半監(jiān)督學(xué)習(xí)框架相結(jié)合。此外，我們將自訓(xùn)練的有效圖像著色模型嵌入到SSL管道中，與圖像旋轉(zhuǎn)和地理變換一起建立新的監(jiān)督。此外，我們探索了6種CNN架構(gòu)在SESEMI [22]和Color-S4L模型中的性能，甚至發(fā)現(xiàn)我們首次應(yīng)用的Shake-WRN神經(jīng)網(wǎng)絡(luò)在SVHN數(shù)據(jù)集上超過了其他主干。

????????總的來說，我們深入研究了快速發(fā)展的自監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的整合，甚至提供了與之前半監(jiān)督學(xué)習(xí)最先進(jìn)方法相比具有競爭力的最佳結(jié)果。在未來的研究中，我們可以探索更多利用自監(jiān)督表示學(xué)習(xí)為其他學(xué)習(xí)范式（如少樣本學(xué)習(xí)和強(qiáng)化學(xué)習(xí)）的可能性。

3、Result：

六、《Analysis and Validation of Image Search Engines in Histopathology》

1、Abstract：

????????在組織學(xué)和組織病理學(xué)圖像檔案中搜索相似圖像是一項(xiàng)至關(guān)重要的任務(wù)，可以幫助患者匹配各種目的，從分類和診斷到預(yù)后和預(yù)測。全載玻片圖像（WSI）是安裝在載玻片上的組織標(biāo)本的高度詳細(xì)的數(shù)字表示。將WSI與WSI匹配可以作為患者匹配的關(guān)鍵方法。在這篇論文中，我們對四種搜索方法（BoVW、Yottixel、SISH、RetCCL）及其一些潛在變種進(jìn)行了廣泛的分析和驗(yàn)證。我們分析了它們的算法和結(jié)構(gòu)，并評估了它們的性能。為了進(jìn)行這項(xiàng)評估，我們使用了四個內(nèi)部數(shù)據(jù)集（1269名患者）和三個公開數(shù)據(jù)集（1207名患者），共計(jì)來自38個不同類別/亞類的超過200，000個補(bǔ)丁，覆蓋五個主要站點(diǎn)。例如，某些搜索引擎，如BoVW，表現(xiàn)出顯著的效率和速度，但準(zhǔn)確率較低。相反，像Yottixel這樣的搜索引擎表現(xiàn)出效率和速度，提供了適度準(zhǔn)確的結(jié)果。最近提出的建議，包括SISH，表現(xiàn)出效率低下且結(jié)果不一致，而像RetCCL這樣的替代方案在準(zhǔn)確性和效率方面都表現(xiàn)不足。因此，進(jìn)一步的研究對于解決病理組織學(xué)圖像搜索中準(zhǔn)確性和最小存儲要求這兩個方面的問題至關(guān)重要。

2、Conclusion：

? ? ? ? 該論文主要是解決WSI圖像的匹配問題，能否從大量的歷史數(shù)據(jù)中搜索出與新數(shù)據(jù)匹配的數(shù)據(jù)，從而更好地進(jìn)行診斷。? ? ? ??

????????在算法結(jié)構(gòu)、搜索能力、訓(xùn)練和測試數(shù)據(jù)方面，我們對選定的四種搜索方法進(jìn)行了比較。更重要的是，我們進(jìn)行了廣泛的實(shí)驗(yàn)，以比較它們的搜索性能。在算法結(jié)構(gòu)比較方面，我們比較了它們用于分解WSI進(jìn)行索引和匹配的切塊方法?？傮w而言，通過比較它們的搜索能力，我們確定了它們是否能夠處理/搜索補(bǔ)丁和WSI匹配。訓(xùn)練和測試數(shù)據(jù)的比較包括詳細(xì)記錄每個搜索引擎所用的訓(xùn)練或驗(yàn)證數(shù)據(jù)。最后，我們使用高質(zhì)量的臨床數(shù)據(jù)集和著名的公開數(shù)據(jù)集來量化每種方法的搜索性能。我們主要通過準(zhǔn)確性、索引和搜索的時(shí)間測量、魯棒性和存儲要求來評估性能基準(zhǔn)。

3、Result：

七、《?RudolfV: A Foundation Model by Pathologists for Pathologists》

1、Abstract：

????????組織學(xué)在臨床醫(yī)學(xué)和生物醫(yī)學(xué)研究中起著核心作用。雖然人工智能在許多病理任務(wù)上顯示出有希望的結(jié)果，但在訓(xùn)練數(shù)據(jù)稀缺的情況下，泛化和處理罕見疾病仍然是一個挑戰(zhàn)。在從潛在有限的標(biāo)記數(shù)據(jù)中學(xué)習(xí)之前，從未標(biāo)記數(shù)據(jù)中提取知識到基礎(chǔ)模型中，為解決這些挑戰(zhàn)提供了一條可行的途徑。在這項(xiàng)工作中，我們通過半自動數(shù)據(jù)管理和結(jié)合病理學(xué)家領(lǐng)域知識來擴(kuò)展數(shù)字病理學(xué)全切片圖像的基礎(chǔ)模型的最新技術(shù)。具體而言，我們結(jié)合了計(jì)算和病理學(xué)家領(lǐng)域知識（1）來管理103k載玻片的多樣化數(shù)據(jù)集，對應(yīng)于7.5億個圖像塊，涵蓋來自不同固定、染色和掃描方案的數(shù)據(jù)以及來自歐盟和美國不同適應(yīng)癥和實(shí)驗(yàn)室的數(shù)據(jù)，（2）用于對語義相似的載玻片和組織塊進(jìn)行分組，以及（3）在訓(xùn)練期間增強(qiáng)輸入圖像。我們在一組公共和內(nèi)部基準(zhǔn)上評估了生成的模型，并表明盡管我們的基礎(chǔ)模型是用數(shù)量級更少的幻燈片訓(xùn)練的，但它的性能與競爭模型相當(dāng)或更好。我們預(yù)計(jì)，將我們的方法擴(kuò)展到更多的數(shù)據(jù)和更大的模型將進(jìn)一步提高其性能和能力，以處理診斷和生物醫(yī)學(xué)研究中日益復(fù)雜的現(xiàn)實(shí)世界任務(wù)。

2、Conclusion：

? ? ? ? 這篇論文主要解決的是組織病理圖像中的訓(xùn)練數(shù)據(jù)稀缺的問題；

????????這項(xiàng)工作表明，通過仔細(xì)整合病理領(lǐng)域知識，可以大幅提高性能，盡管使用幻燈片數(shù)量和模型參數(shù)數(shù)量比競爭模型少一個數(shù)量級，但當(dāng)時(shí)表現(xiàn)最好的病理學(xué)基礎(chǔ)模型。我們假設(shè)增加數(shù)據(jù)量、多樣性和模型參數(shù)的數(shù)量將進(jìn)一步提高我們的方法的性能。在后續(xù)工作中，我們將通過增加基準(zhǔn)測試、消融研究以及增加數(shù)據(jù)和模型大小來擴(kuò)展這篇論文。我們希望指出的是，雖然目前的工作重點(diǎn)是機(jī)器學(xué)習(xí)研究，但我們期望這些結(jié)果在未來的實(shí)際診斷和生物醫(yī)學(xué)研究中發(fā)揮重要作用。因此，未來的研究將探索RudolfV在協(xié)助臨床常規(guī)診斷和更復(fù)雜的任務(wù)（包括多模態(tài)建模）中的作用。

3、Result：

八、《Learn From Zoom: Decoupled Supervised Contrastive Learning For WCE Image Classification》

1、Abstract：

????????在無線膠囊內(nèi)窺鏡（WCE）圖像中對病變進(jìn)行準(zhǔn)確的分類，對于胃腸道（GI）癌癥的早期診斷和治療至關(guān)重要。然而，這項(xiàng)任務(wù)面臨諸多挑戰(zhàn)，如病變很小以及背景干擾等。此外，WCE圖像還表現(xiàn)出較高的類內(nèi)方差和類間相似性，這增加了復(fù)雜性。為了解決這些挑戰(zhàn)，我們提出了用于WCE圖像分類的解耦監(jiān)督對比學(xué)習(xí)（Decoupled Supervised Contrastive Learning），該方法通過注意力增強(qiáng)器生成的放大WCE圖像來學(xué)習(xí)穩(wěn)健的表示。具體而言，我們使用均勻下采樣的WCE圖像作為錨點(diǎn)，并將相同類別的WCE圖像，特別是其放大圖像作為正樣本。這種方法利用解耦監(jiān)督對比學(xué)習(xí)使特征提取器能夠從同一圖像的各種視圖捕獲豐富的表示。通過在10個周期內(nèi)對這些表示訓(xùn)練一個線性分類器，實(shí)現(xiàn)了令人印象深刻的92.01%的整體準(zhǔn)確率，在兩個公開可用的WCE數(shù)據(jù)集的混合數(shù)據(jù)上超過了之前的最佳水平（SOTA）0.72%。

2、Conclusion：

????????在這篇論文中，我們提出了一種新穎的DSCL方法，以解決WCE領(lǐng)域中固有的挑戰(zhàn)，包括較高的類內(nèi)方差和類間相似性。通過利用注意力圖放大病變區(qū)域，我們的方法促進(jìn)了特征提取，使得在不同的類別中的WCE圖像中捕獲豐富且具有區(qū)分性的信息。我們在兩個公開可用的WCE數(shù)據(jù)集的組合上進(jìn)行了廣泛的實(shí)驗(yàn)，證明了我們的方法的有效性和優(yōu)越性與其他方法相比。

3、Result：

九、《LEGO:Language Enhanced Multi-modal Grounding Model》

from：ByteDance & Fudan University

1、Abstract：

????????多模態(tài)大型語言模型在不同模態(tài)的各種任務(wù)中表現(xiàn)出令人印象深刻的性能。然而，現(xiàn)有的多模態(tài)模型主要強(qiáng)調(diào)捕捉每個模態(tài)內(nèi)的全局信息，而忽略了感知跨模態(tài)的局部信息的重要性。因此，這些模型缺乏有效理解輸入數(shù)據(jù)的細(xì)粒度細(xì)節(jié)的能力，限制了它們在需要更細(xì)致理解的任務(wù)中的性能。為了解決這一限制，迫切需要開發(fā)能夠跨多種模式進(jìn)行細(xì)粒度理解的模型，從而增強(qiáng)其對廣泛任務(wù)的適用性。在本文中，我們提出了LEGO，語言增強(qiáng)的多模態(tài)接地模型。除了像其他多模態(tài)模型一樣捕獲全局信息之外，我們提出的模型還擅長于需要詳細(xì)了解輸入中的局部信息的任務(wù)。它可以精確識別和定位圖像中的特定區(qū)域或視頻中的時(shí)刻。為了實(shí)現(xiàn)這一目標(biāo)，我們設(shè)計(jì)了一個多樣化的數(shù)據(jù)集構(gòu)建管道，從而產(chǎn)生了一個用于模型訓(xùn)練的多模態(tài)、多粒度數(shù)據(jù)集。

2、Conclusion：
????????在這篇論文中，我們提出了一種名為LEGO的統(tǒng)一端到端多模態(tài)接地模型。通過在多樣化多模態(tài)和多粒度數(shù)據(jù)集上進(jìn)行訓(xùn)練，LEGO能夠更好地感知多模態(tài)輸入，并在需要精細(xì)理解的各項(xiàng)任務(wù)中表現(xiàn)出更好的性能。為了解決相關(guān)數(shù)據(jù)稀缺的問題，我們創(chuàng)建了一個多模態(tài)接地?cái)?shù)據(jù)集，涵蓋了各種模態(tài)、任務(wù)和粒度。為了鼓勵這一領(lǐng)域的進(jìn)一步發(fā)展，我們將公開提供我們的模型、代碼和數(shù)據(jù)集。

????????在未來的工作中，我們計(jì)劃擴(kuò)展LEGO以適應(yīng)更多的輸入和輸出模態(tài)，同時(shí)探索更復(fù)雜的接地方法。

3、Result：

十、《Enhancing Contrastive Learning with Efficient Combinatorial Positive Pairing》

1、Abstract：

????????在過去的幾年中，對比學(xué)習(xí)在視覺無監(jiān)督表示學(xué)習(xí)的成功中發(fā)揮了核心作用。大約在同一時(shí)間，高性能的非對比學(xué)習(xí)方法也得到了發(fā)展。盡管大多數(shù)工作只使用兩個視圖，但我們仔細(xì)回顧了現(xiàn)有的多視圖方法，并提出了一個通用的多視圖策略，可以加快任何對比或非對比方法的學(xué)習(xí)速度和性能。我們首先分析了CMC的全圖范式，并從經(jīng)驗(yàn)上表明，對于小學(xué)習(xí)率和早期訓(xùn)練，K-views的學(xué)習(xí)速度可以提高KC2倍。然后，我們通過混合由裁剪增強(qiáng)創(chuàng)建的視圖、采用與SwAV多裁剪相同的小尺寸視圖以及修改負(fù)采樣來升級CMC的全圖。最終的多視圖策略被稱為ECPP（高效組合正對配對）。我們通過將ECPP應(yīng)用于SimCLR，并評估其在CIFAR-10和ImageNet-100上的線性評估性能，探討了ECPP的有效性。對于每個基準(zhǔn)測試，我們都取得了最佳性能。在ImageNet-100的情況下，ECPP提升了SimCLR的性能，超過了監(jiān)督學(xué)習(xí)。

2、Conclusion：

????????在這項(xiàng)工作中，我們仔細(xì)研究了K-views的基本優(yōu)勢，并提出了高效的組合正對配對（ECPP）方法，這是一種簡單的附加方法，可以增強(qiáng)對比學(xué)習(xí)和非對比學(xué)習(xí)方法的訓(xùn)練速度和效率。盡管對比學(xué)習(xí)和非對比學(xué)習(xí)被廣泛應(yīng)用于各種無監(jiān)督表示學(xué)習(xí)任務(wù)中，但我們的實(shí)驗(yàn)僅限于視覺任務(wù)。我們的方法可以使用相對較小的計(jì)算量訓(xùn)練高性能的網(wǎng)絡(luò)。這一特性對研究社區(qū)有所幫助。

3、Result：

十一、《Self-supervised Learning of Dense Hierarchical Representations for Medical Image Segmentation》

1、Abstract：

????????本文展示了一個自監(jiān)督框架，用于學(xué)習(xí)為密集下游任務(wù)量身定制的體素式粗到細(xì)表示。我們的方法源于觀察到，現(xiàn)有的分層表示學(xué)習(xí)的方法往往優(yōu)先考慮全球功能的本地功能，由于固有的架構(gòu)偏見。為了應(yīng)對這一挑戰(zhàn)，我們設(shè)計(jì)了一種訓(xùn)練策略，該策略平衡了多個尺度的特征的貢獻(xiàn)，確保學(xué)習(xí)的表示能夠捕獲粗粒度和細(xì)粒度的細(xì)節(jié)。我們的策略包括3方面的改進(jìn)：（1）本地?cái)?shù)據(jù)增強(qiáng)，（2）分層平衡的架構(gòu)，以及（3）混合對比恢復(fù)損失函數(shù)。我們在CT和MRI數(shù)據(jù)上評估了我們的方法，并證明了我們的新方法特別有利于有限注釋數(shù)據(jù)的微調(diào)，并且在線性評估設(shè)置中始終優(yōu)于基線對應(yīng)物。

2、Conclusion：

????????我們提出了一種自監(jiān)督框架，用于從無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)層次平衡的體素級表示。我們的方法有效地緩解了基于FPN的嵌入所固有的不平衡問題，確保高分辨率和低分辨率特征對學(xué)到的體素表示做出同等貢獻(xiàn)。我們證明，在線性評估設(shè)置中，我們的方法優(yōu)于基線，并證明在標(biāo)簽數(shù)據(jù)有限的情況下，它在微調(diào)設(shè)置中具有特別的優(yōu)勢。

3、Result：

十二、《A Study on Self-Supervised Pretraining for Vision Problems in Gastrointestinal Endoscopy》

1、Abstract：

????????胃腸道內(nèi)窺鏡檢查（GIE）中視覺任務(wù)的解決方案通常使用以ImageNet-1 k作為backbone的監(jiān)督方式預(yù)訓(xùn)練的圖像編碼器。然而，使用現(xiàn)代自監(jiān)督預(yù)訓(xùn)練算法和最近的10萬個未標(biāo)記GIE圖像數(shù)據(jù)集（Hyperkvasir-unlabeled）可能會有所改進(jìn)。在這項(xiàng)工作中，我們研究了在一系列GIE視覺任務(wù)中，使用ImageNet-1 k和Hyperkvasir-unlabeled（僅限自監(jiān)督）以自監(jiān)督和監(jiān)督方式預(yù)訓(xùn)練ResNet 50和ViT-B骨干的模型的微調(diào)性能。除了為每個任務(wù)確定最合適的預(yù)訓(xùn)練管道和骨干架構(gòu)之外，我們的研究結(jié)果還表明：自監(jiān)督預(yù)訓(xùn)練通常比監(jiān)督預(yù)訓(xùn)練為GIE視覺任務(wù)產(chǎn)生更合適的骨干;使用ImageNet-1 k的自監(jiān)督預(yù)訓(xùn)練通常比使用Hyperkvasir-unlabeled的預(yù)訓(xùn)練更合適，但結(jié)腸鏡檢查中的單眼深度估計(jì)除外; ViT-B更適合于結(jié)腸鏡檢查中的息肉分割和單眼深度估計(jì)，ResNet 50更適合于息肉檢測，并且兩種架構(gòu)在解剖標(biāo)志識別和病理發(fā)現(xiàn)表征方面表現(xiàn)相似。我們希望這項(xiàng)工作引起人們對GIE視覺任務(wù)預(yù)訓(xùn)練的復(fù)雜性的關(guān)注，為這種比公約更合適的方法的發(fā)展提供信息，并激發(fā)對這一主題的進(jìn)一步研究，以幫助推動這一發(fā)展????????

2、Conclusion：

????????在這項(xiàng)工作中，我們研究了圖像編碼器的預(yù)訓(xùn)練，以便將其用作GIE視覺任務(wù)解決方案中的骨干網(wǎng)絡(luò)。我們考慮了編碼器架構(gòu)、預(yù)訓(xùn)練管道（數(shù)據(jù)和算法）和下游任務(wù)的變化。這是由于最近有機(jī)會改進(jìn)使用ImageNet-1k進(jìn)行監(jiān)督預(yù)訓(xùn)練骨干網(wǎng)絡(luò)的傳統(tǒng)方法，即現(xiàn)代自監(jiān)督預(yù)訓(xùn)練算法和Hyperkvasir-unlabelled（一個相對較大的未標(biāo)記GIE圖像數(shù)據(jù)集）。我們主要確定了考慮到的每個任務(wù)的最佳預(yù)訓(xùn)練管道和架構(gòu)，通過調(diào)整編碼器以適應(yīng)任務(wù)，使用最先進(jìn)的解碼器對模型進(jìn)行微調(diào)，并在包含任務(wù)合適注釋的數(shù)據(jù)集上對結(jié)果模型進(jìn)行微調(diào)，然后使用完善的度量標(biāo)準(zhǔn)在測試集上評估性能。總體而言，我們發(fā)現(xiàn)使用MAE算法和ImageNet-1k預(yù)訓(xùn)練的ViT-B骨干網(wǎng)絡(luò)最為穩(wěn)健。此外，我們的發(fā)現(xiàn)就GIE視覺任務(wù)解決方案中用作骨干的編碼器的預(yù)訓(xùn)練提出了三條一般性原則，這些原則是通過分析下游性能得出的。這些原則包括：

? 自監(jiān)督預(yù)訓(xùn)練通常比監(jiān)督預(yù)訓(xùn)練產(chǎn)生更合適的骨干網(wǎng)絡(luò)。這一結(jié)果具有重要意義，因?yàn)槟壳叭匀徊捎迷贗mageNet-1k上進(jìn)行監(jiān)督預(yù)訓(xùn)練的骨干網(wǎng)絡(luò)——這意味著可以通過自監(jiān)督預(yù)訓(xùn)練改進(jìn)當(dāng)前的技術(shù)水平。此外，這一結(jié)果與涉及日常圖像的任務(wù)的結(jié)果形成對比，在這些任務(wù)中，監(jiān)督預(yù)訓(xùn)練通常會帶來更好的性能。

? 使用ImageNet-1k進(jìn)行自監(jiān)督預(yù)訓(xùn)練通常比使用Hyperkvasir-unlabelled進(jìn)行自監(jiān)督預(yù)訓(xùn)練產(chǎn)生更合適的骨干網(wǎng)絡(luò)，但結(jié)腸鏡檢查中的單眼深度估計(jì)除外。在這種情況下，使用Hyperkvasir-unlabelled進(jìn)行自監(jiān)督預(yù)訓(xùn)練產(chǎn)生更合適的骨干網(wǎng)絡(luò)。

? ResNet50骨干網(wǎng)通常更適合息肉檢測，而ViT-B骨干通常更好用于息肉分割和單目深度估計(jì)在結(jié)腸鏡檢查中，這兩種架構(gòu)的表現(xiàn)相似解剖標(biāo)志識別和病理找到特征。

我們希望這篇論文能進(jìn)一步鼓勵對預(yù)訓(xùn)練圖像編碼器主題的研究，將其作為GIE視覺任務(wù)解決方案的骨干網(wǎng)絡(luò)。首先，這項(xiàng)工作的范圍可以擴(kuò)展到更多的任務(wù)和數(shù)據(jù)集，以及解碼器架構(gòu)和微調(diào)程序。例如，我們考慮了更快的R-CNN對象檢測管道，它是一個兩階段檢測器，值得探討的是我們的發(fā)現(xiàn)是否也適用于一階段檢測器。此外，我們還考慮了在結(jié)腸鏡檢查中對單目深度進(jìn)行監(jiān)督微調(diào)的情況，而對于單目深度進(jìn)行自我監(jiān)督微調(diào)也是一條有前途的研究途徑，可能會受益于對預(yù)訓(xùn)練的探究。我們認(rèn)為這樣的研究應(yīng)該為GIE任務(wù)提供更合適的骨干網(wǎng)絡(luò)的發(fā)展奠定基礎(chǔ)，這應(yīng)該能夠促進(jìn)當(dāng)前最佳狀態(tài)的重大進(jìn)步。除了擴(kuò)展這項(xiàng)研究范圍以及進(jìn)一步探究現(xiàn)有預(yù)訓(xùn)練算法之外，我們還建議未來的工作應(yīng)專門針對這個領(lǐng)域以及其他編碼器架構(gòu)研究預(yù)訓(xùn)練算法的發(fā)展。

3、Result：

十三、《Artificial Intelligence for Digital and Computational Pathology》

1、Abstract：

????????數(shù)字化組織切片的進(jìn)步和人工智能（包括深度學(xué)習(xí)）的快速發(fā)展推動了計(jì)算病理學(xué)領(lǐng)域的發(fā)展。該領(lǐng)域在自動化臨床診斷、預(yù)測患者預(yù)后和對治療的反應(yīng)以及從組織圖像中發(fā)現(xiàn)新的形態(tài)學(xué)生物標(biāo)志物方面具有巨大的潛力。其中一些基于人工智能的系統(tǒng)現(xiàn)在已被批準(zhǔn)用于輔助臨床診斷;然而，它們作為研究工具的廣泛臨床應(yīng)用和集成仍然存在技術(shù)障礙。本文綜述了計(jì)算病理學(xué)在預(yù)測全切片圖像臨床終點(diǎn)方面的最新方法學(xué)進(jìn)展，并強(qiáng)調(diào)了這些進(jìn)展如何實(shí)現(xiàn)臨床實(shí)踐的自動化和發(fā)現(xiàn)新的生物標(biāo)志物。然后，隨著該領(lǐng)域擴(kuò)展到更廣泛的臨床和研究任務(wù)，臨床數(shù)據(jù)的形式越來越多樣化，我們提供了未來的前景。

2、Conclusion：
????????加速CPath領(lǐng)域進(jìn)展的因素沒有消退的跡象，從進(jìn)展來看在將常規(guī)臨床工作流程數(shù)字化以推進(jìn)人工智能方面。盡管自動化勞動力的前景CPath已經(jīng)對密集的手動工作和減少病理學(xué)家之間的診斷差異很感興趣。通過使以下研究成為可能，具有成為病理學(xué)研究主要組成部分的潛力發(fā)現(xiàn)反映分子改變、患者預(yù)后和疾病進(jìn)展的形態(tài)學(xué)生物標(biāo)志物，預(yù)測治療反應(yīng)。CPath對臨床實(shí)踐和生物醫(yī)學(xué)都有影響研究時(shí)，必須牢記兩個目標(biāo)：建立大規(guī)模、多樣化和多模式的隊(duì)列，以及使用更好的深度學(xué)習(xí)框架推進(jìn)組織表征學(xué)習(xí)。這些目標(biāo)不太可能實(shí)現(xiàn)在單個組織的范圍內(nèi)是可實(shí)現(xiàn)的。只有通過多方協(xié)調(diào)努力機(jī)構(gòu)數(shù)據(jù)收集倡議、開源軟件包和持續(xù)的技術(shù)靈感，能否實(shí)現(xiàn)上述目標(biāo)取決于計(jì)算機(jī)視覺和人工智能研究的進(jìn)步。

3、Result：

十四、《Attention-based Deep Multiple Instance Learning》

from：ICML 2018

1、Abstract：

????????多實(shí)例學(xué)習(xí)(MIL)是監(jiān)督學(xué)習(xí)的一種變體，其中將單個類標(biāo)簽分配給一組實(shí)例。在本文中，我們將MIL問題描述為學(xué)習(xí)袋標(biāo)簽的伯努利分布，其中袋標(biāo)簽的概率由神經(jīng)網(wǎng)絡(luò)完全參數(shù)化。在此基礎(chǔ)上，我們提出了一種基于神經(jīng)網(wǎng)絡(luò)的與注意力機(jī)制相對應(yīng)的排列不變聚合算子。值得注意的是，所提出的基于注意力的算子的應(yīng)用程序提供了對每個實(shí)例對袋標(biāo)簽的貢獻(xiàn)的洞察。我們的經(jīng)驗(yàn)表明，我們的方法在基準(zhǔn)MIL數(shù)據(jù)集上實(shí)現(xiàn)了與最佳MIL方法相當(dāng)?shù)男阅?，并且在基于mist的MIL數(shù)據(jù)集和兩個真實(shí)組織病理學(xué)數(shù)據(jù)集上優(yōu)于其他方法，而不犧牲可解釋性

2、Conclusion:

在本文中，我們提出了一種靈活且可解釋的MIL方法，該方法是由神經(jīng)網(wǎng)絡(luò)完全參數(shù)化的。

我們概述了深度學(xué)習(xí)在對稱函數(shù)基本定理中對置換不變袋分?jǐn)?shù)函數(shù)建模的有用性。此外，我們提出了一種基于(門控)注意力機(jī)制的可訓(xùn)練MIL池。我們在五個MIL數(shù)據(jù)集、一個圖像語料庫和兩個現(xiàn)實(shí)生活中的組織病理學(xué)數(shù)據(jù)集上進(jìn)行了實(shí)證研究，結(jié)果表明我們的方法與表現(xiàn)最好的方法相當(dāng)，或者在不同的評估指標(biāo)方面表現(xiàn)最好。此外，我們表明，我們的方法通過呈現(xiàn)roi提供了對決策的解釋，這在許多實(shí)際應(yīng)用中非常重要。

我們堅(jiān)信，目前的研究方向值得進(jìn)一步研究。這里我們關(guān)注的是一個二元MIL問題，然而，多類MIL更有趣，也更具挑戰(zhàn)性(Feng & Zhou, 2017)。此外，在某些應(yīng)用中，值得考慮排斥點(diǎn)(Scott et al .， 2005)，即一個包總是負(fù)的實(shí)例，或者假設(shè)一個包內(nèi)實(shí)例之間的依賴關(guān)系(Zhou et al .， 2009)。我們把這些問題留給未來的研究。

3、Result:

文章來源地址http://www.zghlxwxcb.cn/news/detail-827813.html

到了這里，關(guān)于研一第二十一周論文閱讀情況的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！