摘要

?計算機斷層掃描（CT）是一種有效的醫(yī)學(xué)成像方式，廣泛應(yīng)用于臨床醫(yī)學(xué)領(lǐng)域，用于各種病理的診斷。多探測器CT成像技術(shù)的進步實現(xiàn)了額外的功能，包括生成薄層多平面橫截面身體成像和3D重建。然而，這涉及患者暴露于相當(dāng)劑量的電離輻射。過量的電離輻射會對身體產(chǎn)生決定性的有害影響。本文提出了一種深度學(xué)習(xí)模型，該模型學(xué)習(xí)從少數(shù)甚至單個視圖X射線重建CT投影。這是基于一種基于神經(jīng)輻射場構(gòu)建的新架構(gòu)，該架構(gòu)通過從2D圖像中解開表面和內(nèi)部解剖結(jié)構(gòu)的形狀和體積深度來學(xué)習(xí)CT掃描的連續(xù)表示。我們的模型是在胸部和膝蓋數(shù)據(jù)集上訓(xùn)練的，我們演示了定性和定量的高保真渲染，并將我們的方法與其他最近基于輻射場的方法進行了比較。我們的代碼和數(shù)據(jù)集鏈接可在上獲得。
?臨床相關(guān)性-我們的模型能夠從少數(shù)或單視圖X射線推斷出解剖3D結(jié)構(gòu)，顯示出在成像過程中減少電離輻射暴露的未來潛力

1、引言

?3D醫(yī)學(xué)成像通常涉及連接CT或磁共振成像（MRI）的多個2D切片，其工作流程的一部分包括指定患者位置、成像源和探測器的值。CT的3D表示的質(zhì)量和準確性需要數(shù)百個薄片厚度的X射線投影[1]。此外，該過程使患者暴露于比典型X射線更多的電離輻射，并要求患者保持不動長達1小時以上，具體取決于測試類型[2]。連續(xù)的3D表示將為放射科醫(yī)生提供內(nèi)部解剖結(jié)構(gòu)中每一點的光學(xué)圖像。雖然這樣的表示是有用的，但由于輻射暴露增加、角度相關(guān)結(jié)構(gòu)和時間消耗，CT存在實際挑戰(zhàn)

?早期的醫(yī)學(xué)圖像重建方法對給定的輸入數(shù)據(jù)使用了分析和迭代方法[4]，[5]。然而，他們經(jīng)常遇到成像系統(tǒng)的數(shù)學(xué)模型和物理特性之間的不匹配。相反，最近的幾種方法利用深度學(xué)習(xí)[6]進行稀疏視圖重建[7]、[8]、[9]、2D圖像的3D CT重建[10]和異常檢測[11]。這些深度學(xué)習(xí)方法解決了數(shù)學(xué)模型和成像系統(tǒng)之間的不匹配，并報告了通過微調(diào)最先進的架構(gòu)改進的重建。然而，它們需要大量的訓(xùn)練數(shù)據(jù)，這在獲取專家注釋成本和時間都很高的醫(yī)學(xué)領(lǐng)域可能很難滿足。

?神經(jīng)輻射場（NeRF）[12]模型是用于從圖像中估計3D體積表示的最新公式。這種表示將場景的輻射場和密度編碼在神經(jīng)網(wǎng)絡(luò)的參數(shù)中。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)通過沿著投射光線從點采樣進行體繪制來合成新視圖。然而，這些表示通常在受控設(shè)置中捕獲[13]。首先，場景由一組固定攝像機在短時間內(nèi)拍攝。第二，場景中的所有內(nèi)容都是靜態(tài)的，真實的圖像通常需要掩蔽。這些限制限制了NeRF在醫(yī)學(xué)領(lǐng)域的直接應(yīng)用，在醫(yī)學(xué)領(lǐng)域，成像系統(tǒng)與傳統(tǒng)相機有很大的不同，并且圖像在很長的時間內(nèi)被捕獲，阻礙了患者的安靜。此外，醫(yī)學(xué)圖像中解剖結(jié)構(gòu)的重疊阻礙了邊緣的定義，而邊緣的定義無法通過掩蔽來容易地解決。這些方面解釋了為什么NeRF方法在“自然圖像”方面特別成功。

?為了解決這些挑戰(zhàn)，我們提出了MedNeRF，這是一種在醫(yī)學(xué)領(lǐng)域中調(diào)整生成輻射場（GRAF）[14]的模型，以在給定幾個或甚至一個單視圖X射線的情況下渲染CT投影。我們的方法不僅合成了真實的圖像，還捕獲了數(shù)據(jù)集，并提供了解剖結(jié)構(gòu)的衰減和體積深度如何隨視點變化的連續(xù)表示，而無需3D監(jiān)控。這是通過一種新的鑒別器架構(gòu)實現(xiàn)的，該架構(gòu)在處理CT掃描時向GRAF提供更強和更全面的信號。

?與我們的目標最接近的是[8]，[9]，它們都在體模對象的低劑量CT的正弦圖中訓(xùn)練基于坐標的網(wǎng)絡(luò)，并將其應(yīng)用于稀疏視圖層析重建問題。與[8]相反，我們通過隨機輸入不同醫(yī)學(xué)實例的數(shù)據(jù)，而不是為每個圖像集合單獨優(yōu)化，在單個模型中學(xué)習(xí)多個表示。為了測試[9]重建能力，他們將其集成到重建方法中，并使用至少60個視圖。與他們的方法不同，我們不依賴額外的重建算法，我們只需要在訓(xùn)練過程中查看多個視圖。
?我們繪制了胸部和膝蓋的兩個數(shù)字重建射線照片（DRR）數(shù)據(jù)集的CT投影。我們定性和定量地演示了高保真渲染，并將我們的方法與其他最近基于輻射場的方法進行了比較。此外，我們在給定單視圖X射線的情況下繪制了醫(yī)學(xué)實例的CT投影，并顯示了我們的模型覆蓋表面和內(nèi)部結(jié)構(gòu)的有效性。

2、方法

A、數(shù)據(jù)集準備

?為了訓(xùn)練我們的模型，我們生成DRR，而不是收集成對的X射線和相應(yīng)的CT重建，這將使患者暴露于更多的輻射。此外，DRR生成消除了患者數(shù)據(jù)，并實現(xiàn)了捕獲范圍和分辨率的控制。我們通過使用[15]、[16]中的20次CT胸部掃描和[17]、[18]中的5次CT膝蓋掃描生成DRR。這些掃描覆蓋了不同對比類型的患者，顯示了正常和異常解剖結(jié)構(gòu)。假設(shè)輻射源和成像面板圍繞垂直軸旋轉(zhuǎn)，每五度產(chǎn)生128×128分辨率的DRR，每個物體產(chǎn)生72個DRR。在訓(xùn)練期間，我們?yōu)槊课换颊呤褂昧?2個DRR（在360度垂直旋轉(zhuǎn)范圍內(nèi)，占所有視圖的五分之一），并讓模型渲染其余部分。我們的工作不涉及人類受試者或動物的實驗程序，因此不需要機構(gòu)審查委員會的批準。

B、GRAF概述

?GRAF[14]是一個基于NeRF構(gòu)建的模型，并在生成對抗網(wǎng)絡(luò)（GAN）中對其進行定義。它由預(yù)測圖像補丁P_pred的生成器G_θ和將預(yù)測補丁與從真實圖像中提取的補丁P_real進行比較的鑒別器D_φ組成。與原始的NeRF[12]和類似的方法（如[19]）相比，GRAF已經(jīng)顯示出單獨從2D圖像中分離物體的3D形狀和視點的有效能力。因此，我們的目標是將GRAF的方法轉(zhuǎn)化為我們的任務(wù)，在第II-C小節(jié)中，我們描述了我們的新鑒別器架構(gòu)，它允許我們從DRRs中分離3D屬性。

?我們考慮實驗設(shè)置以獲得輻射衰減響應(yīng)，而不是自然圖像中使用的顏色。為了獲得具有姿態(tài)ξ的任意投影K的像素位置處的衰減響應(yīng)，首先，我們考慮模式ν=（u，s）以在K×K圖像塊P內(nèi)采樣R個X射線束。然后，我們沿著X射線束r從像素位置采樣N個3D點xⁱ_r，并在投影的近平面和遠平面之間排序（圖1a）。
?????????? 對象表示在多層感知器（MLP）中編碼，該感知器將3D位置x=（x，y，z）和觀看方向d=（θ，φ）作為輸入，并生成密度標量σ和像素值c作為輸出。為了學(xué)習(xí)高頻特征，將輸入映射為2L維表示（圖1b）：
其中p表示3D位置或觀看方向，j=0，…，m? 1.
?為了模擬解剖結(jié)構(gòu)的形狀和外觀，讓z_s～ p_s和z_a～ p_a分別是從標準高斯分布采樣的潛碼（圖1c）。為了獲得密度預(yù)測σ，形狀編碼q通過密度頭σ_θ轉(zhuǎn)換為體積密度。然后，網(wǎng)絡(luò)g_θ（·）對形狀編碼q=（γ（x），z_s）進行操作，隨后將其與d的位置編碼和外觀代碼z_a（圖1c）連接起來：

通過合成操作計算最終像素響應(yīng)cr（圖1c）：

?其中αir=1? 出口(?σirδir）是采樣點i的α合成值，δir=k xi+1r? xir k2是相鄰采樣點之間的距離。

?通過這種方式，在沿著具有網(wǎng)絡(luò)g_θ的波束r的每個采樣點處計算密度和像素值。最后，結(jié)合所有R光束的結(jié)果，生成器G_θ預(yù)測圖像塊P_pred，如圖所示。1d。

C、MedNeRF

?我們研究了如何將GRAF應(yīng)用于醫(yī)學(xué)領(lǐng)域，并將其應(yīng)用于從DRR中渲染體積表示。利用大數(shù)據(jù)集，GRAF的鑒別器Dφ能夠連續(xù)提供有用的信號來訓(xùn)練發(fā)生器Gθ。然而，像我們問題中所考慮的醫(yī)療數(shù)據(jù)集一般都很小，這導(dǎo)致了兩個連續(xù)問題：
生成器缺乏真實信息：在GRAF（以及一般的GAN）中，有助于生成器的訓(xùn)練數(shù)據(jù)的特征的唯一來源是從鑒別器傳遞的間接梯度。我們發(fā)現(xiàn)，來自GRAF鑒別器的單卷積反饋不能很好地傳遞DRR的精細特征，導(dǎo)致不準確的體積估計。
脆弱的對抗性訓(xùn)練：在有限的訓(xùn)練數(shù)據(jù)集中，生成器或鑒別器可能會陷入不適定的設(shè)置，例如模式崩潰，這將導(dǎo)致生成有限數(shù)量的實例，從而導(dǎo)致次優(yōu)的數(shù)據(jù)分布估計。雖然一些工作已經(jīng)應(yīng)用了數(shù)據(jù)增強技術(shù)來利用醫(yī)學(xué)領(lǐng)域中的更多數(shù)據(jù)，但一些轉(zhuǎn)換可能會誤導(dǎo)生成器了解不常見甚至不存在的增強數(shù)據(jù)分布[20]。我們發(fā)現(xiàn)，天真地應(yīng)用經(jīng)典數(shù)據(jù)擴充的效果不如我們采用的框架好。
1） 高保真度合成的自監(jiān)督學(xué)習(xí)：
?為了允許從DRR中覆蓋更豐富的特征圖，從而產(chǎn)生更全面的信號來訓(xùn)練G_θ，我們用自監(jiān)督方法的最新進展取代了GRAF的鑒別器架構(gòu)。我們允許D_φ在借口任務(wù)上學(xué)習(xí)有用的全局和局部特征，特別是基于自動編碼的自我監(jiān)督方法[21]。與[21]不同，我們只使用兩個解碼器對比例上的特征圖進行解碼：322上的F1和82上的F2（圖2a）。我們發(fā)現(xiàn)，這種選擇允許更好的性能，并實現(xiàn)正確的體積深度估計。因此，D_φ不僅必須區(qū)分預(yù)測的P_pred和G_θ，還必須從真實圖像塊P_real中提取綜合特征，使解碼器能夠模擬數(shù)據(jù)分布。
?為了從D_φ評估解碼塊的全局結(jié)構(gòu)，我們使用學(xué)習(xí)感知圖像塊相似性（LPIPS）度量[22]。我們計算兩個VGG16特征空間之間的加權(quán)成對圖像距離，其中預(yù)訓(xùn)練的權(quán)重適合于更好地匹配人類感知判斷。因此，附加鑒別器損失為：

其中φ_i（·）表示預(yù)訓(xùn)練VGG16網(wǎng)絡(luò)的第i層輸出，w、h和d分別表示特征空間的寬度、高度和深度。設(shè)G是對D_φ的中間特征映射f的處理，T是對真實圖像塊的處理。當(dāng)加上這種額外的重建損失時，網(wǎng)絡(luò)學(xué)習(xí)跨任務(wù)傳輸?shù)谋硎尽?br>2） 通過數(shù)據(jù)增強改善學(xué)習(xí)：
我們通過采用針對GAN優(yōu)化的數(shù)據(jù)增強（DAG）框架[20]來改進Gθ和Dφ的學(xué)習(xí)，其中數(shù)據(jù)增強變換Tk（圖2b）使用多個鑒別器頭{Dk}施加。為了進一步減少內(nèi)存使用，我們共享D_φ的所有層，除了與每個頭部對應(yīng)的最后一層（圖2c）。因為應(yīng)用可微和可逆數(shù)據(jù)增強變換Tk具有Jenssen-Shannon（JS）保留性質(zhì)[20]：

將GRAF的物流目標替換為鉸鏈損失，然后我們將總體損失定義如下：

其中f（u）=最大值（0，1+u）。我們優(yōu)化了n=4的損失，其中k=0對應(yīng)于恒等變換，λ=0.2（如[20]所示）。
3） 單視圖X射線的體積渲染：
?在訓(xùn)練模型后，我們在給定單視圖X射線的醫(yī)學(xué)實例的完整垂直旋轉(zhuǎn)內(nèi)重建完整的X射線投影。我們遵循[23]中的松弛重建公式，該公式使生成器適合于單個圖像。然后，我們允許發(fā)生器Gθ的參數(shù)與形狀和外觀潛矢量zs和za一起稍微微調(diào)。失真和感知權(quán)衡在GAN方法中是眾所周知的[24]，因此我們通過添加失真均方誤差（MSE）損失來修改我們的生成目標，這激勵了模糊性和準確性之間的平衡：

其中NLLL對應(yīng)于負對數(shù)似然損失和調(diào)諧超參數(shù)l_r=0.0005，β₁=0，β₂=0.999，λ₁=0.3，λ₂=0.1和λ₃=0.3。
一旦模型找到了z_s和z_a的最佳組合，我們就復(fù)制它們，并通過連續(xù)控制角度視點來渲染其余的X射線投影。

3、結(jié)果

?在此，我們在數(shù)據(jù)集上對MedNeRF進行了評估。我們將模型的結(jié)果與兩個基線的實際情況進行比較，進行消融研究，并進行定性和定量評估。我們對所有模型進行了100000次迭代，批量大小為8。選擇投影參數(shù)（u，v）來均勻地采樣球體表面上的點，特別是輕微的水平仰角為70-85度，垂直旋轉(zhuǎn)360度時u_min=0，u_max=1。然而，我們在訓(xùn)練期間只提供了五分之一的視圖（每個視圖在五度角上有72個視圖），并讓模型渲染其余的視圖。

A、 單視圖X射線重建

?我們評估了以單視圖X射線作為輸入的3D感知DRR合成的模型表示。我們發(fā)現(xiàn)，盡管隱式線性網(wǎng)絡(luò)的容量有限，但我們的模型可以區(qū)分不同醫(yī)學(xué)實例的3D解剖特征和衰減響應(yīng)，這些都是通過II-C.3中所述的重建公式檢索的，因為它為更密集的結(jié)構(gòu)（例如骨骼）呈現(xiàn)更亮的像素值（圖3）。

圖3.連續(xù)視點旋轉(zhuǎn)的膝蓋渲染圖，顯示組織和骨骼。給定來自CT的單視圖X射線，我們可以通過稍微微調(diào)預(yù)訓(xùn)練模型以及形狀和外觀潛代碼，在整個垂直旋轉(zhuǎn)內(nèi)生成完整的CT投影集。
?表I總結(jié)了我們基于峰值信號噪聲比（PSNR）和結(jié)構(gòu)相似性（SSIM）的結(jié)果，它們分別測量重建信號的質(zhì)量和人類主觀相似性。我們發(fā)現(xiàn)，我們的生成損失可以在渲染圖中實現(xiàn)合理的感知失真曲線，并且與地面真實情況相比，在連續(xù)視點下顯示出與解剖結(jié)構(gòu)的位置和體積深度的一致性。
表I.基于單視圖X射線輸入的渲染X射線投影的PSNR和SSIM的定量結(jié)果。

B、DRR渲染

?我們在2D渲染任務(wù)上評估了我們的模型，并將其與pixelNeRF[19]和GRAF[14]基線進行了比較，其中使用了原始架構(gòu)。與GRAF和pixelNeRF相比，我們的模型可以更準確地估計體積深度（圖4）。對于每個類別，我們都會找到一個具有相似視圖方向和形狀的不可見目標實例。體積深度估計由亮顏色（遠）和暗顏色（近）給出。由于缺乏感知損失，GRAF無法產(chǎn)生高頻紋理。相反，我們發(fā)現(xiàn)我們的模型呈現(xiàn)了具有不同衰減的更詳細的內(nèi)部結(jié)構(gòu)。GRAF產(chǎn)生一致的衰減響應(yīng)，但似乎無法區(qū)分解剖形狀和背景。我們的自我監(jiān)督鑒別器使生成器能夠通過為背景渲染更亮的顏色和為形狀渲染更暗的顏色來區(qū)分形狀和背景，而GRAF為兩者渲染亮或暗的顏色。

?我們發(fā)現(xiàn)pixelNeRF為所有數(shù)據(jù)集生成了模糊的衰減效果圖，而體積圖往往表現(xiàn)出強烈的顏色偏移（圖4）。我們認為，與訓(xùn)練NeRFs的類實體自然對象相比，這些偽影是由于數(shù)據(jù)集的透視性質(zhì)。這種數(shù)據(jù)特征不僅損害了體積圖，而且損害了精細的解剖結(jié)構(gòu)。相比之下，我們的模型能夠更好地呈現(xiàn)體積深度和衰減響應(yīng)。我們還發(fā)現(xiàn)pixelNeRF對投影參數(shù)的輕微變化很敏感，阻礙了膝蓋類別的優(yōu)化。我們的模型生成一致的3D幾何體，不依賴于顯式投影矩陣。

?表II比較了基于Frechet起始距離（FID）和內(nèi)核起始距離（KID）度量的圖像質(zhì)量，其中值越低意味著越好。在我們的數(shù)據(jù)集上優(yōu)化pixelNeRF會導(dǎo)致特別差的結(jié)果，無法與GRAF基線和我們的模型競爭。相比之下，我們的模型在所有數(shù)據(jù)集的FID和KID指標上都優(yōu)于基線。

C、 消融研究

?我們用三種消融評估了我們的模型（表III）：其中包括一個額外的簡單解碼器（SD）；對抗性后勤損失被其鉸鏈版本所取代；并且其中采用非經(jīng)典DAG方法。我們發(fā)現(xiàn)，與單純應(yīng)用經(jīng)典DA相比，DAG方法帶來了最大的性能提升，而鉸鏈損失的使用性能略優(yōu)于其邏輯版本。然而，我們的自監(jiān)督鑒別器中的附加解碼器可能會導(dǎo)致性能的顯著下降。

4、結(jié)論

我們提出了一種基于神經(jīng)輻射場的新型深度學(xué)習(xí)架構(gòu)，用于學(xué)習(xí)CT掃描的連續(xù)表示。我們學(xué)習(xí)了一組2D DRR在生成器權(quán)重中的衰減響應(yīng)的醫(yī)學(xué)類別編碼。此外，我們發(fā)現(xiàn)，來自鑒別器的更強和更全面的信號允許生成輻射場對3D感知CT投影進行建模。實驗評估表明，與其他神經(jīng)輻射場方法相比，定性和定量重建和改進顯著。雖然所提出的模型可能不能完全替代CT，但從X射線生成3D感知CT投影的功能在骨創(chuàng)傷、發(fā)育不良的骨骼評估和矯形術(shù)前規(guī)劃中具有巨大的臨床應(yīng)用潛力。這可能會減少給患者的輻射劑量，帶來重大的經(jīng)濟影響，如降低調(diào)查成本。文章來源地址http://www.zghlxwxcb.cn/news/detail-782820.html

到了這里，關(guān)于MedNeRF:用于從單個X射線重建3D感知CT投影的醫(yī)學(xué)神經(jīng)輻射場的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！