Luo L, Chen X, Tang B, et al. Pre-trained Universal Medical Image Transformer[J]. arXiv preprint arXiv:2312.07630, 2023.【代碼開源】

【論文概述】

本文介紹了一種名為“預(yù)訓(xùn)練通用醫(yī)學(xué)圖像變換器（Pre-trained Universal Medical Image Transformer，簡稱PUMIT）”的新型算法，該算法旨在解決標(biāo)記醫(yī)學(xué)圖像數(shù)據(jù)稀缺的問題。作者通過自監(jiān)督學(xué)習(xí)方法，特別是掩碼圖像建模（Masked Image Modeling，MIM）和視覺標(biāo)記重構(gòu)，利用大量未標(biāo)記的醫(yī)學(xué)影像數(shù)據(jù)。本文提出了一個(gè)空間自適應(yīng)卷積（Spatially Adaptive Convolution，SAC）模塊，以適應(yīng)輸入圖像的體素間距，從而有效處理各種成像方式和空間屬性的醫(yī)學(xué)圖像。此外，作者還改進(jìn)了視覺標(biāo)記器，使其輸出概率軟標(biāo)記，以提高模型的魯棒性。整體而言，這項(xiàng)工作通過在55個(gè)公共醫(yī)學(xué)圖像數(shù)據(jù)集（包括超過900萬個(gè)2D切片和48000個(gè)3D圖像）上預(yù)訓(xùn)練通用視覺標(biāo)記器和視覺變換器（ViT），在下游醫(yī)學(xué)圖像分類和分割任務(wù)中展示了出色的性能和標(biāo)記效率。

【關(guān)鍵創(chuàng)新點(diǎn)總結(jié)】

1. 空間自適應(yīng)卷積（SAC）模塊：這是一種新型的卷積方法，能夠根據(jù)醫(yī)學(xué)圖像的體素間距自適應(yīng)調(diào)整卷積參數(shù)。SAC模塊使得模型能夠有效處理具有不同空間屬性的醫(yī)學(xué)圖像，特別是在處理具有高度各向異性的圖像時(shí)。
2. 通用視覺標(biāo)記器（Universal Visual Tokenizer）：這種標(biāo)記器能夠?qū)⑨t(yī)學(xué)圖像轉(zhuǎn)換成一系列的視覺標(biāo)記，為后續(xù)的深度學(xué)習(xí)模型提供了一種更高效的信息表達(dá)方式。
3. 擴(kuò)展先驗(yàn)分布正則化（Extended Prior Distribution Regularization）：這是一種改進(jìn)的正則化技術(shù)，通過考慮軟標(biāo)記表示中的不確定性，它有助于提高模型在處理復(fù)雜醫(yī)學(xué)圖像時(shí)的穩(wěn)定性和準(zhǔn)確性

【1.引言部分概述】

在本文的引言部分中，作者著重強(qiáng)調(diào)了深度學(xué)習(xí)在醫(yī)學(xué)圖像分析領(lǐng)域的重要性，特別是在疾病診斷和治療計(jì)劃中的應(yīng)用。然而，這一領(lǐng)域面臨的主要挑戰(zhàn)之一是高質(zhì)量標(biāo)記醫(yī)學(xué)數(shù)據(jù)的稀缺性。為了解決這一問題，作者提出了自監(jiān)督學(xué)習(xí)的方法，它可以通過設(shè)計(jì)自監(jiān)督的預(yù)文本任務(wù)來從大量未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)表示。

引言部分還提到，盡管存在大量未標(biāo)記數(shù)據(jù)，但醫(yī)學(xué)圖像在成像方式（例如CT、MRI、超聲等）和空間屬性（如2D和3D空間維度、不同的體素間距和空間形狀）方面的高度異質(zhì)性，使得使用統(tǒng)一的模型結(jié)構(gòu)處理所有類型的醫(yī)學(xué)圖像變得非常困難。傳統(tǒng)的模型通常設(shè)計(jì)為處理具有單一空間屬性的圖像。因此，大多數(shù)先前的工作只能利用具有相似空間屬性的醫(yī)學(xué)圖像數(shù)據(jù)，這限制了預(yù)訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性。

最后，作者指出了計(jì)算機(jī)視覺領(lǐng)域的視覺變換器（ViT）的最新進(jìn)展，這為處理具有多樣空間屬性的醫(yī)學(xué)圖像提供了一種有前景的解決方案。本文的目標(biāo)是通過引入空間自適應(yīng)卷積（SAC）模塊和改進(jìn)的視覺標(biāo)記器，預(yù)訓(xùn)練一個(gè)能夠處理廣泛醫(yī)學(xué)圖像的通用視覺變換器，以解決在醫(yī)學(xué)圖像分析中標(biāo)記數(shù)據(jù)稀缺的問題。

本文的主要貢獻(xiàn)如下：

1. 空間自適應(yīng)卷積（SAC）模塊的提出：作者開發(fā)了一種新型的SAC模塊，它能夠根據(jù)輸入圖像的體素間距自適應(yīng)調(diào)整卷積參數(shù)。這種方法使得模型能夠有效處理具有不同成像方式和空間屬性的廣泛醫(yī)學(xué)圖像。
2. 構(gòu)建通用視覺標(biāo)記器和視覺變換器（ViT）：利用SAC模塊，作者構(gòu)建了一個(gè)通用的視覺標(biāo)記器和一個(gè)通用的ViT，這些模型適用于預(yù)訓(xùn)練并能有效處理各種醫(yī)學(xué)圖像。
3. 概率軟標(biāo)記的引入：為了增強(qiáng)視覺標(biāo)記器在掩碼圖像建模（MIM）中重建目標(biāo)的魯棒性，作者提出了從離散標(biāo)記(VQ-VAE)到概率軟標(biāo)記的概念，以緩解確定性量化中的代碼本崩潰問題，并通過擴(kuò)展的先驗(yàn)分布正則化來提高學(xué)習(xí)分布的多樣性和銳度。
4. 大規(guī)模預(yù)訓(xùn)練：該模型在55個(gè)公共醫(yī)學(xué)圖像數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練，這些數(shù)據(jù)集包含超過9百萬個(gè)2D切片和超過48,000個(gè)3D圖像，代表了目前已知最大、最全面和最多樣化的用于預(yù)訓(xùn)練3D醫(yī)學(xué)圖像模型的數(shù)據(jù)集。
5. 在下游醫(yī)學(xué)圖像任務(wù)中的優(yōu)異性能：作者對(duì)預(yù)訓(xùn)練的模型在醫(yī)學(xué)圖像分類和分割任務(wù)上進(jìn)行了微調(diào)，實(shí)驗(yàn)結(jié)果表明，該模型在這些任務(wù)上展現(xiàn)出了優(yōu)越的性能和提高的標(biāo)簽效率。

【2.核心貢獻(xiàn)Spatially Adaptive Convolution詳細(xì)解讀】：

空間自適應(yīng)卷積（SAC）模塊是為了解決醫(yī)學(xué)圖像分析中一個(gè)關(guān)鍵問題而設(shè)計(jì)的：即不同醫(yī)學(xué)圖像（如CT、MRI、超聲圖像）在空間分辨率和體素間距方面的顯著差異。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在處理這些圖像時(shí)可能會(huì)遇到困難，因?yàn)樗鼈兺ǔＪ轻槍?duì)特定類型的圖像優(yōu)化的，而不是為處理各種不同的空間屬性設(shè)計(jì)的。

SAC模塊的工作機(jī)制

SAC模塊的核心思想是自適應(yīng)地調(diào)整卷積操作，以適應(yīng)輸入圖像的體素間距。這是通過以下步驟實(shí)現(xiàn)的：

1. 體素間距的識(shí)別：SAC首先分析輸入圖像的體素間距。體素間距是醫(yī)學(xué)圖像中體素的物理尺寸，不同的成像技術(shù)（如CT、MRI）和不同的掃描設(shè)置會(huì)產(chǎn)生不同的體素間距。
2. 調(diào)整卷積參數(shù)：根據(jù)識(shí)別的體素間距，SAC調(diào)整其卷積核的大小和步長。在具有較大體素間距的圖像中，SAC可能會(huì)使用更大的卷積核來覆蓋更廣泛的區(qū)域，從而捕獲更大范圍的上下文信息。相反，在具有較小體素間距的高分辨率圖像中，SAC會(huì)使用較小的卷積核，以更精細(xì)地捕捉細(xì)節(jié)。
3. 自適應(yīng)特征提取：通過這種方式，SAC能夠更有效地提取各種醫(yī)學(xué)圖像中的特征。對(duì)于高分辨率圖像，它可以更精確地捕捉細(xì)節(jié)；對(duì)于低分辨率或不均勻采樣的圖像，它可以通過較大的卷積核捕獲更多的上下文信息。

SAC模塊的優(yōu)勢

SAC模塊的主要優(yōu)勢在于其靈活性和適應(yīng)性。它能夠針對(duì)不同類型的醫(yī)學(xué)圖像動(dòng)態(tài)調(diào)整卷積操作，從而提高模型處理不同空間屬性圖像的能力。這種方法對(duì)于提高醫(yī)學(xué)圖像分析的精度和效率至關(guān)重要，特別是在涉及多種成像技術(shù)和不同解剖區(qū)域的圖像時(shí)。

各向異性的影響

在本文中提到的“度量各向異性”（degree of anisotropy）是一個(gè)關(guān)鍵概念，用于描述醫(yī)學(xué)圖像中體素的空間分布特性。在醫(yī)學(xué)成像領(lǐng)域，各向異性是指圖像在不同方向上分辨率的不一致性。具體來說，在三維醫(yī)學(xué)圖像中，體素可能在垂直于切片的方向（通常是Z軸）上的尺寸與在切片內(nèi)（即X軸和Y軸）的尺寸不同。這種不一致性導(dǎo)致圖像在不同方向上的空間分辨率不同，即表現(xiàn)出各向異性。

1. 分辨率差異：在具有高度各向異性的圖像中，體素在不同方向上的大小差異可能很大。例如，MRI或CT掃描中沿Z軸的體素尺寸可能比X軸和Y軸上的大得多。
2. 圖像解釋：這種分辨率的不一致性可能影響圖像的解釋和分析，尤其是在進(jìn)行三維重建或體素級(jí)分析時(shí)。
3. 圖像處理挑戰(zhàn)：對(duì)于深度學(xué)習(xí)模型而言，處理高度各向異性的圖像比處理各向同性（即在所有方向上具有相同分辨率）的圖像更具挑戰(zhàn)性。

各向異性的度量

論文中定義了公式$\mathrm{DA}=\max \left\{0,?{\log }_2\frac{s_{\text{slice?}}}{s_{\text{plane?}}}?\right\}$,用于量化醫(yī)學(xué)圖像在不同維度上的空間分辨率差異，特別是在處理3D圖像（如CT或MRI掃描）時(shí)。

• $s_{slice}$：表示沿著切片方向（通常是Z軸）的體素尺寸。
• $s_{plane}$：表示在切片平面內(nèi)（通常是X軸和Y軸）的體素尺寸。
• 公式作用：這個(gè)公式的目的是為了量化圖像在切片方向與平面方向上體素尺寸的相對(duì)差異，從而幫助SAC模塊調(diào)整其處理策略以適應(yīng)這種各向異性。例如，如果切片方向（Z軸）上的體素尺寸遠(yuǎn)大于平面內(nèi)（X軸和Y軸）的體素尺寸，DA的值將會(huì)較大，反映出圖像的高度各向異性。這種信息對(duì)于指導(dǎo)SAC模塊如何調(diào)整其卷積核大小和步長至關(guān)重要，以有效處理具有不同空間分辨率的3D醫(yī)學(xué)圖像。

空間自適應(yīng)卷積（SAC）的三個(gè)變體

• Downsampling：卷積核大小和步幅都是$2^k$，其中$k$是非負(fù)整數(shù)。沿著深度維度的卷積權(quán)重沿著通過求和池化（sum pooling）被減小到 2 max ? { k ? D A , 0 } 2^{\max \{k-\mathrm{DA}, 0\}} 2max{k?DA,0}的大小，并且深度維度的步幅類似地被調(diào)整為 2 max ? { k ? D A , 0 } 2^{\max \{k-\mathrm{DA}, 0\}} 2max{k?DA,0},輸出特征圖的間距乘以調(diào)整后的步幅。降采樣可以使圖像在不同方向上的分辨率更加一致。例如，如果一個(gè)圖像在垂直方向（比如Z軸）上的分辨率遠(yuǎn)高于水平方向（X軸和Y軸），通過降采樣，可以使這三個(gè)方向的分辨率更加均衡。
• $3^3$ convolution:
  • 卷積核尺寸為3，深度維度上的步長為1,這意味著在進(jìn)行卷積操作時(shí)，使用的卷積核（或過濾器）在每個(gè)維度（寬度、高度和深度）上的尺寸都是3個(gè)單位長度。同時(shí)，當(dāng)卷積核沿著圖像的深度方向移動(dòng)時(shí)，它每次移動(dòng)1個(gè)單位距離（即步長為1）;
  • 如果DA（度量各向異性）大于0：DA是用來量化圖像在不同維度上分辨率差異的指標(biāo)。當(dāng)DA的值大于0時(shí)，表明圖像在不同方向上的分辨率存在明顯差異，即圖像顯示出一定程度的各向異性。
  • 通過求和池化沿深度維度減小卷積權(quán)重：如果圖像顯示出各向異性（即DA > 0），則會(huì)對(duì)卷積核在深度維度上的權(quán)重進(jìn)行調(diào)整。具體來說，是通過“求和池化”（sum pooling）操作，將卷積核在深度維度上的權(quán)重整體減小，使其在這一維度上的尺寸縮減到1。這樣的處理有助于適應(yīng)圖像在深度方向上的分辨率特性，從而在保持重要信息的同時(shí)降低計(jì)算復(fù)雜度。
• Upsampling:就是下采樣的逆過程，用的卷積核調(diào)整方式也相同：
  • 轉(zhuǎn)置卷積核尺寸和步長：在上采樣過程中，轉(zhuǎn)置卷積（transposed convolution，有時(shí)也稱為反卷積）被用來增加圖像的尺寸。轉(zhuǎn)置卷積核的尺寸和步長都被設(shè)置為 $2^k$，轉(zhuǎn)置卷積核在所有維度上的大小和移動(dòng)步長是相等的，并且是2的$k$次冪。
  • 深度維度上的卷積核尺寸和步長調(diào)整：在深度維度上，轉(zhuǎn)置卷積核的尺寸和步長被特別調(diào)整為 2 min ? { k , D A 0 ? D A } 2^{\min \left\{k, \mathrm{DA}_{0}-\mathrm{DA}\right\}} 2min{k,DA0??DA}。這里，$D{A}_0$ 是輸入圖像的各向異性度量（DA），而 DA 是當(dāng)前層的各向異性度量。這樣的調(diào)整考慮了輸入圖像和當(dāng)前處理層在深度維度上的各向異性差異。
  • 輸出特征圖的間距調(diào)整：由于上采樣會(huì)增加圖像尺寸，因此輸出特征圖（output feature map）的間距（即體素或像素之間的物理距離）會(huì)根據(jù)調(diào)整后的步長而相應(yīng)減小。

SAC中使用的SUM Pooling的說明

• sum Pooling的工作原理：

  • 區(qū)域選擇：sum pooling操作首先將輸入的特征圖分割成若干非重疊的小區(qū)域。這些區(qū)域的大小通常是預(yù)先定義的，比如 2×2或 3×3。
  • 求和操作：在每個(gè)小區(qū)域內(nèi)，sum pooling會(huì)計(jì)算該區(qū)域內(nèi)所有值的總和。
  • 輸出特征圖：每個(gè)區(qū)域的求和結(jié)果形成了一個(gè)新的、更小尺寸的特征圖。這個(gè)特征圖在每個(gè)對(duì)應(yīng)區(qū)域只有一個(gè)值，即原區(qū)域內(nèi)所有值的總和。

• Sum Pooling與其他池化方法的比較：

  • Max Pooling（最大值池化）：最大值池化選擇每個(gè)區(qū)域內(nèi)的最大值作為輸出。它非常有效于捕捉圖像中的紋理和模式，是最常用的池化方法之一。
  • Average Pooling（平均值池化）：平均值池化計(jì)算每個(gè)區(qū)域內(nèi)值的平均值。它有助于平滑特征圖，但可能會(huì)使特征圖丟失一些重要信息。
  • Sum Pooling（求和池化）：與平均值池化類似，但不是計(jì)算平均值，而是計(jì)算總和。這可以保留區(qū)域內(nèi)的更多信息，但也可能導(dǎo)致特征值的范圍變大。

• Sum Pooling的應(yīng)用場景：
  Sum pooling適用于那些需要保留特征圖區(qū)域內(nèi)盡可能多信息的場景。盡管在實(shí)際應(yīng)用中不如最大值池化或平均值池化普遍，但在某些特定的應(yīng)用中，如需要保留更多原始特征信息的任務(wù)，sum pooling可能會(huì)是一個(gè)更好的選擇。此外，在處理那些特征值本身代表某種累積量（如總能量、總密度等）的數(shù)據(jù)時(shí)，sum pooling也可能特別有效。

【3.Universal Visual Tokenizer】

將常規(guī)CNN中的卷積和反卷積替換為文中提出的SAC變體

【4.Universal ViT】

ViT的Patch Embedding將輸入圖像劃分為一系列不重疊的Patch ，并通過線性投影將每個(gè)Patch 映射到嵌入向量。這個(gè)過程相當(dāng)于使用具有相同內(nèi)核大小和步幅的下采樣卷積處理輸入圖像，并平坦化卷積輸出的空間維度。直接使用本文提出的Downsampling替代。

【5.論文核心貢獻(xiàn)2-Soft Token Representation】

這個(gè)概念類似于Label Smoothing，用于提升模型魯棒性。

Soft Token Representation的基本概念：

1. 軟標(biāo)記：在軟標(biāo)記表示中，圖像的每個(gè)部分或區(qū)域被轉(zhuǎn)換成一個(gè)概率分布，而不是一個(gè)單一的、離散的標(biāo)記。這種表示捕捉了每個(gè)區(qū)域可能屬于不同類別或具有不同特征的不確定性。
2. 概率分布：每個(gè)軟標(biāo)記對(duì)應(yīng)于一個(gè)概率分布，表示圖像該部分屬于不同類別的概率。這樣，圖像的每個(gè)區(qū)域不再被簡單地分類為某一特定類別，而是以一系列概率值來描述，反映了其可能屬于各種類別的程度。

Soft Token Representation在醫(yī)學(xué)圖像中的應(yīng)用：

1. 特征提取：在醫(yī)學(xué)圖像分析中，軟標(biāo)記表示可以更豐富地捕捉圖像特征，特別是在存在模糊邊界或不確定性較高的區(qū)域。
2. 增強(qiáng)模型魯棒性：由于軟標(biāo)記包含了更多信息和潛在的類別關(guān)聯(lián)，它可以提高模型對(duì)圖像變化的適應(yīng)性和魯棒性。
3. 處理不確定性：醫(yī)學(xué)圖像常常包含模糊不清或難以區(qū)分的區(qū)域。軟標(biāo)記表示通過允許這些區(qū)域映射到概率分布，而不是單一的類別，更好地處理了這種不確定性。

Soft Token Representation的優(yōu)勢：

• 增強(qiáng)的信息表達(dá)：相比于傳統(tǒng)的硬標(biāo)記表示，軟標(biāo)記能夠提供更多的信息和細(xì)節(jié)，特別是在圖像的復(fù)雜區(qū)域。
• 靈活性：軟標(biāo)記方法在處理各種醫(yī)學(xué)圖像時(shí)更加靈活，能夠適應(yīng)圖像中的不確定性和多樣性。
• 提高精確度：在一些情況下，軟標(biāo)記表示能夠提高醫(yī)學(xué)圖像分類和識(shí)別的精確度。

【6.論文核心貢獻(xiàn)2-Extended Prior Distribution Regularization詳細(xì)解讀】

• 擴(kuò)展先驗(yàn)分布正則化的背景：

  • 軟標(biāo)記表示的低代碼本利用率：作者發(fā)現(xiàn)僅使用軟標(biāo)記表示時(shí)，代碼本（codebook，一種用于編碼特征的工具）的利用率仍然較低。代碼本利用率低意味著許多預(yù)定義的特征（或標(biāo)記）沒有被充分使用，這可能限制了模型學(xué)習(xí)到的特征的多樣性。

• 先驗(yàn)分布正則化的方法：

  • 先前研究的方法：在之前的研究中，先驗(yàn)分布正則化通過計(jì)算所有樣本離散標(biāo)記的代碼本上的獨(dú)熱分布的平均值（稱為 $p_{post}$），并最小化$p_{post}$ 與均勻分布$p_{post}$之間的KL散度（Kullback-Leibler divergence）來實(shí)現(xiàn)。
  • 應(yīng)用于軟標(biāo)記表示：這種技術(shù)可以輕松地泛化到軟標(biāo)記表示上，通過用一般類別分布替換一熱分布來實(shí)現(xiàn)。

• 軟標(biāo)記表示下的構(gòu)造性解釋：

  • 編碼器輸出的網(wǎng)格：假設(shè)編碼器輸出一個(gè) D×H×W*的標(biāo)記分布網(wǎng)格。$G_{D,H,W}$ 表示網(wǎng)格內(nèi)所有單元格的離散坐標(biāo)集。
  • 隨機(jī)變量定義：對(duì)于網(wǎng)格上的每個(gè)位置 $s\in G_{D,H,W}$，定義一個(gè)隨機(jī)變量 $I_s$ 表示在 $s$位置的代碼本索引，及其分布 $q(s)$。同時(shí)，定義另一個(gè)隨機(jī)變量 $S$*，表示網(wǎng)格上的隨機(jī)位置，其在 $G_{D,H,W}$ 上均勻分布。
  • 網(wǎng)格上標(biāo)記分布的平均值：網(wǎng)格上所有標(biāo)記分布的平均值正好是 $I_s$的分布。這意味著，通過考慮網(wǎng)格上每個(gè)位置的標(biāo)記分布，可以得到整個(gè)網(wǎng)格的平均分布特性。

• 分布接近均勻分布的情況：

  • 分布接近均勻分布時(shí)的直觀解釋：當(dāng) $I_s$ 的分布接近均勻分布時(shí)，這意味著每個(gè)標(biāo)記（token）在隨機(jī)采樣位置出現(xiàn)的概率幾乎相同。這種情況有利于增加學(xué)習(xí)到的分布的多樣性，因?yàn)樗苊饬藢?duì)特定標(biāo)記的過度偏好。
  • 多樣性的好處：通過確保標(biāo)記在不同位置以接近相等的概率出現(xiàn)，模型能夠更好地探索和表示數(shù)據(jù)的不同方面，從而提高其泛化能力和魯棒性。

• 避免分布全部崩潰到均勻分布：

  • 引入新的目標(biāo)：為了防止所有分布都崩潰成均勻分布（即失去區(qū)分度），作者引入了一個(gè)新的目標(biāo)，即最大化 $E\left[{\mathrm{D}}_{\mathrm{KL}}\left[q(S)\Vert p_{\text{prior?}}\right]\right]$。這里的 $E$ 表示期望值，$D_{KL}$ 表示Kullback-Leibler散度。
  • 增加分布的銳度：通過最大化$q(S)$（模型預(yù)測的分布）與 $p_{prior}$（先驗(yàn)分布，這里是均勻分布）之間的KL散度，可以增加學(xué)習(xí)到的分布的銳度。這意味著每個(gè)標(biāo)記的分布將更加集中，而不是平坦和模糊。

• 擴(kuò)展先驗(yàn)分布正則化的實(shí)現(xiàn)：

  • KL散度的表達(dá)：對(duì)于任何分布 $p$，${\mathrm{D}}_{\mathrm{KL}}\left(p\Vert p_{\text{prior?}}\right)$可以表達(dá)為 $?H(p)+\ln |V|$，其中 $H(p)$ 是分布 $p$ 的熵，定義為，$?{\sum }_{i=1}^{|V|}{p}_i\ln p_i$而 $|V|$是可能標(biāo)記的數(shù)量。
  • 最小化的目標(biāo)：因此，擴(kuò)展先驗(yàn)分布正則化可以通過最小化損失函數(shù)中包含上述KL散度的目標(biāo)來實(shí)現(xiàn)。

【7.實(shí)驗(yàn)和對(duì)比】

這部分本文從略，只是簡單列舉文章來源地址http://www.zghlxwxcb.cn/news/detail-760557.html

到了這里，關(guān)于【論文閱讀筆記】Pre-trained Universal Medical Image Transformer的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！