基于MSD-Vnet 的三維醫(yī)學(xué)圖像配準(zhǔn)

李?yuàn)檴?，張娜娜，張媛媛，丁維奇

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引 言

圖像配準(zhǔn)提供了對(duì)通過不同方式獲得圖像進(jìn)行視覺分析的能力。醫(yī)學(xué)圖像配準(zhǔn)的目的是建立兩個(gè)或多個(gè)三維醫(yī)學(xué)圖像之間的解剖對(duì)應(yīng)關(guān)系，提高醫(yī)學(xué)AI 分類診斷和定量療效評(píng)價(jià)等。近年來，基于深度學(xué)習(xí)的圖像配準(zhǔn)方法證實(shí)了神經(jīng)網(wǎng)絡(luò)的能力，取得了不錯(cuò)的成果。文獻(xiàn)［1-3］提出的醫(yī)學(xué)圖像配準(zhǔn)方法在訓(xùn)練過程中需要大量人工精確標(biāo)注的真實(shí)變形場(chǎng)，然而獲取精確標(biāo)注的真實(shí)變形場(chǎng)是個(gè)難題，且配準(zhǔn)的精度受人工標(biāo)注的影響。文獻(xiàn)［4-7］提出的醫(yī)學(xué)圖像配準(zhǔn)方法解決了真實(shí)變形場(chǎng)方面的難題，但文獻(xiàn)［4-5］的部分方法只支持小的變換，意味著在配準(zhǔn)任務(wù)中可能丟失解剖結(jié)構(gòu)的位置信息。此外，上述方法的精度有待提高。因此，提出了一種新的醫(yī)學(xué)圖像配準(zhǔn)方法，可變形配準(zhǔn)網(wǎng)絡(luò)為編解碼結(jié)構(gòu)，在沒有任何標(biāo)注的真實(shí)變形場(chǎng)預(yù)測(cè)整個(gè)位移向量場(chǎng)。所提方法在訓(xùn)練過程中不需要真實(shí)變形場(chǎng)等標(biāo)注信息，且為了提高配準(zhǔn)精度，在標(biāo)準(zhǔn)編解碼結(jié)構(gòu)上做了多尺度跳過連接、選擇核注意力機(jī)制和深度監(jiān)督3 方面改進(jìn)。在ADNI 腦數(shù)據(jù)集上對(duì)所提出方法進(jìn)行評(píng)估，驗(yàn)證了所提方法的準(zhǔn)確性。

1 方 法

所提配準(zhǔn)方法的整體架構(gòu)如圖1 所示。使用可變形配準(zhǔn)網(wǎng)絡(luò)MSD-Vnet 端到端預(yù)測(cè)整個(gè)位移向量場(chǎng)，其中固定圖像F 和移動(dòng)圖像M 作為可變形配準(zhǔn)網(wǎng)絡(luò)的輸入，MSD-Vnet 對(duì)函數(shù)gθ(F,M)=φ 進(jìn)行建模。

圖1 三維醫(yī)學(xué)圖像配準(zhǔn)的整體架構(gòu)

訓(xùn)練過程中，通過空間變換網(wǎng)絡(luò)（Spatial Transformer Network，STN）將位移向量場(chǎng)φ 和移動(dòng)圖像M 扭曲獲得扭曲圖像M(φ)，通過最小化扭曲圖像M(φ)和固定圖像F 之間的相似性損失和位移向量場(chǎng)φ 的正則化損失來指導(dǎo)訓(xùn)練找到最佳的參數(shù)θ，表示為：

式中，對(duì)于每個(gè)體素p ∈R3，φ(p)使F(p)和M(φ(p))定義相似的解剖位置。M(φ)為通過空間變換網(wǎng)絡(luò)（Spatial Transformer Network，STN）對(duì)移動(dòng)圖像M 施加位移向量場(chǎng)φ 扭曲后的圖像，Lsim(·)度量扭曲圖像M(φ)和固定圖像F 之間的相似性，Lsmooth(·)表示對(duì)變形場(chǎng)φ施加正則化，λ是正則化參數(shù)。在配準(zhǔn)過程中，給定一個(gè)圖像對(duì)M 和F 的情況下，可以通過一組最優(yōu)化的參數(shù)θ 快速獲得位移向量場(chǎng)φ，從而得到扭曲圖像M(φ)。

1.1 可變形配準(zhǔn)網(wǎng)絡(luò)MSD-Vnet

可變形配準(zhǔn)網(wǎng)絡(luò)MSD-Vnet 遵循編解碼結(jié)構(gòu)，如圖2 所示。在編碼器階段，使用步長(zhǎng)為2 的卷積對(duì)圖像進(jìn)行降采樣。降采樣操作執(zhí)行3 次，使圖像的分辨率分別為之前的1/2、1/4 和1/8。3 層結(jié)構(gòu)中，卷積層的數(shù)量分別為1、2、3，其中最后兩層結(jié)構(gòu)中的卷積使用殘差單元。然后，使用具有3 個(gè)卷積層的殘差單元連接編解碼底端。在解碼器階段，使用上采樣恢復(fù)空間分辨率。與編碼器階段類似，上采樣和卷積操作重復(fù)3 次，3 層結(jié)構(gòu)中卷積層的數(shù)量分別為3、2、1。特別地，MSD-Vnet 在編解碼結(jié)構(gòu)之間引入多尺度跳過連接。在解碼器端對(duì)來自各個(gè)尺度的特征映射進(jìn)行級(jí)聯(lián)，并將級(jí)聯(lián)得到的特征映射經(jīng)過一個(gè)選擇核注意力機(jī)制網(wǎng)絡(luò)，從而充分利用醫(yī)學(xué)圖像的多尺度特性獲取更多與配準(zhǔn)有關(guān)的信息。同時(shí)，MSD-Vnet 包含深度監(jiān)督機(jī)制，可以使配準(zhǔn)網(wǎng)絡(luò)更好地學(xué)習(xí)，最終輸出位移向量場(chǎng)，即一個(gè)具有3 個(gè)通道（x、y、z 位移）的三維特征圖。它的大小與輸入相同，均為160×192×224。

圖2 可變形配準(zhǔn)網(wǎng)絡(luò)MSD-Vnet

1.1.1 多尺度跳過連接

基于編解碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)中，由跳過連接連接的特征映射之間存在差異。以可變形網(wǎng)絡(luò)最頂層的跳過連接為例，編碼器端的特征映射是原始圖像，而解碼器端的特征映射類似于最終的位移向量場(chǎng)。這兩組差異較大的特征映射進(jìn)行級(jí)聯(lián)，會(huì)對(duì)預(yù)測(cè)過程產(chǎn)生不利的影響?；诖?，MSD-Vnet 在編解碼器之間引入多尺度跳過連接，以使醫(yī)學(xué)圖像的解剖結(jié)構(gòu)位置信息更加精確。

多尺度跳過連接使每一個(gè)解碼器層都結(jié)合了小尺度的特征映射、同尺度的特征映射以及大尺度的特征映射［8］，過程如圖3 所示，展示了構(gòu)造層的特征映射方法。

式中，i 是沿著編碼器下采樣層的索引，N 與下采樣的次數(shù)相同，C(·)表示卷積操作，D(·)和U(·)分別表示下采樣和上采樣操作，［·］表示級(jí)聯(lián)操作，HSK(·)表示選擇核注意力機(jī)制。

1.1.2 選擇核注意力機(jī)制SKNet

MSD-Vnet 的編碼器端使用選擇核注意力機(jī)制SKNet。這種非線性的多核信息聚合方法能夠根據(jù)輸入信息自適應(yīng)地調(diào)整感受野的大小，獲取更多與配準(zhǔn)有關(guān)的信息。選擇核注意力機(jī)制SKNet 由分離、融合及選擇3 部分組成。具體地，對(duì)于給定的特征映射X ∈RD×H×W×C，首先通過兩個(gè)卷積核大小不同的卷積進(jìn)行兩個(gè)變換，分別為F1:X →U1∈RD×H×W×C和F2:X →U2∈RD×H×W×C。通過加和的方式融合兩個(gè)分支變換得到的結(jié)果，即：

通過一個(gè)全局平均池化嵌入全局信息，生成信道統(tǒng)計(jì)信息s ∈RC。式中，s 中的每個(gè)元素都是通過在空間維度D×H×W 對(duì)U 進(jìn)行壓縮得到，第c個(gè)元素的計(jì)算公式為：

使用完全連接層將壓縮得到的特征變得更加緊湊z ∈Rd×1，其中d 是再次壓縮后的通道數(shù)。通過上述操作可達(dá)到提高效率的效果：

最后，使用softmax 函數(shù)，根據(jù)不同核上的注意力權(quán)重a和b 得到最后的特征映射Fclast，即：

式中：

圖3 基于多尺度跳過連接的特征融合

式中，Ac,Bc∈Rc×d，Ac是A 的 第c 行，ac是a 的第c 個(gè)元素；Bc與bc同理。

1.1.3 深度監(jiān)督

可變形配準(zhǔn)網(wǎng)絡(luò)MSD-Vnet 在各個(gè)層添加了深度監(jiān)督輔助分支，從MSD-Vnet 底部依次提取不同分辨率層次的階段性預(yù)測(cè)結(jié)果作為生成層的輸入。低層特征生成的階段性預(yù)測(cè)結(jié)果進(jìn)行上采樣，并依次與高層特征生成的階段性預(yù)測(cè)結(jié)果進(jìn)行融合，從而綜合多個(gè)分辨率下的階段性預(yù)測(cè)結(jié)果生成融合預(yù)測(cè)結(jié)果。

1.2 損失函數(shù)

損失函數(shù)由兩部分組成：一部分是扭曲圖像M(φ)與固定圖像F 之間的相似性度量Lsim，另一部分是施加于位移向量場(chǎng)φ 的正則化損失項(xiàng)Lsmooth。相似性度量懲罰外觀上的差異，正則化損失項(xiàng)懲罰位移向量場(chǎng)φ 的局部空間變化。

損失函數(shù)L 計(jì)算公式如下：

式中，λ 是正則化參數(shù)。

均方體素差MSE 作為相似性度量為：

式中，Ω 表述輸入圖像的空間域，p 表示空間域內(nèi)的體素。

在其空間梯度上使用擴(kuò)散正則化器平滑φ，有：

式中，Ω 表述輸入圖像的空間域，p 表示空間域內(nèi)的體素，φ(p)是相鄰體素之間的差異。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

通過公共數(shù)據(jù)集ANDI［9］的腦MRI 數(shù)據(jù)評(píng)估提出的方法。首先，使用FreeSurfer［10］對(duì)大腦數(shù)據(jù)進(jìn)行剝離和重采樣，將體素間距變?yōu)? mm×1 mm×1 mm。其次，將圖像大小切割為160×192×224，并對(duì)數(shù)據(jù)進(jìn)行歸一化。最后，用ANTs［11］進(jìn)行仿射變換（Affine）。另外，采用數(shù)據(jù)增強(qiáng)的方法對(duì)圖像進(jìn)行不同程度的扭曲，達(dá)到擴(kuò)增數(shù)據(jù)的目的。

2.2 評(píng)估方法

在對(duì)配準(zhǔn)后的圖像和固定圖像的解剖結(jié)構(gòu)進(jìn)行分割的基礎(chǔ)上，使用戴斯相似性系數(shù)（Dice Smilarity Cefficient，DSC）來評(píng)估網(wǎng)絡(luò)的性能。戴斯相似性系數(shù)（DSC）的計(jì)算公式為：

式中，A 和B 是某個(gè)解剖結(jié)構(gòu)組成的一組體素。A 和B 重疊的區(qū)域越大，DSC 的數(shù)值越大。完全重疊的區(qū)域DSC=1。數(shù)值越接近1，說明配準(zhǔn)的精度越高。

2.3 實(shí) 施

實(shí)驗(yàn)在Ubuntu 16.04 操作系統(tǒng)下進(jìn)行，使用Keras 和Tensorflow 后端實(shí)施，硬件設(shè)施為顯存16 GB 的NVIDIA Quadro RTX 5000 GPU，內(nèi)存大小為128 GB。訓(xùn)練過程中使用Adam 優(yōu)化器，學(xué)習(xí)率為1e-4，批量大小為每訓(xùn)練批一對(duì)。

3 結(jié) 果

為了驗(yàn)證方法的有效性，將提出的方法與經(jīng)典的傳統(tǒng)配準(zhǔn)算法（包括基于ANTs［11］的Affine 和SyN［12］）以及當(dāng)下流行的基于深度學(xué)習(xí)的方法（包括3 層U-net［13］和體素變形［6］）進(jìn)行比較。這些方法在大腦數(shù)據(jù)集ADNI 中的一個(gè)示例上的可視化結(jié)果如圖4 所示。以二維切片的形式展示結(jié)果，僅用于可視化目的。

圖4 各種方法的可視化結(jié)果

基于ANTs［11］的Affine、SyN［12］、3 層U-net［13］、體素變形［6］以及提出的架構(gòu)的平均戴斯相似性系數(shù)（DSC）如表1 所示?？梢钥闯?，與前幾種方法相比，提出的方法在精度方面達(dá)到了最先進(jìn)的性能。

表1 平均戴斯相似性系數(shù)（DSC）

接下來進(jìn)一步展示30 個(gè)解剖結(jié)構(gòu)體積重疊的戴斯相似性系數(shù)。表2 列出了30 個(gè)解剖結(jié)構(gòu)，并將所有解剖結(jié)構(gòu)對(duì)應(yīng)的平均戴斯相似性系數(shù)可視化為如圖5 所示的直方圖。由圖5 可以看出，在30個(gè)解剖結(jié)構(gòu)中，提出的方法有27 個(gè)解剖結(jié)構(gòu)的戴斯相似性系數(shù)（DSC）表現(xiàn)出最佳性能。

表2 30 個(gè)解剖結(jié)構(gòu)索引表

4 結(jié) 語

三維醫(yī)學(xué)圖像配準(zhǔn)具有重要的研究意義。針對(duì)編解碼結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型在配準(zhǔn)中的不足，提出一種新的卷積神經(jīng)網(wǎng)絡(luò)MSD-Vnet 用于醫(yī)學(xué)圖像的端到端配準(zhǔn)。與只支持小的三維圖像塊或者是二維切片的方法相比，該方法可以一次性預(yù)測(cè)整個(gè)位移向量場(chǎng)。該模型使用多尺度跳過連接來精確定位解剖結(jié)構(gòu)的位置和邊界，使用選擇核注意力機(jī)制更好地學(xué)習(xí)醫(yī)學(xué)圖像的多尺度特性提高配準(zhǔn)精度，同時(shí)使用深度監(jiān)督對(duì)整個(gè)可變形配準(zhǔn)網(wǎng)絡(luò)進(jìn)行監(jiān)督來防止過擬合。利用公共數(shù)據(jù)集ADNI 對(duì)提出的方法進(jìn)行評(píng)估，評(píng)估指標(biāo)為平均戴斯相似性系數(shù)，與Affine、SyN、U-net（三層）以及體素變形比較，分別獲得24.6%、13.1%、2%以及1.7%的精度提升。由于將圖像配準(zhǔn)到同一模板圖像是大多數(shù)醫(yī)學(xué)圖像分析方法（如atlas 比對(duì)）的一個(gè)重要預(yù)處理部分，因此該模型的重點(diǎn)是將目標(biāo)圖像配準(zhǔn)到一個(gè)固定的模板圖像上。未來將致力于研究將目標(biāo)圖像配準(zhǔn)到不同模板圖像上。

圖5 5 種方法解剖結(jié)構(gòu)的平均DSC