殘差混合注意力結(jié)合多分辨率約束的圖像配準(zhǔn)

張明娜呂曉琪谷宇

殘差混合注意力結(jié)合多分辨率約束的圖像配準(zhǔn)

張明娜1，呂曉琪1，2*，谷宇1

（1.內(nèi)蒙古科技大學(xué) 信息工程學(xué)院 模式識別與智能圖像處理重點(diǎn)實(shí)驗(yàn)室，內(nèi)蒙古 包頭 014010；2.內(nèi)蒙古工業(yè)大學(xué) 信息工程學(xué)院，內(nèi)蒙古 呼和浩特 010051）

醫(yī)學(xué)圖像配準(zhǔn)在圖譜創(chuàng)建和時(shí)間序列圖像對比等臨床應(yīng)用中具有重要意義。目前，使用深度學(xué)習(xí)的配準(zhǔn)方法與傳統(tǒng)方法相比更好地滿足了臨床實(shí)時(shí)性的需求，但配準(zhǔn)精確度仍有待提升?；诖?，本文提出了一種結(jié)合殘差混合注意力與多分辨率約束的配準(zhǔn)模型MAMReg-Net，實(shí)現(xiàn)了腦部核磁共振成像（Magnetic Resonance Imaging， MRI）的單模態(tài)非剛性圖像配準(zhǔn)。該模型通過添加殘差混合注意力模塊，可以同時(shí)獲取大量局部和非局部信息，在網(wǎng)絡(luò)訓(xùn)練過程中提取到了更有效的大腦內(nèi)部結(jié)構(gòu)特征。其次，使用多分辨率損失函數(shù)來進(jìn)行網(wǎng)絡(luò)優(yōu)化，實(shí)現(xiàn)更高效和更穩(wěn)健的訓(xùn)練。在腦部T1 MR圖像的12個(gè)解剖結(jié)構(gòu)中，平均Dice分?jǐn)?shù)達(dá)到0.817，平均ASD數(shù)值達(dá)到0.789，平均配準(zhǔn)時(shí)間僅為0.34 s。實(shí)驗(yàn)結(jié)果表明，MAMReg-Net配準(zhǔn)模型能夠更好地學(xué)習(xí)腦部結(jié)構(gòu)特征從而有效地提升配準(zhǔn)精確度，并且滿足臨床實(shí)時(shí)性的需求。

醫(yī)學(xué)圖像處理；單模態(tài)配準(zhǔn)；深度學(xué)習(xí)；注意力機(jī)制；多分辨率約束

1 引　言

醫(yī)學(xué)圖像配準(zhǔn)［1-2］的目的是為一對圖像之間建立密集的非線性對應(yīng)關(guān)系，利用這種關(guān)系可以讓參考圖像和配準(zhǔn)后的圖像在空間位置或者解剖結(jié)構(gòu)上能夠一一對應(yīng)起來，其在圖像融合、醫(yī)學(xué)圖譜創(chuàng)建、時(shí)間序列圖像對比等醫(yī)學(xué)圖像分析任務(wù)［3-4］中起著至關(guān)重要的作用。傳統(tǒng)的配準(zhǔn)方法［5-6］利用圖像對像素之間的信息進(jìn)行相似性度量計(jì)算，通過迭代的方式最小化相似性度量尋求最優(yōu)的對應(yīng)關(guān)系［7］。然而該類方法通常在高維空間進(jìn)行運(yùn)算，使得計(jì)算量大，運(yùn)算時(shí)間過長。

隨著深度學(xué)習(xí)在醫(yī)學(xué)圖像處理領(lǐng)域的廣泛應(yīng)用［8-10］，配準(zhǔn)方式發(fā)生了改變。最初，Wu等人［11］提出利用深度學(xué)習(xí)提取輸入圖像對的特征，以增強(qiáng)配準(zhǔn)的性能。Eppenhof等人［12］則直接使用深度學(xué)習(xí)取代相似性度量來估計(jì)圖像對之間的誤差。這些方法雖然成功地將深度學(xué)習(xí)應(yīng)用于配準(zhǔn)方法中，但是仍未能改變傳統(tǒng)配準(zhǔn)方法迭代的本質(zhì)?？臻g變換網(wǎng)絡(luò)（Spatial Transformer Network，STN）［13］的提出使得網(wǎng)絡(luò)直接估計(jì)形變參數(shù)的方法得以實(shí)現(xiàn)，可以更好地滿足臨床實(shí)時(shí)性要求。Chee等人［14］提出的仿射圖像配準(zhǔn)網(wǎng)絡(luò)AIRNet中，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）［15］直接估計(jì)3D腦部核碳共振（Magnetic Resonance， MR）圖像的DVF（Displacement Vector Field）。隨后，Hu［16］等人提出了一種有標(biāo)簽引導(dǎo)的深監(jiān)督配準(zhǔn)網(wǎng)絡(luò)，并在損失函數(shù)的計(jì)算中添加了多尺度信息進(jìn)行訓(xùn)練。這類方法的缺點(diǎn)在于，依賴于專家手工操作的數(shù)據(jù)作為監(jiān)督信息，而大量的具有標(biāo)注的數(shù)據(jù)很難獲得，這在一定程度上限制了配準(zhǔn)的性能。

為了消除監(jiān)督信息的限制，Balakrishnan等人［17］使用CNN提出了一種端到端的無監(jiān)督配準(zhǔn)框架VoxelMorph，該方法在無需任何監(jiān)督信息的基礎(chǔ)上實(shí)現(xiàn)了快速、精細(xì)配準(zhǔn)。在此基礎(chǔ)之上，為了解決VoxelMorph網(wǎng)絡(luò)在大位移形變中效果不佳的問題，Zhang等人［18］提出了端到端的遞歸級聯(lián)配準(zhǔn)網(wǎng)絡(luò)，使得所有的子網(wǎng)絡(luò)能夠相互協(xié)助地學(xué)習(xí)圖像特征，實(shí)現(xiàn)由粗到細(xì)的圖像配準(zhǔn)。Ouyang等人［19］選擇用殘差結(jié)構(gòu)建立不同層之間的聯(lián)系來消除梯度消失問題，并學(xué)習(xí)更有效的特征。在網(wǎng)絡(luò)深度相當(dāng)?shù)那闆r下，使用的參數(shù)更少，而且在小數(shù)據(jù)集上表現(xiàn)良好，可以有效抑制過擬合。然而，這些方法都是基于卷積神經(jīng)網(wǎng)絡(luò)的加深或加長網(wǎng)絡(luò)，卷積運(yùn)算的過程中只考慮一個(gè)像素及其鄰域像素，并且這種局部運(yùn)算是重復(fù)的。然而，大腦內(nèi)部解剖結(jié)構(gòu)復(fù)雜，腦部結(jié)構(gòu)大小不一，導(dǎo)致不同部位所引起的鄰域像素值的變化是不一樣的。因此，應(yīng)該在配準(zhǔn)網(wǎng)絡(luò)的學(xué)習(xí)過程中提取出這些特征，提升網(wǎng)絡(luò)性能，實(shí)現(xiàn)有效的圖像配準(zhǔn)。

針對上述問題，本文設(shè)計(jì)了一種結(jié)合殘差混合注意力與多分辨率約束的配準(zhǔn)框架（MAMReg-Net）用于單模態(tài)腦部MR圖像配準(zhǔn)中。首先，采用殘差塊［20］加深網(wǎng)絡(luò)并消除梯度消失問題。其次，在網(wǎng)絡(luò)中添加多個(gè)殘差局部和非局部注意力模塊，通過特征加權(quán)的方式，讓網(wǎng)絡(luò)提取到更關(guān)鍵的特征。尤其需要注意的是，所添加的殘差非局部注意力模塊，更多地關(guān)注于全局，有效改善了卷積運(yùn)算的缺陷。此外，還采用了一個(gè)多分辨率損失函數(shù)用于網(wǎng)絡(luò)訓(xùn)練，從而實(shí)現(xiàn)更有效的優(yōu)化。

2 配準(zhǔn)方法

圖1　配準(zhǔn)網(wǎng)絡(luò)模型圖

2.1　網(wǎng)絡(luò)結(jié)構(gòu)

圖2　MAMReg-Net網(wǎng)絡(luò)架構(gòu)

2.2　殘差混合注意力

Oh等人［21］通過實(shí)驗(yàn)證明添加注意力模塊可以在網(wǎng)絡(luò)學(xué)習(xí)過程中保留更多腦部結(jié)構(gòu)特征，得到配準(zhǔn)性能的提升。在此基礎(chǔ)之上，本文受到秦等人［22］提出的殘差注意力機(jī)制的啟發(fā)，引入了殘差混合注意力機(jī)制，它由多個(gè)殘差局部和非局部注意力模塊構(gòu)成。殘差局部注意力模塊的中間部分被分為主干分支Trunk和掩碼分支Mask，如圖3（a）所示。殘差非局部注意力模塊就是在殘差局部注意力模塊的基礎(chǔ)上添加非局部注意力模塊（Non-local）［23］，以此來讓網(wǎng)絡(luò)關(guān)注到更多的全局信息，如圖3（b）所示。

圖3　殘差混合注意力圖

221殘差局部注意力模塊

在殘差局部注意力模塊中，Mask起著非常重要的作用，它能夠選擇更有效的圖像特征并且能夠有效地抑制主干分支中的噪聲。如圖4所示，Mask具有U-Net結(jié)構(gòu)，從輸入開始，在編碼層中多次執(zhí)行最大池化與殘差塊操作之后達(dá)到快速增加接受域的目的。之后在上采樣結(jié)束后進(jìn)行與編碼層的跳躍連接，避免在增加接受域的過程中造成特征丟失。最后添加兩個(gè)卷積層和一個(gè)Sigmoid層對輸出進(jìn)行歸一化。通常，殘差局部注意力模塊通過Trunk保留原有的圖像特征信息，使用Mask關(guān)注大腦內(nèi)部細(xì)微結(jié)構(gòu)的特征，給出關(guān)于圖中像素如何與其他像素相關(guān)的信息。Mask的輸出是一組權(quán)重值，它可以表示每一個(gè)像素值在配準(zhǔn)過程中的重要性。

圖4　Mask分支結(jié)構(gòu)

222殘差非局部注意力模塊

為了讓網(wǎng)絡(luò)在學(xué)習(xí)的過程中關(guān)注更多的全局信息，在殘差局部注意力模塊的掩碼分支前加入圖5所示的非局部注意力塊（Non-local），使之變成殘差非局部注意力模塊。這種非局部操作的定義如式（3）所示。

其中：是輸出特征的位置索引，代表所有可能位置的索引，和分別表示此操作的輸入和輸出，用來計(jì)算和所有可能相關(guān)的位置之間的關(guān)系，用于計(jì)算輸入在位置的特征值；其中，函數(shù)有多種變體函數(shù)可以達(dá)到相似的效果，一般使用嵌入式高斯函數(shù)更易于深度學(xué)習(xí)的應(yīng)用，使用線性函數(shù)，具體定義如式（4）和（5）所示。

2.3　多分辨率損失函數(shù)

無監(jiān)督配準(zhǔn)工作的實(shí)質(zhì)就是一個(gè)的函數(shù)優(yōu)化問題，通過最小化損失函數(shù)來優(yōu)化圖像之間的相似性，從而找到最優(yōu)的空間變換參數(shù)。通常損失函數(shù)的定義如式（8）所示。

3 實(shí)驗(yàn)設(shè)置及評價(jià)標(biāo)準(zhǔn)

3.1　數(shù)據(jù)集

原始圖像及其經(jīng)過上述預(yù)處理操作的圖像如圖6所示，預(yù)處理后手工去除個(gè)別不完整圖像數(shù)據(jù)，一共得到1 551幅T1 MR圖像。實(shí)驗(yàn)中采用的是基于altas的配準(zhǔn)，所以需要在1 551幅MR圖像中隨機(jī)選取一幅作為配準(zhǔn)的模板。將另外的1 550幅隨機(jī)分為1 450幅訓(xùn)練數(shù)據(jù)，50幅驗(yàn)證數(shù)據(jù)和50幅測試數(shù)據(jù)。其中，訓(xùn)練集用于網(wǎng)絡(luò)模型的訓(xùn)練，驗(yàn)證集用于在訓(xùn)練的過程中保存最優(yōu)的模型，避免過擬合現(xiàn)象。測試集則用于測試模型的配準(zhǔn)性能。

為了進(jìn)一步研究配準(zhǔn)模型的泛化能力，本實(shí)驗(yàn)在醫(yī)學(xué)影像數(shù)據(jù)集ABIDE［28］（Autism Brain Imaging Data Exchange）中隨機(jī)選取了30幅圖像進(jìn)行模型測試，并將選取的30幅3D腦部T1 MR圖像進(jìn)行上述的預(yù)處理操作。

圖6　預(yù)處理前后圖像

3.2　訓(xùn)練策略

3.3　評價(jià)指標(biāo)

本文的評價(jià)指標(biāo)為配準(zhǔn)時(shí)間和精確度兩個(gè)方面。為了滿足臨床配準(zhǔn)實(shí)時(shí)性的要求，通過比較不同方法的配準(zhǔn)時(shí)間可以很好地評價(jià)配準(zhǔn)性能。對于精確度，則通過計(jì)算Dice分?jǐn)?shù)和ASD（Averaged Surface Distance）兩方面進(jìn)行定量評價(jià)。

Dice分?jǐn)?shù)通常將兩幅圖片疊在一起進(jìn)行計(jì)算，目的是衡量兩個(gè)圖像之間的相似度，具體計(jì)算方式如式（13）所示：

ASD通常用來計(jì)算表面平均距離，是評估圖像處理結(jié)果質(zhì)量的一個(gè)重要的量化標(biāo)準(zhǔn)。具體計(jì)算方式如式（14）所示：

圖7　12個(gè)解剖結(jié)構(gòu)示例圖

4 實(shí)驗(yàn)結(jié)果及分析

4.1　可視化分析

本文中基于atlas的腦部MR圖像配準(zhǔn)的可視化結(jié)果如圖8所示。圖中所展示的是從測試集圖像中隨機(jī)獲取的一幅樣本結(jié)果，圖8（a）、（b）分別代表參考圖像和浮動(dòng)圖像，圖8（c）、（d）分別是使用MR圖像查看工具ITK-SNAP［30］中的彩色通道成像和網(wǎng)格成像兩種不同形式呈現(xiàn)的變形場可視化結(jié)果，圖8（e）則是配準(zhǔn)后圖像?？梢暬Y(jié)果的分析從圖像的三個(gè)維度進(jìn)行，從上到下每一行分別顯示了腦部圖像的冠狀面、矢狀面和橫斷面。從圖8可以直觀的看出，配準(zhǔn)后圖像與參考圖像具有較高的相似性。

圖8　測試集的隨機(jī)樣本配準(zhǔn)結(jié)果

圖9展示了顏色疊加圖，以便于更好地觀察本文所提出的MAMReg-Net的配準(zhǔn)效果。圖9（a）代表參考圖像與浮動(dòng)圖像的疊加圖，圖9（b）代表參考圖像與配準(zhǔn)后圖像的疊加圖。其中，藍(lán)色標(biāo)記參考圖像，綠色標(biāo)記浮動(dòng)圖像和配準(zhǔn)后圖像，藍(lán)色與綠色重疊后表現(xiàn)為青綠色。相比于圖9（a），在圖9（b）中可以明顯看出三個(gè)維度的圖像絕大部分都呈現(xiàn)為青綠色，只有很少的藍(lán)色和綠色，這表明MAMReg-Net配準(zhǔn)后圖像與參考圖像重疊部位多，達(dá)到了很好的可視化配準(zhǔn)效果。

圖9　配準(zhǔn)前后顏色疊加圖

圖10　不同方法配準(zhǔn)結(jié)果

為了進(jìn)一步對比SYN、VoxelMorph和MAMReg-Net腦部MR圖像配準(zhǔn)結(jié)果的差異，不同方法的可視化結(jié)果如圖10所示。從圖10（c），（d）和（e）可以看出，不同方法得到的配準(zhǔn)后圖像都能夠與參考圖像具有較高的相似性。值得注意的是，在粉紅色方框所標(biāo)記的解剖區(qū)域上，MAMReg-Net的配準(zhǔn)后圖像與參考圖像最為相似，效果優(yōu)于SYN和VoxelMorph。圖10中圖像的三個(gè)維度均有粉紅色方框標(biāo)注，表明MAMReg-Net在幾種不同方法中具有最好的可視化配準(zhǔn)效果。

4.2　量化分析

421配準(zhǔn)精度

ADNI3測試集的配準(zhǔn)結(jié)果用評價(jià)指標(biāo)Dice分?jǐn)?shù)和ASD進(jìn)行計(jì)算，得到量化的分析。如表1所示，MAMReg-Net在不同的方法中取得了最高的平均Dice分?jǐn)?shù)，較Affine、SYN和VoxelMorph分別提升了0.203、0.034和0.013。與此同時(shí)，MAMReg-Net在ASD評價(jià)指標(biāo)中也取得了最優(yōu)配準(zhǔn)精度，較Affine、SYN和VoxelMorph的平均ASD數(shù)值分別降低了0.884、0.077和0.015。

為了能夠更加細(xì)致地分析不同方法對于不同解剖部位的配準(zhǔn)效果，圖11和圖12分別展示了測試集圖像在12個(gè)解剖結(jié)構(gòu)上的平均Dice分?jǐn)?shù)和平均ASD數(shù)值。從圖11中可以看出，經(jīng)過可變形配準(zhǔn)方法之后的平均Dice分?jǐn)?shù)明顯高于只進(jìn)行剛性變換的Affine。對于這12個(gè)解剖結(jié)構(gòu)，MAMReg-Net的平均Dice分?jǐn)?shù)在9個(gè)結(jié)構(gòu)上的高于SYN，在10個(gè)結(jié)構(gòu)上的高于VoxelMorph。同樣，從圖12可以看出，MAMReg-Net在大部分解剖結(jié)構(gòu)上獲得了最優(yōu)的平均ASD數(shù)值。以上結(jié)果表明，本文所設(shè)計(jì)的MAMReg-Net配準(zhǔn)模型是有效的。

表1不同方法的配準(zhǔn)精度

Tab.1　Registration accuracy of different methods

圖11　測試集上12個(gè)解剖結(jié)構(gòu)的平均Dice分?jǐn)?shù)柱狀圖

圖12　測試集上12個(gè)解剖結(jié)構(gòu)的平均ASD數(shù)值柱狀圖

422配準(zhǔn)時(shí)間

為了評價(jià)本文所提出的配準(zhǔn)網(wǎng)絡(luò)模型的配準(zhǔn)速度，對SYN、VoxelMorph和MAMReg-Net的平均配準(zhǔn)時(shí)間進(jìn)行了比較，如表2所示。結(jié)果表明，在對VoxelMorph和MAMReg-Net訓(xùn)練出的最優(yōu)模型進(jìn)行測試時(shí)均能在1秒之內(nèi)完成配準(zhǔn)。其中MAMReg-Net的配準(zhǔn)時(shí)間約為基于Tensorflow框架實(shí)現(xiàn)的VoxelMorph的一半，約為傳統(tǒng)方法SYN的百分之一。由于本文配準(zhǔn)模型添加了殘差混合注意力以及多分辨率約束，所以相比于Pytorch框架實(shí)現(xiàn)的VoxelMorph需要更多的配準(zhǔn)時(shí)間。

423配準(zhǔn)模型的泛化能力

為了評估MAMReg-Net的泛化能力，實(shí)驗(yàn)進(jìn)一步在ABIDE數(shù)據(jù)集上進(jìn)行了測試。方法是直接采用ADNI3數(shù)據(jù)集訓(xùn)練出的模型，不加任何額外的參數(shù)調(diào)整，對預(yù)處理操作后的30幅ABIDE數(shù)據(jù)進(jìn)行基于altas配準(zhǔn)。測試結(jié)果如表3所示，在兩個(gè)評價(jià)標(biāo)準(zhǔn)平均Dice分?jǐn)?shù)和平均ASD數(shù)值上，MAMReg-Net的配準(zhǔn)精度對比傳統(tǒng)配準(zhǔn)方法SYN略差，但高于深度學(xué)習(xí)網(wǎng)絡(luò)VoxelMorph，這驗(yàn)證了本文配準(zhǔn)模型MAMReg-Net的泛化能力較VoxelMorph有所提升。

表2不同方法的平均配準(zhǔn)時(shí)間比較

Tab.2　Comparison of registration time between different methods

表3ABIDE數(shù)據(jù)集的配準(zhǔn)精度比較

Tab.3　Comparison of registration accuracy of ABIDE dataset

4.3　消融實(shí)驗(yàn)

為了驗(yàn)證多分辨率約束、殘差局部注意力和殘差混合注意力和對配準(zhǔn)性能的影響，表4對消融實(shí)驗(yàn)的配準(zhǔn)精度進(jìn)行了比較。從表中可以看出，在基礎(chǔ)網(wǎng)絡(luò)中添加多分辨率約束、殘差局部注意力和殘差混合注意力，平均Dice分?jǐn)?shù)分別提升了0.002，0.006和0.008，平均ASD數(shù)值分別降低了0.017、0.031和0.036，這表明三個(gè)策略對配準(zhǔn)任務(wù)均有效。其中，添加殘差混合注意力比殘差局部注意力的平均Dice分?jǐn)?shù)提升了0.002，平均ASD數(shù)值降低了0.005，證明了在配準(zhǔn)網(wǎng)絡(luò)的學(xué)習(xí)過程中使用殘差混合注意力考慮全局信息的重要性。本文配準(zhǔn)模型MAMReg-Net將配準(zhǔn)精度提升較明顯的殘差混合注意力與多分辨率約束結(jié)合起來，達(dá)到了最優(yōu)的平均Dice分?jǐn)?shù)，相比較于Base模型平均Dice分?jǐn)?shù)提升了0.01，平均ASD數(shù)值降低了0.047。

為了更加直觀地顯示多分辨率約束和殘差混合注意力的有效性，消融實(shí)驗(yàn)在12個(gè)解剖結(jié)構(gòu)上的Dice分?jǐn)?shù)箱線圖如圖13所示。在大多數(shù)解剖結(jié)構(gòu)上，相比于基礎(chǔ)模型，添加多分辨率約束、殘差局部注意力和殘差混合注意力都獲得了更高的平均Dice分?jǐn)?shù)。并且在多數(shù)解剖結(jié)構(gòu)上添加殘差混合注意力可比只添加殘差局部注意力獲得更高的平均Dice分?jǐn)?shù)。另外，在圖13中所有解剖結(jié)構(gòu)上，本文配準(zhǔn)模型MAMReg-Net均取得了最高的平均Dice分?jǐn)?shù)。圖14是消融實(shí)驗(yàn)的ASD數(shù)值箱線圖，從中可以看出MAMReg-Net在8個(gè)解剖結(jié)構(gòu)上取得了最優(yōu)數(shù)值。由此說明，結(jié)合多分辨率約束和殘差混合注意力能直接有效地提升配準(zhǔn)性能。

表4消融實(shí)驗(yàn)的配準(zhǔn)精度比較

Tab.4　Comparison of registration accuracy of ablation experiments

圖13　消融實(shí)驗(yàn)中12個(gè)解剖結(jié)構(gòu)的Dice分?jǐn)?shù)箱線圖

圖14　消融實(shí)驗(yàn)中12個(gè)解剖結(jié)構(gòu)的ASD數(shù)值箱線圖

5 結(jié)　論

本文提出了一種針對腦部MR圖像的無監(jiān)督配準(zhǔn)方法。該方法首先通過引入殘差混合注意力的方式實(shí)現(xiàn)了更好的特征提取，可以在網(wǎng)絡(luò)學(xué)習(xí)的過程中通過權(quán)重分配的方式選擇出較為重要的特征，從而能夠提高大腦內(nèi)部解剖結(jié)構(gòu)中關(guān)鍵部分的對齊程度。然后采用多分辨率損失函數(shù)進(jìn)行網(wǎng)絡(luò)的優(yōu)化，可以有效避免過度依賴配準(zhǔn)后圖像，在不同分辨率下進(jìn)行網(wǎng)絡(luò)優(yōu)化以達(dá)到促進(jìn)網(wǎng)絡(luò)更好收斂的目的。實(shí)驗(yàn)結(jié)果證明：本文所提出的MAMReg-Net配準(zhǔn)框架的平均Dice分?jǐn)?shù)相較于傳統(tǒng)方法SYN和深度學(xué)習(xí)方法VoxelMorph分別提升了0.034和0.013，并且在平均ASD數(shù)值上分別降低了0.077和0.015，更好地滿足了醫(yī)學(xué)圖像配準(zhǔn)在臨床應(yīng)用中高精確度的需求。對于本文模型的泛化能力，雖然相較于VoxelMorph模型泛化能力有較好的提升，但是相比于傳統(tǒng)配準(zhǔn)方法效果欠佳，尤其是在處理解剖結(jié)構(gòu)差異較大的腦部MR圖像時(shí)。下一步的工作將針對這一問題進(jìn)行改善，增強(qiáng)配準(zhǔn)模型的穩(wěn)定性和泛化性。

［1］ HASKINS G， KRUGER U， YAN P K. Deep learning in medical image registration： a survey［J］.， 2020， 31（1/2）： 1-18.

［2］ 王賓，劉林，侯榆青，等. 應(yīng)用改進(jìn)迭代最近點(diǎn)方法的三維心臟點(diǎn)云配準(zhǔn)［J］. 光學(xué)精密工程， 2020， 28（2）： 474-484.

WANG B， LIU L， HOU Y Q，. Three-dimensional cardiac point cloud registration by improved iterative closest point method［J］.， 2020， 28（2）： 474-484.（in Chinese）

［3］ GU Y， LU X Q， ZHANG B H，. Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography［J］.， 2019， 14（1）： e0210551.

［4］ LU X Q， GU Y， YANG L D，. Multi-level 3D densenets for false-positive reduction in lung nodule detection based on chest computed tomography［J］.， 2020， 16（8）： 1004-1021.

［5］ ASHBURNER J. A fast diffeomorphic image registration algorithm［J］.， 2007， 38（1）： 95-113.

［6］ 劉坤，呂曉琪，谷宇，等. 快速數(shù)字影像重建的2維/3維醫(yī)學(xué)圖像配準(zhǔn)［J］. 中國圖象圖形學(xué)報(bào)， 2016， 21（1）： 69-77.

LIU K， LYU X Q， GU Y，. The 2D/3D medical image registration algorithm based on rapid digital image reconstruction［J］.， 2016， 21（1）： 69-77.（in Chinese）

［7］ KHADER M， SCHIAVI E， HAMZA A B. A multicomponent approach to nonrigid registration of diffusion tensor images［J］.， 2017， 46（2）： 241-253.

［8］ GU Y， CHI J Q， LIU J Q，. A survey of computer-aided diagnosis of lung nodules from CT scans using deep learning［J］.， 2021， 137： 104806.

［9］ QIAN L J， ZHOU Q， CAO X H，. A cascade-network framework for integrated registration of liver DCE-MR images［J］.， 2021， 89： 101887.

［10］ 李賽，黎浩江，劉立志，等. 基于尺度注意力沙漏網(wǎng)絡(luò)的頭部MRI解剖點(diǎn)自動(dòng)定位［J］. 光學(xué)精密工程， 2021， 29（9）： 2278-2286.

LI S， LI H J， LIU L Z，. Automatic location of anatomical points in head MRI based on the scale attention hourglass network［J］.， 2021， 29（9）： 2278-2286.（in Chinese）

［11］ WU G R， KIM M， WANG Q，. Scalable high-performance image registration framework by unsupervised deep feature representations learning［J］.， 2016， 63（7）： 1505-1516.

［12］ EPPENHOF K A J， PLUIM J P W. Error estimation of deformable image registration of pulmonary CT scans using convolutional neural networks［J］.， 2018， 5： 024003.

［13］ JADERBERG M， SIMONYAN K， ZISSERMAN A. Spatial transformer networks［J］.， 2015， 28： 2017-2025.

［14］ CHEE E， WU Z Z. AIRNet： self-supervised affine registration for 3D medical images using neural networks［J］.：1810.02583， 2018.

［15］ 谷宇. 基于三維卷積神經(jīng)網(wǎng)絡(luò)的低劑量CT肺結(jié)節(jié)檢測［D］.上海：上海大學(xué)，2019.

GU Y.［D］. Shanghai： Shanghai University，2019. （in Chinese）

［16］ HU Y P， MODAT M， GIBSON E，. Weakly-supervised convolutional neural networks for multimodal image registration［J］.， 2018， 49： 1-13.

［17］ BALAKRISHNAN G， ZHAO A， SABUNCU M R，. VoxelMorph： a learning framework for deformable medical image registration［J］.， 2019， 38（8）：1788-1800.

［18］ ZHANG L T， ZHOU L， LI R Y，. Cascaded feature warping network for unsupervised medical image registration［C］. 2021181316，2021，，IEEE， 2021： 913-916.

［19］ OUYANG X Y， LIANG X K， XIE Y Q. Preliminary feasibility study of imaging registration between supine and prone breast CT in breast cancer radiotherapy using residual recursive cascaded networks［J］.， 2020， 9：3315-3325.

［20］ HE K M， ZHANG X Y， REN S Q，. Deep residual learning for image recognition［C］. 20162730，2016，，，IEEE， 2016： 770-778.

［21］ OH D， KIM B， LEE J，. Unsupervised deep learning network with self-attention mechanism for non-rigid registration of 3D brain MR images［J］.， 2021， 11（3）： 736-751.

［22］ 秦傳波，宋子玉，曾軍英，等. 聯(lián)合多尺度和注意力-殘差的深度監(jiān)督乳腺癌分割［J］. 光學(xué)精密工程， 2021， 29（4）： 877-895.

QIN C B， SONG Z Y， ZENG J Y，. Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals［J］.， 2021， 29（4）： 877-895.（in Chinese）

［23］ WANG X L， GIRSHICK R， GUPTA A，. Non-local neural networks［C］. 20181823，2018，，，IEEE， 2018： 7794-7803.

［24］ MA Y J， NIU D M， ZHANG J S，. Unsupervised deformable image registration network for 3D medical images［J］.， 2022， 52（1）： 766-779.

［25］ JACK C R， BERNSTEIN M A， FOX N C，. The Alzheimer's disease neuroimaging initiative （ADNI）： MRI methods［J］.， 2008， 27（4）： 685-691.

［26］ CHEN J Y， HE Y F， FREY E C，. ViT-V-net： vision transformer for unsupervised volumetric medical image registration［J］.： 2104.06468，2021.

［27］ FISCHL B. FreeSurfer［J］.， 2012， 62（2）： 774-781.

［28］ DI MARTINO A， YAN C G， LI Q，. The autism brain imaging data exchange： towards a large-scale evaluation of the intrinsic brain architecture in autism［J］.， 2014， 19（6）： 659-667.

［29］ AVANTS B B， EPSTEIN C L， GROSSMAN M，. Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain［J］.， 2008， 12（1）： 26-41.

［30］ YUSHKEVICH P A， PIVEN J， HAZLETT H C，. User-guided 3D active contour segmentation of anatomical structures： significantly improved efficiency and reliability［J］.， 2006， 31（3）： 1116-1128.

Image registration based on residual mixed attention and multi-resolution constraints

ZHANG Mingna1，Lü Xiaoqi1，2*，GU Yu1

（1，，，014010，；2，，010051，），：

Medical image registration has great significance in clinical applications such as atlas creation and time-series image comparison. Currently， in contrast to traditional methods， deep learning-based registration achieves the requirements of clinical real-time； however， the accuracy of registration still needs to be improved. Based on this observation， this paper proposes a registration model named MAMReg-Net， which combines residual mixed attention and multi-resolution constraints to realize the non-rigid registration of brain magnetic resonance imaging （MRI）. By adding the residual mixed attention module， the model can obtain a large amount of local and non-local information simultaneously， and extract more effective internal structural features of the brain in the process of network training. Secondly， multi-resolution loss function is used to optimize the network to make the training more efficient and robust. The average dice score of the 12 anatomical structures in T1 brain MR images was 0.817， the average ASD score was 0.789， and the average registration time was 0.34 s. Experimental results demonstrate that the MAMReg-Net registration model can be better trained to learn the brain structure features to effectively improve the registration accuracy and meet clinical real-time requirements.

medical imaging process； unimodal registration； deep learning； attentional mechanism； multi-resolution constraint

TP391.4

A

10.37188/OPE.20223010.1203

1004-924X（2022）10-1203-14

2021-12-22；

2022-02-16.

國家自然科學(xué)基金項(xiàng)目（No.62001255，No.61771266，No.61841204）；內(nèi)蒙古自治區(qū)科技計(jì)劃項(xiàng)目（No.2019GG138）；中央引導(dǎo)地方科技發(fā)展資金項(xiàng)目（No.2021ZY0004）；內(nèi)蒙古自治區(qū)自然科學(xué)基金項(xiàng)目（No.2019MS06003，No.2015MS0604）；內(nèi)蒙古自治區(qū)高等學(xué)校科學(xué)研究項(xiàng)目（No.NJZY145）；教育部“春暉計(jì)劃”合作科研項(xiàng)目（No.教外司留［2019］1383號）

張明娜（1997），女，山東濟(jì)南人，碩士研究生，2020年于山東第一醫(yī)科大學(xué)獲得學(xué)士學(xué)位，主要從事智能圖像處理、深度學(xué)習(xí)及圖像配準(zhǔn)方面的研究。E-mail：1292579223@qq.com

呂曉琪（1963），男，內(nèi)蒙古包頭人，博士，教授，博士生導(dǎo)師，1984年于內(nèi)蒙古大學(xué)獲得學(xué)士學(xué)位，1989年于西安交通大學(xué)獲得碩士學(xué)位，2003年于北京科技大學(xué)獲得博士學(xué)位，主要從事智能信息處理、醫(yī)學(xué)圖像處理、數(shù)字化醫(yī)療相關(guān)技術(shù)等方面的研究。E-mail： lxiaoqi@imust.edu.cn