基于深度學(xué)習(xí)的圖像配準(zhǔn)方法綜述

黃 鵬，郭春生，陳華華，張宏寬

(1.杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018；2.數(shù)源科技股份有限公司，浙江 杭州 310012)

0 引 言

圖像配準(zhǔn)是圖像處理中的一個(gè)基本問題，一直以來都是圖像處理和計(jì)算機(jī)視覺領(lǐng)域極為重要的研究方向。有著廣泛的應(yīng)用領(lǐng)域，比如在遙感圖像領(lǐng)域，用于多光譜分類、環(huán)境監(jiān)測(cè)、變化檢測(cè)、圖像拼接、天氣預(yù)報(bào)、高分辨率圖像創(chuàng)建等[1]；在醫(yī)學(xué)圖像處理領(lǐng)域，用于影像導(dǎo)航、運(yùn)動(dòng)跟蹤、圖像分割、圖像重建等[2]；在計(jì)算機(jī)視覺領(lǐng)域，用于目標(biāo)定位、自動(dòng)質(zhì)量控制等[3]。隨著圖像采集設(shè)備的不斷發(fā)展，獲得圖像的數(shù)量及其多樣性不斷增加，加上外界環(huán)境的干擾，給圖像配準(zhǔn)帶來了很大的挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn)，需要不斷改進(jìn)圖像配準(zhǔn)方法。

1 圖像配準(zhǔn)

圖像配準(zhǔn)是在同一場(chǎng)景下將從不同時(shí)間、不同的角度、不同傳感器獲取的兩張圖像進(jìn)行對(duì)齊的過程[1]，也就是建立場(chǎng)景中不同位置在圖像對(duì)中的一一對(duì)應(yīng)關(guān)系。圖像配準(zhǔn)方法可以從很多角度進(jìn)行分組，比如，按照?qǐng)D像的維度可分為2D-2D、3D-3D和2D-3D配準(zhǔn)，按照成像模式可分為單模態(tài)和多模態(tài)圖像配準(zhǔn)，按照?qǐng)D像的變換性質(zhì)可分為線性變換和非線性變換配準(zhǔn)，線性變換又包括剛體變換、仿射變換和投影變換。

傳統(tǒng)圖像配準(zhǔn)方法主要分為基于特征的圖像配準(zhǔn)方法和基于灰度的圖像配準(zhǔn)方法。

基于特征的圖像配準(zhǔn)主要包括特征提取、特征匹配、模型變換參數(shù)估計(jì)、圖像重采樣4個(gè)步驟。

(1)特征提取：提取出一幅圖像的顯著特征，比如點(diǎn)、線、邊緣、輪廓等。在固定圖像和移動(dòng)圖像檢測(cè)到的特征集必須有足夠多的公共元素，即使是在圖像未完全覆蓋相同場(chǎng)景或存在物體遮擋等情況下也是如此[1]。常見的特征檢測(cè)方法有尺度不變特征變換(Scale Invariant Feature Transform，SIFT)[4]，加速健壯特征(Speeded-Up Robust Features，SURF)[5]等方法。

(3)模型變換參數(shù)估計(jì)：選擇合適的變換模型，并根據(jù)特征之間的對(duì)應(yīng)關(guān)系去估計(jì)模型的變換參數(shù)。

(4)圖像重采樣：利用估計(jì)出來的變換參數(shù)對(duì)待配準(zhǔn)圖像進(jìn)行重采樣，使得待配準(zhǔn)圖像向固定圖像對(duì)齊。

基于灰度的圖像配準(zhǔn)方法根據(jù)圖像維度的不同又可分為基于像素(二維圖像)和基于體素(三維圖像)的圖像配準(zhǔn)方法?；诨叶鹊膱D像配準(zhǔn)方法的流程如圖1所示，該方法不需要對(duì)特征進(jìn)行提取以及匹配，而是直接利用整個(gè)圖像的灰度值信息進(jìn)行配準(zhǔn)。首先，選擇合適的變換模型，通過幾何變換得到形變圖像，計(jì)算形變圖像和參考圖像之間的相似度。然后，通過合適的優(yōu)化算法找到最佳的變換參數(shù)，使得形變圖像和參考圖像之間的相似度最大。其中常見的基于灰度的圖像配準(zhǔn)方法有互信息法[6-7]、互相關(guān)法[8-9]等。

傳統(tǒng)的基于特征的圖像配準(zhǔn)方法計(jì)算量小，對(duì)各種變化的魯棒性較好，但是，對(duì)于圖像外觀有較大變化以及由很多參數(shù)構(gòu)成的復(fù)雜模型時(shí)，配準(zhǔn)效果較差[10]。另外一點(diǎn)，傳統(tǒng)的基于特征的圖像配準(zhǔn)方法提取特征十分復(fù)雜，而且只能提取到淺層次的特征，很難得到更深層次、更具有表現(xiàn)力的特征。而基于灰度的圖像配準(zhǔn)方法原理簡(jiǎn)單，但計(jì)算量大，耗時(shí)長(zhǎng)，在實(shí)際應(yīng)用中很難保證實(shí)時(shí)性。而且大多數(shù)相似性度量方法存在很多局部極小值，很難得到一個(gè)全局最優(yōu)的解[11]。

隨著深度學(xué)習(xí)的飛速發(fā)展，在計(jì)算機(jī)視覺領(lǐng)域取得突破性進(jìn)展。比如目標(biāo)檢測(cè)[12]、圖像分類[13]、圖像去噪[14]、圖像分割[15]等方向。研究者也在積極探索通過深度學(xué)習(xí)的方法來解決傳統(tǒng)圖像配準(zhǔn)中出現(xiàn)的問題。比如，在解決傳統(tǒng)特征提取的問題上，Yang等[16]利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)強(qiáng)大的特征提取能力得到具有魯棒性的多尺度特征描述符來實(shí)現(xiàn)圖像配準(zhǔn)，在特征提取效果上優(yōu)于傳統(tǒng)的特征提取方法。在解決傳統(tǒng)的相似性度量方法中出現(xiàn)的問題上，Cheng等[17]使用深度學(xué)習(xí)方法來學(xué)習(xí)圖像對(duì)之間的相似度，相比于傳統(tǒng)的相似性度量準(zhǔn)確性更高，魯棒性更強(qiáng)。在解決配準(zhǔn)速度的問題上，Chee等[18]和De等[19]利用深度網(wǎng)絡(luò)來充當(dāng)回歸器，模型訓(xùn)練完成后可一次性估算出形變參數(shù)，大大加快了配準(zhǔn)速度。

2 基于深度學(xué)習(xí)的圖像配準(zhǔn)的研究現(xiàn)狀

目前，基于深度學(xué)習(xí)的圖像配準(zhǔn)方法主要分為基于特征的組合配準(zhǔn)方法、有監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法以及無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法。

2.1 基于特征的組合配準(zhǔn)方法

基于特征的組合配準(zhǔn)方法就是在傳統(tǒng)圖像配準(zhǔn)流程框架下，利用深度學(xué)習(xí)的方法代替特征提取以及特征匹配步驟來進(jìn)行組合配準(zhǔn)。

2.加強(qiáng)新知識(shí)、新理論的教育，提高領(lǐng)導(dǎo)干部的創(chuàng)新能力。加強(qiáng)新知識(shí)、新理論的培訓(xùn)教育，以“知識(shí)更新、技能增強(qiáng)、素質(zhì)提高”為核心，實(shí)施以“新理論、新技能、新信息、新知識(shí)”為主要內(nèi)容的繼續(xù)教育工程，不斷提高領(lǐng)導(dǎo)干部的創(chuàng)新意識(shí)和創(chuàng)新能力，準(zhǔn)確把握發(fā)展形勢(shì)，善于搶抓機(jī)遇和開拓創(chuàng)新，以創(chuàng)新謀求發(fā)展，以創(chuàng)新提高領(lǐng)導(dǎo)水平，以創(chuàng)新提高執(zhí)政能力。

Han等[20]提出了MatchNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)由CNN構(gòu)成的特征網(wǎng)絡(luò)和3個(gè)全連接層構(gòu)成的度量網(wǎng)絡(luò)組成。其中特征網(wǎng)絡(luò)用于生成特征描述符，并采用度量網(wǎng)絡(luò)來學(xué)習(xí)特征描述符之間的相似度，代替了傳統(tǒng)采用歐式距離來度量特征描述符距離的方法，提升了匹配的準(zhǔn)確率。為了進(jìn)一步減少計(jì)算復(fù)雜度和模型的運(yùn)行時(shí)間，提升深度網(wǎng)絡(luò)的效率，Balntas等[21]提出了PN-Net網(wǎng)絡(luò)，將包含正負(fù)樣本對(duì)的三元組輸入到CNN中得到特征描述符，并引入新的損失函數(shù)SoftPN去訓(xùn)練網(wǎng)絡(luò)，和MatchNet網(wǎng)絡(luò)[20]相比較，匹配效果得到提升，而且提高了模型的效率。在Photo-Tour[22]數(shù)據(jù)集上，相比于傳統(tǒng)的SIFT[4]方法匹配錯(cuò)誤率從27%降到了約7%，特征提取速度快了近40倍。接著Rocco等[10]通過特征提取網(wǎng)絡(luò)、匹配網(wǎng)絡(luò)、回歸網(wǎng)絡(luò)這3個(gè)網(wǎng)絡(luò)來分別模擬標(biāo)準(zhǔn)步驟中的特征提取、特征匹配以及變換參數(shù)估計(jì)。一方面通過CNN強(qiáng)大的特征提取能力來處理圖像對(duì)外觀發(fā)生較大變化時(shí)的匹配問題，另外通過設(shè)計(jì)可訓(xùn)練的匹配網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)來處理錯(cuò)誤匹配。

隨后，Ono等[23]提出了LF-Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)由兩部分組成，一個(gè)是由全卷積網(wǎng)絡(luò)構(gòu)成的檢測(cè)器網(wǎng)絡(luò)，另外一個(gè)是特征描述符網(wǎng)絡(luò)。其中檢測(cè)器網(wǎng)絡(luò)用來得到關(guān)鍵點(diǎn)的位置、尺度和方向，特征描述符網(wǎng)絡(luò)用來生成特征描述符。并且LF-Net網(wǎng)絡(luò)可以實(shí)現(xiàn)端到端的訓(xùn)練，更好地提升匹配效果。Shen等[24]在LF-Net網(wǎng)絡(luò)[23]的基礎(chǔ)之上，提出了基于感受野的匹配網(wǎng)絡(luò)RF-Net網(wǎng)絡(luò)，相比于LF-Net網(wǎng)絡(luò)[23]有兩點(diǎn)改進(jìn)，一是利用感受野特征圖來構(gòu)建響應(yīng)特征圖，在不同大小的感受野上檢測(cè)關(guān)鍵點(diǎn)，提高了關(guān)鍵點(diǎn)檢測(cè)的有效性；二是提出采用名為近鄰掩碼的損失函數(shù)以學(xué)習(xí)更加穩(wěn)定的特征描述符。近期，Luo等[25]提出了ASLFeat網(wǎng)絡(luò)結(jié)構(gòu)，通過引入可變形卷積網(wǎng)絡(luò)[26-27]來加強(qiáng)對(duì)特征點(diǎn)的局部形狀(尺度、方向等)的估計(jì)，以獲得更強(qiáng)的幾何不變形，并利用多層檢測(cè)機(jī)制來恢復(fù)空間分辨率以及低層次的細(xì)節(jié)，以提高關(guān)鍵點(diǎn)定位的準(zhǔn)確度。

基于特征的組合配準(zhǔn)方法雖然取得一定的成功，但是依然是基于傳統(tǒng)的圖像配準(zhǔn)的框架。為了進(jìn)一步提高圖像配準(zhǔn)的效率，研究者們開始探索如何利用深度學(xué)習(xí)方法直接估計(jì)出變換參數(shù)，也就是基于深度學(xué)習(xí)的直接配準(zhǔn)方法，將其主要分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法。

2.2 有監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法

有監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法的通用框架如圖2所示，監(jiān)督學(xué)習(xí)需要獲取真實(shí)的變換參數(shù)作為標(biāo)簽來訓(xùn)練網(wǎng)絡(luò)。常見的獲取標(biāo)簽的方式有以下3種[2]：(1)通過隨機(jī)變換生成；(2)通過傳統(tǒng)的配準(zhǔn)方法生成；(3)通過模型去生成。根據(jù)圖像的變換性質(zhì)可以將有監(jiān)督學(xué)習(xí)的直接圖像配準(zhǔn)分為有監(jiān)督學(xué)習(xí)的剛性圖像配準(zhǔn)以及有監(jiān)督學(xué)習(xí)的可變形圖像配準(zhǔn)[28]。

2.2.1 有監(jiān)督學(xué)習(xí)的剛性圖像配準(zhǔn)

Chee等[18]利用AIRNet網(wǎng)絡(luò)去直接估計(jì)兩個(gè)輸入圖像的轉(zhuǎn)換參數(shù)來實(shí)現(xiàn)仿射圖像配準(zhǔn)。AIRNet網(wǎng)絡(luò)由編碼器和回歸器兩部分組成，其中編碼器由DenseNet[29]改編而來用來捕獲輸入圖像的可判別特征，而回歸器由多個(gè)全連接層組成用來生成變換參數(shù)。該網(wǎng)絡(luò)的輸入是一對(duì)圖像，輸出的是仿射變換矩陣的12個(gè)參數(shù)(三維圖像)，相應(yīng)的標(biāo)簽是在設(shè)定的參數(shù)范圍下隨機(jī)生成的。之后將預(yù)測(cè)的仿射變換參數(shù)和真實(shí)的仿射變換參數(shù)之間的均方誤差作為損失函數(shù)去優(yōu)化網(wǎng)絡(luò)。在配準(zhǔn)速度上相比于傳統(tǒng)的配準(zhǔn)方法要快上100倍，而且整體上實(shí)現(xiàn)了更好的配準(zhǔn)效果。Sloan等[30]利用CNN來回歸剛性變換參數(shù)，證明了此方法在單模和多模圖像配準(zhǔn)中的有效性，并且研究了添加逆一致性損失對(duì)預(yù)測(cè)參數(shù)準(zhǔn)確性的影響。

2.2.2 有監(jiān)督學(xué)習(xí)的可變形圖像配準(zhǔn)

有監(jiān)督學(xué)習(xí)的剛性圖像配準(zhǔn)方法只能處理簡(jiǎn)單的線性變換，對(duì)于復(fù)雜的非線性變換，需要采用可變形圖像配準(zhǔn)的方法。Sokooti等[31]提出了一種有監(jiān)督的可變形圖像配準(zhǔn)的網(wǎng)絡(luò)結(jié)構(gòu)RegNet，利用CNN直接從一對(duì)輸入圖像中預(yù)測(cè)出位移矢量場(chǎng)(Displacement Vector Field，DVF)，使用大量人工合成的光滑的DVF去訓(xùn)練網(wǎng)絡(luò)。但是直接估計(jì)DVF無法保證變換是光滑且可逆的，為了更好地保證變換的微分同胚特性[32-33]，Rohé等[34]提出了SVF-Net網(wǎng)絡(luò)。該網(wǎng)絡(luò)利用一個(gè)類似于U-Net[35]的全卷積網(wǎng)絡(luò)去估算一對(duì)圖像的平穩(wěn)速度場(chǎng)(Stationary Velocity Fields，SVF)[36]，同樣將真實(shí)的SVF參數(shù)和預(yù)測(cè)的SVF參數(shù)之間的均方誤差作為損失函數(shù)去訓(xùn)練網(wǎng)絡(luò)。接著，為了更好地預(yù)測(cè)具有大位移的DVF，Sokooti等[37]在RegNet[31]模型基礎(chǔ)上提出了多階段的有監(jiān)督可變形圖像配準(zhǔn)方法。該網(wǎng)絡(luò)由RegNet4、RegNet2以及RegNet1網(wǎng)絡(luò)構(gòu)成，3個(gè)RegNet網(wǎng)絡(luò)分成3個(gè)階段來逐級(jí)漸進(jìn)地進(jìn)行圖像配準(zhǔn)，并生成最終的DVF。

雖然有監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法取得一定的成功，但是這種方法嚴(yán)重依賴具有真實(shí)變換參數(shù)的標(biāo)簽，具有以下3方面的局限性[2]：(1)人工模擬的變換可能無法反映真實(shí)數(shù)據(jù)的變換；(2)人工模擬的變換可能無法捕獲實(shí)際圖像配準(zhǔn)場(chǎng)景中的大范圍形變；(3)訓(xùn)練階段使用的通過人工模擬的變換參數(shù)生成的圖像對(duì)和在測(cè)試階段使用真實(shí)數(shù)據(jù)的圖像對(duì)不同。為了應(yīng)對(duì)監(jiān)督學(xué)習(xí)的各種局限性，研究者們提出了無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法。

2.3 無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法

無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法的通用框架如圖3所示。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的不同，可以將無監(jiān)督學(xué)習(xí)的直接圖像配準(zhǔn)分為基于編碼器-解碼器結(jié)構(gòu)的無監(jiān)督圖像配準(zhǔn)、基于多尺度和金字塔結(jié)構(gòu)的無監(jiān)督圖像配準(zhǔn)以及基于生成對(duì)抗網(wǎng)絡(luò)的無監(jiān)督圖像配準(zhǔn)。

圖3 無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法通用框架

2.3.1 基于編碼器-解碼器結(jié)構(gòu)的無監(jiān)督圖像配準(zhǔn)

Balakrishnan等[38]提出了VoxelMorph無監(jiān)督的可變形圖像配準(zhǔn)網(wǎng)絡(luò)，利用一個(gè)類似于U-Net[35]的編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，將生成的DVF作用在移動(dòng)圖像生成形變圖像。損失函數(shù)除了形變圖像和參考圖像之間的相似性度量之外，還包括正則項(xiàng)，用來約束形變場(chǎng)，使得網(wǎng)絡(luò)能夠盡可能生成符合實(shí)際的形變場(chǎng)。

為了讓預(yù)測(cè)的形變場(chǎng)更加光滑，更好地保證變換的微分同胚特性[32-33]。Kuang等[39]提出了一個(gè)避免形變場(chǎng)發(fā)生折疊的新的正則項(xiàng)，即在原來的平滑度約束上，加入了對(duì)負(fù)的雅克比行列式進(jìn)行懲罰的正則項(xiàng)，進(jìn)一步提高了形變場(chǎng)的平滑性，同時(shí)又能夠盡可能減小配準(zhǔn)準(zhǔn)確度的損失。Zhang等[40]提出了一種逆一致性網(wǎng)絡(luò)ICNet來鼓勵(lì)一對(duì)圖像彼此對(duì)稱變形，從而保證一對(duì)圖像之間變換的逆一致性特性[41]。同時(shí)為了更好地避免形變場(chǎng)發(fā)生折疊，在原有的平滑度約束上，又添加了反折疊約束。另外Kim等[42]和Kuang等[43]都借鑒了CycleGan[44]中的循環(huán)一致性思想來實(shí)現(xiàn)圖像配準(zhǔn)。通過循環(huán)一致性約束來更好地保證變換的微分同胚特性。

在解決大形變的圖像配準(zhǔn)問題上，De等[45]提出了將仿射變換和可變形配準(zhǔn)方法相結(jié)合的圖像配準(zhǔn)網(wǎng)絡(luò)DLIR，其中仿射變換用來全局對(duì)齊，可變形配準(zhǔn)用來局部對(duì)齊，在局部對(duì)齊中，采用由粗到細(xì)的方法，通過堆疊多個(gè)ConvNet網(wǎng)絡(luò)來細(xì)化形變場(chǎng)。接著，Zhao等[46]利用級(jí)聯(lián)遞歸網(wǎng)絡(luò)來實(shí)現(xiàn)無監(jiān)督的圖像配準(zhǔn)，將一個(gè)大的形變通過級(jí)聯(lián)的方式分解為很多小的位移，每個(gè)級(jí)聯(lián)網(wǎng)絡(luò)只需要學(xué)習(xí)其中小的位移即可，這樣待配準(zhǔn)圖像通過每個(gè)級(jí)聯(lián)網(wǎng)絡(luò)依次變形，最終對(duì)齊參考圖像。在配準(zhǔn)準(zhǔn)確率上要高于前面的VoxelMorph[38]模型,不過要增加模型的運(yùn)行時(shí)間，得到的形變場(chǎng)也出現(xiàn)了一定程度的折疊，而且在級(jí)聯(lián)遞歸的過程中形變場(chǎng)折疊的程度會(huì)被放大。如何在提高配準(zhǔn)準(zhǔn)確度的同時(shí)，盡可能保持圖像的拓?fù)浣Y(jié)構(gòu)也是未來重要的研究方向。

2.3.2 基于多尺度和金字塔結(jié)構(gòu)的無監(jiān)督圖像配準(zhǔn)

Hu等[47]提出了雙流金字塔無監(jiān)督圖像配準(zhǔn)模型Dual-PRNet，該模型通過預(yù)測(cè)出的金字塔形變場(chǎng)，來依次對(duì)不同尺度的特征圖進(jìn)行變形。利用由粗到細(xì)的方式不斷細(xì)化形變場(chǎng)，使模型能夠很好地處理大形變的圖像配準(zhǔn)問題。Zhou等[48]在此基礎(chǔ)上提出了金字塔剩余形變場(chǎng)估計(jì)模塊PRDFE，解決了Dual-PRNet[47]中存在的問題，讓網(wǎng)絡(luò)產(chǎn)生更加準(zhǔn)確的形變場(chǎng)。Fechter等[49]提出了利用多尺度的方法來進(jìn)行圖像配準(zhǔn)，將3個(gè)不同分辨率的圖像分別輸入到3個(gè)不同的可變形配準(zhǔn)網(wǎng)絡(luò)。每個(gè)網(wǎng)絡(luò)分別負(fù)責(zé)捕獲大、中等、小的形變，最后將這3個(gè)不同尺度的形變場(chǎng)相加得到最終的形變場(chǎng)。Liu等[50]提出了一種多尺度的微分同胚配準(zhǔn)模型。給定一對(duì)圖像，通過三層CNN來提取不同尺度的特征，再通過深度傳播框架得到最終的形變場(chǎng)。

2.3.3 基于生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)的無監(jiān)督圖像配準(zhǔn)

Fan等[51]指出了無監(jiān)督的圖像配準(zhǔn)中所用的傳統(tǒng)的相似性度量和圖像的性質(zhì)密切相關(guān)，在處理其它數(shù)據(jù)集時(shí)可能不適用。于是將生成對(duì)抗網(wǎng)絡(luò)[52]應(yīng)用到圖像配準(zhǔn)領(lǐng)域中來代替?zhèn)鹘y(tǒng)的相似性度量。利用生成對(duì)抗網(wǎng)絡(luò)中鑒別網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的相似性度量，來鑒別圖像是否對(duì)齊良好，使其能夠自動(dòng)學(xué)習(xí)圖像對(duì)的相似性度量，并在訓(xùn)練過程中將相似性信息提供給配準(zhǔn)網(wǎng)絡(luò)。配準(zhǔn)網(wǎng)絡(luò)和判別網(wǎng)絡(luò)通過對(duì)抗訓(xùn)練的方式進(jìn)行學(xué)習(xí)。Li等[53]在Fan等[51]的基礎(chǔ)上，將多分辨率損失引入其中，使得鑒別器需要判斷高、低和中等尺度下的相似度。Lei等[54]通過額外引入一個(gè)對(duì)抗損失來約束形變場(chǎng)，使生成的形變場(chǎng)更加符合實(shí)際。

無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法在單模圖像中已經(jīng)取得很大的成功，但是處理多模圖像的配準(zhǔn)卻有很多困難。因?yàn)椴煌B(tài)的外觀差異很大，直接通過多模圖像之間的相似度損失去訓(xùn)練網(wǎng)絡(luò)效率低下[11]。為了解決這個(gè)問題，Hu[55]等人通過標(biāo)簽驅(qū)動(dòng)的弱監(jiān)督圖像配準(zhǔn)方法來處理多模態(tài)的圖像配準(zhǔn)。Zhang[56]利用對(duì)抗學(xué)習(xí)的方法將多模圖像轉(zhuǎn)換為單模圖像，并且首次引入了梯度損失，可以有效地解決大形變、噪聲和模糊的多模圖像配準(zhǔn)。

3 總結(jié)與展望

本文系統(tǒng)地介紹了基于深度學(xué)習(xí)的圖像配準(zhǔn)方法?；仡櫫藗鹘y(tǒng)圖像配準(zhǔn)方法并指出其存在的問題，并闡述了基于深度學(xué)習(xí)的圖像配準(zhǔn)方法如何突破傳統(tǒng)圖像配準(zhǔn)方法的局限性。重點(diǎn)對(duì)基于特征的組合配準(zhǔn)方法、有監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法以及無監(jiān)督學(xué)習(xí)的直接配準(zhǔn)方法進(jìn)行了綜述。

目前，基于深度學(xué)習(xí)的圖像配準(zhǔn)方法雖然取得了較大的進(jìn)步和發(fā)展，但是也面臨很多挑戰(zhàn)。一方面需要解決在訓(xùn)練數(shù)據(jù)集小的情況下，如何更好地訓(xùn)練網(wǎng)絡(luò)；另外一方面，需要思考如何在提高大形變的圖像配準(zhǔn)的準(zhǔn)確率的同時(shí)，更好地保持圖像的拓?fù)浣Y(jié)構(gòu)，即如何利用基于深度學(xué)習(xí)的微分同胚模型來解決大位移的可變形圖像配準(zhǔn)。此外，如何在具有復(fù)雜形變的圖像配準(zhǔn)條件下，進(jìn)一步降低深度模型的復(fù)雜度，使得模型運(yùn)行速度更快，以滿足現(xiàn)實(shí)應(yīng)用中實(shí)時(shí)的需求，以及如何更好地處理具有噪聲、遮擋以及部分缺失的圖像數(shù)據(jù)的配準(zhǔn)問題都是較大的挑戰(zhàn)。