基于FDR-Net 的紅外-可見光圖像像素級(jí)配準(zhǔn)方法研究

丁鈺，黃丹飛，2，鐘艾琦，陳思陽

（1.長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022；2.長(zhǎng)春理工大學(xué) 中山研究院，中山 528437）

圖像配準(zhǔn)作為計(jì)算機(jī)視覺領(lǐng)域的一類經(jīng)典問題，在遙感、醫(yī)學(xué)圖像分析與處理、圖譜構(gòu)建、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域都存在著重要的應(yīng)用前景[1-4]。圖像配準(zhǔn)旨在通過尋找固定圖像（Fixed Image）與浮動(dòng)圖像（Moving Image）之間的空間變換矩陣，使參考圖像與固定圖像的像素點(diǎn)在旋轉(zhuǎn)、縮放、平移等變換條件下形成具體的對(duì)應(yīng)關(guān)系。對(duì)于艦船、島嶼、海岸等典型海洋目標(biāo)的成像，單一圖像傳感器在海上濃霧和復(fù)雜光場(chǎng)等條件的影響下，存在認(rèn)不清、辨不出、看不遠(yuǎn)的難題，為了構(gòu)建海洋目標(biāo)高分辨、高對(duì)比、多維度光學(xué)信息獲取機(jī)制，必須將不同傳感器獲得的圖像進(jìn)行信息融合進(jìn)而完成圖像重構(gòu)與增強(qiáng)、超分辨、目標(biāo)識(shí)別等工作。圖像配準(zhǔn)作為圖像融合的前期準(zhǔn)備工作，配準(zhǔn)效果的優(yōu)劣直接影響到后續(xù)處理質(zhì)量的好壞[5-7]。

傳統(tǒng)的圖像配準(zhǔn)技術(shù)主要分為三大類：基于變換域[8]、基于互信息[9]和基于特征的圖像配準(zhǔn)技術(shù)。其中前兩類方法在對(duì)復(fù)雜度較高的圖像進(jìn)行配準(zhǔn)時(shí)精度過低。近年來，基于特征的配準(zhǔn)方法[10]依靠著其計(jì)算量小、魯棒性好、可應(yīng)用于復(fù)雜的幾何變換模型等優(yōu)點(diǎn)在眾多配準(zhǔn)方法中脫穎而出。該方法在對(duì)參考圖像和待配準(zhǔn)圖像進(jìn)行預(yù)處理之后，進(jìn)行特征提取，將提取的特征進(jìn)行匹配，以此進(jìn)行配準(zhǔn)?；谔卣鞯呐錅?zhǔn)方法經(jīng)過多年的發(fā)展，已經(jīng)出現(xiàn)了很多特征提取的算子和方法。其中SIFT[11]、SURF[12]、MESR[13]等算法已經(jīng)在眾多領(lǐng)域被驗(yàn)證是十分優(yōu)秀的配準(zhǔn)方法。

近年來，隨著深度學(xué)習(xí)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)在數(shù)字圖像處理領(lǐng)域的各類問題上都體現(xiàn)出了卓越的性能。眾多學(xué)者也在圖像配準(zhǔn)問題上引入了神經(jīng)網(wǎng)絡(luò)這一強(qiáng)大工具。Altwaijry 等人[14]通過深度模型和空間轉(zhuǎn)化模塊完成了圖像塊匹配的工作，對(duì)于旋轉(zhuǎn)偏移較大的圖像實(shí)現(xiàn)了較好的配準(zhǔn)效果。Han 等人[15]通過搭建兩個(gè)平行的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)架，頂層使用全連接層和Soft?max 分類器，實(shí)現(xiàn)了不同拍攝角度下的可見光圖像的粗配準(zhǔn)。Nguyen 等人[16]提出利用光度損失并在此基礎(chǔ)上使用無監(jiān)督學(xué)習(xí)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)。Zhang 等人[17]在神經(jīng)網(wǎng)絡(luò)的特征提取模塊后補(bǔ)充了一層掩膜結(jié)構(gòu)，該方法能夠更加具體地表現(xiàn)出圖像中目標(biāo)與背景的深度關(guān)系。毛遠(yuǎn)宏等人[18]基于遷移學(xué)習(xí)的網(wǎng)絡(luò)模型，集成了特征提取子網(wǎng)絡(luò)和匹配度量子網(wǎng)絡(luò)兩部分，實(shí)現(xiàn)了可見光圖像和紅外圖像的匹配，但是匹配效果魯棒性不佳。盡管以上方法在一定程度上驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在解決圖像配準(zhǔn)問題上的可行性，但是所完成的圖像配準(zhǔn)問題主要集中在同源圖像上或者醫(yī)學(xué)圖像上，對(duì)于異源攝像機(jī)所采集到的海洋場(chǎng)景下圖像的有效處理方法有待開發(fā)。

本文提出一種端到端的紅外圖像與可見光圖像配準(zhǔn)網(wǎng)絡(luò)，使用無監(jiān)督學(xué)習(xí)的訓(xùn)練方法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。相比于其他學(xué)者提出的配準(zhǔn)方法，本方法不需要預(yù)先配準(zhǔn)的真實(shí)結(jié)果，也不借助任何硬件信息作為輔助度量參數(shù)，直接利用從圖像獲取的特征點(diǎn)信息完成配準(zhǔn)。而且本網(wǎng)絡(luò)作為端到端的紅外圖像與可見光圖像配準(zhǔn)網(wǎng)絡(luò)，不產(chǎn)生中間圖像作為輔助數(shù)據(jù)，大大降低了計(jì)算量。相比其他的配準(zhǔn)方法，本算法魯棒性較強(qiáng)，對(duì)于各種海洋、海岸目標(biāo)、城市樓宇場(chǎng)景下的紅外可見光圖像都能實(shí)現(xiàn)較好的配準(zhǔn)效果，算法的運(yùn)行速度快，訓(xùn)練后的網(wǎng)絡(luò)完成一次配準(zhǔn)僅需要0.74 s，有較好的應(yīng)用前景。

1 基于神經(jīng)網(wǎng)絡(luò)的紅外可見光配準(zhǔn)

1.1 異源圖像配準(zhǔn)

隨著現(xiàn)代光學(xué)成像設(shè)備的不斷發(fā)展，單一光源波長(zhǎng)范圍的成像設(shè)備所獲取圖像的信息量逐漸不能滿足人們的需求[19]。尤其在海洋場(chǎng)景中的溢油、赤潮等目標(biāo)的監(jiān)測(cè)中，由于海霧、復(fù)雜光場(chǎng)等背景環(huán)境因素的影響，必須采用多維度光學(xué)技術(shù)手段進(jìn)行探測(cè)，對(duì)于不同光學(xué)傳感器獲取的圖像進(jìn)行融合處理勢(shì)在必行。但是當(dāng)前很多融合算法還沒有體現(xiàn)出理想的融合效果，究其原因是在融合處理前所進(jìn)行的配準(zhǔn)工作質(zhì)量不佳。配準(zhǔn)結(jié)果對(duì)應(yīng)像素偏移誤差過大導(dǎo)致了后續(xù)融合處理無法達(dá)到理想結(jié)果。為了能在融合圖像中展示出更多的互補(bǔ)信息，發(fā)揮出不同光學(xué)傳感器成像結(jié)果的優(yōu)勢(shì)，必須對(duì)異源圖像進(jìn)行更加精確的配準(zhǔn)，將配準(zhǔn)精度提升至像素級(jí)。紅外圖像和可見光圖像由于在圖像獲取階段的成像原理大不相同[20]，對(duì)于同一目標(biāo)的成像結(jié)果灰度值存在較大差異，傳統(tǒng)的可見光配準(zhǔn)算法在紅外與可見光圖像配準(zhǔn)的應(yīng)用場(chǎng)景下配準(zhǔn)質(zhì)量較差。很多基于特征的可見光圖像配準(zhǔn)算法應(yīng)用在異源圖像配準(zhǔn)時(shí)，都存在特征點(diǎn)提取數(shù)量不足或者所提取特征點(diǎn)無法匹配的問題。

本文提出的基于神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像配準(zhǔn)方法，使用神經(jīng)網(wǎng)絡(luò)替代了傳統(tǒng)的經(jīng)典配準(zhǔn)算法的特征描述子。如圖1（a）所示，對(duì)于一對(duì)圖1（b）中的紅外和可見光示例圖像，在通過神經(jīng)網(wǎng)絡(luò)完成特征點(diǎn)提取后直接完成特征點(diǎn)匹配，并通過特征點(diǎn)坐標(biāo)的仿射變換生成形變場(chǎng)，完成紅外與可見光圖像的非剛性配準(zhǔn)。本方法采用無監(jiān)督學(xué)習(xí)的方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練后的網(wǎng)絡(luò)獲得了紅外圖像與可見光圖像之間的共性特征。

圖1 網(wǎng)絡(luò)選取特征點(diǎn)的圖像配準(zhǔn)流程及示例圖像對(duì)

本網(wǎng)絡(luò)提取的特征點(diǎn)數(shù)量充足，魯棒性更強(qiáng)，通過該特征點(diǎn)生成的圖像形變場(chǎng)能實(shí)現(xiàn)更好的配準(zhǔn)效果。此外，該方法生成的特征點(diǎn)分布更加廣泛，克服了局部特征點(diǎn)分布密集而另一區(qū)域特征點(diǎn)分布過于稀疏導(dǎo)致的局部配準(zhǔn)效果過差的問題。

1.2 FDR-Net 配準(zhǔn)網(wǎng)絡(luò)總體結(jié)構(gòu)

使用特征點(diǎn)檢測(cè)的紅外-可見光圖像配準(zhǔn)網(wǎng)絡(luò)（Feature-point Detector Registration Network，F(xiàn)DR-Net）是一種端到端的圖像配準(zhǔn)網(wǎng)絡(luò)。通過FDR-Net 提取兩幅圖像中存在對(duì)應(yīng)特征的像素點(diǎn)作為特征點(diǎn)，對(duì)于特征點(diǎn)匹配生成變換矩陣，從而完成紅外圖像與可見光圖像的配準(zhǔn)任務(wù)。

FDR-Net 采用了全卷積的編碼器-解碼器結(jié)構(gòu)，可以處理任意尺寸大小的圖像，直接從待配準(zhǔn)的兩幅圖像出發(fā)，探索待配準(zhǔn)圖像的本質(zhì)特征與聯(lián)系，不需要獲得拍攝圖像時(shí)所選用的相機(jī)參數(shù)和拍攝目標(biāo)的信息，一定程度上增加了網(wǎng)絡(luò)的普適性。如圖2 所示，該網(wǎng)絡(luò)由四個(gè)部分組成：輸入層、卷積層、上采樣層以及輸出層。為了使網(wǎng)絡(luò)能夠自主提取和探索待配準(zhǔn)圖像對(duì)之間的有效特征點(diǎn)匹配信息，在每對(duì)精確匹配的圖像對(duì)上隨機(jī)生成同分布的若干個(gè)泛特征點(diǎn)，將兩幅圖像及標(biāo)記生成的泛特征點(diǎn)坐標(biāo)堆疊后輸入網(wǎng)絡(luò)，編碼區(qū)包含9 個(gè)卷積層。同時(shí)兼顧了所學(xué)習(xí)泛特征點(diǎn)附近像素塊的高頻分量特征和低頻分量特征，對(duì)卷積后的數(shù)據(jù)進(jìn)行4 次上采樣并與之前卷積層所提取的數(shù)據(jù)連接起來，最后通過構(gòu)建特征點(diǎn)相似性測(cè)度函數(shù)判斷特征點(diǎn)特征匹配程度。

圖2 FDR-Net 網(wǎng)絡(luò)框架

相似性測(cè)度函數(shù)借鑒了圖像相似性度量中歸一化互信息（Normalized Mutual Information，NMI）的概念，并在此基礎(chǔ)上加以改進(jìn)作為相似性測(cè)度損失項(xiàng)Lsim。

式（1）～式（4）中，H(VIS)、H(NIR)、H(VIS-NIR)分別為可見光圖像特征點(diǎn)所在像素塊的信息熵、紅外圖像特征點(diǎn)所在像素塊的信息熵和兩圖像的聯(lián)合信息熵，PVIS、PNIR為可見光圖像和紅外圖像特征點(diǎn)像素塊的像素值分布，PVIS-NIR為特征點(diǎn)所在像素塊的像素值聯(lián)合分布。求取對(duì)應(yīng)函數(shù)的期望值，當(dāng)特征點(diǎn)所在像素塊完全獨(dú)立時(shí)，聯(lián)合熵最大，相似性最小，Lsim取0；當(dāng)特征點(diǎn)所在像素塊完全匹配時(shí)，聯(lián)合熵最小，相似性最大，Lsim取1；Lsim輸出的數(shù)值結(jié)果越趨近1，表示特征匹配程度越高，輸出的數(shù)值結(jié)果越趨近0，表示特征匹配程度越低。完成訓(xùn)練后，將高于學(xué)習(xí)及格閾值的特征點(diǎn)對(duì)作為有效特征點(diǎn)。

1.3 網(wǎng)絡(luò)訓(xùn)練

本網(wǎng)絡(luò)基于Pytorch 深度學(xué)習(xí)框架進(jìn)行開發(fā)，所使用計(jì)算機(jī)的操作系統(tǒng)：Windows10 企業(yè)版64位操作系統(tǒng)；中央處理器：Intel Core i9-10900k；圖形處理器：NVIDIA GeForce RTX 3090 顯卡一塊，顯存容量24 GB；內(nèi)存：128 G。

通過圖3 中的雙CCD 近紅外相機(jī)拍攝的圖像經(jīng)過裁剪之后構(gòu)建生成使用的圖像訓(xùn)練集。該相機(jī)在成像模塊前采用了雙棱鏡分光技術(shù)，如圖4 所示，利用相機(jī)內(nèi)部的近紅外分光面陣?yán)忡R，可以將入射光分別投至兩片傳感器上，同時(shí)進(jìn)行可見光區(qū)域和近紅外光區(qū)域的檢測(cè)，所得到的紅外圖像和可見光圖像是通過上述硬件裝置實(shí)現(xiàn)的精確配準(zhǔn)的圖像對(duì)，且大小尺寸相同，是構(gòu)建FDR-Net 訓(xùn)練集的優(yōu)秀數(shù)據(jù)來源。

圖3 構(gòu)建數(shù)據(jù)集所使用相機(jī)實(shí)物圖

圖4 所使用相機(jī)內(nèi)部光路圖

網(wǎng)絡(luò)的訓(xùn)練過程總共選取200 對(duì)雙CCD 近紅外相機(jī)拍攝的圖像，經(jīng)過處理后生成訓(xùn)練集，為了兼顧計(jì)算機(jī)的顯存限制和訓(xùn)練速度，在訓(xùn)練的過程中對(duì)原圖像進(jìn)行了裁剪，裁剪后圖像大小為460×620，在每張裁剪后的圖像上隨機(jī)生成100 組成對(duì)特征點(diǎn)作為泛特征點(diǎn)，將成對(duì)圖像和泛特征點(diǎn)坐標(biāo)輸入網(wǎng)絡(luò)后，網(wǎng)絡(luò)輸出相似性測(cè)度損失項(xiàng)的數(shù)值，經(jīng)過大量實(shí)驗(yàn)數(shù)據(jù)的驗(yàn)證，認(rèn)定該數(shù)值高于0.76 的泛特征點(diǎn)匹配效果較為良好，為真特征點(diǎn)，將特征點(diǎn)坐標(biāo)和相似性測(cè)度損失項(xiàng)后向傳播到神經(jīng)網(wǎng)絡(luò)，優(yōu)化卷積層權(quán)重參數(shù)。訓(xùn)練使用Adam 優(yōu)化器進(jìn)行優(yōu)化，進(jìn)行20輪訓(xùn)練總計(jì)12 800 次迭代至網(wǎng)絡(luò)收斂。

1.4 配準(zhǔn)實(shí)現(xiàn)

網(wǎng)絡(luò)訓(xùn)練完成后，對(duì)于待配準(zhǔn)的圖像對(duì)，首先在固定圖像（Fixed Image）上生成服從均勻分布的待匹配特征點(diǎn)并記錄坐標(biāo)，將待配準(zhǔn)圖像對(duì)綁定以上坐標(biāo)輸入到神經(jīng)網(wǎng)絡(luò)，使用神經(jīng)網(wǎng)絡(luò)遍歷求取浮動(dòng)圖像（Moving Image）上對(duì)應(yīng)像素塊內(nèi)所有點(diǎn)與待匹配特征點(diǎn)的特征匹配程度，選取像素塊內(nèi)匹配度最高的特征點(diǎn)作為匹配特征點(diǎn)。

求得匹配特征點(diǎn)之后，通過仿射變換求得變換矩陣，實(shí)現(xiàn)圖像配準(zhǔn)。仿射變換參數(shù)可由公式（5）求得：

式中，（x,y）和（x′,y′）為待匹配圖像對(duì)的特征點(diǎn)對(duì)應(yīng)坐標(biāo)，其中的6 個(gè)參數(shù)可以確定兩幅圖像之間的變換關(guān)系。仿射變換的6 個(gè)參數(shù)至少需要3對(duì)匹配的特征點(diǎn)對(duì)求得，當(dāng)存在更多匹配的特征點(diǎn)對(duì)，可以通過最小二乘法求取最佳解。

通過FDR-Net 生成特征點(diǎn)后，網(wǎng)絡(luò)輸出匹配特征點(diǎn)的坐標(biāo)以及對(duì)應(yīng)的匹配程度系數(shù)。由于FDR-Net 所生成的特征點(diǎn)的匹配效果具有較好的魯棒性能，因此無須使用類似RANSAC[21]等算法進(jìn)行去除誤匹配的操作，僅通過最小二乘法即可對(duì)變換矩陣參數(shù)實(shí)現(xiàn)準(zhǔn)確估計(jì)，由于不同的匹配特征點(diǎn)具有不同的匹配程度系數(shù)，因此采用帶權(quán)最小二乘法進(jìn)行仿射變換矩陣參數(shù)回歸。帶權(quán)最小二乘回歸原理如下：

式中，θ為待定參數(shù)；（X,Y）為一對(duì)匹配特征點(diǎn)的坐標(biāo)參數(shù)；W為對(duì)應(yīng)匹配程度系數(shù)構(gòu)成的對(duì)角矩陣。

將仿射矩陣的6 個(gè)待求參數(shù)記為：θe=[A11;A12;A21;A22;A13;A23; ]。

記第t個(gè)匹配的特征點(diǎn)對(duì)坐標(biāo)分別為（Xti，Xtj），（Ytp，Ytq）。在暫不考慮匹配程度系數(shù)W的情況下，仿射變換矩陣關(guān)系式如下：

將式（7）中等式左邊的坐標(biāo)矩陣記為Xe，等式右邊的矩陣記為Ye。定義匹配程度系數(shù)對(duì)角矩陣We= diag（w1,w2,…,wn）。最終按照公式（8）實(shí)現(xiàn)帶權(quán)最小二乘回歸，得到仿射變換中6 個(gè)待求參數(shù)：

2 實(shí)驗(yàn)與分析

2.1 評(píng)價(jià)指標(biāo)

圖像配準(zhǔn)技術(shù)經(jīng)過幾十年的發(fā)展，目前為止并沒有普適的圖像配準(zhǔn)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。為了驗(yàn)證所提出配準(zhǔn)方法的有效性，除了人為的主觀定性評(píng)價(jià)外，采用特征點(diǎn)選取數(shù)量（Number of Feature Point，NoFP）、平均配準(zhǔn)誤差（Average Registration Error，ARE）、平均角點(diǎn)誤差（Average Corner Error，ACE）、算法運(yùn)行時(shí)間等標(biāo)準(zhǔn)作為定量衡量配準(zhǔn)質(zhì)量的指標(biāo)。

其中，ARE 是利用生成的變換矩陣對(duì)測(cè)試圖像進(jìn)行坐標(biāo)變換后，得到的整幅圖像的坐標(biāo)值和真實(shí)值之間的歐幾里得距離的誤差。

式中，（x，y）是真值坐標(biāo)；（x′，y′）是通過變換矩陣生成的坐標(biāo)；A代表匹配的特征點(diǎn)個(gè)數(shù)。

ACE 是指在配準(zhǔn)后圖像上隨機(jī)選取的矩形方框四對(duì)頂點(diǎn)坐標(biāo)的均方誤差，可以用來全面評(píng)估配準(zhǔn)質(zhì)量的優(yōu)劣。

式中，xi是隨機(jī)選取的矩形方框四個(gè)角點(diǎn)橫縱坐標(biāo)變化量的預(yù)測(cè)值；yi是對(duì)應(yīng)橫縱坐標(biāo)變化量的真實(shí)值。

2.2 配準(zhǔn)結(jié)果比較

對(duì)于給定的待配準(zhǔn)圖像，分別使用SIFT、SURF 和FDR-Net 對(duì)其完成配準(zhǔn)，比較各方法配準(zhǔn)結(jié)果的NoFP、ARE、ACE、算法運(yùn)行時(shí)間等參數(shù)，定量評(píng)估各種方法的配準(zhǔn)性能。

對(duì)比配準(zhǔn)結(jié)果圖，通過主觀觀察可以得知，本文算法實(shí)現(xiàn)的配準(zhǔn)圖像存在的重影、模糊邊緣等情況明顯減少，對(duì)于圖5 中場(chǎng)景1 海岸邊的樹木紋理、圖6 場(chǎng)景2 中艦船的桅桿以及圖7、圖8、圖9 中各場(chǎng)景的主要目標(biāo)外部輪廓等細(xì)節(jié)，F(xiàn)DR-Net 的配準(zhǔn)結(jié)果明顯優(yōu)于傳統(tǒng)算法的配準(zhǔn)結(jié)果。從表1 中配準(zhǔn)結(jié)果各項(xiàng)指標(biāo)的數(shù)據(jù)可以看出，本文提出的配準(zhǔn)方法相比其他傳統(tǒng)方法，能穩(wěn)定地提取出數(shù)量足夠的特征點(diǎn)，且?guī)缀醪淮嬖谔卣鼽c(diǎn)誤匹配的情況。在平均配準(zhǔn)誤差和平均角點(diǎn)誤差相比SIFT 算法分別提升了73%和69%，相比SURF 算法分別提升了61%和58%，且配準(zhǔn)算法實(shí)現(xiàn)時(shí)間也大幅度減少。

圖5 場(chǎng)景1 各算法配準(zhǔn)結(jié)果

圖6 場(chǎng)景2 各算法配準(zhǔn)結(jié)果

圖7 場(chǎng)景3 各算法配準(zhǔn)結(jié)果

圖8 場(chǎng)景4 各算法配準(zhǔn)結(jié)果

圖9 場(chǎng)景5 各算法配準(zhǔn)結(jié)果

表1 各算法性能比較結(jié)果

3 結(jié)論

傳統(tǒng)的圖像配準(zhǔn)算法大多采用特征提取算子提取特征，應(yīng)用在異源圖像配準(zhǔn)任務(wù)上魯棒性差且提取的特征點(diǎn)誤匹配較多，所達(dá)成的配準(zhǔn)精度較差。本文提出的基于FDR-Net 的紅外與可見光圖像配準(zhǔn)網(wǎng)絡(luò)是端到端的圖像配準(zhǔn)網(wǎng)絡(luò)，能夠穩(wěn)定地在待配準(zhǔn)圖像中提取特征點(diǎn)，同時(shí)配準(zhǔn)時(shí)不需要利用圖像拍攝時(shí)的硬件參數(shù)和目標(biāo)信息。從海岸目標(biāo)、海面艦艇、樓宇等場(chǎng)景的配準(zhǔn)結(jié)果圖可以看出，相比傳統(tǒng)算法，本方法不僅在平均配準(zhǔn)誤差、平均角點(diǎn)誤差等參數(shù)評(píng)估方面均提升58%以上，在艦船輪廓、海岸目標(biāo)邊緣、海岸樓宇輪廓等處發(fā)生重影、模糊等現(xiàn)象明顯減少，配準(zhǔn)結(jié)果的像素偏移誤差明顯降低。使用本方法完成配準(zhǔn)預(yù)處理的圖像再進(jìn)行下一步融合、超分辨等工作必然會(huì)得到效果更佳的結(jié)果圖。但是，本網(wǎng)絡(luò)只實(shí)現(xiàn)了近紅外與可見光兩種異源圖像的配準(zhǔn)，受限于數(shù)據(jù)量的大小，網(wǎng)絡(luò)仍然有進(jìn)一步優(yōu)化的空間。對(duì)于偏振圖像、長(zhǎng)波紅外等灰度分布差異更大的圖像，必然需要進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)其與可見光圖像的配準(zhǔn)，但是本文提出的構(gòu)建數(shù)據(jù)集、訓(xùn)練網(wǎng)絡(luò)實(shí)現(xiàn)端到端異源圖像配準(zhǔn)的思想依然是值得采納推廣的。