基于R-VGG和多分支注意力的無(wú)人機(jī)圖像配準(zhǔn)模型

趙亞麗，藺素珍，張海松，李大威，雷海衛(wèi)

(中北大學(xué) 大數(shù)據(jù)學(xué)院，山西 太原 030051)

0 引 言

目前，利用多臺(tái)無(wú)人機(jī)協(xié)作或單臺(tái)無(wú)人機(jī)多次拍攝已經(jīng)成為地質(zhì)勘測(cè)[1]和安全巡檢等大視場(chǎng)成像的新興手段，其中圖像配準(zhǔn)是必不可少的關(guān)鍵技術(shù)之一.圖像配準(zhǔn)方法包括基于灰度的配準(zhǔn)方法和基于特征的配準(zhǔn)方法兩大類[2].其中，基于灰度的方法通過(guò)灰度值計(jì)算完成圖像配準(zhǔn)，該方法簡(jiǎn)單直觀，但計(jì)算量較大且對(duì)圖像灰度值敏感，圖像的光照變化、尺度變化和旋轉(zhuǎn)變化等都會(huì)造成較大的匹配誤差；基于特征的配準(zhǔn)方法通過(guò)提取并匹配圖像間共有的特征來(lái)解算變換參數(shù)得到配準(zhǔn)結(jié)果，該類方法魯棒性好且效率較高.不同無(wú)人機(jī)圖像間的光照、傾角等往往大相徑庭，因而使用基于特征的配準(zhǔn)方法更合適.

基于特征的圖像配準(zhǔn)方法可細(xì)分為傳統(tǒng)方法和基于學(xué)習(xí)的方法.典型的傳統(tǒng)方法是D.G.Lower等[3]提出的SIFT(Scale Invariant Feature Transform)算法.該算法通過(guò)提取尺度、縮放和旋轉(zhuǎn)不變性特征進(jìn)行配準(zhǔn)，性能穩(wěn)定但算法復(fù)雜度高，對(duì)錯(cuò)誤匹配數(shù)據(jù)較敏感.雖然之后產(chǎn)生了一系列針對(duì)該算法的優(yōu)化算法[4-5]，但總體都有一定的場(chǎng)景約束且計(jì)算效率不高.

近年來(lái)，深度學(xué)習(xí)方法在圖像領(lǐng)域顯示出卓越的性能[6-8]，許多研究人員使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)等深度學(xué)習(xí)方法來(lái)解決圖像配準(zhǔn)問(wèn)題[9-11].為解決深度學(xué)習(xí)中的標(biāo)簽圖像缺乏問(wèn)題，有學(xué)者探索了無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)方法.VoxelMorph[12]方法在腦部數(shù)據(jù)集上取得了不錯(cuò)的效果；VTN(Volume Tweening Network)[13]采用了集成仿射變換模塊和網(wǎng)絡(luò)塊級(jí)聯(lián)方式，在存在較大變形的醫(yī)學(xué)圖像配準(zhǔn)方面取得了成功；文獻(xiàn)[14]利用光度損失的無(wú)監(jiān)督學(xué)習(xí)來(lái)進(jìn)行單應(yīng)性估計(jì)；文獻(xiàn)[15]在特征提取之后增加掩膜結(jié)構(gòu)來(lái)學(xué)習(xí)圖像的深度信息，從而進(jìn)行更精確的單應(yīng)性估計(jì)，等等.綜合看來(lái)，基于深度學(xué)習(xí)方法配準(zhǔn)圖像漸成主流.不過(guò)，由于無(wú)人機(jī)航拍的圖像通常分辨率較大且存在大面積的弱紋理區(qū)域，容易導(dǎo)致特征誤匹配，從而使配準(zhǔn)精度下降，因此，目前將深度學(xué)習(xí)模型用于無(wú)人機(jī)圖像配準(zhǔn)的研究還較少.

本文提出一種基于無(wú)監(jiān)督學(xué)習(xí)的無(wú)人機(jī)圖像配準(zhǔn)方法，該方法在訓(xùn)練過(guò)程中僅需要待配準(zhǔn)的圖像對(duì)，不需要任何的真實(shí)變換參數(shù).與其他方法研究相比，本文的主要工作有三點(diǎn)：1)提出一種R-VGG的特征提取網(wǎng)絡(luò)結(jié)構(gòu)，在VGG結(jié)構(gòu)中加入Resnet的思想，充分利用深度學(xué)習(xí)的高性能有效地把圖像的低層輪廓特征和高級(jí)語(yǔ)義特征結(jié)合起來(lái)，提取到更加魯棒的特征.2)提出在初步特征匹配之后加入以殘差單元為單位的多分支注意力模塊，濾除誤匹配，增加匹配的精確度.3)復(fù)合使用均方誤差損失和感知損失，確保配準(zhǔn)的精度和配準(zhǔn)結(jié)果圖像的質(zhì)量.

1 無(wú)監(jiān)督配準(zhǔn)網(wǎng)絡(luò)模型

1.1 框架綜述

本文提出的完全無(wú)監(jiān)督無(wú)人機(jī)圖像配準(zhǔn)方法流程如圖1 所示.首先，將經(jīng)過(guò)預(yù)處理的參考圖像和運(yùn)動(dòng)圖像分別輸入到兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相同且共享參數(shù)的特征提取模塊(R-VGG)中進(jìn)行深度特征提取；其次，將提取到的特征完成初步匹配，再采用具有兩個(gè)平行分支的注意力模塊(MBA)濾除特征誤匹配；然后將經(jīng)過(guò)加權(quán)約束的匹配相關(guān)圖傳輸?shù)絾螒?yīng)性矩陣估計(jì)模塊中，進(jìn)行神經(jīng)網(wǎng)絡(luò)回歸運(yùn)算得到空間變換參數(shù)；最后，通過(guò)空間轉(zhuǎn)換網(wǎng)絡(luò)(Spatial Transform Network,STN)[16]得到配準(zhǔn)結(jié)果圖像.網(wǎng)絡(luò)模型的損失函數(shù)使用配準(zhǔn)結(jié)果圖像和參考圖像的相似性來(lái)構(gòu)建.

圖1 本文方法的整體框架圖Fig.1 The overall framework of the proposed method

1.2 網(wǎng)絡(luò)設(shè)計(jì)

1.2.1 特征提取模塊設(shè)計(jì)

特征提取模塊設(shè)計(jì)作為本文配準(zhǔn)模型設(shè)計(jì)的第一步，主要是利用深度學(xué)習(xí)的高性能來(lái)提取待配準(zhǔn)圖像對(duì)的高級(jí)特征信息，從而進(jìn)行穩(wěn)健高效的特征對(duì)齊.鑒于VGG-16網(wǎng)絡(luò)在ImageNet上表現(xiàn)出的卓越性能，這里使用VGG-16網(wǎng)絡(luò)結(jié)構(gòu)的前面部分來(lái)提取特征.但VGG結(jié)構(gòu)沒(méi)有分支結(jié)構(gòu)，在淺層網(wǎng)絡(luò)部分提取的是圖像的低層輪廓特征，而在深層網(wǎng)絡(luò)部分篩選出高級(jí)的細(xì)節(jié)信息，只是簡(jiǎn)單地堆疊網(wǎng)絡(luò)不能把低、高層特征結(jié)合起來(lái)，因此，使用簡(jiǎn)單的VGG網(wǎng)絡(luò)結(jié)構(gòu)不能有效地提取到利于圖像配準(zhǔn)的特征.而ResNet結(jié)構(gòu)能把上一層的輸出作用于下一層，可以將低層的輪廓特征和高層的語(yǔ)義特征融合，但ResNet系列的網(wǎng)絡(luò)深度較深，結(jié)構(gòu)復(fù)雜，而無(wú)人機(jī)圖像的配準(zhǔn)任務(wù)需要較為簡(jiǎn)單的模型來(lái)保證運(yùn)算效率.因此，本文把ResNet思想和VGG網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合起來(lái)，既能篩選出配準(zhǔn)需要的低、高級(jí)融合特征，又能保證網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.

圖2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Feature extraction network structure diagram

輸入分辨率為H×W的圖像，首先經(jīng)過(guò)兩次卷積核大小為3，通道數(shù)為64的卷積得到conv1；對(duì)conv1進(jìn)行池化操作使圖像分辨率成為原圖像的1/2,以降低維度；對(duì)池化結(jié)果pool1使用1×1卷積增加通道數(shù)到128得到r1；對(duì)r1進(jìn)行兩次卷積核大小為3，步長(zhǎng)為1，通道數(shù)為128的卷積得到conv2；將r1與conv2在通道維度上相加，這樣便將上一層的輸出作用到下一層，達(dá)到特征融合的效果.之后的網(wǎng)絡(luò)結(jié)構(gòu)依此類推，卷積的通道數(shù)分別為256，512，分辨率分別為原圖像的1/4，1/8，每個(gè)卷積層之后跟隨修正線性單元(Relu)，在每一次池化后都進(jìn)行1×1卷積，將結(jié)果作用于下一層，網(wǎng)絡(luò)截止至pool4，最后對(duì)特征圖進(jìn)行L2標(biāo)準(zhǔn)化.

1.2.2 基于多分支注意力的特征匹配模塊設(shè)計(jì)

特征匹配層用來(lái)計(jì)算運(yùn)動(dòng)圖像特征圖fM和參考圖像特征圖fF的局部描述符之間的所有相似性對(duì).利用相關(guān)層可以實(shí)現(xiàn)初步的特征匹配[7]，但由于無(wú)人機(jī)圖像中存在大面積的弱紋理區(qū)域(如水域，天空等)，在特征匹配階段容易造成錯(cuò)誤的特征匹配，因此，本文加入多分支注意力模塊來(lái)過(guò)濾錯(cuò)誤的特征匹配，以增強(qiáng)對(duì)模型異常值的魯棒性.

初始匹配部分相關(guān)層以兩張?zhí)卣鲌DfM和fF為輸入，并輸出三維的相關(guān)圖CFM∈RH×W×(H×W)，將位置(i,j,k)上的每個(gè)元素定義為對(duì)應(yīng)位置一對(duì)描述符的標(biāo)量積，其數(shù)學(xué)描述為

CFM(i，j，k)=fM(i，j)TfF(ik,jk),

(1)

式中：i∈{1,…,W}，j∈{1,…,H}，k∈{1，…，W×H}；(i,j)和(ik,jk)指在H×W的密集特征圖中的單個(gè)特征位置；k=H(jk-1)+ik是(ik,jk)的輔助索引變量，即每個(gè)長(zhǎng)度為W×H的相關(guān)向量；CFM(i,j,k)表示fM中坐標(biāo)為(i,j)的局部描述符與fF中各局部描述符之間的相似度.

多分支注意力模塊濾除誤匹配的設(shè)計(jì)思路為：以相關(guān)圖CFM為輸入，并輸出與CFM相同分辨率的權(quán)重矩陣W，其中正確匹配的對(duì)應(yīng)位置權(quán)重值較大，錯(cuò)誤匹配的對(duì)應(yīng)位置權(quán)重較小.經(jīng)此，原相關(guān)圖CFM通過(guò)權(quán)重矩陣W加權(quán)，正確匹配處的值則被增大，而錯(cuò)誤匹配處的值將減小.在此基礎(chǔ)上，本文設(shè)計(jì)了一種由兩個(gè)平行分支組成的注意力網(wǎng)絡(luò)，分別生成兩個(gè)權(quán)重圖W1和W2，如圖3 所示.圖3 中，每個(gè)分支都由編碼和解碼兩部分組成，使用殘差單元作為基本單位，殘差單元的基本結(jié)構(gòu)如圖4 所示.

圖3 多分支注意力模塊結(jié)構(gòu)圖Fig.3 Multi-branch attention module structure diagram

圖4 殘差單元結(jié)構(gòu)信息圖Fig.4 Residual unit structure information graph

編碼部分通過(guò)卷積提取高級(jí)語(yǔ)義對(duì)相關(guān)圖進(jìn)行編碼，解碼部分則通過(guò)卷積和上采樣恢復(fù)像素.兩個(gè)分支的主要區(qū)別在解碼部分.分支①簡(jiǎn)單地使用上采樣操作來(lái)生成權(quán)重圖W1；更精細(xì)的分支②在編碼和解碼部分之間加入了跳連接，將低級(jí)信息與高級(jí)語(yǔ)義信息結(jié)合，生成精確的注意力權(quán)重圖W2；將W1和W2元素相加起來(lái)，生成更精確的權(quán)重圖W；使用雙曲正切函數(shù)(tanh)激活W使權(quán)重值在[-1,1]區(qū)間，其中(-1,0)和(0,1)分別表示相關(guān)圖的抑制和增強(qiáng)；最后，使用權(quán)重圖W對(duì)輸入的相關(guān)圖CFM進(jìn)行加權(quán)，生成改進(jìn)的相關(guān)圖Catt.

1.2.3 單應(yīng)性矩陣估計(jì)模塊設(shè)計(jì)

單應(yīng)性矩陣估計(jì)模塊利用相關(guān)圖中的信息來(lái)估計(jì)兩幅圖像之間的轉(zhuǎn)換參數(shù).本模塊網(wǎng)絡(luò)由兩個(gè)卷積層構(gòu)成，在每個(gè)卷積層后進(jìn)行批量標(biāo)準(zhǔn)化(Batch Normalization，BN)和修正線性單元(Relu)，然后使用一個(gè)全連接層(Fully Connected Layer)得到維度為8的特征向量，即自由度為8的單應(yīng)性矩陣，最后采用空間變換網(wǎng)絡(luò)(STN)完成對(duì)運(yùn)動(dòng)圖像的Warp操作.此模塊的詳細(xì)參數(shù)信息如表1 所示.

表1 單應(yīng)性矩陣估計(jì)模塊網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Network structure of homography matrix estimation module

1.3 損失函數(shù)構(gòu)建

(2)

式中：N為圖像的總像素?cái)?shù).

(3)

綜上，訓(xùn)練模型的損失函數(shù)定義為

(4)

式中：λ為感知損失的權(quán)重.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)參數(shù)設(shè)置

使用TensorFlow框架設(shè)計(jì)整體網(wǎng)絡(luò)，采用無(wú)人機(jī)圖像公開(kāi)數(shù)據(jù)集UAV-123[17]組成2k對(duì)待配準(zhǔn)圖像對(duì)，包含建筑物、道路、汽車、帆船等不同類別.將所有待配準(zhǔn)圖像對(duì)分成三部分，即訓(xùn)練集、驗(yàn)證集和測(cè)試集，劃分比例為0.75∶0.05∶0.2.借助NVIDIA TITAN X GPU服務(wù)器訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練中選擇的初始學(xué)習(xí)率為0.000 1，每10輪衰減10%，批處理量大小設(shè)置為4，一共訓(xùn)練50輪.經(jīng)過(guò)幾次實(shí)驗(yàn)，最終把損失函數(shù)中感知損失的權(quán)重λ置為10，使用Adam優(yōu)化器進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練直至收斂.

2.2 評(píng)價(jià)指標(biāo)

在圖像配準(zhǔn)領(lǐng)域中，因配準(zhǔn)算法使用場(chǎng)景不同，其對(duì)應(yīng)的質(zhì)量評(píng)價(jià)指標(biāo)也未統(tǒng)一.本文選用目前最常見(jiàn)且具有評(píng)價(jià)參考意義的評(píng)價(jià)指標(biāo)來(lái)客觀評(píng)估本文方法和對(duì)比方法的性能[2].

2.2.1 結(jié)構(gòu)相似性SSIM

結(jié)構(gòu)相似性SSIM(Structural Similarity)基于圖像亮度、對(duì)比度和結(jié)構(gòu)三個(gè)指標(biāo)衡量圖像的相似性.SSIM值在0到1之間，越接近于1，代表配準(zhǔn)效果越好.其對(duì)應(yīng)的計(jì)算公式為

(5)

式中：μx,μy分別為配準(zhǔn)結(jié)果圖像和參考圖像中所有像素灰度的均值；σx,σy表示灰度值的標(biāo)準(zhǔn)差；σxy表示圖像協(xié)方差；c1,c2為常量，避免分母為0所帶來(lái)的公式錯(cuò)誤.

2.2.2 互信息量MI

兩幅圖像的互信息量MI(Mutual Information)可以通過(guò)二者各自的熵和其聯(lián)合熵來(lái)反映他們之間的相互關(guān)聯(lián)程度.兩幅圖像的互信息越大，相似度越高，配準(zhǔn)效果越好.其計(jì)算公式定義為

MI(x,y)=H(x)+H(y)-H(x,y),

(6)

式中：x,y分別表示配準(zhǔn)結(jié)果圖像和參考圖像；H(·)表示熵的計(jì)算函數(shù)；H(x,y)為圖像對(duì)x,y的聯(lián)合熵計(jì)算函數(shù).

2.2.3 平均絕對(duì)誤差MAE

平均絕對(duì)誤差MAE(Mean Absolute Error)表示像素位置的絕對(duì)誤差平均值，是一種一般形式的誤差平均值.其在做模型評(píng)估時(shí)，對(duì)離群點(diǎn)有較好的魯棒性.MAE的值越小，說(shuō)明兩幅圖像越相似，即配準(zhǔn)效果越好.其計(jì)算公式為

(7)

式中：xi,yi分別表示配準(zhǔn)結(jié)果圖像和參考圖像在i位置上的像素值；N代表總像素?cái)?shù).

2.3 對(duì)比實(shí)驗(yàn)

2.3.1 主觀視覺(jué)評(píng)價(jià)分析

以待配準(zhǔn)圖像對(duì)為輸入，以參考圖像作為基準(zhǔn)，通過(guò)優(yōu)化運(yùn)動(dòng)圖像與參考圖像之間的相似性來(lái)訓(xùn)練網(wǎng)絡(luò).訓(xùn)練完成后，在整個(gè)測(cè)試集(包括400對(duì)待配準(zhǔn)無(wú)人機(jī)圖像)測(cè)試該模型，并與經(jīng)典的傳統(tǒng)算法SIFT[3]、ORB[18]和基于深度學(xué)習(xí)的算法UDHE[14]和CAU-DHE[15]方法的配準(zhǔn)結(jié)果進(jìn)行比較.從測(cè)試圖像中選擇不同類別的3組待配準(zhǔn)圖像對(duì)進(jìn)行比較，并通過(guò)圖像拼接來(lái)展示配準(zhǔn)效果，如圖5 所示.

圖5 測(cè)試集上各方法的配準(zhǔn)拼接結(jié)果Fig.5 The registration and stitching results of each method on the test set

在圖5 中，第1行和第2行分別為運(yùn)動(dòng)圖像和參考基準(zhǔn)圖像，剩下的5行從上到下分別展示了SIFT，ORB，UHDE，CAU-DHE和本文方法的配準(zhǔn)結(jié)果圖像和參考圖像的拼接結(jié)果.從圖中可以看出，傳統(tǒng)的SIFT算法在UAV數(shù)據(jù)集上達(dá)到了較好的配準(zhǔn)效果，但計(jì)算量大，耗時(shí)長(zhǎng)；ORB算法是在FAST關(guān)鍵點(diǎn)檢測(cè)和BRIEF特征上進(jìn)行的，雖然比SIFT算法具有更快的匹配速度，但在圖像配準(zhǔn)中對(duì)于大的單應(yīng)性變換性能較差，無(wú)法滿足本文無(wú)人機(jī)圖像的配準(zhǔn)拼接要求；UHDE算法是一種基于無(wú)監(jiān)督的深度單應(yīng)性估計(jì)模型，其在第3組待配準(zhǔn)圖像對(duì)上性能較差，魯棒性不強(qiáng)，而且經(jīng)過(guò)大的扭曲之后圖像變得模糊，出現(xiàn)了一定的失真現(xiàn)象；CAU-DHE也是一種無(wú)監(jiān)督的深度單應(yīng)性估計(jì)算法，在特征提取之后添加了掩膜結(jié)構(gòu)來(lái)濾除離群值，從結(jié)果圖來(lái)看，變換后的圖像仍然存在重影；明顯可以看出，本文方法具有最好的配準(zhǔn)拼接效果，變換后的圖像和參考圖像邊緣連接較好，圖像清晰沒(méi)有重影.

2.3.2 客觀指標(biāo)評(píng)價(jià)分析

通過(guò)主觀視覺(jué)感知分析得出，本文所提方法具有較高的配準(zhǔn)性能，但仍然需要詳細(xì)的指標(biāo)數(shù)據(jù)對(duì)配準(zhǔn)結(jié)果進(jìn)行客觀評(píng)價(jià).本文在測(cè)試集上計(jì)算配準(zhǔn)結(jié)果圖像和參考圖像的結(jié)構(gòu)相似性(SSIM)、互信息量(MI)、平均絕對(duì)誤差(MAE)并進(jìn)行記錄，將對(duì)應(yīng)的指標(biāo)數(shù)據(jù)對(duì)測(cè)試集圖像進(jìn)行平均，得到最終的評(píng)價(jià)指標(biāo)均值，結(jié)果如表2 所示.為了測(cè)試各算法的實(shí)時(shí)性，表中還給出了在測(cè)試集上各算法的平均配準(zhǔn)速度.

表2 測(cè)試集上不同方法評(píng)價(jià)指標(biāo)統(tǒng)計(jì)表Tab.2 Statistics of evaluation indicators of different methods on the test set

從表2 可以看出，本文方法在SSIM，MI和MAE指標(biāo)中均取得最佳效果，SIFT算法次之，而ORB算法的指標(biāo)最低，與主觀觀察的結(jié)果一致.另外，表中所有方法的各項(xiàng)指標(biāo)均處于較低數(shù)值，主要是由于待配準(zhǔn)圖像對(duì)之間的差異較大，參考圖像和運(yùn)動(dòng)圖像的可重疊范圍較小，配準(zhǔn)結(jié)果圖像存在大面積黑邊.本文方法的整體評(píng)價(jià)指標(biāo)偏高，且計(jì)算時(shí)間較短，證明了本文方法在無(wú)人機(jī)圖像配準(zhǔn)任務(wù)上的有效性.

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文無(wú)監(jiān)督配準(zhǔn)模型的合理性和有效性，進(jìn)行了消融對(duì)比實(shí)驗(yàn)，所有實(shí)驗(yàn)訓(xùn)練設(shè)置均相同.針對(duì)本文設(shè)計(jì)的深度特征提取模塊(R-VGG)、多分支注意力模塊(MBA)和復(fù)合損失數(shù)進(jìn)行消融對(duì)比實(shí)驗(yàn)，結(jié)果如表3 所示，實(shí)驗(yàn)設(shè)計(jì)了5種不同的模型：①在初步特征匹配后直接進(jìn)行單應(yīng)性估計(jì)，沒(méi)有添加多分支注意力(MBA)；②僅使用感知損失作為網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)；③損失函數(shù)只使用均方誤差損失；④采用預(yù)訓(xùn)練的VGG16替代本文設(shè)計(jì)的R-VGG模塊來(lái)提取深度特征；⑤本文方法的完全體.表中三個(gè)客觀指標(biāo)分別為測(cè)試集上配準(zhǔn)結(jié)果圖像和參考圖像的結(jié)構(gòu)相似性(SSIM)、互信息量(MI)和平均絕對(duì)誤差(MAE)的平均值.

表3 消融實(shí)驗(yàn)結(jié)果Tab.3 The results of ablation experiments

對(duì)表3 所示結(jié)果進(jìn)行分析：方法④與方法⑤的對(duì)比證明了本文所提的R-VGG特征提取網(wǎng)絡(luò)的有效性，在特征提取階段采用本文提出的R-VGG網(wǎng)絡(luò)結(jié)構(gòu)能夠融合圖像的低、高層特征信息，提取到更有利于后續(xù)特征匹配及空間變換參數(shù)回歸的特征.方法②，方法③與方法⑤的對(duì)比表明，使用均方誤差損失和感知損失加權(quán)的復(fù)合損失函數(shù)來(lái)訓(xùn)練模型，性能會(huì)更好，這是由于缺少感知損失的約束時(shí)，無(wú)法考慮到圖像深層的相似性，當(dāng)進(jìn)行大的單應(yīng)性變換后，圖像容易變得模糊；在只使用感知損失時(shí)，忽略了圖像本身的相似性，圖像不能精確對(duì)齊.方法①和方法⑤的差異在于方法⑤加入了多分支注意力模塊來(lái)濾除誤匹配，在無(wú)人機(jī)圖像配準(zhǔn)過(guò)程中，由于弱紋理帶來(lái)的特征誤匹配不可避免，直接進(jìn)行單應(yīng)性估計(jì)會(huì)受到錯(cuò)誤匹配的影響，從而使配準(zhǔn)精度下降.在單應(yīng)性估計(jì)之前加入多分支的注意力模塊來(lái)濾除錯(cuò)誤的特征匹配，則配準(zhǔn)精度得到顯著提升.

對(duì)比表3 中各項(xiàng)指標(biāo)也驗(yàn)證了設(shè)置多分支注意力模塊的必要性和有效性.總的來(lái)說(shuō)，本文所設(shè)計(jì)的各模塊能有效提高無(wú)人機(jī)圖像的配準(zhǔn)精度和配準(zhǔn)結(jié)果圖像的質(zhì)量.

3 結(jié) 論

本文提出了一種基于無(wú)監(jiān)督學(xué)習(xí)的無(wú)人機(jī)圖像配準(zhǔn)模型.首先，充分利用深度學(xué)習(xí)的高性能，設(shè)計(jì)了R-VGG特征提取模塊，篩選出具有魯棒特性的低、高層融合特征；其次，在特征匹配模塊加入了多分支注意力(MBA)約束，濾除錯(cuò)誤匹配，從而提高了配準(zhǔn)精度；此外，使用內(nèi)容損失和感知損失加權(quán)的復(fù)合損失函數(shù)，提高了網(wǎng)絡(luò)性能.通過(guò)視覺(jué)感知分析和客觀指標(biāo)分析，驗(yàn)證了本文方法在無(wú)人機(jī)航拍圖像配準(zhǔn)領(lǐng)域的有效性和穩(wěn)定性.在今后的工作中，將研究分析無(wú)人機(jī)圖像的深度信息并對(duì)本文方法進(jìn)行改進(jìn)以充分利用圖像信息來(lái)提高配準(zhǔn)精度.