VGG與DoG結(jié)合的光學(xué)遙感影像精確配準(zhǔn)方法

王少杰 武文波 徐其志

VGG與DoG結(jié)合的光學(xué)遙感影像精確配準(zhǔn)方法

王少杰1武文波*2徐其志3

（1北京化工大學(xué)，北京 100029）（2北京空間機(jī)電研究所，北京 100094）（3北京理工大學(xué)，北京 100081）

光學(xué)遙感成像分辨率高、幅寬大，相似地物多，在圖像配準(zhǔn)中極易產(chǎn)生特征點(diǎn)誤匹配?，F(xiàn)有深度網(wǎng)絡(luò)配準(zhǔn)方法直接將特征圖中的極大值點(diǎn)作為圖像配準(zhǔn)的特征點(diǎn)，特征點(diǎn)提取與匹配的準(zhǔn)確性差，導(dǎo)致圖像精度低。針對(duì)該問題，文章提出新方法，將高斯差分圖像（Difference of Gaussian，DoG）與Visual Geometry Group（VGG）網(wǎng)絡(luò)組合起來，構(gòu)成一個(gè)新網(wǎng)絡(luò)，即Difference of Gaussian with VGG（DVGG）網(wǎng)絡(luò)；然后從高斯差分圖像中提取極大值點(diǎn)作為配準(zhǔn)的特征點(diǎn)，將DVGG網(wǎng)絡(luò)提取的特征圖作為特征點(diǎn)的特征描述，用于計(jì)算兩幅圖像特征點(diǎn)匹配的相似度。最后，利用Google Earth軟件獲取的遙感影像，進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并與尺度不變特征變換（Scale Invariant Feature Transform，SIFT）和加速穩(wěn)健特征（Speeded Up Robust Features，SURF）方法進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明：新方法的圖像配準(zhǔn)精度高，優(yōu)于對(duì)比方法。

圖像配準(zhǔn) 深度學(xué)習(xí) 特征提取 光學(xué)遙感

0 引言

圖像配準(zhǔn)技術(shù)是指將不同時(shí)間、不同視角和不同傳感器獲取的兩幅圖像進(jìn)行匹配的過程，目前此技術(shù)已經(jīng)廣泛應(yīng)用到了遙感、醫(yī)學(xué)等領(lǐng)域[1]。其中遙感領(lǐng)域的圖像配準(zhǔn)是許多遙感圖像處理過程中必不可少的一部分，例如目標(biāo)檢測(cè)、圖像融合、語(yǔ)義分割等任務(wù)都需要在配準(zhǔn)成功的前提下進(jìn)行，因此光學(xué)遙感影像的配準(zhǔn)技術(shù)成為了研究熱點(diǎn)[2]。

傳統(tǒng)的圖像配準(zhǔn)方法主要分為基于灰度的方法和基于特征的方法[3-4]，其中基于特征的配準(zhǔn)方法通過提取圖像的顯著特征來進(jìn)行匹配，不易受到旋轉(zhuǎn)、尺度縮放等因素的干擾，在自然圖像的配準(zhǔn)領(lǐng)域得到了廣泛應(yīng)用[5-6],最具有代表性的是尺度不變特征變換（Scale Invariant Feature Transform，SIFT）方法[7-8]。該方法通過構(gòu)建高斯差分金字塔來確定候選關(guān)鍵點(diǎn)，然后對(duì)候選關(guān)鍵點(diǎn)進(jìn)行篩選和精確定位，最后生成對(duì)應(yīng)的特征描述來進(jìn)行關(guān)鍵點(diǎn)之間的匹配，在自然圖像的配準(zhǔn)中得到了較好的效果。但是遙感圖像通常幅寬較大、相似地物更多，SIFT方法難以準(zhǔn)確提取到遙感影像的深層特征，配準(zhǔn)效果有待提高[9]。

近年來，深度學(xué)習(xí)技術(shù)飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在很多計(jì)算機(jī)視覺任務(wù)中取得了不錯(cuò)的效果[10-12]。在圖像配準(zhǔn)領(lǐng)域，學(xué)者們通過CNN提取更深層次的語(yǔ)義特征進(jìn)行特征匹配[13]：文獻(xiàn)[14]提出的D2-Net網(wǎng)絡(luò)利用Visual Geometry Group（VGG）網(wǎng)絡(luò)生成的特征圖來直接計(jì)算關(guān)鍵點(diǎn)和特征描述；文獻(xiàn)[15]提出的MatchNet網(wǎng)絡(luò)用深度網(wǎng)絡(luò)來提取特征，然后用全連接層來度量對(duì)兩個(gè)特征描述子之間的相似性；文獻(xiàn)[16]介紹了一種深度學(xué)習(xí)框架，將特征點(diǎn)檢測(cè)、方向估計(jì)和描述符計(jì)算結(jié)合起來，并實(shí)現(xiàn)了端到端的訓(xùn)練。相比于傳統(tǒng)的圖像配準(zhǔn)方法，卷積神經(jīng)網(wǎng)絡(luò)可以提取到圖像更深層次的特征，更好地抵抗圖像角度變換、亮度變化以及成像模式等因素帶來的干擾，使得配準(zhǔn)效果更加精確[17-18]。但是目前基于深度學(xué)習(xí)的圖像配準(zhǔn)方法主要應(yīng)用于自然圖像，遙感圖像通常分辨率更高、尺寸更大，CNN提取的關(guān)鍵點(diǎn)數(shù)量少且準(zhǔn)確性差。如圖1所示，對(duì)同一張光學(xué)遙感影像來說，D2-Net網(wǎng)絡(luò)檢測(cè)到的關(guān)鍵點(diǎn)數(shù)量較少而且代表性較差，在機(jī)場(chǎng)跑道邊緣或者建筑物邊緣等位置檢測(cè)出的關(guān)鍵點(diǎn)數(shù)量很少；而傳統(tǒng)的SIFT方法檢測(cè)出的關(guān)鍵點(diǎn)數(shù)量較多且準(zhǔn)確性更好，且大都集中在地物邊緣，利用這些關(guān)鍵點(diǎn)進(jìn)行圖像配準(zhǔn)的效果通常會(huì)更好。

圖1 不同方法檢測(cè)出的關(guān)鍵點(diǎn)對(duì)比

針對(duì)上述問題，本文將高斯差分圖像（Difference of Gaussian，DoG）與VGG網(wǎng)絡(luò)組合起來，提出DVGG網(wǎng)絡(luò)，再用高斯差分圖像檢測(cè)出關(guān)鍵點(diǎn)，通過DVGG網(wǎng)絡(luò)獲取相對(duì)應(yīng)的特征描述子進(jìn)行遙感圖像配準(zhǔn)，得到了更多正確的匹配點(diǎn)對(duì)，配準(zhǔn)效果更加精確。

1 基于DVGG網(wǎng)絡(luò)的配準(zhǔn)方法

對(duì)于幅寬較大、背景復(fù)雜的光學(xué)遙感影像來說，SIFT描述子難以對(duì)圖像的深層特征進(jìn)行描述，從而導(dǎo)致出現(xiàn)誤匹配較多；VGG網(wǎng)絡(luò)可以提取到圖像的深層特征，同一地物經(jīng)過網(wǎng)絡(luò)得到的特征向量基本相同。將這兩種特征向量相結(jié)合作為特征點(diǎn)的特征描述可以使得匹配效果更加精確，配準(zhǔn)結(jié)果對(duì)光照、角度等因素的抗干擾能力更強(qiáng)，誤匹配點(diǎn)對(duì)更少。

本文提出的配準(zhǔn)方法流程如圖2所示，首先構(gòu)建輸入圖像的高斯差分金字塔，確定關(guān)鍵點(diǎn)的坐標(biāo)及所在尺度，同時(shí)將圖像重新調(diào)整大小，輸入到預(yù)訓(xùn)練過的VGG網(wǎng)絡(luò)中，得到不同尺寸的特征圖。將尺寸相同的高斯差分圖像和特征圖拼接起來，構(gòu)成DVGG網(wǎng)絡(luò)，將DVGG網(wǎng)絡(luò)輸出的特征作為關(guān)鍵點(diǎn)的特征描述，計(jì)算關(guān)鍵點(diǎn)之間的相似度，得到匹配對(duì)。

圖2 本文方法流程

1.1 通過高斯差分圖像確定關(guān)鍵點(diǎn)

高斯差分圖像是SIFT配準(zhǔn)方法中為了確定關(guān)鍵點(diǎn)而生成的圖像，這種方法檢測(cè)出來的關(guān)鍵點(diǎn)不僅可以克服角度變換、灰度差異帶來的干擾，還具有尺度不變性，對(duì)遙感圖像進(jìn)行配準(zhǔn)時(shí)取得了很好的效果。其計(jì)算過程主要包括以下兩個(gè)步驟：

1）通過高斯核函數(shù)構(gòu)建高斯金字塔；將原始圖像上采樣一倍，然后用式（1）生成圖像的尺度空間，作為高斯金字塔的第一組圖像。

2）高斯金字塔中相鄰圖像做差得到高斯差分圖像。

高斯金字塔中所有組的相鄰圖像都相減之后，即可得到高斯差分金字塔。將高斯差分圖像中的每1個(gè)采樣點(diǎn)與其同層的8個(gè)相鄰點(diǎn)以及上下相鄰尺度相對(duì)應(yīng)的9個(gè)點(diǎn)進(jìn)行比較。如果該采樣點(diǎn)為極大值點(diǎn)，就保留該點(diǎn)為1個(gè)候選特征點(diǎn)。得到所有的候選特征點(diǎn)后，對(duì)這些點(diǎn)的坐標(biāo)進(jìn)行三維二次函數(shù)擬合，得到更精確的關(guān)鍵點(diǎn)坐標(biāo)，最后去除掉低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，即可確定關(guān)鍵點(diǎn)的位置。

1.2 通過DVGG網(wǎng)絡(luò)生成描述子

對(duì)VGG16網(wǎng)絡(luò)[19]進(jìn)行修改，只保留前10層，并且刪去最后一層池化層，修改最后一個(gè)卷積層使得輸出的特征圖尺寸為原圖尺寸的四分之一，通道數(shù)為128。DVGG網(wǎng)絡(luò)為高斯差分金字塔與修改后的VGG16網(wǎng)絡(luò)拼接而成，用在模型的訓(xùn)練和測(cè)試階段。訓(xùn)練時(shí)通過高斯差分金字塔獲取特征點(diǎn)的位置，將特征點(diǎn)的位置作為真值對(duì)VGG網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這樣進(jìn)行的訓(xùn)練可以使得生成的VGG特征更加適合進(jìn)行光學(xué)遙感影像的配準(zhǔn)；測(cè)試時(shí)，如圖3所示，為了與高斯差分金字塔中不同組別的圖像匹配，需要先將原始圖像重新調(diào)整大小，然后再輸入到預(yù)訓(xùn)練過的VGG網(wǎng)絡(luò)中，得到不同尺寸大小的特征圖。將相同尺寸大小的特征圖和高斯差分圖像拼接起來，用來計(jì)算特征描述向量。

圖3 獲取VGG特征描述

將對(duì)應(yīng)尺度的關(guān)鍵點(diǎn)坐標(biāo)輸入DVGG網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸出為SIFT特征描述子和feature map中的特征向量拼接起來的特征向量，將其作為關(guān)鍵點(diǎn)的特征描述。最后通過這些特征描述計(jì)算出關(guān)鍵點(diǎn)之間的相似度，得到匹配點(diǎn)對(duì)。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

為了驗(yàn)證算法的性能，本文使用從Google Earth軟件上獲取的三組圖像進(jìn)行配準(zhǔn)。

第一組圖像為巴西阿雷格里港附近的遙感圖像，其中待配準(zhǔn)圖像于2021年1月2日拍攝，參考圖像于2021年1月24日拍攝，地面分辨率為1m，圖像尺寸為512像素×512像素；第二組圖像為以色列阿什杜德市的一處機(jī)場(chǎng)的遙感圖像，其中待配準(zhǔn)圖像于2014年12月31日拍攝，參考圖像于2016年7月9日拍攝，地面分辨率為1m，圖像尺寸為512像素×512像素；第三組圖像為以色列雷霍沃特市市的一處機(jī)場(chǎng)的遙感圖像，其中待配準(zhǔn)圖像于2014年12月31日拍攝，參考圖像于2016年7月9日拍攝，地面分辨率為1m，圖像尺寸為512像素×512像素。其中第一組和第二組圖像只有成像時(shí)間不同，主要是為了測(cè)試算法對(duì)于同一角度不同時(shí)相的光學(xué)衛(wèi)星影像的配準(zhǔn)能力；第三組圖像除了成像時(shí)間不同，待配準(zhǔn)圖像和參考圖像的成像角度還存在已知變換，主要是為了測(cè)試算法對(duì)于不同角度不同時(shí)相的光學(xué)衛(wèi)星影像的配準(zhǔn)能力。

本文使用均方根誤差rms、正確匹配點(diǎn)數(shù)量?jī)蓚€(gè)指標(biāo)來評(píng)價(jià)圖像配準(zhǔn)的結(jié)果[20]。因?yàn)楸痉椒ㄖ饕槍?duì)的是同一區(qū)域不同時(shí)相或者同一區(qū)域不同角度的光學(xué)遙感影像的配準(zhǔn)，選取的測(cè)試圖像中的角度變換為已知的值，所以每一組圖像中的待配準(zhǔn)圖像的特征點(diǎn)在參考圖像上都有對(duì)應(yīng)的已知的真值點(diǎn)。當(dāng)待配準(zhǔn)圖像中的匹配點(diǎn)經(jīng)過仿射變換后與對(duì)應(yīng)的參考圖像上的真值點(diǎn)距離小于1.5個(gè)像素時(shí)[21]，判定該組匹配點(diǎn)對(duì)為正確匹配點(diǎn)對(duì)；均方根誤差的公式為

得到匹配點(diǎn)對(duì)后，用隨機(jī)抽樣一致算法（Random Sample Consensus，RANSAC）算法對(duì)其進(jìn)行篩選并計(jì)算出轉(zhuǎn)換矩陣，然后利用轉(zhuǎn)換矩陣對(duì)配準(zhǔn)圖像進(jìn)行幾何變換得到配準(zhǔn)后的圖像。利用配準(zhǔn)后的圖像與參考圖像計(jì)算得到棋盤鑲嵌圖，通過棋盤鑲嵌圖即可直觀看出不同方法的配準(zhǔn)效果差異。

2.2 實(shí)驗(yàn)結(jié)果分析

將本文方法與SIFT方法以及加速穩(wěn)健特征（Speeded Up Robust Features，SURF）方法進(jìn)行比較，結(jié)果評(píng)估如表1所示，圖4為第一組圖像特征點(diǎn)匹配結(jié)果和棋盤鑲嵌圖，圖5為第二組圖像特征點(diǎn)匹配結(jié)果和棋盤鑲嵌圖，圖6為第三組圖像特征點(diǎn)匹配結(jié)果和棋盤鑲嵌圖。

表1 圖像配準(zhǔn)結(jié)果評(píng)估

Tab.1 Evaluation of image registration results

注：*表示rms>4，圖像配準(zhǔn)失敗

圖4 第一組圖像匹配結(jié)果對(duì)比

圖5 第二組圖像匹配結(jié)果對(duì)比

圖6 第三組圖像匹配結(jié)果對(duì)比

從表中數(shù)據(jù)可以看出，與SIFT方法和SURF方法相比，本文方法計(jì)算得到的rms值較低，說明用本文方法得到的配準(zhǔn)后圖像和參考圖像更為接近，配準(zhǔn)精度更高。分析三幅圖像的棋盤鑲嵌圖可得， SIFT方法和SURF方法在圖像的邊緣處出現(xiàn)很多偏差，如機(jī)場(chǎng)跑道、道路等明顯的地物一致性較差，而且受圖像角度變換影響較大，對(duì)第三組圖像進(jìn)行配準(zhǔn)后得到的棋盤鑲嵌圖出現(xiàn)了更大的偏差；本文方法計(jì)算得到的棋盤鑲嵌圖在圖像的邊緣區(qū)域可以精準(zhǔn)重疊，同時(shí)對(duì)圖像角度等因素的抗干擾能力更強(qiáng)，在第三組圖像的配準(zhǔn)中本文方法得到的棋盤鑲嵌圖效果依然穩(wěn)定，機(jī)場(chǎng)跑道等地物的一致性較強(qiáng)，配準(zhǔn)精度優(yōu)于對(duì)比方法。

另外需要說明的是，與SIFT方法和SURF方法相比，盡管本文方法因?yàn)橛写罅康木矸e操作導(dǎo)致更加耗時(shí)，但是有效減少了錯(cuò)誤的匹配點(diǎn)對(duì)數(shù)量，對(duì)光照、角度等因素有更強(qiáng)的抗干擾能力，提升了配準(zhǔn)精度，可以得到更好的配準(zhǔn)效果。

3 結(jié)束語(yǔ)

本文提出了基于DVGG網(wǎng)絡(luò)的圖像配準(zhǔn)方法，將高斯差分圖像與VGG網(wǎng)絡(luò)相結(jié)合，用高斯差分圖像檢測(cè)關(guān)鍵點(diǎn)，DVGG網(wǎng)絡(luò)生成關(guān)鍵點(diǎn)的特征描述，提高了光學(xué)遙感影像的配準(zhǔn)精度。利用Google Earth軟件獲取的不同時(shí)相的遙感圖像進(jìn)行實(shí)驗(yàn)，結(jié)果表明：本文方法獲取了更多的正確匹配點(diǎn)對(duì)，得到了更高的配準(zhǔn)精度。針對(duì)配準(zhǔn)速度的問題，我們后續(xù)還會(huì)對(duì)方法進(jìn)行優(yōu)化，在保證配準(zhǔn)效果的同時(shí)減少耗時(shí)。

[1] ZITOVA B, FLUSSER J. Image Registration Methods: a Survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[2] PAUL S, PATI U C. A Comprehensive Review on Remote Sensing Image Registration[J]. International Journal of Remote Sensing, 2021, 42(14): 5400-5436.

[3] SALVI J, MATABOSCH C, FOFI D, et al. A Review of Recent Range Image Registration Methods with Accuracy Evaluation[J]. Image and Vision Computing, 2006, 25(5): 578-596.

[4] LI Jiayuan, HU Qingwu, AI Mingyao. Robust Feature Matching for Remote Sensing Image Registration Based on L-q-Estimator[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1989-1993.

[5] 張謙, 賈永紅, 胡忠文. 多源遙感影像配準(zhǔn)中的SIFT特征匹配改進(jìn)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2013, 38(4): 455-459.

ZHANG Qian, JIA Yonghong, HU Zhongwen. An Improved SIFT Algorithm for Multi-source Remote Sensing Image Registration[J]. Geomatics and Information Science of Wuhan University, 2013, 38(4): 455-459.(in Chinese)

[6] 余先川, 呂中華, 胡丹. 遙感圖像配準(zhǔn)技術(shù)綜述[J]. 光學(xué)精密工程, 2013, 21(11): 2960-2972.

YU Xianchuan, LYU Zhonghua, HU Dan. Review of Remote Sensing Image Registration Techniques[J]. Optics and Precision Engineering, 2013, 21(11): 2960-2972. (in Chinese)

[7] LOWE D G. Object Recognition from Local Scale-invariant Features[C]//1999 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 23-25, 1999, Fort Collins, CO, USA. IEEE, 1999.

[8] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] 胡明娣, 張中茂, 楊潔, 等. 一種基于融合特征的多源遙感圖像配準(zhǔn)算法[J]. 西安郵電大學(xué)學(xué)報(bào), 2020, 25(2): 7-14.

HU Mingdi, ZHANG Zhongmao, YANG Jie, et al. A Registration Algorithm for Multi-source Remote Sensing Images Using Features Fusion[J]. Journal of Xi’an University of Posts and Telecommunications, 2020, 25(2): 7-14. (in Chinese)

[10] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 26-July1,2016, Las Vegas, USA. IEEE, 2016.

[11] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 26-July1,2016, Las Vegas, USA. IEEE, 2016.

[12] CHEN L C , PAPANDREOU G , KOKKINOS I , et al. Deeplab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[13] 許東麗, 胡忠正. 基于深度學(xué)習(xí)特征提取的遙感影像配準(zhǔn)[J]. 航天返回與遙感, 2019, 40(6): 107-118.

XU Dongli, HU Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature Extration[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(6): 107-118. (in Chinese)

[14] DUSMANU M , ROCCO I , PAJDLA T , et al. D2-Net: A Trainable CNN for Joint Description and Detection of Local Features[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 16-20,2019, Long Beach, CA, USA. IEEE, 2019.

[15] HAN X , LEUNG T , JIA Y , et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),June 8-10,2015, Boston, USA. IEEE, 2015.

[16] YI K M, TRULLS E, LEPETIT V, et al. Lift: Learned Invariant Feature Transform[C]//2016 European Conference on Computer Vision(ECCV), October 8-16, 2016, Amsterdam, Netherlands.

[17] 葉發(fā)茂, 羅威, 蘇燕飛, 等. 卷積神經(jīng)網(wǎng)絡(luò)特征在遙感圖像配準(zhǔn)中的應(yīng)用[J]. 國(guó)土資源遙感, 2019, 31(2): 32-37.

YE Famao, LUO Wei, SU Yanfei, et al. Application of Convolutional Neural Network Feature to Remote Sensing Image Registration[J]. Remote Sensing for Land and Resources, 2019, 31(2): 32-37. (in Chinese)

[18] WANG S, QUAN D, LIANG X, et al. A Deep Learning Framework for Remote Sensing Image Registration[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 148-164.

[19] SIMONYAN K, ZISSERMAN A. Very Deep Convolutional Networks for Large Scale Image Recognition[EB/OL]. [2020-11-20]. https://arxiv.org/pdf/1409.1556.pdf.

[20] MIKOLAJCZYK K, SCHMID C. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[21] 張明祥, 王澤根, 白茹月, 等. 一種由粗到精的光學(xué)與SAR遙感圖像配準(zhǔn)算法[J]. 地球信息科學(xué)學(xué)報(bào), 2020, 22(11): 2238-2246.

ZHANG Mingxiang, WANG Zegen, BAI Ruyue, et al. A Coarse-fine Optical and SAR Remote Sensing Image Registration Algorithm[J]. Journal of Geo-information Science, 2020, 22(11): 2238-2246. (in Chinese)

An Accurate Registration Method for Optical Remote Sensing Images Based on VGG and DoG

WANG Shaojie1WU Wenbo*2XU Qizhi3

（1 Beijing University of Chemical Technology, Beijing 100029, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Beijing Institute of Technology, Beijing 100081, China）

At present, optical remote sensing imaging has the characteristics of high resolution, large coverage width and many similar ground objects, so it is very easy to produce feature point mismatch in image registration. The existing deep network registration methods directly take the maximum points in the feature map as the feature points of image registration. The accuracy of feature points extraction and matching is poor, which leads to low image accuracy. To solve this problem, this paper proposes a new method combining the Difference of Gaussian（DoG）and Visual Geometry Group（VGG）network to form a new network, that is, the Difference of Gaussian with VGG（DVGG）network. The maximum points are extracted from the Gauss difference images as the registration feature points, and the feature map extracted from the DVGG network is used as the feature description of the feature points, which is used to calculate the similarity between the two image feature points.The remote sensing images obtained by the Google Earth software are experimentally verified and compared with scale invariant feature transform（SIFT）and accelerated up robust features（SURF）. The experimental results show that this new method has high accuracy and is superior to the contrast methods.

image registration；deep learning；feature extraction；optical remote sensing

TP751

A

1009-8518(2021)05-0076-09

10.3969/j.issn.1009-8518.2021.05.009

王少杰，男，1998年生，現(xiàn)在北京化工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)攻讀碩士學(xué)位。主要研究方向?yàn)檫b感圖像配準(zhǔn)、遙感圖像目標(biāo)檢測(cè)。E-mail：2019200817@mail.buct.edu.cn。

徐其志，男，1983年生，2013年獲北京航空航天大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)應(yīng)用技術(shù)博士學(xué)位，副教授。主要研究方向?yàn)檫b感圖像融合、目標(biāo)識(shí)別、大數(shù)據(jù)分析。E-mail：qizhi@buaa.edu.cn。

武文波，男，1979年生，2007年獲武漢大學(xué)攝影測(cè)量與遙感專業(yè)博士學(xué)位，研究員。主要研究方向?yàn)檫b感信息智能處理。E-mail：yimeng_whu@126.com。

2021-08-09

國(guó)家自然科學(xué)基金面上項(xiàng)目（61972021，61672076）

王少杰, 武文波, 徐其志. VGG與DoG結(jié)合的光學(xué)遙感影像精確配準(zhǔn)方法[J]. 航天返回與遙感, 2021, 42(5): 76-84.

WANG Shaojie, WU Wenbo, XU Qizhi. An Accurate Registration Method for Optical Remote Sensing Images Based on VGG and DoG[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(5): 76-84. (in Chinese)

（編輯：陳艷霞）