衛(wèi)星影像匹配的深度卷積神經(jīng)網(wǎng)絡(luò)方法

范大昭，董 楊，張永生

信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450001

近年來(lái)，遙感信息數(shù)據(jù)處理進(jìn)入大數(shù)據(jù)時(shí)代[1-2]，衛(wèi)星影像呈井噴式涌現(xiàn)，人們對(duì)影像處理技術(shù)的準(zhǔn)確性和時(shí)效性提出了較高要求。處理衛(wèi)星影像的基礎(chǔ)性工作之一是進(jìn)行影像間的匹配。通常的影像匹配思路是：首先進(jìn)行影像特征點(diǎn)檢測(cè)，然后進(jìn)行特征點(diǎn)描述，最后進(jìn)行描述符間的相似性匹配。傳統(tǒng)的影像特征點(diǎn)檢測(cè)算法主要包括：高斯拉普拉斯(Laplace of Gaussian，LOG)檢測(cè)算法[3]、Harris檢測(cè)算法[4]、SIFT(scale-invariant feature transform)檢測(cè)算法[5]等。常用的影像特征描述符主要包括：SIFT特征描述符及其衍生算法[6-7]、brief特征描述符及其衍生算法[8-9]等。影像描述符間的匹配實(shí)現(xiàn)則主要是通過(guò)近似最鄰近搜索，以找到描述符之間歐氏距離最短的對(duì)應(yīng)特征點(diǎn)[10-11]。針對(duì)于描述符能否對(duì)具體問(wèn)題進(jìn)行自適應(yīng)優(yōu)化，可將描述符分為兩種：面向結(jié)構(gòu)的描述符和面向?qū)ο蟮拿枋龇Ｆ渲?，面向結(jié)構(gòu)的描述符是指具有固定流程參數(shù)的特征描述符，面向?qū)ο蟮拿枋龇侵改軌蛎嫦蚓唧w問(wèn)題自適應(yīng)生成流程參數(shù)的特征描述符。傳統(tǒng)的手工設(shè)計(jì)描述符能夠在某些方面具有較好的普適表現(xiàn)(如抗尺度變化、抗仿射變化等)，但大多是面向結(jié)構(gòu)的描述符，其對(duì)于具體衛(wèi)星影像中內(nèi)含的先驗(yàn)?zāi)Ｊ?，很難實(shí)現(xiàn)有針對(duì)性的優(yōu)化。在大多數(shù)具體問(wèn)題中，涉及的衛(wèi)星影像多為單個(gè)或數(shù)個(gè)相機(jī)遠(yuǎn)距離成像拍攝而來(lái)，成像對(duì)象也多為山區(qū)、平地、居民地、湖泊等多種類型，同一類型對(duì)象在衛(wèi)星影像上呈現(xiàn)出一定規(guī)律的內(nèi)蘊(yùn)模式。若能充分利用這些良好的先驗(yàn)特性，則有望進(jìn)一步提高衛(wèi)星影像的匹配正確率與數(shù)據(jù)處理效率。因此，設(shè)計(jì)一種面向?qū)ο蟮钠ヅ淞鞒?，尋找衛(wèi)星影像內(nèi)蘊(yùn)的先驗(yàn)?zāi)Ｊ?，?shí)現(xiàn)具體問(wèn)題的自適應(yīng)處理，以進(jìn)一步提高衛(wèi)星影像的匹配豐富度與準(zhǔn)確率，具有重要的研究意義。

當(dāng)前，隨著計(jì)算機(jī)軟硬件水平的提升，深度學(xué)習(xí)方法發(fā)展迅猛，在計(jì)算機(jī)視覺、機(jī)器視覺、模式識(shí)別等相關(guān)領(lǐng)域得到了廣泛應(yīng)用。深度學(xué)習(xí)方法一般是指利用含多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行經(jīng)驗(yàn)數(shù)據(jù)的自動(dòng)擬合，得到先驗(yàn)參數(shù)，據(jù)此實(shí)現(xiàn)對(duì)新數(shù)據(jù)的自動(dòng)處理。深度學(xué)習(xí)方法是一種典型的面向?qū)ο蠓椒?，能夠針?duì)具體的數(shù)據(jù)目標(biāo)進(jìn)行優(yōu)化，具有較大的應(yīng)用潛力。近年來(lái)，有不少學(xué)者利用深度學(xué)習(xí)方法進(jìn)行了影像局部描述符提取的研究。其中，文獻(xiàn)[12]利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了窄基線下的影像立體匹配研究；文獻(xiàn)[13]研究了多種神經(jīng)網(wǎng)絡(luò)模型在影像塊匹配中的性能；文獻(xiàn)[14]則設(shè)計(jì)了一種MatchNet模型，進(jìn)行影像特征描述符的提取與匹配。然而，這些研究多是面向較為雜亂的近景影像處理問(wèn)題，對(duì)衛(wèi)星影像中的匹配問(wèn)題卻少有涉及。

傳統(tǒng)的面向結(jié)構(gòu)的影像匹配算法并不能很好地處理異源、多時(shí)相及多分辨率衛(wèi)星影像間的匹配問(wèn)題。衛(wèi)星影像相對(duì)近景影像，影像目標(biāo)相對(duì)較為單一，內(nèi)容變化相對(duì)簡(jiǎn)單。本文試圖通過(guò)深度學(xué)習(xí)方法，將近年來(lái)發(fā)展較快的神經(jīng)網(wǎng)絡(luò)技術(shù)運(yùn)用到衛(wèi)星影像特征匹配中，自動(dòng)學(xué)習(xí)影像間的匹配模式，實(shí)現(xiàn)一種面向?qū)ο蟮男l(wèi)星影像間自動(dòng)匹配流程，得到更為豐富和更高準(zhǔn)確率的匹配點(diǎn)對(duì)。

1 影像特征點(diǎn)匹配算法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

早期神經(jīng)網(wǎng)絡(luò)也稱為多層感知機(jī)[15]，在層內(nèi)使用激勵(lì)函數(shù)進(jìn)行響應(yīng)，層間使用全連接進(jìn)行數(shù)據(jù)傳遞，訓(xùn)練中使用反向傳播(back propagation，BP)算法[16]進(jìn)行學(xué)習(xí)，如圖1所示。假設(shè)P={p1,p2,…,pn}為層輸入，Q={q1,q2,…,qm}為層輸出，則在全連接神經(jīng)網(wǎng)絡(luò)中對(duì)于第i個(gè)輸出qi，其計(jì)算為

(1)

式中，W={w1,w2,…,wn}為權(quán)重向量，b為偏差值，f(x)為激勵(lì)函數(shù)。

然而，由式(1)及圖1可以看出，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷增加，待訓(xùn)練的網(wǎng)絡(luò)參數(shù)急劇增長(zhǎng)，網(wǎng)絡(luò)參數(shù)求解越發(fā)困難。針對(duì)這一問(wèn)題，可采用“卷積核”簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)，從而極大縮減待求參數(shù)，進(jìn)一步提高訓(xùn)練過(guò)程的魯棒性，如圖2所示。對(duì)于二維離散影像I(x,y)，對(duì)其利用卷積核f(s,t)進(jìn)行操作，可得到新影像I′(x,y)，計(jì)算式如下

(2)

在卷積神經(jīng)網(wǎng)絡(luò)中，利用式(2)代替式(1)中的WTP項(xiàng)，從而可減少待求參數(shù)數(shù)量，增加整體網(wǎng)絡(luò)的穩(wěn)健性。

圖1 典型全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Typical fully connected neural network structure

1.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的影像匹配模型

提升卷積神經(jīng)網(wǎng)絡(luò)處理性能的方法之一是增加網(wǎng)絡(luò)層數(shù)，形成深度卷積神經(jīng)網(wǎng)絡(luò)，已有不少學(xué)者對(duì)此進(jìn)行了研究，取得了一些研究成果[17-18]。然而，現(xiàn)有的研究多是針對(duì)近景影像，且目標(biāo)多是影像分類或模式識(shí)別，對(duì)于衛(wèi)星影像間的匹配問(wèn)題少有研究。本文在已有的用于影像分類的神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，通過(guò)模型優(yōu)化，使新的神經(jīng)網(wǎng)絡(luò)模型更加適用于衛(wèi)星影像匹配，從而實(shí)現(xiàn)一種面向?qū)ο蟮挠跋衿ヅ淠Ｐ汀?/p>

圖2 典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Typical convolution neural network structure

1.2.1 兩通道深度卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)意義的影像分類神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練分為兩部分輸入：一是影像數(shù)據(jù)，二是影像對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)。前者提供了神經(jīng)網(wǎng)絡(luò)的實(shí)際輸入值，后者提供了神經(jīng)網(wǎng)絡(luò)的目標(biāo)輸出值。前者經(jīng)過(guò)前饋網(wǎng)絡(luò)計(jì)算標(biāo)簽輸出值，后者結(jié)合標(biāo)簽輸出值經(jīng)過(guò)后饋網(wǎng)絡(luò)調(diào)整網(wǎng)絡(luò)參數(shù)值，從而實(shí)現(xiàn)整體神經(jīng)網(wǎng)絡(luò)的不斷迭代優(yōu)化。衛(wèi)星影像特征點(diǎn)的匹配，實(shí)質(zhì)是進(jìn)行特征點(diǎn)對(duì)局部影像灰度的分析比較，從而判斷是否為同名點(diǎn)對(duì)。因此，可將待比較的特征點(diǎn)對(duì)局部影像看作為兩通道影像(彩色影像可看為六通道，原理與兩通道相同，下文不再單獨(dú)論述)，作為神經(jīng)網(wǎng)絡(luò)的影像輸入值。其中兩個(gè)通道值分別對(duì)應(yīng)兩個(gè)待匹配點(diǎn)的局部灰度值。對(duì)應(yīng)的影像數(shù)據(jù)標(biāo)簽可分為兩類：一類是正確同名點(diǎn)對(duì)局部影像合成的兩通道影像，另一類是錯(cuò)誤同名點(diǎn)對(duì)局部影像合成的兩通道影像。由此，衛(wèi)星影像的匹配問(wèn)題可轉(zhuǎn)換為兩通道影像的分類問(wèn)題。

在文獻(xiàn)[13]研究成果的基礎(chǔ)上，本文設(shè)計(jì)了兩通道深度卷積神經(jīng)網(wǎng)絡(luò)(2 channel deep convolution neural network，2chDCNN)，如圖3所示。2chDCNN輸入數(shù)據(jù)為待匹配點(diǎn)對(duì)局部影像合成的兩通道影像，輸出數(shù)據(jù)為1維標(biāo)量。首先，進(jìn)行4次卷積和ReLu操作；然后，進(jìn)行MaxPooling操作；隨后，再進(jìn)行3次卷積和ReLu操作；最后，進(jìn)行扁平化與兩次全連接操作。兩通道深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建簡(jiǎn)單、易于訓(xùn)練，能夠自動(dòng)學(xué)習(xí)衛(wèi)星影像間的匹配模式，實(shí)現(xiàn)了面向?qū)ο蟮钠ヅ溥^(guò)程。但其輸入局部影像塊為固定大小，在衛(wèi)星影像尺度學(xué)習(xí)方面有一定缺陷，還需進(jìn)一步優(yōu)化。

圖3 兩通道深度卷積網(wǎng)絡(luò)Fig.3 2 channel deep convolution neural network

1.2.2 優(yōu)化的兩通道深度卷積神經(jīng)網(wǎng)絡(luò)

結(jié)合傳統(tǒng)數(shù)字?jǐn)z影測(cè)量中特征描述符的提取過(guò)程，分析傳統(tǒng)特征描述符的抗尺度變換特性，本文在兩通道深度卷積神經(jīng)網(wǎng)絡(luò)前端，加入空間尺度卷積層，以加強(qiáng)整體網(wǎng)絡(luò)的抗尺度特性?？紤]到sift特征提取過(guò)程中，尺度空間是保證sift特征具有良好抗尺度變換特性的重要因素之一。因此，可對(duì)輸入影像進(jìn)行金字塔影像生成處理，并加入兩層卷積層用于模擬整體尺度空間的生成過(guò)程。為保證隨后處理過(guò)程的簡(jiǎn)潔，將金字塔影像復(fù)制擴(kuò)展到原始影像維度，如圖4所示。這樣兩通道影像經(jīng)過(guò)金字塔處理變?yōu)榱ǖ烙跋?，?jīng)過(guò)空間卷積層處理變?yōu)槌叨忍卣饔跋?，再進(jìn)行2chDCNN中的深度卷積神經(jīng)網(wǎng)絡(luò)處理。在處理過(guò)程中，變換后的六通道影像對(duì)應(yīng)標(biāo)簽依然為原始標(biāo)簽值。

圖5即為設(shè)計(jì)的基于空間尺度的兩通道深度卷積神經(jīng)網(wǎng)絡(luò)(based-spatial-scale 2 channel deep convolution neural network，BSS-2chDCNN)。由于在2chDCNN網(wǎng)絡(luò)前端加入了空間尺度卷積層，使其能更好地學(xué)習(xí)局部影像間的尺度模式，增加了整體模型的魯棒性。

圖4 神經(jīng)網(wǎng)絡(luò)中影像金字塔過(guò)程Fig.4 Image pyramid process in neural network

圖5 基于空間尺度的兩通道深度卷積網(wǎng)絡(luò)Fig.5 Based-spatial-scale 2 channel deep convolution neural network

1.3 基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配

考慮到之前論述的深度卷積神經(jīng)網(wǎng)絡(luò)模型與衛(wèi)星影像的特殊性，設(shè)計(jì)如下的衛(wèi)星影像匹配流程：①特征點(diǎn)檢測(cè)；②基于衛(wèi)星輔助參數(shù)的特征點(diǎn)對(duì)預(yù)匹配；③基于神經(jīng)網(wǎng)絡(luò)的局部影像模式匹配。具體匹配流程如圖6所示。

圖6 基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配流程Fig.6 Satellite image matching process based on deep convolution neural network

上述流程中，步驟①中特征點(diǎn)檢測(cè)可采用傳統(tǒng)的Harris角點(diǎn)檢測(cè)算子等方法進(jìn)行實(shí)現(xiàn)；步驟②中特征點(diǎn)對(duì)預(yù)匹配是指利用衛(wèi)星影像概率地理坐標(biāo)信息進(jìn)行匹配點(diǎn)對(duì)范圍約束，從而縮短整體匹配時(shí)間；步驟③中采用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)約束范圍內(nèi)的匹配點(diǎn)對(duì)進(jìn)行遍歷匹配判斷，對(duì)于每一點(diǎn)取概率得分最高且大于閾值者為最佳匹配點(diǎn)。

2 試驗(yàn)及結(jié)果分析

試驗(yàn)首先著重對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)模型匹配的可行性進(jìn)行分析，然后進(jìn)行實(shí)際衛(wèi)星影像的匹配試驗(yàn)，并設(shè)計(jì)了與10種傳統(tǒng)衛(wèi)星影像匹配方法的對(duì)比試驗(yàn)。試驗(yàn)硬件平臺(tái)采用Intel i7 CPU、GTX 980M GPU以及16G內(nèi)存配置，采用Torch7[19]、MXNet(arXiv:1410.0759,2014)及英偉達(dá)cuDNN(arXiv：1107.2490,2011)實(shí)現(xiàn)具體深度卷積神經(jīng)網(wǎng)絡(luò)匹配流程。

2.1 兩通道深度卷積神經(jīng)網(wǎng)絡(luò)匹配試驗(yàn)

試驗(yàn)采用兩組數(shù)據(jù)，具體參數(shù)及部分影像截圖如表1及圖7所示。GFG數(shù)據(jù)集中，谷歌影像為高分辨率正射拼接影像，高分四號(hào)衛(wèi)星影像為較低分辨率的原始傾斜影像。由圖7可以看出，谷歌及高分四號(hào)衛(wèi)星影像由于分辨率及影像獲取環(huán)境的不同，同名特征點(diǎn)對(duì)相同大小局部區(qū)域的影像灰度特征差別較大，采用傳統(tǒng)匹配算法進(jìn)行影像匹配難度較大。由于使用的影像具有不同的空間分辨率，GFG數(shù)據(jù)集可以較好地驗(yàn)證本文算法提出的空間尺度卷積層的效用。THD數(shù)據(jù)集為天繪衛(wèi)星三線陣相機(jī)拍攝的影像，可用于進(jìn)一步驗(yàn)證本文提出模型的有效性。

表1 試驗(yàn)數(shù)據(jù)信息介紹

圖7 試驗(yàn)數(shù)據(jù)部分示意Fig.7 Display of experimental data

試驗(yàn)中提取局部影像塊的尺寸為32×32像素，網(wǎng)絡(luò)訓(xùn)練最大迭代次數(shù)設(shè)置為100次，訓(xùn)練塊大小設(shè)置為256，采用ASGD(average stochastic gradient descent)方法[22]進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化，學(xué)習(xí)率設(shè)置為0.1，權(quán)重下降值設(shè)置為0.000 5。

試驗(yàn)中采用TPR(true positive rate)、FPR95(false positive rate at 95% recall)與ROC(receiver operating characteristic)曲線進(jìn)行模型性能的評(píng)估。其中，TPR表征的是模型測(cè)試的正確率；FPR95表征的是模型在召回率為95%情況下的錯(cuò)判率(false positive rate，F(xiàn)PR)；ROC曲線橫軸為FPR值，縱軸為對(duì)應(yīng)TPR值[21-22]。其中，TPR與FPR的計(jì)算公式如下所示

(3)

(4)

圖8 GFG訓(xùn)練集TPR統(tǒng)計(jì)Fig.8 TPR results of GFG training set

由圖8可以看出：利用GFG數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，優(yōu)化的BSS-2chDCNN模型能夠在迭代計(jì)算13次后就達(dá)到99%的訓(xùn)練集正確率，而2chDCNN模型則要迭代計(jì)算74次后才能達(dá)到99%的訓(xùn)練集正確率。這說(shuō)明優(yōu)化模型中空間尺度卷積層發(fā)揮了積極效用，能夠迅速地學(xué)習(xí)影像匹配模式中的尺度因子，從而極大地減少了模型迭代訓(xùn)練次數(shù)。由圖8可以看出利用GFG數(shù)據(jù)集進(jìn)行測(cè)試時(shí)，優(yōu)化的BSS-2chDCNN模型相對(duì)2chDCNN模型具有較低的FPR95值以及較好的ROC曲線。由此也說(shuō)明了BSS-2chDCNN模型相對(duì)2chDCNN模型具有較好的穩(wěn)健性。

圖9 GFG測(cè)試集ROC曲線統(tǒng)計(jì)Fig.9 ROC results of GFG test set

利用THD數(shù)據(jù)集進(jìn)一步測(cè)試BSS-2chDCNN模型，部分計(jì)算結(jié)果如表2所示。

表2 THD數(shù)據(jù)集試驗(yàn)結(jié)果統(tǒng)計(jì)

由表2可以看出，本文設(shè)計(jì)的BSS-2chDCNN模型能夠較好地處理THD數(shù)據(jù)集影像，具有較好的穩(wěn)健性。這進(jìn)一步驗(yàn)證了利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行衛(wèi)星影像匹配的可行性。

2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配試驗(yàn)

采用某區(qū)域高分四號(hào)衛(wèi)星影像與谷歌衛(wèi)星影像數(shù)據(jù)進(jìn)行試驗(yàn)，如圖10所示。高分四號(hào)衛(wèi)星影像大小為1625×1625像素，分辨率約為70 m；谷歌衛(wèi)星影像大小為1855×1855像素，分辨率約為50 m。試驗(yàn)數(shù)據(jù)為典型的異源、多時(shí)相、多分辨率影像，利用其進(jìn)行對(duì)比試驗(yàn)，能夠在一定程度上檢測(cè)本文算法的性能。

試驗(yàn)設(shè)計(jì)了與多種常用影像匹配方法的對(duì)比，包括SIFT特征提取與描述方法[5]、SURF特征提取與描述方法[7]、KAZE特征提取與描述方法[23]、AKAZE特征提取與描述方法[24]、ORB特征提取與描述方法[25]、BRISK特征提取與描述方法[26]、FAST特征提取方法[27]、AGAST特征提取方法[28]、Harris特征提取方法[29]、Shi-Tomasi特征提取方法[30]等。具體對(duì)比試驗(yàn)方法設(shè)計(jì)如表3所示。

圖10 匹配對(duì)比試驗(yàn)影像數(shù)據(jù)示意Fig.10 Image data for matching contrast experiment

試驗(yàn)序號(hào)特征檢測(cè)方法描述符生成方法描述符匹配方法1SIFTSIFTANN2SURFSURFANN3KAZEKAZEBF4AKAZEAKAZEBF5ORBORBBF-Hamming6BRISKBRISKBF7FASTSIFTANN8AGASTSIFTANN9HarrisSIFTANN10Shi-TomasiSIFTANN

描述符匹配方法中，SIFT與SURF描述符采用快速近似最近鄰(approximate nearest neighbor，ANN)方法進(jìn)行搜索，利用歐氏距離進(jìn)行相似性判斷；KAZE、AKAZE與BRISK描述符采用暴力搜索(brute force，BF)方法進(jìn)行搜索，利用歐氏距離進(jìn)行相似性判斷；ORB描述符采用暴力搜索方法進(jìn)行搜索，利用漢明距離進(jìn)行相似性判斷。在設(shè)計(jì)的10種試驗(yàn)中，為了便于進(jìn)行定量對(duì)比，基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配試驗(yàn)，采用對(duì)應(yīng)特征檢測(cè)算法進(jìn)行衛(wèi)星影像特征點(diǎn)的檢測(cè)，設(shè)置尋找待匹配點(diǎn)的范圍大小為51×51像素，得分最低閾值設(shè)置為0.9，深度卷積神經(jīng)網(wǎng)絡(luò)采用BSS-2chDCNN模型，并利用GFG數(shù)據(jù)集進(jìn)行預(yù)先訓(xùn)練。最終試驗(yàn)結(jié)果如表4及圖11至圖20所示。

圖11至圖20中，每張小圖上半部分為谷歌衛(wèi)星影像，下半部分為高分四號(hào)衛(wèi)星影像；圖11—20中(a)圖為檢測(cè)到的特征點(diǎn)分布示意圖，藍(lán)色點(diǎn)為檢測(cè)到的特征點(diǎn)，對(duì)應(yīng)表4中的谷歌影像提取特征點(diǎn)數(shù)與高分影像提取特征點(diǎn)數(shù)兩欄；圖11—20中(b)圖為傳統(tǒng)匹配方法得到的匹配點(diǎn)對(duì)結(jié)果示意圖，青色線為匹配特征點(diǎn)對(duì)間的連線，對(duì)應(yīng)表4中傳統(tǒng)方法匹配數(shù)一欄；圖11—20中(c)圖為基于BSS-2chDCNN方法得到的匹配點(diǎn)對(duì)結(jié)果示意圖，青色線為匹配特征點(diǎn)對(duì)間的連線，對(duì)應(yīng)表4中基于BSS-2chDCNN方法匹配數(shù)一欄。可以看出，在相同特征檢測(cè)點(diǎn)的情況下，本文方法能夠得到更為豐富的匹配結(jié)果。

表4 匹配結(jié)果統(tǒng)計(jì)信息

圖12 SURF對(duì)比試驗(yàn)結(jié)果Fig.12 Matching results based on SURF

圖13 KAZE對(duì)比試驗(yàn)結(jié)果Fig.13 Matching results based on KAZE

圖14 AKAZE對(duì)比試驗(yàn)結(jié)果Fig.14 Matching results based on AKAZE

圖15 ORB對(duì)比試驗(yàn)結(jié)果Fig.15 Matching results based on ORB

圖17 FAST+sift對(duì)比試驗(yàn)結(jié)果Fig.17 Matching results based on FAST+sift

利用傳統(tǒng)方法和本文方法分別進(jìn)行匹配試驗(yàn)后，為了進(jìn)一步對(duì)匹配結(jié)果進(jìn)行分析，對(duì)其進(jìn)行RANSAC(random sample consensus)提純[11]并統(tǒng)計(jì)相應(yīng)正確率，結(jié)果如表4。需要說(shuō)明的是，試驗(yàn)中是利用基本矩陣模型進(jìn)行的RANSAC提純操作，誤匹配點(diǎn)對(duì)被全部剔除，但同時(shí)一些正確匹配點(diǎn)對(duì)也會(huì)被當(dāng)作誤匹配點(diǎn)對(duì)剔除。由表4可以看出，對(duì)于本文試驗(yàn)數(shù)據(jù)而言，對(duì)比試驗(yàn)中的10種傳統(tǒng)特征匹配流程未能得到或僅得到較少的匹配點(diǎn)對(duì)，而本文提出的方法則能夠提出較為豐富且準(zhǔn)確率較高的匹配點(diǎn)對(duì)，最終匹配提純結(jié)果的正確率在90%以上。這進(jìn)一步說(shuō)明本文設(shè)計(jì)的基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配方法的正確性和可行性。

圖18 Agast+sift對(duì)比試驗(yàn)結(jié)果Fig.18 Matching results based on Agast+sift

圖19 Harris+sift對(duì)比試驗(yàn)結(jié)果Fig.19 Matching results based on Harris+sift

圖20 Shi-Tomasi+sift對(duì)比試驗(yàn)結(jié)果Fig.20 Matching results based on Shi-Tomasi+sift

3 結(jié)束語(yǔ)

影像匹配是數(shù)字?jǐn)z影測(cè)量與計(jì)算機(jī)視覺中重要的研究課題，如何高效、穩(wěn)健地進(jìn)行基于特征的影像匹配是眾多學(xué)者的研究方向。本文結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)思想，從另一個(gè)角度對(duì)這一經(jīng)典問(wèn)題進(jìn)行了研究，實(shí)現(xiàn)了一種面向?qū)ο蟮男l(wèi)星影像匹配方法。本文設(shè)計(jì)了一種兩通道深度卷積神經(jīng)網(wǎng)絡(luò)模型，并在此基礎(chǔ)上進(jìn)行優(yōu)化，設(shè)計(jì)提出一種空間尺度卷積層結(jié)構(gòu)，用于解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練中輸入數(shù)據(jù)的多尺度問(wèn)題。在此基礎(chǔ)上，設(shè)計(jì)了基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配流程，實(shí)現(xiàn)了面向?qū)ο蟮男l(wèi)星影像匹配。試驗(yàn)表明，本文提出的兩通道深度卷積神經(jīng)網(wǎng)絡(luò)模型及其優(yōu)化網(wǎng)絡(luò)模型，能夠較好地進(jìn)行衛(wèi)星影像匹配模式的學(xué)習(xí)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的影像匹配能夠較好地進(jìn)行衛(wèi)星影像間的高效、穩(wěn)健匹配。

參考文獻(xiàn)：

[1] 李德仁. 展望大數(shù)據(jù)時(shí)代的地球空間信息學(xué)[J]. 測(cè)繪學(xué)報(bào), 2016, 45(4): 379-384. DOI: 10.11947/j.AGCS.2016.20160057.

LI Deren. Towards Geo-spatial Information Science in Big Data Era[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 379-384. DOI: 10.11947/j.AGCS.2016.20160057.

[2] 李德仁, 張良培, 夏桂松. 遙感大數(shù)據(jù)自動(dòng)分析與數(shù)據(jù)挖掘[J]. 測(cè)繪學(xué)報(bào), 2014, 43(12): 1211-1216. DOI: 10.13485/j.cnki.11-2089.2014.0187.

LI Deren, ZHANG Liangpei, XIA Guisong. Automatic Analysis and Mining of Remote Sensing Big Data[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1211-1216. DOI: 10.13485/j.cnki.11-2089.2014.0187.

[3] 嚴(yán)國(guó)萍, 何俊峰. 高斯-拉普拉斯邊緣檢測(cè)算子的擴(kuò)展研究[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2006, 34(10): 21-23.

YAN Guoping, HE Junfeng. Extended Laplacian of Gaussian Operator for Edge Detection[J]. Journal of Huazhong University of Science and Technology (Nature Science Edition), 2006, 34(10): 21-23.

[4] 趙萬(wàn)金, 龔聲蓉, 劉純平, 等. 一種自適應(yīng)的Harris角點(diǎn)檢測(cè)算法[J]. 計(jì)算機(jī)工程, 2008, 34(10): 212-214, 217.

ZHAO Wanjin, GONG Shengrong, LIU Chunping, et al. Adaptive Harris Corner Detection Algorithm[J]. Computer Engineering, 2008, 34(10): 212-214, 217.

[5] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] KE Yan, SUKTHANKAR R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors[C]∥ Proceedings of the IEEE Computer Society Computer Vision and Pattern Recognition. Washington, DC: IEEE, 2004: 506-513.

[7] BAY H, TUYTELAARS T, VAN GOOL L. SURF: Speeded up Robust Features[M]∥LEONARDIS A, BISCHOF H, PINZ A. Computer Vision-ECCV 2006. Berlin: Springer, 2006: 404-417.

[8] CALONDER M, LEPETIT V, STRECHA C, et al. BRIEF: Binary Robust Independent Elementary Features[M]∥DANIILIDIS K, MARAGOS P, PARAGIOS N. Computer Vision-ECCV 2010. Berlin: Springer, 2010: 778-792.

[9] CALONDER M, LEPETIT V, OZUYSAL M, et al. BRIEF: Computing a Local Binary Descriptor Very Fast[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1281-1298.

[10] 許允喜, 陳方. 局部圖像描述符最新研究進(jìn)展[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(9): 1133-1150.

XU Yunxi, CHEN Fang. Recent Advances in Local Image Descriptor[J]. Journal of Image and Graphics, 2015, 20(9): 1133-1150.

[11] 董楊, 范大昭, 紀(jì)松, 等. 主成分分析的匹配點(diǎn)對(duì)提純方法[J]. 測(cè)繪學(xué)報(bào), 2017, 46(2): 228-236. DOI: 10.11947/j.AGCS.2017.20160250.

DONG Yang, FAN Dazhao, JI Song, et al. The Purification Method of Matching Points Based on Principal Component Analysis[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(2): 228-236. DOI: 10.11947/j.AGCS.2017.20160250.

[12] ?BONTAR J, LECUN Y. Computing the Stereo Matching Cost with a Convolutional Neural Network[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 1592-1599.

[13] ZAGORUYKO S, KOMODAKIS N. Learning to Compare Image Patches via Convolutional Neural Networks[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 4353-4361.

[14] HAN Xufeng, LEUNG T, JIA Yangqing, et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 3279-3286.

[15] PAL S K, MITRA S. Multilayer Perceptron, Fuzzy Sets, and Classification[J]. IEEE Transactions on Neural Networks, 1992, 3(5): 683-697.

[16] TRAPPEY A J C, HSU F C, TRAPPEY C V, et al. Development of a Patent Document Classification and Search Platform Using a Back-propagation Network[J]. Expert Systems with Applications, 2006, 31(4): 755-765.

[17] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going Deeper with Convolutions[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 1-9.

[18] ?BONTAR J, LECUN Y. Stereo Matching by Training A Convolutional Neural Network to Compare Image Patches[J]. The Journal of Machine Learning Research, 2016, 17(1): 2287-2318.

[19] COLLOBERT R, KAVUKCUOGLU K, FARABET C. Torch7: A Matlab-like Environment for Machine Learning[C]∥Neural Information Processing Systems Workshop. [s.l]: BigLearn, 2011.

[20] CHEN Tianqi, LI Mu, LI Yutian, et al. MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems[R].Nanjin：Neural Information Processing Systems, Workshop on Machine Learning Systems, 2015.

[21] BROWN M, HUA Gang, WINDER S. Discriminative Learning of Local Image Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 43-57.

[22] 杜玉龍, 李建增, 張巖, 等. 基于深度交叉CNN和免交互GrabCut的顯著性檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2017, 53(3): 32-40.

DU Yulong, LI Jianzeng, ZHANG Yan, et al. Saliency Detection Based on Deep Cross CNN and Non-interaction GrabCut[J]. Computer Engineering and Applications, 2017, 53(3): 32-40.

[23] ALCANTARILLA P F, BARTOLI A, DAVISON A J. KAZE Features[M]∥FITZGIBBON A, LAZEBNIK S, PERONA P, et al. Computer Vision-ECCV 2012. Berlin, Heidelberg: Springer, 2012.

[24] ALCANTARILLA P F, NUEVO J, BARTOLI A. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥Proceedings British Machine Vision Conference 2013. Bristol, UK: British Machine Vision Conference, 2013.

[25] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: An efficient Alternative to SIFT or SURF[C]∥IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012.

[26] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]∥IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012.

[27] ROSTEN E, DRUMMOND T. Machine Learning for High-Speed Corner Detection[M]∥LEONARDIS A, BISCHOF H, PINZ A. Computer Vision-ECCV 2006. Berlin, Heidelberg: Springer, 2006.

[28] MAIR E, HAGER G D, BURSCHKA D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[M]∥DANIILIDIS K, MARAGOS P, PARAGIOS N. Computer Vision-ECCV 2010. Berlin: Springer, 2010.

[29] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference. Manchester: Springer , 1988: 147-151.

[30] SHI Jianbo, TOMASI. Good Features to Track[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle, WA: IEEE, 1994.