衛(wèi)星影像匹配的深度卷積神經(jīng)網(wǎng)絡(luò)方法

范大昭，董 楊，張永生

信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州 450001

近年來，遙感信息數(shù)據(jù)處理進(jìn)入大數(shù)據(jù)時代[1-2]，衛(wèi)星影像呈井噴式涌現(xiàn)，人們對影像處理技術(shù)的準(zhǔn)確性和時效性提出了較高要求。處理衛(wèi)星影像的基礎(chǔ)性工作之一是進(jìn)行影像間的匹配。通常的影像匹配思路是：首先進(jìn)行影像特征點檢測，然后進(jìn)行特征點描述，最后進(jìn)行描述符間的相似性匹配。傳統(tǒng)的影像特征點檢測算法主要包括：高斯拉普拉斯(Laplace of Gaussian，LOG)檢測算法[3]、Harris檢測算法[4]、SIFT(scale-invariant feature transform)檢測算法[5]等。常用的影像特征描述符主要包括：SIFT特征描述符及其衍生算法[6-7]、brief特征描述符及其衍生算法[8-9]等。影像描述符間的匹配實現(xiàn)則主要是通過近似最鄰近搜索，以找到描述符之間歐氏距離最短的對應(yīng)特征點[10-11]。針對于描述符能否對具體問題進(jìn)行自適應(yīng)優(yōu)化，可將描述符分為兩種：面向結(jié)構(gòu)的描述符和面向?qū)ο蟮拿枋龇Ｆ渲?，面向結(jié)構(gòu)的描述符是指具有固定流程參數(shù)的特征描述符，面向?qū)ο蟮拿枋龇侵改軌蛎嫦蚓唧w問題自適應(yīng)生成流程參數(shù)的特征描述符。傳統(tǒng)的手工設(shè)計描述符能夠在某些方面具有較好的普適表現(xiàn)(如抗尺度變化、抗仿射變化等)，但大多是面向結(jié)構(gòu)的描述符，其對于具體衛(wèi)星影像中內(nèi)含的先驗?zāi)Ｊ?，很難實現(xiàn)有針對性的優(yōu)化。在大多數(shù)具體問題中，涉及的衛(wèi)星影像多為單個或數(shù)個相機(jī)遠(yuǎn)距離成像拍攝而來，成像對象也多為山區(qū)、平地、居民地、湖泊等多種類型，同一類型對象在衛(wèi)星影像上呈現(xiàn)出一定規(guī)律的內(nèi)蘊模式。若能充分利用這些良好的先驗特性，則有望進(jìn)一步提高衛(wèi)星影像的匹配正確率與數(shù)據(jù)處理效率。因此，設(shè)計一種面向?qū)ο蟮钠ヅ淞鞒?，尋找衛(wèi)星影像內(nèi)蘊的先驗?zāi)Ｊ?，實現(xiàn)具體問題的自適應(yīng)處理，以進(jìn)一步提高衛(wèi)星影像的匹配豐富度與準(zhǔn)確率，具有重要的研究意義。

當(dāng)前，隨著計算機(jī)軟硬件水平的提升，深度學(xué)習(xí)方法發(fā)展迅猛，在計算機(jī)視覺、機(jī)器視覺、模式識別等相關(guān)領(lǐng)域得到了廣泛應(yīng)用。深度學(xué)習(xí)方法一般是指利用含多個隱藏層的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行經(jīng)驗數(shù)據(jù)的自動擬合，得到先驗參數(shù)，據(jù)此實現(xiàn)對新數(shù)據(jù)的自動處理。深度學(xué)習(xí)方法是一種典型的面向?qū)ο蠓椒?，能夠針對具體的數(shù)據(jù)目標(biāo)進(jìn)行優(yōu)化，具有較大的應(yīng)用潛力。近年來，有不少學(xué)者利用深度學(xué)習(xí)方法進(jìn)行了影像局部描述符提取的研究。其中，文獻(xiàn)[12]利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了窄基線下的影像立體匹配研究；文獻(xiàn)[13]研究了多種神經(jīng)網(wǎng)絡(luò)模型在影像塊匹配中的性能；文獻(xiàn)[14]則設(shè)計了一種MatchNet模型，進(jìn)行影像特征描述符的提取與匹配。然而，這些研究多是面向較為雜亂的近景影像處理問題，對衛(wèi)星影像中的匹配問題卻少有涉及。

傳統(tǒng)的面向結(jié)構(gòu)的影像匹配算法并不能很好地處理異源、多時相及多分辨率衛(wèi)星影像間的匹配問題。衛(wèi)星影像相對近景影像，影像目標(biāo)相對較為單一，內(nèi)容變化相對簡單。本文試圖通過深度學(xué)習(xí)方法，將近年來發(fā)展較快的神經(jīng)網(wǎng)絡(luò)技術(shù)運用到衛(wèi)星影像特征匹配中，自動學(xué)習(xí)影像間的匹配模式，實現(xiàn)一種面向?qū)ο蟮男l(wèi)星影像間自動匹配流程，得到更為豐富和更高準(zhǔn)確率的匹配點對。

1 影像特征點匹配算法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

早期神經(jīng)網(wǎng)絡(luò)也稱為多層感知機(jī)[15]，在層內(nèi)使用激勵函數(shù)進(jìn)行響應(yīng)，層間使用全連接進(jìn)行數(shù)據(jù)傳遞，訓(xùn)練中使用反向傳播(back propagation，BP)算法[16]進(jìn)行學(xué)習(xí)，如圖1所示。假設(shè)P={p1,p2,…,pn}為層輸入，Q={q1,q2,…,qm}為層輸出，則在全連接神經(jīng)網(wǎng)絡(luò)中對于第i個輸出qi，其計算為

(1)

式中，W={w1,w2,…,wn}為權(quán)重向量，b為偏差值，f(x)為激勵函數(shù)。

然而，由式(1)及圖1可以看出，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷增加，待訓(xùn)練的網(wǎng)絡(luò)參數(shù)急劇增長，網(wǎng)絡(luò)參數(shù)求解越發(fā)困難。針對這一問題，可采用“卷積核”簡化神經(jīng)網(wǎng)絡(luò)，從而極大縮減待求參數(shù)，進(jìn)一步提高訓(xùn)練過程的魯棒性，如圖2所示。對于二維離散影像I(x,y)，對其利用卷積核f(s,t)進(jìn)行操作，可得到新影像I′(x,y)，計算式如下

(2)

在卷積神經(jīng)網(wǎng)絡(luò)中，利用式(2)代替式(1)中的WTP項，從而可減少待求參數(shù)數(shù)量，增加整體網(wǎng)絡(luò)的穩(wěn)健性。

圖1 典型全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Typical fully connected neural network structure

1.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的影像匹配模型

提升卷積神經(jīng)網(wǎng)絡(luò)處理性能的方法之一是增加網(wǎng)絡(luò)層數(shù)，形成深度卷積神經(jīng)網(wǎng)絡(luò)，已有不少學(xué)者對此進(jìn)行了研究，取得了一些研究成果[17-18]。然而，現(xiàn)有的研究多是針對近景影像，且目標(biāo)多是影像分類或模式識別，對于衛(wèi)星影像間的匹配問題少有研究。本文在已有的用于影像分類的神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，通過模型優(yōu)化，使新的神經(jīng)網(wǎng)絡(luò)模型更加適用于衛(wèi)星影像匹配，從而實現(xiàn)一種面向?qū)ο蟮挠跋衿ヅ淠Ｐ汀?/p>

圖2 典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Typical convolution neural network structure

1.2.1 兩通道深度卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)意義的影像分類神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練分為兩部分輸入：一是影像數(shù)據(jù)，二是影像對應(yīng)的標(biāo)簽數(shù)據(jù)。前者提供了神經(jīng)網(wǎng)絡(luò)的實際輸入值，后者提供了神經(jīng)網(wǎng)絡(luò)的目標(biāo)輸出值。前者經(jīng)過前饋網(wǎng)絡(luò)計算標(biāo)簽輸出值，后者結(jié)合標(biāo)簽輸出值經(jīng)過后饋網(wǎng)絡(luò)調(diào)整網(wǎng)絡(luò)參數(shù)值，從而實現(xiàn)整體神經(jīng)網(wǎng)絡(luò)的不斷迭代優(yōu)化。衛(wèi)星影像特征點的匹配，實質(zhì)是進(jìn)行特征點對局部影像灰度的分析比較，從而判斷是否為同名點對。因此，可將待比較的特征點對局部影像看作為兩通道影像(彩色影像可看為六通道，原理與兩通道相同，下文不再單獨論述)，作為神經(jīng)網(wǎng)絡(luò)的影像輸入值。其中兩個通道值分別對應(yīng)兩個待匹配點的局部灰度值。對應(yīng)的影像數(shù)據(jù)標(biāo)簽可分為兩類：一類是正確同名點對局部影像合成的兩通道影像，另一類是錯誤同名點對局部影像合成的兩通道影像。由此，衛(wèi)星影像的匹配問題可轉(zhuǎn)換為兩通道影像的分類問題。

在文獻(xiàn)[13]研究成果的基礎(chǔ)上，本文設(shè)計了兩通道深度卷積神經(jīng)網(wǎng)絡(luò)(2 channel deep convolution neural network，2chDCNN)，如圖3所示。2chDCNN輸入數(shù)據(jù)為待匹配點對局部影像合成的兩通道影像，輸出數(shù)據(jù)為1維標(biāo)量。首先，進(jìn)行4次卷積和ReLu操作；然后，進(jìn)行MaxPooling操作；隨后，再進(jìn)行3次卷積和ReLu操作；最后，進(jìn)行扁平化與兩次全連接操作。兩通道深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建簡單、易于訓(xùn)練，能夠自動學(xué)習(xí)衛(wèi)星影像間的匹配模式，實現(xiàn)了面向?qū)ο蟮钠ヅ溥^程。但其輸入局部影像塊為固定大小，在衛(wèi)星影像尺度學(xué)習(xí)方面有一定缺陷，還需進(jìn)一步優(yōu)化。

圖3 兩通道深度卷積網(wǎng)絡(luò)Fig.3 2 channel deep convolution neural network

1.2.2 優(yōu)化的兩通道深度卷積神經(jīng)網(wǎng)絡(luò)

結(jié)合傳統(tǒng)數(shù)字?jǐn)z影測量中特征描述符的提取過程，分析傳統(tǒng)特征描述符的抗尺度變換特性，本文在兩通道深度卷積神經(jīng)網(wǎng)絡(luò)前端，加入空間尺度卷積層，以加強整體網(wǎng)絡(luò)的抗尺度特性?？紤]到sift特征提取過程中，尺度空間是保證sift特征具有良好抗尺度變換特性的重要因素之一。因此，可對輸入影像進(jìn)行金字塔影像生成處理，并加入兩層卷積層用于模擬整體尺度空間的生成過程。為保證隨后處理過程的簡潔，將金字塔影像復(fù)制擴(kuò)展到原始影像維度，如圖4所示。這樣兩通道影像經(jīng)過金字塔處理變?yōu)榱ǖ烙跋瘢?jīng)過空間卷積層處理變?yōu)槌叨忍卣饔跋?，再進(jìn)行2chDCNN中的深度卷積神經(jīng)網(wǎng)絡(luò)處理。在處理過程中，變換后的六通道影像對應(yīng)標(biāo)簽依然為原始標(biāo)簽值。

圖5即為設(shè)計的基于空間尺度的兩通道深度卷積神經(jīng)網(wǎng)絡(luò)(based-spatial-scale 2 channel deep convolution neural network，BSS-2chDCNN)。由于在2chDCNN網(wǎng)絡(luò)前端加入了空間尺度卷積層，使其能更好地學(xué)習(xí)局部影像間的尺度模式，增加了整體模型的魯棒性。

圖4 神經(jīng)網(wǎng)絡(luò)中影像金字塔過程Fig.4 Image pyramid process in neural network

圖5 基于空間尺度的兩通道深度卷積網(wǎng)絡(luò)Fig.5 Based-spatial-scale 2 channel deep convolution neural network

1.3 基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配

考慮到之前論述的深度卷積神經(jīng)網(wǎng)絡(luò)模型與衛(wèi)星影像的特殊性，設(shè)計如下的衛(wèi)星影像匹配流程：①特征點檢測；②基于衛(wèi)星輔助參數(shù)的特征點對預(yù)匹配；③基于神經(jīng)網(wǎng)絡(luò)的局部影像模式匹配。具體匹配流程如圖6所示。

圖6 基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配流程Fig.6 Satellite image matching process based on deep convolution neural network

上述流程中，步驟①中特征點檢測可采用傳統(tǒng)的Harris角點檢測算子等方法進(jìn)行實現(xiàn)；步驟②中特征點對預(yù)匹配是指利用衛(wèi)星影像概率地理坐標(biāo)信息進(jìn)行匹配點對范圍約束，從而縮短整體匹配時間；步驟③中采用深度卷積神經(jīng)網(wǎng)絡(luò)對約束范圍內(nèi)的匹配點對進(jìn)行遍歷匹配判斷，對于每一點取概率得分最高且大于閾值者為最佳匹配點。

2 試驗及結(jié)果分析

試驗首先著重對深度卷積神經(jīng)網(wǎng)絡(luò)模型匹配的可行性進(jìn)行分析，然后進(jìn)行實際衛(wèi)星影像的匹配試驗，并設(shè)計了與10種傳統(tǒng)衛(wèi)星影像匹配方法的對比試驗。試驗硬件平臺采用Intel i7 CPU、GTX 980M GPU以及16G內(nèi)存配置，采用Torch7[19]、MXNet(arXiv:1410.0759,2014)及英偉達(dá)cuDNN(arXiv：1107.2490,2011)實現(xiàn)具體深度卷積神經(jīng)網(wǎng)絡(luò)匹配流程。

2.1 兩通道深度卷積神經(jīng)網(wǎng)絡(luò)匹配試驗

試驗采用兩組數(shù)據(jù)，具體參數(shù)及部分影像截圖如表1及圖7所示。GFG數(shù)據(jù)集中，谷歌影像為高分辨率正射拼接影像，高分四號衛(wèi)星影像為較低分辨率的原始傾斜影像。由圖7可以看出，谷歌及高分四號衛(wèi)星影像由于分辨率及影像獲取環(huán)境的不同，同名特征點對相同大小局部區(qū)域的影像灰度特征差別較大，采用傳統(tǒng)匹配算法進(jìn)行影像匹配難度較大。由于使用的影像具有不同的空間分辨率，GFG數(shù)據(jù)集可以較好地驗證本文算法提出的空間尺度卷積層的效用。THD數(shù)據(jù)集為天繪衛(wèi)星三線陣相機(jī)拍攝的影像，可用于進(jìn)一步驗證本文提出模型的有效性。

表1 試驗數(shù)據(jù)信息介紹

圖7 試驗數(shù)據(jù)部分示意Fig.7 Display of experimental data

試驗中提取局部影像塊的尺寸為32×32像素，網(wǎng)絡(luò)訓(xùn)練最大迭代次數(shù)設(shè)置為100次，訓(xùn)練塊大小設(shè)置為256，采用ASGD(average stochastic gradient descent)方法[22]進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化，學(xué)習(xí)率設(shè)置為0.1，權(quán)重下降值設(shè)置為0.000 5。

試驗中采用TPR(true positive rate)、FPR95(false positive rate at 95% recall)與ROC(receiver operating characteristic)曲線進(jìn)行模型性能的評估。其中，TPR表征的是模型測試的正確率；FPR95表征的是模型在召回率為95%情況下的錯判率(false positive rate，F(xiàn)PR)；ROC曲線橫軸為FPR值，縱軸為對應(yīng)TPR值[21-22]。其中，TPR與FPR的計算公式如下所示

(3)

(4)

圖8 GFG訓(xùn)練集TPR統(tǒng)計Fig.8 TPR results of GFG training set

由圖8可以看出：利用GFG數(shù)據(jù)集進(jìn)行訓(xùn)練時，優(yōu)化的BSS-2chDCNN模型能夠在迭代計算13次后就達(dá)到99%的訓(xùn)練集正確率，而2chDCNN模型則要迭代計算74次后才能達(dá)到99%的訓(xùn)練集正確率。這說明優(yōu)化模型中空間尺度卷積層發(fā)揮了積極效用，能夠迅速地學(xué)習(xí)影像匹配模式中的尺度因子，從而極大地減少了模型迭代訓(xùn)練次數(shù)。由圖8可以看出利用GFG數(shù)據(jù)集進(jìn)行測試時，優(yōu)化的BSS-2chDCNN模型相對2chDCNN模型具有較低的FPR95值以及較好的ROC曲線。由此也說明了BSS-2chDCNN模型相對2chDCNN模型具有較好的穩(wěn)健性。

圖9 GFG測試集ROC曲線統(tǒng)計Fig.9 ROC results of GFG test set

利用THD數(shù)據(jù)集進(jìn)一步測試BSS-2chDCNN模型，部分計算結(jié)果如表2所示。

表2 THD數(shù)據(jù)集試驗結(jié)果統(tǒng)計

由表2可以看出，本文設(shè)計的BSS-2chDCNN模型能夠較好地處理THD數(shù)據(jù)集影像，具有較好的穩(wěn)健性。這進(jìn)一步驗證了利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行衛(wèi)星影像匹配的可行性。

2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配試驗

采用某區(qū)域高分四號衛(wèi)星影像與谷歌衛(wèi)星影像數(shù)據(jù)進(jìn)行試驗，如圖10所示。高分四號衛(wèi)星影像大小為1625×1625像素，分辨率約為70 m；谷歌衛(wèi)星影像大小為1855×1855像素，分辨率約為50 m。試驗數(shù)據(jù)為典型的異源、多時相、多分辨率影像，利用其進(jìn)行對比試驗，能夠在一定程度上檢測本文算法的性能。

試驗設(shè)計了與多種常用影像匹配方法的對比，包括SIFT特征提取與描述方法[5]、SURF特征提取與描述方法[7]、KAZE特征提取與描述方法[23]、AKAZE特征提取與描述方法[24]、ORB特征提取與描述方法[25]、BRISK特征提取與描述方法[26]、FAST特征提取方法[27]、AGAST特征提取方法[28]、Harris特征提取方法[29]、Shi-Tomasi特征提取方法[30]等。具體對比試驗方法設(shè)計如表3所示。

圖10 匹配對比試驗影像數(shù)據(jù)示意Fig.10 Image data for matching contrast experiment

試驗序號特征檢測方法描述符生成方法描述符匹配方法1SIFTSIFTANN2SURFSURFANN3KAZEKAZEBF4AKAZEAKAZEBF5ORBORBBF-Hamming6BRISKBRISKBF7FASTSIFTANN8AGASTSIFTANN9HarrisSIFTANN10Shi-TomasiSIFTANN

描述符匹配方法中，SIFT與SURF描述符采用快速近似最近鄰(approximate nearest neighbor，ANN)方法進(jìn)行搜索，利用歐氏距離進(jìn)行相似性判斷；KAZE、AKAZE與BRISK描述符采用暴力搜索(brute force，BF)方法進(jìn)行搜索，利用歐氏距離進(jìn)行相似性判斷；ORB描述符采用暴力搜索方法進(jìn)行搜索，利用漢明距離進(jìn)行相似性判斷。在設(shè)計的10種試驗中，為了便于進(jìn)行定量對比，基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配試驗，采用對應(yīng)特征檢測算法進(jìn)行衛(wèi)星影像特征點的檢測，設(shè)置尋找待匹配點的范圍大小為51×51像素，得分最低閾值設(shè)置為0.9，深度卷積神經(jīng)網(wǎng)絡(luò)采用BSS-2chDCNN模型，并利用GFG數(shù)據(jù)集進(jìn)行預(yù)先訓(xùn)練。最終試驗結(jié)果如表4及圖11至圖20所示。

圖11至圖20中，每張小圖上半部分為谷歌衛(wèi)星影像，下半部分為高分四號衛(wèi)星影像；圖11—20中(a)圖為檢測到的特征點分布示意圖，藍(lán)色點為檢測到的特征點，對應(yīng)表4中的谷歌影像提取特征點數(shù)與高分影像提取特征點數(shù)兩欄；圖11—20中(b)圖為傳統(tǒng)匹配方法得到的匹配點對結(jié)果示意圖，青色線為匹配特征點對間的連線，對應(yīng)表4中傳統(tǒng)方法匹配數(shù)一欄；圖11—20中(c)圖為基于BSS-2chDCNN方法得到的匹配點對結(jié)果示意圖，青色線為匹配特征點對間的連線，對應(yīng)表4中基于BSS-2chDCNN方法匹配數(shù)一欄?？梢钥闯?，在相同特征檢測點的情況下，本文方法能夠得到更為豐富的匹配結(jié)果。

表4 匹配結(jié)果統(tǒng)計信息

圖12 SURF對比試驗結(jié)果Fig.12 Matching results based on SURF

圖13 KAZE對比試驗結(jié)果Fig.13 Matching results based on KAZE

圖14 AKAZE對比試驗結(jié)果Fig.14 Matching results based on AKAZE

圖15 ORB對比試驗結(jié)果Fig.15 Matching results based on ORB

圖17 FAST+sift對比試驗結(jié)果Fig.17 Matching results based on FAST+sift

利用傳統(tǒng)方法和本文方法分別進(jìn)行匹配試驗后，為了進(jìn)一步對匹配結(jié)果進(jìn)行分析，對其進(jìn)行RANSAC(random sample consensus)提純[11]并統(tǒng)計相應(yīng)正確率，結(jié)果如表4。需要說明的是，試驗中是利用基本矩陣模型進(jìn)行的RANSAC提純操作，誤匹配點對被全部剔除，但同時一些正確匹配點對也會被當(dāng)作誤匹配點對剔除。由表4可以看出，對于本文試驗數(shù)據(jù)而言，對比試驗中的10種傳統(tǒng)特征匹配流程未能得到或僅得到較少的匹配點對，而本文提出的方法則能夠提出較為豐富且準(zhǔn)確率較高的匹配點對，最終匹配提純結(jié)果的正確率在90%以上。這進(jìn)一步說明本文設(shè)計的基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配方法的正確性和可行性。

圖18 Agast+sift對比試驗結(jié)果Fig.18 Matching results based on Agast+sift

圖19 Harris+sift對比試驗結(jié)果Fig.19 Matching results based on Harris+sift

圖20 Shi-Tomasi+sift對比試驗結(jié)果Fig.20 Matching results based on Shi-Tomasi+sift

3 結(jié)束語

影像匹配是數(shù)字?jǐn)z影測量與計算機(jī)視覺中重要的研究課題，如何高效、穩(wěn)健地進(jìn)行基于特征的影像匹配是眾多學(xué)者的研究方向。本文結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)思想，從另一個角度對這一經(jīng)典問題進(jìn)行了研究，實現(xiàn)了一種面向?qū)ο蟮男l(wèi)星影像匹配方法。本文設(shè)計了一種兩通道深度卷積神經(jīng)網(wǎng)絡(luò)模型，并在此基礎(chǔ)上進(jìn)行優(yōu)化，設(shè)計提出一種空間尺度卷積層結(jié)構(gòu)，用于解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練中輸入數(shù)據(jù)的多尺度問題。在此基礎(chǔ)上，設(shè)計了基于深度卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星影像匹配流程，實現(xiàn)了面向?qū)ο蟮男l(wèi)星影像匹配。試驗表明，本文提出的兩通道深度卷積神經(jīng)網(wǎng)絡(luò)模型及其優(yōu)化網(wǎng)絡(luò)模型，能夠較好地進(jìn)行衛(wèi)星影像匹配模式的學(xué)習(xí)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的影像匹配能夠較好地進(jìn)行衛(wèi)星影像間的高效、穩(wěn)健匹配。

參考文獻(xiàn)：

[1] 李德仁. 展望大數(shù)據(jù)時代的地球空間信息學(xué)[J]. 測繪學(xué)報, 2016, 45(4): 379-384. DOI: 10.11947/j.AGCS.2016.20160057.

LI Deren. Towards Geo-spatial Information Science in Big Data Era[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 379-384. DOI: 10.11947/j.AGCS.2016.20160057.

[2] 李德仁, 張良培, 夏桂松. 遙感大數(shù)據(jù)自動分析與數(shù)據(jù)挖掘[J]. 測繪學(xué)報, 2014, 43(12): 1211-1216. DOI: 10.13485/j.cnki.11-2089.2014.0187.

LI Deren, ZHANG Liangpei, XIA Guisong. Automatic Analysis and Mining of Remote Sensing Big Data[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1211-1216. DOI: 10.13485/j.cnki.11-2089.2014.0187.

[3] 嚴(yán)國萍, 何俊峰. 高斯-拉普拉斯邊緣檢測算子的擴(kuò)展研究[J]. 華中科技大學(xué)學(xué)報(自然科學(xué)版), 2006, 34(10): 21-23.

YAN Guoping, HE Junfeng. Extended Laplacian of Gaussian Operator for Edge Detection[J]. Journal of Huazhong University of Science and Technology (Nature Science Edition), 2006, 34(10): 21-23.

[4] 趙萬金, 龔聲蓉, 劉純平, 等. 一種自適應(yīng)的Harris角點檢測算法[J]. 計算機(jī)工程, 2008, 34(10): 212-214, 217.

ZHAO Wanjin, GONG Shengrong, LIU Chunping, et al. Adaptive Harris Corner Detection Algorithm[J]. Computer Engineering, 2008, 34(10): 212-214, 217.

[5] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] KE Yan, SUKTHANKAR R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors[C]∥ Proceedings of the IEEE Computer Society Computer Vision and Pattern Recognition. Washington, DC: IEEE, 2004: 506-513.

[7] BAY H, TUYTELAARS T, VAN GOOL L. SURF: Speeded up Robust Features[M]∥LEONARDIS A, BISCHOF H, PINZ A. Computer Vision-ECCV 2006. Berlin: Springer, 2006: 404-417.

[8] CALONDER M, LEPETIT V, STRECHA C, et al. BRIEF: Binary Robust Independent Elementary Features[M]∥DANIILIDIS K, MARAGOS P, PARAGIOS N. Computer Vision-ECCV 2010. Berlin: Springer, 2010: 778-792.

[9] CALONDER M, LEPETIT V, OZUYSAL M, et al. BRIEF: Computing a Local Binary Descriptor Very Fast[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1281-1298.

[10] 許允喜, 陳方. 局部圖像描述符最新研究進(jìn)展[J]. 中國圖象圖形學(xué)報, 2015, 20(9): 1133-1150.

XU Yunxi, CHEN Fang. Recent Advances in Local Image Descriptor[J]. Journal of Image and Graphics, 2015, 20(9): 1133-1150.

[11] 董楊, 范大昭, 紀(jì)松, 等. 主成分分析的匹配點對提純方法[J]. 測繪學(xué)報, 2017, 46(2): 228-236. DOI: 10.11947/j.AGCS.2017.20160250.

DONG Yang, FAN Dazhao, JI Song, et al. The Purification Method of Matching Points Based on Principal Component Analysis[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(2): 228-236. DOI: 10.11947/j.AGCS.2017.20160250.

[12] ?BONTAR J, LECUN Y. Computing the Stereo Matching Cost with a Convolutional Neural Network[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 1592-1599.

[13] ZAGORUYKO S, KOMODAKIS N. Learning to Compare Image Patches via Convolutional Neural Networks[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 4353-4361.

[14] HAN Xufeng, LEUNG T, JIA Yangqing, et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 3279-3286.

[15] PAL S K, MITRA S. Multilayer Perceptron, Fuzzy Sets, and Classification[J]. IEEE Transactions on Neural Networks, 1992, 3(5): 683-697.

[16] TRAPPEY A J C, HSU F C, TRAPPEY C V, et al. Development of a Patent Document Classification and Search Platform Using a Back-propagation Network[J]. Expert Systems with Applications, 2006, 31(4): 755-765.

[17] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going Deeper with Convolutions[C]∥IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015: 1-9.

[18] ?BONTAR J, LECUN Y. Stereo Matching by Training A Convolutional Neural Network to Compare Image Patches[J]. The Journal of Machine Learning Research, 2016, 17(1): 2287-2318.

[19] COLLOBERT R, KAVUKCUOGLU K, FARABET C. Torch7: A Matlab-like Environment for Machine Learning[C]∥Neural Information Processing Systems Workshop. [s.l]: BigLearn, 2011.

[20] CHEN Tianqi, LI Mu, LI Yutian, et al. MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems[R].Nanjin：Neural Information Processing Systems, Workshop on Machine Learning Systems, 2015.

[21] BROWN M, HUA Gang, WINDER S. Discriminative Learning of Local Image Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 43-57.

[22] 杜玉龍, 李建增, 張巖, 等. 基于深度交叉CNN和免交互GrabCut的顯著性檢測[J]. 計算機(jī)工程與應(yīng)用, 2017, 53(3): 32-40.

DU Yulong, LI Jianzeng, ZHANG Yan, et al. Saliency Detection Based on Deep Cross CNN and Non-interaction GrabCut[J]. Computer Engineering and Applications, 2017, 53(3): 32-40.

[23] ALCANTARILLA P F, BARTOLI A, DAVISON A J. KAZE Features[M]∥FITZGIBBON A, LAZEBNIK S, PERONA P, et al. Computer Vision-ECCV 2012. Berlin, Heidelberg: Springer, 2012.

[24] ALCANTARILLA P F, NUEVO J, BARTOLI A. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥Proceedings British Machine Vision Conference 2013. Bristol, UK: British Machine Vision Conference, 2013.

[25] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: An efficient Alternative to SIFT or SURF[C]∥IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012.

[26] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]∥IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2012.

[27] ROSTEN E, DRUMMOND T. Machine Learning for High-Speed Corner Detection[M]∥LEONARDIS A, BISCHOF H, PINZ A. Computer Vision-ECCV 2006. Berlin, Heidelberg: Springer, 2006.

[28] MAIR E, HAGER G D, BURSCHKA D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[M]∥DANIILIDIS K, MARAGOS P, PARAGIOS N. Computer Vision-ECCV 2010. Berlin: Springer, 2010.

[29] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference. Manchester: Springer , 1988: 147-151.

[30] SHI Jianbo, TOMASI. Good Features to Track[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle, WA: IEEE, 1994.