低空遙感影像全自動(dòng)快速匹配方法研究

何海清， 劉 波， 譚術(shù)升

(東華理工大學(xué)測(cè)繪工程學(xué)院，江西 南昌 330013)

以無(wú)人機(jī)作為平臺(tái)的低空數(shù)字?jǐn)z影測(cè)量具有高分辨率、高時(shí)效性、高機(jī)動(dòng)性、低成本等優(yōu)勢(shì)，是衛(wèi)星遙感和傳統(tǒng)有人機(jī)航空攝影測(cè)量的重要補(bǔ)充，對(duì)于資源環(huán)境調(diào)查、城市規(guī)劃、災(zāi)害應(yīng)急監(jiān)測(cè)等具有很強(qiáng)的實(shí)用性。然而，無(wú)人機(jī)低空數(shù)字?jǐn)z影測(cè)量也存在一些技術(shù)難點(diǎn)亟待解決。無(wú)人機(jī)飛行過(guò)程中易受氣流等外力的影響，而且由于其自身載荷等限制，無(wú)法搭載一些高精度的定位定姿設(shè)備，難于準(zhǔn)確記錄瞬間攝影姿態(tài)，給內(nèi)業(yè)數(shù)據(jù)處理帶來(lái)較大負(fù)擔(dān)。同時(shí)，無(wú)人機(jī)獲取的影像具有像幅數(shù)多、數(shù)據(jù)量大等特點(diǎn)。因此，高自動(dòng)化內(nèi)業(yè)影像數(shù)據(jù)快速處理對(duì)于發(fā)揮無(wú)人機(jī)優(yōu)勢(shì)有著重要的意義。其中，無(wú)人機(jī)影像匹配的精確度、穩(wěn)健性和效率直接關(guān)系到無(wú)人機(jī)低空數(shù)字?jǐn)z影測(cè)量自動(dòng)化程度。迄今為止，國(guó)內(nèi)外學(xué)者對(duì)影像匹配進(jìn)行了廣泛和深入的研究，最具代表性的有基于灰度的匹配算法、最小二乘影像匹配、SIFT 匹配算法等。其中，SIFT 算法是一種穩(wěn)健性很高的匹配算法，能夠提供穩(wěn)定的尺度、旋轉(zhuǎn)及平移不變特征(王佩軍等，2010)，對(duì)于無(wú)人機(jī)影像匹配研究具有代表性的是利用SIFT 算法進(jìn)行無(wú)人機(jī)影像自動(dòng)特征提取與匹配(Lingua et al.，2009)、利用SIFT 算法進(jìn)行無(wú)人機(jī)攝影測(cè)量影像匹配研究(Cesetti et al.，2011)、粗匹配加分塊SIFT 無(wú)人機(jī)影像匹配方法(何孝瑩等，2011)等。目前，大多數(shù)無(wú)人機(jī)影像匹配算法難兼顧精確性及高效性，對(duì)于時(shí)效性要求較高的無(wú)人機(jī)低空攝影測(cè)量仍顯不足。

本文針對(duì)SIFT 匹配在無(wú)人機(jī)影像中匹配效率較低等問(wèn)題，利用Harris 提取無(wú)人機(jī)影像角點(diǎn)，簡(jiǎn)化SIFT 描述子，并記錄每一角點(diǎn)描述子Freeman 形狀鏈與各方向梯度累加值，根據(jù)累加值大小進(jìn)行排序，比對(duì)像對(duì)間累加值相近的一定范圍內(nèi)的角點(diǎn)，具有Freeman 鏈碼最長(zhǎng)公共子串的對(duì)應(yīng)角點(diǎn)視為初始匹配點(diǎn)，然后通過(guò)RANSAC 剔除粗差，得到精確的匹配點(diǎn)，在精確度和效率方面取得了較好的效果，具有一定的實(shí)用性。

1 角點(diǎn)檢測(cè)算法

為了減少特征點(diǎn)提取計(jì)算量，本文采用簡(jiǎn)單高效、應(yīng)用較為廣泛的Harris 角點(diǎn)檢測(cè)算法(Schmid et al.，2000;晏啟明等，2013)，該算法利用梯度算子計(jì)算像素點(diǎn)在任意方向上的灰度變化，通過(guò)角點(diǎn)響應(yīng)函數(shù)值CRF(Corner Response Function)和閾值確定角點(diǎn)。CRF 表達(dá)式為

式中，k 為常數(shù)項(xiàng)，其取值范圍為0.04 ～0.06，det M為M 矩陣的行列式，traceM 為矩陣M 的跡，M 為

式中，G 表示高斯濾波，Ix、Iy分別表示圖像點(diǎn)x 方向和y 方向上的一階灰度梯度。

2 簡(jiǎn)化SIFT 的描述子匹配策略

Lowe(1999)提出了一種尺度、旋轉(zhuǎn)和平移不變的SIFT(Scale Invariant Feature Transform)特征提取算法，該算法表述角點(diǎn)具有光照和視點(diǎn)變化的不變性，但在特征向量提取和描述子計(jì)算效率較低(王佩軍等，2010;賀亮等，2011)。本文根據(jù)SIFT 算法中特征描述方法，通過(guò)簡(jiǎn)化的描述子對(duì)角點(diǎn)進(jìn)行描述，以梯度累加值與Freeman 描述子形狀鏈碼作為相似性度量，實(shí)現(xiàn)角點(diǎn)粗匹配。然后，通過(guò)RANSAC 算法提純匹配點(diǎn)。

2.1 簡(jiǎn)化SIFT 描述子

為使算子具有旋轉(zhuǎn)不變性，利用鄰域一定范圍內(nèi)像素的梯度大小及方向，確定每個(gè)角點(diǎn)最大梯度方向，像素I(x，y)的梯度m(x，y)和方向θ(x，y)表達(dá)式為

創(chuàng)建角點(diǎn)梯度直方圖，并設(shè)定范圍為0° ～360°，每10°為1 柱，共36個(gè)柱，對(duì)角點(diǎn)鄰域像素梯度進(jìn)行統(tǒng)計(jì)。利用高斯算法對(duì)像素梯度大小進(jìn)行加權(quán)，距離角點(diǎn)越遠(yuǎn)，權(quán)重越小。根據(jù)每一鄰域像素點(diǎn)梯度方向，把梯度加權(quán)值歸入對(duì)應(yīng)直方圖柱內(nèi)。最后，選擇直方圖的峰值代表該角點(diǎn)的主方向。為確保角點(diǎn)旋轉(zhuǎn)不變性，圖像坐標(biāo)軸旋轉(zhuǎn)到角點(diǎn)的主方向。常用的SIFT 描述向量取16 ×16 大小的鄰域窗口，并劃分為16個(gè)4 ×4 子塊，統(tǒng)計(jì)每一子塊8個(gè)梯度方向歸一化的梯度值來(lái)描述特征點(diǎn)，關(guān)鍵點(diǎn)特征向量見(jiàn)圖1。

本文方法仍取常用方法相同的鄰域窗口，但只統(tǒng)計(jì)角點(diǎn)18個(gè)方向上的梯度大小來(lái)描述角點(diǎn)，降低了描述子維數(shù)，從而也降低了描述子的復(fù)雜性，簡(jiǎn)化了描述子計(jì)算過(guò)程，該描述子見(jiàn)圖2。

圖1 關(guān)鍵點(diǎn)特征向量Fig.1 The feature vector of key point

圖2 簡(jiǎn)化的描述子Fig.2 The simplified descriptor

為強(qiáng)化描述子的穩(wěn)健性，在表征簡(jiǎn)化描述子梯度大小和方向的同時(shí)，引入描述子Freeman(Freeman，1961)形狀特征度量的鏈碼來(lái)進(jìn)一步約束匹配，從而使描述子更加完備，以達(dá)到降低SIFT 描述子復(fù)雜度而不失穩(wěn)健性，描述子形狀見(jiàn)圖3。Freeman 形狀編碼規(guī)則見(jiàn)圖4，按逆時(shí)針?lè)较蜻M(jìn)行編碼，360°空間以每45°作為步長(zhǎng)，碼值分別為01234567，簡(jiǎn)化SIFT 描述子編碼規(guī)則為

式中，a 為邊長(zhǎng)矢量方向。見(jiàn)圖5，該角點(diǎn)Freeman形狀鏈碼為31435647506171720。

圖3 描述子外圍形狀Fig.3 The shape of descriptor

圖4 Freeman 編碼規(guī)則Fig.4 Freeman code

采用兩角點(diǎn)Freeman 鏈碼串具有最長(zhǎng)公共子串來(lái)表征兩角點(diǎn)形狀相似性。對(duì)需匹配的其中一幅影像的每個(gè)角點(diǎn)按照其描述子18個(gè)方向的歸一化梯度值之和排序，另一影像中角點(diǎn)搜尋對(duì)應(yīng)匹配影像歸一化梯度值之和相近值的一定區(qū)間(表示梯度范圍閾值)內(nèi)的角點(diǎn)，通過(guò)Freeman 形狀鏈碼來(lái)比對(duì)這些角點(diǎn)來(lái)確定初始同名點(diǎn)，可減少歐式距離等相似性度量的重復(fù)搜索負(fù)擔(dān)，實(shí)現(xiàn)角點(diǎn)粗匹配，對(duì)于同時(shí)滿足Freeman 鏈碼具有最長(zhǎng)公共子串和角點(diǎn)歸一化梯度值最接近的視為初始匹配點(diǎn)。

2.2 RANSAC 剔除粗差

上節(jié)角點(diǎn)初匹配時(shí)，可能存在一些誤匹配點(diǎn)，本文采用隨機(jī)采樣一致性RANSAC(Random Sample Consensus)算法(Fischler et al.，1981)剔除誤匹配點(diǎn)和粗差，實(shí)現(xiàn)角點(diǎn)精匹配。RANSAC 算法假設(shè)一組包含粗差的觀測(cè)量分為內(nèi)點(diǎn)和外點(diǎn)，通過(guò)迭代方式篩選內(nèi)點(diǎn)來(lái)估計(jì)數(shù)學(xué)模型的參數(shù)，實(shí)現(xiàn)剔除不準(zhǔn)確匹配點(diǎn)的方法。

一般情況下，無(wú)人機(jī)低空數(shù)字?jǐn)z影測(cè)量過(guò)程中，影像是通過(guò)焦距固定的相機(jī)來(lái)獲取，以透視投影變換單應(yīng)矩陣作為估計(jì)模型，其變換關(guān)系為

單應(yīng)矩陣中含有8個(gè)未知數(shù)，通過(guò)不存在3 點(diǎn)共線的4 對(duì)匹配點(diǎn)即可解出H。重復(fù)N 次從粗匹配點(diǎn)集中隨機(jī)抽取4 對(duì)粗匹配點(diǎn)，計(jì)算其單應(yīng)矩陣H，設(shè)p 為采樣得到的匹配點(diǎn)為內(nèi)點(diǎn)的概率，pi為每次從粗匹配點(diǎn)集中選取一個(gè)內(nèi)點(diǎn)的概率，采樣次數(shù)N然后，利用矩陣變換每一粗匹配點(diǎn)，并計(jì)算變換后與對(duì)應(yīng)匹配點(diǎn)的歐式距離d 為

式中，(xH，yH)為(x，y)經(jīng)過(guò)單應(yīng)矩陣H 變換后的坐標(biāo)，T 為給定閾值，當(dāng)滿足d ＜T 時(shí)，該粗匹配點(diǎn)為內(nèi)點(diǎn)。最后，N 迭代抽樣后得到的內(nèi)定視為精匹配點(diǎn)。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法在影像匹配效率上的改進(jìn)，采用一條航帶10 幅分辨率為3 744 ×5 616 的無(wú)人機(jī)影像進(jìn)行實(shí)驗(yàn)。

經(jīng)多次實(shí)驗(yàn)，統(tǒng)計(jì)少于12個(gè)方向直方圖的SIFT 描述子誤匹配點(diǎn)較多，匹配結(jié)果不穩(wěn)定，易出現(xiàn)匹配失敗。同時(shí)，實(shí)驗(yàn)表明僅簡(jiǎn)化描述子利用歐式距離作為相似性度量，而未引入Freeman 形狀鏈碼進(jìn)行二度約束，匹配結(jié)果也可能不穩(wěn)定，有可能導(dǎo)致匹配失敗。

為此，實(shí)驗(yàn)通過(guò)比對(duì)角點(diǎn)12 ～36 步長(zhǎng)為1 的各個(gè)方向上匹配方法所耗時(shí)來(lái)尋找最佳統(tǒng)計(jì)直方圖方向數(shù)，實(shí)驗(yàn)表明方向數(shù)越少SIFT 粗匹配時(shí)間越少但誤匹配點(diǎn)越多，且RANSAC 剔除誤匹配點(diǎn)所耗時(shí)間越多;隨著方向數(shù)增多，粗匹配時(shí)間增加但誤匹配點(diǎn)減少，RANSAC 剔除誤匹配點(diǎn)所耗時(shí)間也減少，各方向描述子耗時(shí)統(tǒng)計(jì)及其多項(xiàng)式擬合曲線關(guān)系，見(jiàn)圖6。顯然，統(tǒng)計(jì)18個(gè)方向直方圖的簡(jiǎn)化描述子耗時(shí)最少，其中兩個(gè)像對(duì)角點(diǎn)檢測(cè)及匹配結(jié)果見(jiàn)圖7，在圖7(a)、(b)中匹配點(diǎn)數(shù)分別為87 和126，○標(biāo)示匹配點(diǎn)、連線標(biāo)示對(duì)應(yīng)匹配點(diǎn)。

一條航帶各個(gè)像對(duì)SIFT 與本文改進(jìn)的Harris-SIFT 粗匹配與粗差剔除等各階段在同一硬件環(huán)境下所耗時(shí)間見(jiàn)表1，可見(jiàn)本文改進(jìn)的匹配方法所耗時(shí)僅為SIFT 方法的1/7 倍，大幅提高了影像匹配效率。

4 結(jié)論

圖6 各方向簡(jiǎn)化SIFT 耗時(shí)關(guān)系Fig.6 The relationship of time consuming and simplified SIFT with different orientation

無(wú)人機(jī)低空數(shù)字?jǐn)z影測(cè)量影像全自動(dòng)快速匹配對(duì)于應(yīng)急調(diào)查、應(yīng)急決策等應(yīng)用是一項(xiàng)非常迫切的工作，本文利用Harris 與SIFT 特征點(diǎn)描述子結(jié)合，并引入描述子Freeman 鏈碼表征特征點(diǎn)形狀來(lái)進(jìn)行相似性度量，從而實(shí)現(xiàn)無(wú)人機(jī)影像全自動(dòng)快速匹配。通過(guò)一條航帶的無(wú)人機(jī)影像進(jìn)行匹配實(shí)驗(yàn)，表明本文方法可得到穩(wěn)健的匹配點(diǎn)，且相對(duì)于SIFT 算法可大幅提高無(wú)人機(jī)影像匹配效率，所耗時(shí)間僅為SIFT 匹配的1/7，對(duì)于提高無(wú)人機(jī)影像處理時(shí)效性具有一定的實(shí)用價(jià)值。

圖7 匹配效果Fig.7 The matching results

表1 SIFT 與本文方法匹配所耗時(shí)間統(tǒng)計(jì)Table 1 Time consuming of SIFT and improved SIFT matching s

何孝瑩，岳建偉，張栩然.2011.基于SIFT 算法的無(wú)人機(jī)影像快速匹配［J］.計(jì)算機(jī)工程，37(7):216-218.

賀亮，劉榮，呂開(kāi)云.2011.一種基于種子生長(zhǎng)的匹配算法［J］. 東華理工大學(xué)學(xué)報(bào):自然科學(xué)版，34(4):379-383.

王佩軍，徐亞明.2010.攝影測(cè)量學(xué)［M］.武漢:武漢大學(xué)出版社.

晏啟明，程朋根.2013.CIPS 空三加密技術(shù)與應(yīng)用［J］. 東華理工大學(xué)學(xué)報(bào):自然科學(xué)版，36(2):224-227.

Cesetti A，F(xiàn)rontoni E，Mancini A. 2011. A visual global positioning system for unmanned aerial vehicles used in photogrammetric applications［J］. Journal of Intelligent ＆ Robotic Systems，61(4):157-168.

Fischler M A，Bolles R C. 1981. Random Sample Consensus:A paradigm for model fitting with applications to image analysis and automated cartography［J］. Communications of the ACM，24(6):381-395.

Freeman H. 1961. On the encoding of arbitrary geometric configurations［J］. IRE Transactions on Electronic Computers，10:260-268.

Lingua A，Marenchino D，Nex F. 2009. Performance analysis of the SIFT operator for automatic feature extraction and matching in photogrammetric applications［J］. Sensors，9(5):3745-3766.

Lowe D G. 1999. Object recognition from local scale-invariant features［C］. Proceedings of the IEEE International Conference on Computer Vision，1150-1157.

Schmid C，Mohr R，Bauckhage C. 2000. Evaluation of interesting point detectors［J］. International Journal of Computer Vision，37(2):151-172.