基于SIFT的飛行器圖像自動拼接處理系統(tǒng)的研究與實現(xiàn)

王 欣

(武昌工學院信息工程學院，湖北 武漢 430065)

0 引言

衛(wèi)星技術(shù)與應(yīng)用不斷發(fā)展，飛行器因其重量輕、體積小、成本低、研制周期短、發(fā)射方式靈活且快速等特點[1]，成為當前主要的研究熱點之一。但受到CCD大小和設(shè)備成本等因素的限制，一般難以得到物體的全景圖像。解決這一問題的有效途徑就是采用多CCD拍攝的圖像，然后利用圖像間的冗余信息把拍攝的圖像拼接融合起來[2]。但是目前飛行器原始數(shù)據(jù)的圖像拼接存在兩方面的問題：一是圖像拼接之前需先對原始數(shù)據(jù)進行預(yù)處理，拼接過程又較復(fù)雜，增加了整個流程實現(xiàn)自動化的難度；二是飛行器獲取的影像重疊度低且缺少精確的內(nèi)參數(shù)，而待拼接圖像的數(shù)據(jù)量較大，容易產(chǎn)生較大的誤差，這些對拼接處理提出了更高的要求。因此設(shè)計一個自動處理系統(tǒng)，實現(xiàn)對飛行器原始數(shù)據(jù)的圖像拼接成為當務(wù)之急。

圖像拼接是整個數(shù)據(jù)處理最重要的環(huán)節(jié)，其直接決定數(shù)據(jù)處理結(jié)果的精度。目前常用的匹配算法可分為基于區(qū)域的和基于特征的兩大類?；趨^(qū)域的匹配算法根據(jù)兩幅圖像重疊區(qū)域之間的相關(guān)性進行匹配，缺點是未考慮圖像旋轉(zhuǎn)、尺度縮放等造成的影響。而基于特征的匹配算法是提取圖像的特征，如邊界、輪廓和拐點等特征進行匹配，在處理不同特征的圖像以及圖像間發(fā)生復(fù)雜變化的情況下更具穩(wěn)定性。目前基于SIFT特征的匹配算法[3]在圖像匹配上有獨特的優(yōu)勢，本文采用此算法，依次完成四片CCD的圖像拼接，得到全景圖像。

1 SIFT特征匹配算法

基于SIFT（尺度不變特征變換）描述子的圖像匹配算法，是David G.Lowe在2004年提出的，能處理具有不同特征的圖像，并適用于圖像間變形復(fù)雜的情況，分三步實現(xiàn)：①SIFT特征的生成；②特征點匹配；③基于Ransac算法的匹配矯正[4-6]。

1.1 SIFT特征的生成[7]

為使圖像達到尺度不變性，需在不同尺度下提取圖像特征。Koendetink[6]證明了高斯核是實現(xiàn)尺度變換的惟一變換核，因此利用高斯核對圖像做尺度變換。

高斯核G(x,y,σ)定義如式⑴所示，其中（x,y）是空間坐標，σ表示尺度空間因子：

一個圖像I(x,y)，其在不同尺度下的尺度空間L（x,y,σ)定義為原始圖像與高斯核G(x,y,σ)的卷積運算，如式⑵所示。

為獲取圖像在不同尺度空間下的穩(wěn)定特征點，根據(jù)式⑵來建立高斯金字塔。然后建立DOG高斯金字塔，DOG金字塔是相鄰兩尺度空間函數(shù)之差，表達式定義如式⑶，可通過高斯金字塔同一階上相鄰兩層的尺度空間函數(shù)相減得到，其第一層的尺度因子與高斯金字塔的第一層保持一致，如圖1(a)所示。

接著在DOG金字塔的基礎(chǔ)上進行極值檢測[4]。為進行DOG空間的極值點檢測，需將DOG空間中的每個像素點與它26個相鄰像素點進行比較（同層的8個，上層和下層各9個像素點）。若比較后發(fā)現(xiàn)該檢測點為極值點，則該點成為圖像在該尺度下的一個候選特征點，如圖1(b)所示。

圖1 建立尺度空間、檢測關(guān)鍵點

由于DOG值對噪聲和邊緣較敏感，檢測到的局部極值點還要經(jīng)過去除一些低對比度和不穩(wěn)定的候選特征點及邊緣點才能精確定位為特征點。然后利用特征點鄰域像素的梯度方向分布特征來確定特征點的方向，使算子具備旋轉(zhuǎn)不變形?？衫檬舰扰c式⑸計算，兩式分別表示(x,y)處的梯度值和方向，L是每一個特征點各自所在的空間尺度函數(shù)。

通過以上步驟，圖像的特征點檢測完成，每個特征點包含位置、對應(yīng)尺度和方向三個信息。最后需生成特征向量描述子。確定特征點的鄰域范圍的大小對于進一步描述特征點的信息至關(guān)重要。通常以特征點為中心取16*16的鄰域范圍，如圖2(a)所示，4*4個子區(qū)域形成一個種子點，每個種子點有八個方向的向量信息。這樣對于16*16的領(lǐng)域范圍會產(chǎn)生4*4=16個種子點，使得每個關(guān)鍵點的信息量包含在了4*4*8=128維特征向量里[8]，如圖2(b)所示。

圖2 生成SIFT描述子

1.2 特征點匹配

SIFT特征向量的匹配首先應(yīng)進行相似性度量。一般采用的匹配方法有：歐式距離和馬氏距離等。本文采用歐氏距離對特征點進行匹配。在獲取SIFT特征向量后，采用優(yōu)先k-d樹進行優(yōu)先搜索來查找每個特征點的近似最近鄰特征點。在這兩個特征點中，若最低的距離除以次近的距離少于某比例閾值，我們才接受這一對匹配。當這個比例閾值降低，SIFT匹配點數(shù)目減少，但也增加了穩(wěn)定性。

1.3 基于Ransac算法的匹配矯正

通過相似性度量得到的匹配對，不可避免會存在一些錯誤匹配，需采用Ransac方法去除錯配。Ransac方法是一種迭代的方法，具體思路是：首先在基準圖和目標圖中選取3對匹配點對，通過這三對點得到一個仿射變換矩陣，求基準圖中的點通過變換矩陣得到的點與目標圖中的對應(yīng)點的誤差，若該誤差小于某個閾值，則判定該點為內(nèi)點；重復(fù)這個步驟，找到內(nèi)點最多的一次變換，并將該次變換得到的匹配點對作為新的匹配點集合，進行一輪新的迭代，直到該次迭代所找到的最大內(nèi)點數(shù)目與此次匹配點集合中的點數(shù)目一致時結(jié)束迭代過程，此時得到的就是去誤配后的匹配點集[9]。

2 飛行器原始數(shù)據(jù)自動拼接處理系統(tǒng)設(shè)計及結(jié)果分析

飛行器共有四片CCD，相鄰兩片CCD的拼接過程基本相同，故以CCD3與CCD4的圖像拼接為例分析飛行器原始數(shù)據(jù)自動拼接處理系統(tǒng)的流程。整個系統(tǒng)大致可分為預(yù)處理、獲取重疊區(qū)域圖像和基于Ransac算法的SIFT特征自動拼接三個部分，如圖3所示。

圖3 自動拼接處理系統(tǒng)流程圖

2.1 原始數(shù)據(jù)的預(yù)處理

針對飛行器的原始數(shù)據(jù)，在拼接之前，需先對圖像進行預(yù)處理。本文的預(yù)處理包含解同步、去格式兩步。其中，幀同步負責從衛(wèi)星下傳的基帶數(shù)據(jù)流提取幀同步字并進行成幀處理，可用硬件和軟件兩種方式實現(xiàn)。軟件方式具有開發(fā)周期短、成本低、可配置和移植性強的優(yōu)點[10]，本系統(tǒng)采用軟件方式實現(xiàn)幀同步模塊。此外，還需進行數(shù)據(jù)解析，以獲取所需的圖像數(shù)據(jù)和相應(yīng)的輔助參考數(shù)據(jù)。經(jīng)過預(yù)處理，得到飛行器的格式為raw的圖像數(shù)據(jù)。

2.2 重疊區(qū)域圖像的獲取

本文一次處理N行飛行器數(shù)據(jù)，N通常根據(jù)實際需求決定。為方便對格式為raw的原始數(shù)據(jù)做后續(xù)處理，先將其轉(zhuǎn)換為格式為tif的圖像數(shù)據(jù)。并且需先提取兩幅圖像的重疊區(qū)域圖像，來避免在全幅圖像上做特征匹配時引起的誤匹配過多和耗時過長等問題，進一步提高圖像匹配的準確性和速度。飛行器重疊區(qū)域為M列，CCD3最右邊的M列與CCD4最左邊的M列為重疊區(qū)域的數(shù)據(jù)。單獨提取出來轉(zhuǎn)換成tif的圖像格式，通過基于Ransac算法的SIFT特征自動匹配處理即可計算得到兩片CCD之間的仿射矩陣，供圖像融合使用。

2.3 基于Ransac算法的SIFT特征自動拼接

利用相鄰兩片CCD重疊區(qū)域的圖像數(shù)據(jù)，按前述SIFT特征匹配算法的三個步驟，即可計算得到仿射矩陣。值得注意的是，在Ransac方法消除誤配時，閾值的選取直接影響匹配的穩(wěn)定性。降低這個閾值，SIFT的匹配點數(shù)會減少，但結(jié)果更加穩(wěn)定，故選取合適的閾值對拼接結(jié)果至關(guān)重要。利用求出來的仿射矩陣，通過逆變換將待拼接圖像轉(zhuǎn)換到兩幅參考圖像的坐標系中，即可完成相鄰兩片CCD的圖像拼接，得到平滑無縫的拼接后圖像。

2.4 基于XML配置的通用系統(tǒng)模塊的設(shè)計

對于不同衛(wèi)星而言，幀同步、去格式等處理模塊的流程基本相同，僅配置參數(shù)有所差異；而拼接模塊中的參數(shù)，如歐氏距離比例閾值也可能會隨著實際需求進行調(diào)整。為提高本系統(tǒng)的通用性，本文采用XML文件配置處理參數(shù)[11]，將處理數(shù)據(jù)與處理流程分開，使其能靈活地進行數(shù)據(jù)處理。

2.5 實驗結(jié)果及分析

針對本文采用的四片CCD的飛行器原始數(shù)據(jù)，本實驗在win64軟件平臺上，采用VS2010+OpenCV編程實現(xiàn)自動拼接處理系統(tǒng)，基于SIFT算法對實驗數(shù)據(jù)做預(yù)處理和拼接，最后自動生成一幅拼接后無縫清晰的影像，如圖4所示。

圖4 CCD 1000行原始數(shù)據(jù)拼接結(jié)果

實驗結(jié)果表明：該系統(tǒng)針對飛行器原始數(shù)據(jù)，可獲得足夠數(shù)量穩(wěn)定的匹配點對，處理得到的圖像平滑無縫清晰，適用于飛行器原始數(shù)據(jù)的自動拼接。

3 結(jié)束語

本文重點研究SIFT算法，對飛行器原始數(shù)據(jù)進行預(yù)處理和拼接，最終實現(xiàn)一套飛行器CCD原始數(shù)據(jù)的自動化拼接系統(tǒng)。實現(xiàn)結(jié)果驗證了本系統(tǒng)一方面成功實現(xiàn)了飛行器原始數(shù)據(jù)的自動拼接，得到了平滑無縫的配準圖像；另一方面，解同步、去格式等模塊采用XML文件配置，實現(xiàn)了對多顆衛(wèi)星的通用預(yù)處理；最終成功解決了飛行器原始數(shù)據(jù)預(yù)處理流程多、拼接自動化不足、拼接效果不理想等問題。

本系統(tǒng)可以進一步改進和優(yōu)化，一方面，由于算法的復(fù)雜度較高，計算量較大，計算速度相對較慢，不具有實時性，需要向并行處理改進，提高算法的實時性；另一方面，在基于SIFT的拼接算法中，一些閾值的選取通常是憑經(jīng)驗人工選取，直接影響到拼接結(jié)果，圖像之間具有灰度差異，這些都對特征匹配的準確性提出了要求，也是今后需要進一步研究的方面。

參考文獻(References):

[1]詹亞鋒,馬正新,曹志剛.現(xiàn)代微小衛(wèi)星技術(shù)及發(fā)展趨勢[J].電子學報,2000.28(7):102-106

[2]李秀華,宋立明,王朔等.CCD圖像拼接技術(shù)綜述[C]//2010 Internation Conference on Future Information Technology and Management Engineering,2010:270-273

[3]David G Lowe.Distincive Image Features from Scale-Invariant Interest Points[J]. InternationalJournalof Computer Vision,2004.60(2):91-110

[4]王國美,陳孝威.SIFT特征匹配算法研究[J].鹽城工學院學報:自然科學版,2007.20(2):1-5

[5]David G Lowe,Distincive Image Features from Scale-Invariant Interest Points[J]. InternationalJournal of Computer Vision,2004.60(2):91-110

[6]David G Lowe,Object Recognition from Local Scale-Invariant Features[C]//7th International Conference on Computer Vision,1999:1150-1157

[7]劉伯江,姜明新.基于sift特征的圖像匹配算法[J].系統(tǒng)信息工程,2001.5:33-36

[8]李明.基于SIFT特征點匹配的目標跟蹤算法研究[D].合肥工業(yè)大學,2011.4.

[9]TaejungKim,Yong-Jo Im.AutomaticSatelliteImage Registration by Combination of Matching and Random Sample Consensus[J].IEEE Transactions on Geoscience and Remote Sensing,2003.41(5):1111-1117

[10]候仰拴,石濤,胡玉新.HJ-1C衛(wèi)星實時軟件幀同步算法研究與實現(xiàn)[J].雷達學報,2014.6(3):326-331

[11]陳元偉,基于流程再造的遙感衛(wèi)星地面預(yù)處理系統(tǒng)中處理功能的分析與實現(xiàn)[D].中國科學院對地觀測與數(shù)字地球科學中心,2008.6.