局部特征在航拍圖像拼接中的應用

曹 健，李 侃，高春曉，劉瓊昕

(1. 北京工商大學計算機與信息工程學院 北京 海淀區(qū) 100048; 2. 北京理工大學計算機學院 北京 海淀區(qū) 100081)

航拍圖像拼接技術是當前機器視覺領域的一個研究熱點，已經(jīng)被廣泛應用于地理信息系統(tǒng)、地質災害監(jiān)測、城市規(guī)劃和戰(zhàn)場態(tài)勢評估等許多方面。其主要目的與一般的圖像拼接一樣，將一組互相有重疊部分的圖像序列進行空間配準，拼成一幅包含各圖像序列信息的寬視角、完整的新圖像，以滿足現(xiàn)實要求[1]。但是，由于是在飛行器上對地面場景的俯視拍攝，所以又有其自身的特點和難點，如飛行器姿態(tài)變化導致的航拍視角改變、飛行器升降造成的圖像分辨率不同、天氣狀況對圖像質量的影響等。

圖像拼接方法通?？梢苑譃閮深怺2-4]：1) 將場景投影到柱面坐標下進行拼接，該類方法的模型簡單且計算速度快，但是要求相機只能圍繞光心做水平旋轉運動，還需要獲取拍攝每幅圖像的焦距，比較適合于360°全景圖像拼接。2) 以仿射變換模型為理論基礎，廣泛應用于航拍圖像拼接，一般需要根據(jù)飛行器和相機的參數(shù)計算圖像的位置坐標并排列圖像，然后檢測相鄰圖像重疊區(qū)域內的對應點，以求得圖像間的變換關系。航拍圖像的特殊性使圖像的位置坐標不準確，有時還需要從航拍視頻中抽取圖像進行拼接，需要一種更為穩(wěn)健高效的拼接方案。

本文在飛行器和相機具體參數(shù)未知的情況下快速拼接航拍圖像，不依賴復雜的相機標定設備、旋轉臺和陀螺儀等；并盡量降低對航拍的限制條件，允許圖像之間較大的亮度差異以及相機的輕微晃動等。本文提出基于局部特征的航拍圖像拼接算法主要面向一般情況，如使用普通的航拍CCD相機或攝像機，航拍設備位于飛機底部的一個近似固定視點，相鄰圖像間有不小于16%的重疊，拍攝所有圖像時焦距保持不變等。特殊設備拍攝的照片以及在精確參數(shù)下的圖像拼接不在本文的研究之列。

本文介紹了基于多分辨率技術的圖像配準方法，討論了如何利用放射變換矩陣進行圖像變換，闡述圖像融合技術。

1 基于多分辨率技術的圖像配準

圖像配準一般指對取自不同傳感器、不同視角或不同時間的兩幅或多幅圖像進行信息互補的處理過程。在圖像拼接領域主要用來確定內容相關的幾幅圖像中重疊區(qū)域的位置以及范圍，所以有的文獻也稱為圖像對齊。相對于灰度相關、相位相關等傳統(tǒng)方法[5-7]，基于特征的圖像配準方法運算速度較快，適用范圍較廣泛，獲得的配準結果相對穩(wěn)定，逐漸成為當前主流的圖像配準方法。

目前已有的基于特征的圖像配準方法普遍存在的問題是它們提取的目標特征對噪聲較敏感，在灰度變化、形狀變化以及遮擋的情況下性能不夠穩(wěn)定，無法滿足成像情況相對復雜的航拍圖像的需要。近年來，國內外學者提出了一些新的局部特征，并在大量的工程應用中驗證了它們的性能相對優(yōu)越、適用范圍較廣泛。

局部特征提取包括特征點檢測和特征區(qū)域描述兩部分的內容：Harris-Laplace檢測算子、Hessian-Laplace檢測算子[8]和DoG (difference of gaussian)檢測算子[9]都是目前特征點檢測方法中的研究熱點；SIFT(scale invariant feature transform) 描述子[10]和GLOH(gradient location orientation histograms)描述子在眾多特征區(qū)域描述子中應用最廣泛，性能也相對穩(wěn)定。

文獻[7-10]都指出，在復雜內容的圖像中提取的特征點非常多，過多的特征點不僅會加重計算負擔影響效率，而且會對特征匹配造成干擾，不利于航拍圖像序列的準實時拼接。本文的拼接方法只需利用少量(3個以上)特征點即可完成圖像配準，對特征點的提取質量提出了較高的要求，而多分辨率分析為解決這個問題提供了一條有效的途徑。

當觀察一幅圖像時，通?？吹降氖窍噙B接的紋理與灰度級相似的區(qū)域，它們相互結合形成了物體的視覺表示。如果目標物體的尺寸很小或對比度不高，一般采用較高的分辨率觀察；如果物體尺寸很大或對比度很強，則只需較低的分辨率。如果圖像中同時存在大小不等的物體，或者強弱不均的對比度，以不同分別率對它們進行研究將在圖像模式識別中具有不可替代的優(yōu)勢。

作為解釋多分辨率分析概念的一種簡單而又有效的結構，圖像金字塔最初應用于機器視覺和圖像壓縮方面，它很直觀地展示出了由粗糙到精細的處理策略的魅力所在。一幅圖像的金字塔就是一系列以金字塔形狀排列的不同分辨率的圖像集合，其底部是待處理圖像的高分辨率表示，頂部是低分辨率的近似，當向金字塔由底向上移動時，尺寸和分辨率依次降低。

如圖1所示，由于從機載攝影器材上獲取的圖像分辨率較高，本文通過建立圖像金字塔來降低待匹配圖像的分辨率，在低分辨率的圖像序列上提取出更具代表性的特征點對，并計算出這些特征點在原始圖像中的位置，從而進行圖像變換。

圖1 利用多分辨率技術進行圖像配準

兩幅圖像之間的匹配應該滿足唯一性、相似性和連續(xù)性等3個基本約束條件，即“馬爾模型”[11]。一方面，目標表面任意一點到觀察點的距離是唯一的，由此推得一幅圖像中的一點在另一幅圖像中最多只有一個對應點；兩幅圖像中對應的特征應該有相同的屬性，即對應點在某種度量下應當具有相似的特征描述符；因凹凸不平引起的目標表面的深度變化是緩慢的，即視差變化具有連續(xù)性。

由于圖像的內容千差萬別，加上場景中的運動物體、不重疊內容以及圖像質量等因素的存在，一幅圖像中的局部特征并不一定能在另一幅圖像中找到相似的特征，需要采取措施剔除產生干擾的噪聲點，通常稱為“外點”。許多圖像的背景較相似并不具有區(qū)分性，如天空、曠野之類，它們的局部特征之間的距離小于有用的特征之間的距離，但是它們并不能描述圖像的主要內容，所以設置一個全局性的距離閾值來決定局部特征匹配與否是不合適的?？梢酝ㄟ^比較最近鄰(first nearest neighbor)特征和次近鄰(second nearest neighbor)特征的距離有效地甄別局部特征是否正確匹配，這是最鄰近距離比值法(nearest neighbor distance ratio, NNDR)，判斷特征匹配的條件[8]為：

式中，DA為待匹配特征；DB為最鄰近特征；DC為次鄰近特征。

該方法理論來源是如果一個特征在一幅圖像中與兩個特征的距離都很相近，那么該特征的區(qū)分度較低，也違背了文獻[12]提出的“匹配應該滿足唯一性”的原則，會對圖像相似度的判斷產生干擾。

2 圖像變換

相鄰幀圖像之間往往存在著復雜的幾何變換關系，要進行圖像配準就需要計算相應的變換矩陣。理論上在圖像變換的時候考慮的參數(shù)越多，得到的結果越精確。但在實際應用中，由于飛行器飛行軌道的起伏、地面物體高度的變化等因素，參數(shù)過多的變換矩陣反而起到放大誤差的效果，并且需要至少7個特征點對才可以進行配準。

通過對實際數(shù)據(jù)的研究發(fā)現(xiàn)，航拍平臺一般距離地面較遠，就可以將一定范圍內的拍攝場景近似為一個平面區(qū)域，進而把一定長度的航拍圖像序列變換到同一個成像平面內完成圖像配準。仿射變換可以描述圖像的旋轉、平移和縮放等運動，較符合航拍圖像的特點。該方法利用3個以上特征點即可完成圖像拼接，不僅極大簡化了計算，拼接的最終效果也能夠達到相應要求。

設成像平面上某一點Pi的坐標為(xi,yi)，其三維齊次坐標為(xi,yi,1)。設一個觀測點在兩個相鄰幀圖像上所成的像點分別為P1和P2，則這兩點的齊次坐標之間滿足如下關系：

式中，T為8個參數(shù)的投影變換矩陣。實驗結果顯示，由于航拍圖像序列中相鄰兩幀圖像之間的視差變化緩慢，可以通過仿射變換矩陣近似表達式(2)中的T，有效地簡化了計算，即有：

根據(jù)線性方程的相關理論，式(3)中6個參數(shù)的仿射變換矩陣最少應該通過3對特征點才可以進行求解。而在實際應用中往往檢測出不止3對特征點，需要利用最小二乘法來估計T的參數(shù)，計算所得的相應誤差為：

3 圖像融合

由于圖像采集時拍攝條件往往會發(fā)生變化，在圖像處理過程中也會引入一些誤差，這些因素都會導致初步拼接后的圖像中存在視覺上不連續(xù)的條帶。如何消除這種痕跡，使圖像過渡更自然，這正是圖像融合技術需要解決的難題。

現(xiàn)有的圖像融合算法通常在像素級、特征級和決策級等3個層次進行。目前，像素級融合常用的方法主要有直接平均融合、加權平均融合和多分辨率融合。直接平均融合簡單但是通用性較差，如果場景中存在運動目標會產生“鬼影(ghost-like)”現(xiàn)象；多分辨率方法效果好、通用性強，但是計算過于復雜，不適宜大場景的準實時拼接。本文采用了加權平均方法中的漸入漸出融合算法，在保證航拍圖像序列準實時拼接的同時，實現(xiàn)了圖像內容的平滑過渡。

文獻[13]提出了漸入漸出融合算法，設f1和f2是兩幅待拼接的圖像，將它們按照線性加權的方法進行融合，融合后的圖像像素f可表示為：

式中，d1和d2表示與重疊區(qū)域的寬度有關的權重值，并且d1+d2= 1 ， 0 ≤d1，d2≤1。假設當前像素的橫坐標為xi，重疊區(qū)域左右邊界的橫坐標分別為xl和xr，則在重疊區(qū)域中d1由1漸變至0，d2由0漸變至1，即有：

在對單程航拍的圖像序列進行拼接時，采用上述方法僅針對相鄰兩幅圖像的x方向上做了平滑過渡，基本可以滿足需求。如果圖像序列是盤旋拍攝或者沿“幾”字型路線拍攝的情況下，需要進一步考慮到多幅圖像、各個方向上的平滑。本文借鑒了文獻[14-15]的思想和方法，為圖像的每個像素分配權重，該權重與像素到圖像邊緣的距離成正比，即有：

式中，w是單調函數(shù)，一般取w(x)=x；Ik(x,y)是第k幅圖像在(x,y)點的灰度值；d(x,y)的計算可以簡單地取(x,y)點到圖像四條邊的最小距離。

4 實驗結果與分析

為了驗證本文方法的有效性，采用VC++ 6.0平臺和OpenCV 2.0函數(shù)庫實現(xiàn)了航拍圖像序列自動拼接算法，并且通過大量真實的無人機可見光圖像序列和視頻對相關算法進行了測試和驗證。

4.1 實驗參數(shù)設置

針對航拍圖像場景較大、天氣和飛行器姿態(tài)的影響普遍存在的情況，本文對多種特征區(qū)域檢測算法以及描述子進行了實驗分析，發(fā)現(xiàn)通過DoG檢測算子和GLOH描述子提取的局部特征不僅對圖像的平移、旋轉、縮放變換不敏感，而且對光照變化以及復雜的投影變換也具有很強的適應能力，較適合用于航拍圖像序列的處理。

由于局部特征可以看作高維向量空間中的點，可以通過計算兩個點之間的接近程度衡量圖像特征間的相似度。目前最為常用的相似度度量有直方圖相交法、歐式距離、馬氏距離、EMD距離等，而相似度度量具有特征依賴性，不同的特征應該應用不同的度量方法才能獲得最佳的效果。經(jīng)過實驗對比可以發(fā)現(xiàn)，對于SIFT和GLOH等局部特征在圖像匹配中的應用，用歐氏距離作為相似度度量可以滿足實際應用的要求。

本文采用最鄰近距離比值法消除“外點”的影響，實驗從圖像數(shù)據(jù)庫中選取的待匹配圖像，共提取了40 000個GLOH特征，對這些待匹配的圖像進行了隨機數(shù)值的尺度變化和平面旋轉，并進行了深度小于30°的視角變化處理，同時也加入2%的高斯噪聲。結果表明，當剔除與最近鄰點和次近鄰點距離比值大于0.8的特征點對時，排除了90%的外點而僅僅誤刪了5%的正確特征點對。

用窮舉法搜尋最鄰近點以及次臨近點可以得到最精確的結果。但是由于本文所用的特征空間高達128維、航拍圖像的特征點數(shù)量較多，又有準實時的速度要求，搜索算法的效率成為整個系統(tǒng)的一個瓶頸。所以本文使用了BBF (best-bin-first)算法[10]，設定的約束條件是檢查前200個最鄰近候選節(jié)點，該算法在搜索速度提高了2個數(shù)量級的同時，平均丟失5%的特征點對，這對于航拍圖像的準實時拼接是可以容忍的。

4.2 拼接效果分析

圖2a所示是無人機航拍的一組關于黃河凌汛的照片，圖像上主要是自然景物地貌，人造目標較少，這對于計算機自動拼接是一個挑戰(zhàn)。本文的拼接方法十分穩(wěn)健，局部特征提取技術減少了噪聲干擾和光照變化的影響，如圖2b所示。多分辨率技術的應用也有效地降低了圖像配準的計算開銷，通過比較最近鄰點和次近鄰點的距離的方法也可以有效地剔除“外點”。

圖2 黃河凌汛的航拍圖像拼接結果

圖3a所示是無人機在太原火車站上空拍攝的一組照片，圖3b所示為其拼接后嵌入Google地圖的效果?？梢钥闯觯嬎銠C自動拼接后的航拍圖像在嚴格對應于地理信息系統(tǒng)時還存在一些問題。但從一般意義上講，這部分內容并不屬于圖像自動拼接技術的研究范疇，可以在下一步工作中引入人機交互的方法，根據(jù)相關參數(shù)對拼接圖像進行幾何校正。

圖3 太原火車站的航拍圖像拼接結果

另外，本文提出的方法也適用于航拍視頻圖像拼接，如圖4所示是從一段空中鳥瞰城市的視頻里抽取圖像進行準實時拼接的效果，表明本文的方法穩(wěn)定、可靠，在保證運算速度的同時依然能夠取得很好的視覺效果。

圖4 航拍視頻圖像拼接效果

5 結 論

本文提出了一種基于局部特征的航拍圖像快速拼接方法。該方法對拍攝的條件要求不高，整個拼接過程是全自動實現(xiàn)的，其針對航拍圖像序列的特點，利用局部特征和多分辨率技術實現(xiàn)了高效可靠的特征點匹配；通過仿射變換模型將拼接問題簡化為像素點空間坐標變換的過程，達到快速精確的目的；在圖像融合時借鑒了漸入漸出算法，實現(xiàn)了色彩和亮度的平滑過渡，消除了拼接痕跡。經(jīng)過大量不同種類圖片的拼接測試，證明該方法的拼接效果令人滿意，技術非常實用。由于相機未經(jīng)標定，圖像存在幾何變形未糾正等問題有待進一步的解決。

[1] SU M S, WANG L, CHENG K Y. Analysis on multiresolution mosaic images[J]. IEEE Transactions on Image Processing, 2004, 13(7): 952-959.

[2] 魏雪麗, 張樺, 馬艷潔, 等. 基于最大互信息的圖像拼接優(yōu)化算法[J]. 光電子·激光, 2009, 20(10): 1399-1402.WEI Xue-li, ZHANG Hua, MA Yan-jie, et al. An optimization algorithm of image mosaic based on maximum mutual information[J]. Journal of Optoelectronics?Laser,2009, 20(10): 1399-1402.

[3] 王宇, 王涌天, 劉越. 基于SIFT和小波變換的圖像拼接算法[J]. 北京理工大學學報, 2009, 29(5): 423-436.WANG Yu, WANG Yong-tian, LIU Yue. Image stitch algorithm based on SIFT and wavelet transform[J].Transactions of Beijing Institute of Technology, 2009, 29(5):423-436.

[4] BROWN M, LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007, 74(1): 59-73.

[5] 陳輝, 龍愛群, 彭玉華. 由未標定手持相機拍攝的圖片構造全景圖[J]. 計算機學報, 2009, 32(2): 328-335.CHEN Hui, LONG Ai-qun, PENG Yu-hua. Building panoramas from photographs taken with an uncalibrated hand-held camera[J]. Chinese Journal of Computers, 2009,32(2): 328-335.

[6] 蘇娟, 林行剛, 劉代志. 一種基于結構特征邊緣的多傳感器圖像配準方法[J]. 自動化學報, 2009, 35(3): 251-257.SU Juan, LIN Xing-gang, LIU Dai-zhi. A multi-sensor image registration algorithm based on structure feature edges[J]. Acta Automatica Sinica, 2009, 35(3): 251-257.

[7] MIKOLAJCZYK K, SCHMID C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86.

[8] LOWE D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004, 60(2): 91-110.

[9] ROSTEN E, PORTER R, DRUMMOND T. Faster and better: a machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119.

[10] BORENSTEIN E, ULLMAN S. Combining top-down/bottom-up segmentations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(12): 2109-2125.

[11] MARR D, POGGIO T. A computational theory of human stereo vision[J]. Proceedings of the Royal Society of London. Series B, 1979, 204(1): 301-320.

[12] SZELISKI R. Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications, 1996, 16(2):22-30.

[13] 曹世翔, 江潔, 張廣軍, 等. 邊緣特征點的多分辨率圖像拼接[J]. 計算機研究與發(fā)展, 2011, 48(9): 1788-1793.CAO Shi-xiang, JIANG Jie, ZHANG Guang-jun, et al.Multi-scale image mosaic using features from edge[J].Journal of Computer Research and Development, 2011,48(9): 1788-1793.

[14] SHUM H, SZELISKI R. Construction of panoramic mosaics with global and local alignment[J]. International Journal of Computer Vision, 2000, 36(2): 101-130.