一種基于無人機(jī)位姿信息的航拍圖像拼接方法

程爭剛，張　利

清華大學(xué)電子工程系，北京 100084

?

一種基于無人機(jī)位姿信息的航拍圖像拼接方法

程爭剛，張利

清華大學(xué)電子工程系，北京 100084

Foundation support： The National Natural Science Foundation of China (Nos. 61172125; 61132007)

摘要：針對現(xiàn)有航拍圖像拼接方法處理速度較慢的問題，提出一種基于無人機(jī)位姿信息的快速拼接方法。首先從機(jī)載GPS和慣性導(dǎo)航單元獲得無人機(jī)航拍時的坐標(biāo)和姿態(tài)角，根據(jù)每一幅航拍圖像對應(yīng)的無人機(jī)坐標(biāo)和姿態(tài)角計算它們之間的單應(yīng)變換矩陣，實現(xiàn)航拍圖像之間的快速配準(zhǔn)。然后通過單應(yīng)變換矩陣的運(yùn)算得到拼接圖像之間的配準(zhǔn)，最后完成多幅圖像的拼接得到整個區(qū)域的全景圖。試驗結(jié)果證明該方法快速有效。

關(guān)鍵詞：航拍圖像；位置和姿態(tài)；圖像配準(zhǔn)；單應(yīng)矩陣；全景圖

近幾年無人機(jī)受到了人們越來越多的關(guān)注，無人機(jī)圖像拼接方法也隨之得到了快速發(fā)展。無人機(jī)圖像拼接是指在無人機(jī)平臺上對多幅在不同時刻、從不同視角獲得的航拍圖像經(jīng)過對齊處理后，然后無縫地融合在一起，從而得到一幅視野更大、分辨率更高的全景圖像。目前被廣泛應(yīng)用于數(shù)字地圖繪制、城市建設(shè)規(guī)劃以及戰(zhàn)場態(tài)勢評估等領(lǐng)域。

航拍圖像的拼接一般包括4個步驟：待拼接圖像的獲取、圖像畸變校正、圖像配準(zhǔn)以及圖像融合。其中圖像配準(zhǔn)是整個圖像拼接技術(shù)的核心部分，它直接關(guān)系到圖像拼接的質(zhì)量[1]，其主要目的是得到兩幅圖像之間的變換矩陣。目前無人機(jī)圖像配準(zhǔn)技術(shù)主要是基于特征點匹配的方法，該方法利用圖像中提取到的局部特征進(jìn)行匹配，其關(guān)鍵步驟是圖像特征的提取和匹配[2]，其中基于SIFT特征點匹配的方法被廣泛地應(yīng)用于航拍圖像的配準(zhǔn)。該方法能夠有效地適應(yīng)航拍圖像間存在的視角和尺度變化，由文獻(xiàn)[3—4]在1999年提出，并在2004年又對該算法進(jìn)行了完善[3-4]。后來又出現(xiàn)了很多改進(jìn)的SIFT算法應(yīng)用到圖像配準(zhǔn)中[5-9]。文獻(xiàn)[5]提出的PCA-SIFT方法，采用主成分分析對SIFT算子進(jìn)行降維操作，大大減少了計算時間。文獻(xiàn)[6]提出的尺度和仿射不變量興趣點檢測的GLOH算法,采用一種SIFT變體的描述子，用對數(shù)極坐標(biāo)分級結(jié)構(gòu)替代SIFT使用的4象限，之后再做PCA將其降維，因此保有和SIFT一樣精簡的表示方法。文獻(xiàn)[7]提出的SURF算法，采用快速Hessian方法進(jìn)行特征點檢測，是SIFT算法的加速版。文獻(xiàn)[8]提出擴(kuò)展SURF描述符，采用鄰域采樣點的局部歸一化灰度統(tǒng)計信息以及二階梯度值細(xì)節(jié)信息，增強(qiáng)了描述符的約束性與獨特性。文獻(xiàn)[9]提出的ASIFT算法，通過模擬不同經(jīng)緯度的圖像，克服了SIFT算法的不完全仿射性。但是上述圖像配準(zhǔn)方法的一個明顯不足就是提取特征點比較耗時，從而導(dǎo)致圖像拼接速度較慢。為了提高航拍圖像的拼接速度，近幾年國內(nèi)外研究者提出了多種拼接方法[10-14,16-18]。文獻(xiàn)[10]中估計變換矩陣以及圖像間關(guān)系的不確定性，并考慮如何消除圖像拼接中的累積誤差。文獻(xiàn)[11—12]通過預(yù)測拼接圖像的重疊區(qū)域減少拼接的時間消耗。文獻(xiàn)[13]提出的F-SIFT圖像拼接算法,采用基于子圖像塊的頻域相位相關(guān)算法提高圖像拼接的速度。文獻(xiàn)[14]通過分塊Harris角點的方法均勻提取圖像中的角點，然后采用金字塔光流算法進(jìn)行角點配準(zhǔn)，縮短了航拍圖像的匹配時間。這些方法對于航拍圖像的配準(zhǔn)和一般圖像的配準(zhǔn)相同，首先是對航拍圖像進(jìn)行特征點的提取，然后通過相似性度量進(jìn)行特征點匹配，最后根據(jù)得到的兩幅圖像中對應(yīng)特征點的坐標(biāo)關(guān)系，采用RANSAC算法[15]計算出最佳匹配的變換矩陣，并沒有利用航拍圖像特有的優(yōu)勢。文獻(xiàn)[16—17]結(jié)合了航拍時的參數(shù)信息進(jìn)行圖像配準(zhǔn)，提高了航拍圖像拼接的速度，但是還沒有完全發(fā)揮航拍參數(shù)對圖像配準(zhǔn)的作用。文獻(xiàn)[18]針對機(jī)載傳感器的精度問題，提出了一種混合的方法，利用基于圖像的方法校正由位姿計算帶來的拼接誤差。本文結(jié)合無人機(jī)航拍的特點，利用航拍時獲得的航拍參數(shù)來計算圖像間的變換矩陣，然后通過變換矩陣的分解推導(dǎo)出多幅圖像連續(xù)拼接的變換矩陣，基本不依賴拍攝圖像的質(zhì)量情況，提出了一種快速的航拍圖像配準(zhǔn)方法。

1兩幅航拍圖像的配準(zhǔn)

1.1航拍圖像間的單應(yīng)變換矩陣

如圖1所示，無人機(jī)在位置O1和O2對地面場景進(jìn)行拍攝，得到圖像I1和I2。M(Xw,Yw,Zw)T為場景中的一點，M1(Xc1,Yc1,Zc1)T和M2(Xc2,Yc2,Zc2)T表示M在兩個位置的相機(jī)坐標(biāo)。m1(u1,v1,1)T和m2(u2,v2,1)T分別為M在圖像I1和I2上對應(yīng)的點。如果矩陣H能滿足

m2=sHm1

(1)

則稱矩陣H為圖像I1到I2的單應(yīng)變換矩陣。其中s為非零常數(shù)項。

圖1　不同視角的航拍圖像Fig.1　Aerial image from different angles of view

將O1點作為世界坐標(biāo)系原點，則由相機(jī)的成像原理可知

(2)

式中，K為攝像機(jī)的內(nèi)參數(shù)矩陣

(3)

式中，K可以通過相機(jī)標(biāo)定得到[19]；dx和dy分別表示圖像上每一個像素在坐標(biāo)軸方向的物理尺寸，單位為mm/pixel；(u0,v0)為攝像機(jī)光軸與圖像平面交點的坐標(biāo)，一般位于圖像的中心處；f表示攝像機(jī)的焦距。

由式(2)可得

(4)

(5)

設(shè)大地平面的方程為

nTX=d

(6)

式中，X為地面上任意一點；n為地面的單位法向量；d為坐標(biāo)原點到大地平面的距離。由式(6)可得

(7)

綜合式(4)、式(5)、式(7)可以得到

(8)

(9)

至此就得到了航拍圖像間的單應(yīng)變換矩陣。對無人機(jī)所在的拍攝位置O可以用6個參數(shù)表示，記為Oi(φi,θi,ψi,xi,yi,zi)。無人機(jī)上裝有慣性導(dǎo)航單元(INU)和GPS，可以實時保存無人機(jī)航行時的姿態(tài)角和坐標(biāo)。根據(jù)無人機(jī)在兩個視點間3個姿態(tài)角的變化量φ、θ、ψ和兩個視點的坐標(biāo)(x1,y1,z1)、(x2,y2,z2)就可以確定R和t，其中

R=RφRθRψ

(10)

(11)

t=[x2-x1y2-y1z2-z1]T

(12)

從而兩幅航拍圖像之間的變換矩陣就可以通過這6個參數(shù)計算得到。由式(9)中可以看出本文對航拍圖像間單應(yīng)變換矩陣的推導(dǎo)要求圖像中所有點的d相同，也就是要保證O1視點下圖像里所有的場景都要在一個成像深度中，否則圖像之間就不能滿足單應(yīng)變換。

1.2測量參數(shù)的校正

由1.1節(jié)可知，通過對航拍參數(shù)的測量就可以計算得到對應(yīng)航拍圖像間的單應(yīng)變換矩陣。其中姿態(tài)角可以通過無人機(jī)上裝有的慣性導(dǎo)航單元(IMU)獲得，坐標(biāo)可由GPS獲得，飛行高度可由氣壓計獲得。但是一般情況下，得到的測量結(jié)果會受到誤差的干擾，這對于單應(yīng)變換矩陣的計算影響較大。因此要得到準(zhǔn)確的單應(yīng)變換矩陣，就需要對測量的參數(shù)進(jìn)行校正。

根據(jù)式(9)，如果已知兩幅圖像的單應(yīng)變換矩陣H和相機(jī)的內(nèi)參數(shù)矩陣K，通過奇異值分解的方法就可以計算出攝像機(jī)參數(shù)[20]。本文首先在離線情況下對測量系統(tǒng)進(jìn)行校準(zhǔn)，得到參數(shù)測量誤差的補(bǔ)償量，然后再通過航拍參數(shù)進(jìn)行圖像的配準(zhǔn)。參數(shù)校準(zhǔn)的具體步驟如下：

(1) 在離線情況下通過特征點匹配的方法對航拍圖像進(jìn)行配準(zhǔn)，得到圖像之間的單應(yīng)變換矩陣H。

(2) 根據(jù)文獻(xiàn)[20]的方法由H計算出航拍參數(shù)。

(3) 將直接測量的航拍參數(shù)與參數(shù)的計算結(jié)果進(jìn)行對比(試驗選擇比較80組結(jié)果)，然后通過多項式擬合的方法得到測量參數(shù)的誤差補(bǔ)償量(本文選擇3次多項式)。

試驗結(jié)果如圖2所示(以偏航角的校正為例)，其中圖(a)為直接測量得到的80組結(jié)果，圖(b)為對應(yīng)的計算結(jié)果，對比這兩組結(jié)果并計算出測量誤差如圖(c)所示。由試驗結(jié)果可以得到測量值與測量誤差之間的相關(guān)系數(shù)為0.902 6，說明這兩個量是高度相關(guān)的。通過RANSAC算法[15]擬合出測量誤差與測量結(jié)果的關(guān)系為

e=f(c)=0.057 1c3-0.160 9c2+0.484 9c-0.083 2

(13)

式中，c為當(dāng)前的測量結(jié)果；e為測量誤差。這樣就得到了測量結(jié)果的誤差補(bǔ)償量，從而就能對測量的航拍參數(shù)進(jìn)行校正，保證了單應(yīng)變換矩陣計算的精度。

2多幅圖像的拼接

2.1多幅圖像的拼接方法

多幅圖像的拼接一般就是多次圖像的兩兩拼接。假設(shè)有待拼接的圖像I1～I(xiàn)n，首先拼接圖像I1和I2，得到第一次的拼接結(jié)果Im1。圖像Im1包含兩部分內(nèi)容，一部分是I1變換后的圖像I1,2(假設(shè)以I2作為基準(zhǔn)圖像)，另一部分則是完整的圖像I2，兩部分的重疊區(qū)域進(jìn)行加權(quán)平均，從而就將I1和I2融合為Im1。然后再拼接Im1和I3得到第2次的拼接結(jié)果Im2，直到拼接完所有的圖像。這樣不斷變換基準(zhǔn)圖的拼接策略可以減少拼接誤差的累積[21-22]。

圖2　偏航角的校正Fig.2　Correction results of yaw angle

由上節(jié)可知根據(jù)航拍圖像對應(yīng)的坐標(biāo)和姿態(tài)角可以直接計算出圖像間的單應(yīng)變換矩陣，因此H1,2可直接算出，進(jìn)而可以得到第1次的拼接結(jié)果Im1。但圖像Im1并沒有對應(yīng)的航拍參數(shù)信息，因此Im1和I3的變換矩陣Hm1,3無法直接得到。所以要實現(xiàn)多幅圖像的連續(xù)拼接，關(guān)鍵就是要知道上一次的拼接圖像與下一幅航拍圖像之間的變換矩陣。

2.2單應(yīng)矩陣的分解

設(shè)無人機(jī)在位置O1和O2分別拍攝到圖像I1和I2，I1到I2的單應(yīng)變換矩陣為H1,2。從O1到O2可以看作是首先從O1到O3，然后再從O3到O2，如圖3所示。若I3為無人機(jī)在O3拍攝到的圖像，I1到I3的單應(yīng)變換矩陣為H1,3，I3到I2的單應(yīng)變換矩陣為H3,2。

圖3　單應(yīng)變換的分解Fig.3　Decomposition of homography matrix

對于圖像I1上的任意一點m1(x1,y1)，其經(jīng)過H1,2和H1,3變換后在I2和I3上對應(yīng)的點分別為m2(x2,y2)和m3(x3,y3)?？梢缘玫?/p>

(14)

(15)

而點m3(x3,y3)經(jīng)過H3,2變換后對應(yīng)為m2(x2,y2)，所以有

(16)

因此

H1,2=H3,2H1,3

(17)

這樣，就可以將兩幅圖像的單應(yīng)變換矩陣分解為兩個矩陣，從而可以得到

Hm1,3=H2,3Hm1,2

(18)

式中，H2,3可直接根據(jù)圖像對應(yīng)的姿態(tài)信息算出，因此只要確定了Hm1,2即可得到Hm1,3。

2.3推導(dǎo)Hm1,2

由于圖像Im1是由圖像I1和I2拼接得到，其中I1向I2做變換后得到圖像I1,2，而圖像I2本身沒有發(fā)生變形。因此I2完整地包含在Im1里面，所以Hm1,2為一個三維平移矩陣。因此設(shè)

(19)

式中，平移量x和y可以取圖像I2與Im1頂點的平移量。如圖4所示，以A2作為坐標(biāo)原點，若圖像I1和I2的大小分別為m1×n1和m2×n2，則圖上各點坐標(biāo)分別為A2(0,0)、B2(0,n2)、C2(m2,n2)、D2(m2,0),而A1、B1、C1、D1分別可以通過(0,0)、(0,n1)、(m1,n1)、(m2,0)與H1,2運(yùn)算得到。

圖4　兩幅圖像拼接Fig.4　Sample of two images mosaic

則圖像Am(xm,ym)的坐標(biāo)為

(20)

因此矩陣Hm1,2的平移分量為

(21)

這樣我們就得到了變換矩陣Hm1,2，進(jìn)一步由式(18)可以得到矩陣Hm1,3，從而實現(xiàn)多幅圖像的連續(xù)拼接。

3相關(guān)試驗和結(jié)果分析

試驗選取無人機(jī)在位置O1—O5所拍攝的5幅圖像I1—I5，圖像大小為960×540。其中5個視點之間的坐標(biāo)和姿態(tài)角如表1所示(試驗中將O1作為世界坐標(biāo)原點，測量參數(shù)均為校正后的結(jié)果)。試驗平臺為IntelCore(TM)i5-4590CPU3.30GHz，16GB內(nèi)存，仿真軟件為MATLAB7.0。通過相機(jī)標(biāo)定得到相機(jī)的內(nèi)參數(shù)矩陣為

表1　各視點的坐標(biāo)和姿態(tài)角

視點高度(h)坐標(biāo)(x,y,z)姿態(tài)角(φ,θ,ψ)O154.48(0,0,0)(1.35,7.61,-6.83)O254.47(-14.76,-1.65,-0.01)(1.31,7.64,-21.79)O354.49(-19.83,0.45,0.01)(1.41,7.62,-45.57)O454.49(-20.28,3.29,0.01)(1.43,7.62,-63.26)O554.50(-16.14,9.49,0.02)(1.40,7.65,-94.77)

3.1圖像配準(zhǔn)和拼接試驗

(1) 利用各視點的坐標(biāo)和姿態(tài)信息，計算各視點與O1之間的單應(yīng)變換矩陣，然后根據(jù)式(17)計算出相鄰視點航拍圖像之間的變換矩陣。

(2) 根據(jù)2.3節(jié)計算出Hm1,2，進(jìn)而由式(18)及H2,3得到Hm1,3。

(3) 同樣可以得到Hm2,4與Hm3,5。

為驗證本文方法的有效性，選擇利用SIFT特征點匹配的方法進(jìn)行對比，結(jié)果如表2所示。

表2　試驗結(jié)果

圖5　拼接結(jié)果Fig.5　Result of the image mosaic

3.2結(jié)果分析

圖5(d)、(e)分別為本文方法和用SIFT特征點匹配法的拼接結(jié)果，可以看出本文方法與SIFT特征點匹配法的圖像拼接效果基本相同，但是在場景細(xì)節(jié)中還存在一些差距(比如圖(d)中籃球場區(qū)域的拼接出現(xiàn)錯位)。這主要是因為航拍參數(shù)測量誤差的原因，雖然經(jīng)過了參數(shù)的校正，但是由于校正模型精確度的影響，由航拍參數(shù)計算出的單應(yīng)變換矩陣不可避免地會出現(xiàn)誤差。為更好地比較兩種方法圖像配準(zhǔn)的準(zhǔn)確程度，定義兩幅配準(zhǔn)圖像中每個匹配特征點的匹配誤差和平均配準(zhǔn)誤差分別為

(22)

(23)

式中，Ex(i)與Ey(i)分別表示第i個特征點匹配的坐標(biāo)誤差，定義如下

(24)

x1(i)、x2(i)分別表示第i個特征點在第1幅圖像和第2幅圖像中的橫坐標(biāo)；y1(i)、y2(i)分別表示第i個特征點在第1幅圖像和第2幅圖像中的縱坐標(biāo)。

比較兩種方法在4次圖像拼接中的配準(zhǔn)誤差，結(jié)果如圖6所示。

表3為兩種方法的平均匹配誤差以及最終的圖像拼接時間?？梢钥闯鯯IFT方法在初始的圖像配準(zhǔn)中效果好于本文方法，但是隨著拼接圖像的增加而帶來的累積誤差，之后該方法的圖像配準(zhǔn)誤差明顯增大，而且效果也不如本文的方法。這是因為本文方法通過航拍參數(shù)推導(dǎo)圖像之間的變換矩陣，連續(xù)拼接時拼接圖像與航拍圖像之間的變換矩陣也是根據(jù)航拍圖像間的變換矩陣推導(dǎo)而來，因此拼接的累積誤差也就只與航拍圖像的配準(zhǔn)精度相關(guān)。也就是說只要得到的航拍圖像之間的變換矩陣足夠準(zhǔn)確，多幅圖像連續(xù)拼接的誤差就不會越來越大。從試驗的拼接誤差可以發(fā)現(xiàn)用特征匹配的方法會導(dǎo)致拼接誤差逐漸增大(從6.129增加到21.6)，而本文方法的拼接誤差基本不隨圖像的增加而變大。同時可以發(fā)現(xiàn)本文方法的拼接速度更快，這是因為該方法只需要進(jìn)行一些矩陣的運(yùn)算，而不用提取圖像的特征點，因此可以極大地減少圖像拼接時間。而對于基于SIFT特征的一類拼接方法，提取圖像的SIFT特征極為耗時(提取特征點的耗時占總拼接時間的80%左右)。即便是一些方法采用改進(jìn)的SIFT描述子(比如SURF等方法)提高特征提取速度，但其拼接耗時仍然大大高于本文的方法。

圖6　圖像配準(zhǔn)誤差結(jié)果　Fig.6　Error result of image registration

拼接圖像特征點數(shù)本文方法SIFT方法誤差時間/s誤差時間/sIm11514.8951.007 6.1293.565Im28812.7151.1447.0395.244Im31295.4831.22810.2297.043Im411114.5191.33321.6008.679

4結(jié)論

本文結(jié)合無人機(jī)航拍的特點，提出了一種利用航拍參數(shù)進(jìn)行圖像快速配準(zhǔn)的方法。該方法對于航拍圖像的質(zhì)量和場景信息要求不高，主要依賴航拍圖像對應(yīng)的無人機(jī)姿態(tài)和坐標(biāo)的測量精度。試驗結(jié)果顯示，本文方法對于低分辨率的航拍視頻影像能有效地降低圖像拼接的時間，而且對于多幅圖像連續(xù)拼接產(chǎn)生的累積誤差更小。但是對于高分辨率的航拍圖像的拼接和幾何處理仍需要POS系統(tǒng)提供高精度的測量數(shù)據(jù)支持。下一步工作是通過建立更好的航拍參數(shù)校正模型來提高測量參數(shù)的精度，進(jìn)一步提高航拍圖像的拼接效果。

參考文獻(xiàn)：

[1]阮芹, 彭剛, 李瑞. 基于特征點的圖像配準(zhǔn)與拼接技術(shù)研究[J]. 計算機(jī)與數(shù)字工程, 2011, 39(2): 141-144, 183.

RUANQin,PENGGang,LIRui.StudyonImageRegistrationandMosaicTechnologhyBasedonSurfFeature[J].Computer&DigitalEngineering, 2011, 39(2): 141-144, 183.

[2]呂金建, 文貢堅, 李德仁, 等. 一種新的基于空間關(guān)系的特征匹配方法[J]. 測繪學(xué)報, 2008, 37(3): 367-373, 379.

LüJinjian,WENGongjian,LIDeren,etal.ANewMethodBasedonSpatialRelationsforFeatureMatching[J].ActaGeodaeticaetCartographicaSinica, 2008, 37(3): 367-373, 379.

[3]LOWEDG.ObjectRecognitionfromLocalScale-invariantFeatures[C]∥Proceedingsofthe7thIEEEInternationalConferenceonComputerVision.Kerkyra:IEEE, 1999: 1150-1157.

[4]LOWERDG.DistinctiveImageFeaturesfromScale-invariantKeypoints[J].InternationalJournalofComputerVision, 2004, 60(2): 91-110.

[5]KEYan,SUKTHANKARR.PCA-SIFT:AMoreDistinctiveRepresentationforLocalImageDescriptors[C]∥Proceedingsofthe2004IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington:IEEE, 2004: 511-517.

[6]MIKOLAJCZYKK,SCHMIDC.APerformanceEvaluationofLocalDescriptors[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005, 27(10): 1615-1630.

[7]BAYH,TUYTELAARST,VANGOOLL.SURF:SpeededUpRobustFeatures[C]∥Proceedingsofthe9thEuropeanConferenceonComputerVision.Berlin:Springer-Verlag, 2006: 404-417.

[8]羅楠, 孫權(quán)森, 耿蕾蕾, 等. 一種擴(kuò)展SURF描述符及其在遙感圖像配準(zhǔn)中的應(yīng)用[J]. 測繪學(xué)報, 2013, 42(3): 383-388.LUONan,SUNQuansen,GENGLeilei,etal.AnExtendedSURFDescriptorandItsApplicationinRemoteSensingImagesRegistration[J].ActaGeodaeticaetCartographicaSinica, 2013, 42(3): 383-388.

[9]MORELJM,YUGuoshen.ASIFT:ANewFrameworkforFullyAffineInvariantImageComparison[J].SIAMJournalonImagingSciences, 2009, 2(2): 438-469.

[10]CABALLEROF,MERINOL,FERRUZJ,etal.HomographyBasedKalmanFilterforMosaicBuilding.ApplicationstoUAVPositionEstimation[C]∥Proceedingsofthe2007IEEEInternationalConferenceonRoboticsandAutomation.Roma:IEEE, 2007: 2004-2009.

[11]李巖山, 裴繼紅, 謝維信, 等. 一種新的無人機(jī)航拍序列圖像快速拼接方法[J]. 電子學(xué)報, 2012, 40(5): 935-940.

LIYanshan,PEIJihong,XIEWeixin,etal.ANewFastAutomaticMosaicMethodonUnmannedAerialVehicleImages[J].ActaElectronicaSinica, 2012, 40(5): 935-940.

[12]XIONGPeng,LIUXianpeng,GAOChao,etal.AReal-timeStitchingAlgorithmforUAVAerialImages[C]∥Proceedingsofthe2ndInternationalConferenceonComputerScienceandElectronicsEngineering.Paris:AtlantisPress, 2013: 1613-1616.

[13]何賓, 陶丹, 彭勃. 高實時性F-SIFT圖像拼接算法[J]. 紅外與激光工程, 2013, 42(S2): 440-444.

HEBin,TAODan,PENGBo.HighReal-timeF-SIFTImageMosaicAlgorithm[J].InfraredandLaserEngineering, 2013, 42(S2): 440-444.

[14]楊宇博, 程承旗. 基于分塊Harris特征的航拍視頻拼接方法[J]. 北京大學(xué)學(xué)報(自然科學(xué)版), 2013, 49(4): 657-661.YANGYubo,CHENGChengqi.BlockHarrisBasedMosaicMethodforAerialVideo[J].ActaScientiarumNaturaliumUniversitatisPekinensis, 2013, 49(4): 657-661.

[15]FISCHLERMA,BOLLESRC.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography[J].CommunicationsoftheACMCACMHomepageArchive, 1981, 24(6): 381-395.

[16]何貝, 王貴錦, 沈永玲, 等. 結(jié)合地理參數(shù)的航拍視頻實時拼接算法[J]. 應(yīng)用科學(xué)學(xué)報, 2012, 30(2): 151-157.

HEBei,WANGGuijin,SHENYongling,etal.Real-timeMosaicingforAerialVideosCombinedwithGeographicalParameters[J].JournalofAppliedSciences:ElectronicsandInformationEngineering, 2012, 30(2): 151-157.

[17]徐玉華, 龔文全, 蘇昂, 等. 近似平面場景多視點圖像拼接算法[J]. 國防科技大學(xué)學(xué)報, 2014, 36(2): 148-155.

XUYuhua,GONGWenquan,SUAng,etal.Multi-viewpointImageMosaicingAlgorithmforRoughlyPlanarScenes[J].JournalofNationalUniversityofDefenseTechnology, 2014, 36(2): 148-155.

[18]YAHYANEJADS,WISCHOUNIG-STRUCLD,QUARITSCHM,etal.IncrementalMosaickingofImagesfromAutonomous,Small-scaleUAVs[C]∥Proceedingsofthe2010SeventhIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance.Boston:IEEE, 2010: 329-336.

[19]朱云芳. 攝像機(jī)徑向畸變校正和內(nèi)參估計的單圖標(biāo)定方法[J]. 光電工程, 2012, 39(9): 125-131.

ZHUYunfang.CalibrationofRadialDistortionandIntrinsicParametersUsingaSingleImage[J].Opto-ElectronicEngineering, 2012, 39(9): 125-131.

[20]丁建華, 姚明海, 趙瑜. 基于單應(yīng)性矩陣的機(jī)器人視覺伺服系統(tǒng)研究[J]. 機(jī)電工程, 2012, 29(12): 1485-1489.

DINGJianhua,YAOMinghai,ZHAOYu.StudyofVisualServoingSystemofRobotBasedonHomographyMatrix[J].JournalofMechanical&ElectricalEngineering, 2012, 29(12): 1485-1489.

[21]唐琎, 谷士文, 蔡自興. 圖象拼接誤差的理論分析[J]. 小型微型計算機(jī)系統(tǒng), 2003, 24(12): 2185-2189.

TANGJin,GUShiwen,CAIZixing.TheoreticalAnalysisonImageStitchingError[J].Mini-MicroSystems, 2003, 24(12): 2185-2189.

[22]李從利, 薛模根, 冷曉艷, 等. 空中偵察序列圖像連續(xù)拼接的累積誤差分析與消除[J]. 中國圖象圖形學(xué)報, 2008, 13(4): 814-819.

LICongli,XUEMogen,LENGXiaoyan,etal.AnalysisandEliminationonAerialReconSequentialImageStitchingAccumulativeError[J].JournalofImageandGraphics, 2008, 13(4): 814-819.

(責(zé)任編輯：叢樹平)

修回日期： 2016-02-02

Firstauthor：CHENGZhenggang(1988—),male,post-graduate,majorsinimageprocessing,computervisionandsoon.

E-mail：chengzhenggang2012@163.com

E-mail：chinazhangli@tsinghua.edu.cn

An Aerial Image Mosaic Method Based on UAV Position and Attitude Information

CHENG Zhenggang,ZHANG Li

Department of Electronic Engineering, Tsinghua University, Beijing 100084, China

Abstract：As the existing methods for aerial image mosaic take high computational, a fast and effective algorithm based on the position and attitude information of unmanned aerial vehicles (UAV) is proposed. Firstly, the coordinates and attitude angles of UAV can be obtained by airborne GPS and inertial measurement unit (IMU), and each aerial image has a corresponding position and attitude information. The homography matrix between two aerial images with the positions and attitude information can be calculated. Then the registration of the mosaic images is obtained by the operation of homography matrix. Finally, the multiple images can be stitched and the whole panorama got. A large number of experiments demonstrate this algorithm is efficient.

Key words：aerial image; position and attitude; image registration; homography matrix; panorama

中圖分類號：P231

文獻(xiàn)標(biāo)識碼：A

文章編號：1001-1595(2016)06-0698-08

基金項目：國家自然科學(xué)基金(61172125;61132007)

收稿日期：2015-11-05

第一作者簡介：程爭剛(1988—)，男，碩士生，研究方向為圖像處理、計算機(jī)視覺等。

通信作者：張利

Correspondingauthor：ZHANGLi

引文格式：程爭剛，張利.一種基于無人機(jī)位姿信息的航拍圖像拼接方法[J].測繪學(xué)報，2016,45(6)：698-705. DOI:10.11947/j.AGCS.2016.20150567.

CHENG Zhenggang,ZHANG Li.An Aerial Image Mosaic Method Based on UAV Position and Attitude Information[J]. Acta Geodaetica et Cartographica Sinica,2016,45(6):698-705. DOI:10.11947/j.AGCS.2016.20150567.