一種無(wú)人機(jī)視頻影像快速配準(zhǔn)方法

孫新博，李英成，王恩泉，耿中元，王思雪

(1. 自然資源部航空遙感技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100039； 2. 北京市低空遙感數(shù)據(jù)處理工程技術(shù)研究中心，北京 100039； 3. 中測(cè)新圖(北京)遙感技術(shù)有限責(zé)任公司,北京 100039)

隨著各種輕小型高精度傳感器的不斷問(wèn)世及無(wú)人機(jī)平臺(tái)整體性能的提升，無(wú)人機(jī)搭載不同傳感器進(jìn)行作業(yè)已成為常態(tài)[1]，其中視頻傳感器得益于能夠獲取動(dòng)態(tài)變化影像及數(shù)據(jù)實(shí)時(shí)回傳的特性而受到行業(yè)關(guān)注。受視頻傳感器幅面、視角和無(wú)人機(jī)飛行高度影響，單幀無(wú)人機(jī)視頻影像所覆蓋的區(qū)域面積較小，在一些任務(wù)中需要對(duì)多幀視頻影像進(jìn)行拼接。拼接的前提是視頻幀的有效配準(zhǔn)，在應(yīng)急測(cè)繪中無(wú)法按照傳統(tǒng)的航空攝影測(cè)量流程生成標(biāo)準(zhǔn)正射影像實(shí)現(xiàn)視頻幀的配準(zhǔn)，因此研究基于實(shí)時(shí)回傳的無(wú)人機(jī)視頻幀快速配準(zhǔn)方法對(duì)于應(yīng)急響應(yīng)具有重要意義。文獻(xiàn)[2—4]采用SIFT等算法對(duì)影像進(jìn)行匹配，剔除誤匹配點(diǎn)對(duì)后建立影像間空間變換模型，統(tǒng)一坐標(biāo)系，從而完成影像配準(zhǔn)。這種方法偏重于紋理豐富的區(qū)域，在紋理單一區(qū)域就無(wú)法獲取有效特征點(diǎn)信息且匹配過(guò)程計(jì)算復(fù)雜，耗時(shí)較長(zhǎng)。文獻(xiàn)[5—9]借助無(wú)人機(jī)影像的定位定姿信息快速建立影像間的空間變換關(guān)系，再分別通過(guò)采用校正模型、構(gòu)建平衡二叉樹、建立仿射變換模型、地理坐標(biāo)局部修正等手段減少誤差積累，改善配準(zhǔn)效果，這種方法大大提高了無(wú)人機(jī)影像的配準(zhǔn)速度，但對(duì)于姿態(tài)穩(wěn)定性更差的視頻幀的處理較少涉及。文獻(xiàn)[10—11]基于獲取的帶有重疊的無(wú)人機(jī)影像估計(jì)相機(jī)位姿，恢復(fù)場(chǎng)景三維結(jié)構(gòu)，根據(jù)影像的相對(duì)位姿進(jìn)行圖像坐標(biāo)變換，統(tǒng)一坐標(biāo)系，從而實(shí)現(xiàn)影像間的配準(zhǔn)。該方法與基于特征匹配的方法相似，但其對(duì)消除誤差累計(jì)處理得更好且具有實(shí)時(shí)處理的能力。

本文從應(yīng)急測(cè)繪需求出發(fā)，提出一種無(wú)人機(jī)視頻影像快速配準(zhǔn)方法。該方法首先對(duì)視頻傳感器進(jìn)行標(biāo)定，獲取其內(nèi)方位元素和畸變參數(shù)信息；然后基于時(shí)間索引和線性/球面插值方法，實(shí)現(xiàn)視頻幀與地理信息同步；最后利用外方位元素和數(shù)字高程模型對(duì)視頻幀進(jìn)行正射糾正，通過(guò)匹配獲取同名特征點(diǎn)，快速計(jì)算正射影像間仿射變換模型，基于仿射尺度不變坐標(biāo)微調(diào)方法，調(diào)整正射影像地理坐標(biāo)，從而實(shí)現(xiàn)視頻幀間精確配準(zhǔn)。配準(zhǔn)后的視頻幀經(jīng)過(guò)融合即形成帶有地理坐標(biāo)的拼接影像，可進(jìn)行快速定位與空間分析，為應(yīng)急救災(zāi)提供參考資料。

1 視頻傳感器標(biāo)定

針孔成像模型是相機(jī)及視頻傳感器最常用且較為簡(jiǎn)單的幾何模型[12]，用來(lái)描述三維世界中坐標(biāo)點(diǎn)映射到二維圖像平面的過(guò)程。理想情況下，針孔成像模型描述了地面點(diǎn)、投影中心及對(duì)應(yīng)像點(diǎn)三者之間嚴(yán)格的數(shù)學(xué)關(guān)系，在攝影測(cè)量學(xué)中共線方程是針孔成像模型的數(shù)學(xué)基礎(chǔ)，其公式如下

(1)

式中，x、y為像點(diǎn)坐標(biāo)；X、Y、Z為對(duì)應(yīng)的地面點(diǎn)坐標(biāo)；f為主距；x0、y0為像主點(diǎn)坐標(biāo)；Xs、Ys、Zs為外方位元素線元元素；ai,bi,ci(i=1,2,3)為旋轉(zhuǎn)矩陣元素。

由于傳感器鏡頭設(shè)計(jì)、制作、裝配等誤差造成像點(diǎn)偏離其理想成像位置，主要包括徑向畸變和切向畸變。其中徑向畸變是指像點(diǎn)沿物鏡向徑向方向偏離其準(zhǔn)確理想位置的畸變差，切向畸變是由透鏡與成像平面不平行引起的。一般來(lái)說(shuō)，視頻傳感器的非線性畸變模型主要是徑向畸變和切向畸變，除此之外還包括平面不平畸變和平面內(nèi)變形畸變等附加畸變[13]。在傳感器標(biāo)定精度要求不是特別嚴(yán)格的條件下，徑向畸變和切向畸變就能夠描述其非線性畸變，因此本文研究主要考慮視頻傳感器的徑向畸變和切向畸變。

本文采用基于標(biāo)定物的視頻傳感器標(biāo)定方法[14-15]，該方法是利用幾何結(jié)構(gòu)已知的標(biāo)定參照物，通過(guò)建立參照物上已知點(diǎn)坐標(biāo)與圖像坐標(biāo)點(diǎn)之間的對(duì)應(yīng)關(guān)系，結(jié)合傳感器成像幾何模型約束條件，使用優(yōu)化算法精確求解標(biāo)定參數(shù)。完成視頻傳感器的標(biāo)定工作后，利用求解出的參數(shù)對(duì)視頻幀影像進(jìn)行畸變差改正，消除傳感器畸變模型帶來(lái)的誤差以提高配準(zhǔn)精度。

2 基于坐標(biāo)信息的影像配準(zhǔn)

無(wú)人機(jī)獲取的定位定姿數(shù)據(jù)和視頻流數(shù)據(jù)存在時(shí)間基準(zhǔn)不統(tǒng)一、采集頻率不一致等問(wèn)題。針對(duì)這一問(wèn)題，文獻(xiàn)[16]利用定位定姿系統(tǒng)輸出的PPS(pulse per second)觸發(fā)攝影機(jī)拍攝圖像，機(jī)載計(jì)算機(jī)記錄圖像的同時(shí)解析全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS信息數(shù)據(jù)包，并將每幀圖像的曝光時(shí)間、位置、姿態(tài)數(shù)據(jù)記錄到計(jì)算機(jī)中，實(shí)現(xiàn)定位定姿數(shù)據(jù)與圖像在時(shí)間上的同步。本文所采用的視頻傳感器為近似連續(xù)采集圖像設(shè)備，不適合采用文獻(xiàn)中脈沖信號(hào)觸發(fā)曝光動(dòng)作實(shí)現(xiàn)數(shù)據(jù)時(shí)間同步的方法。

為了解決上述問(wèn)題，本文采用基于時(shí)間索引和線性/球面插值方法建立視頻流數(shù)據(jù)與定位定姿數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系[17]。具體實(shí)現(xiàn)方法如下：

(1) 以計(jì)算機(jī)系統(tǒng)時(shí)間為參考，分別記錄定位定姿數(shù)據(jù)和視頻幀的采集時(shí)間，時(shí)間單位由時(shí)-分-秒-毫秒轉(zhuǎn)換為毫秒。

(2) 以時(shí)間為自變量，分別以位置坐標(biāo)和姿態(tài)數(shù)據(jù)為因變量建立線性插值方程、球面插值方法。

(3) 利用視頻幀的采集時(shí)間索引相應(yīng)插值方程，計(jì)算視頻幀對(duì)應(yīng)的定位定姿數(shù)據(jù)，建立二者的對(duì)應(yīng)關(guān)系。

通過(guò)上述方法實(shí)現(xiàn)了視頻幀與定位定姿數(shù)據(jù)的一一對(duì)應(yīng)，在精度要求不是很高的情況下，慣性導(dǎo)航系統(tǒng)獲取的位置和姿態(tài)信息可以直接作為傳感器曝光瞬間的外方位元素。本文采用間接法數(shù)字微分糾正[18]實(shí)現(xiàn)視頻幀影像的快速地理編碼。地理編碼后的視頻幀可根據(jù)坐標(biāo)信息實(shí)現(xiàn)配準(zhǔn)，但在實(shí)際應(yīng)用中發(fā)現(xiàn)由于定位定姿數(shù)據(jù)自身精度問(wèn)題造成了糾正后每幀視頻影像間均有位移偏差，如圖1所示。為了消除位移偏差，本文采用地理坐標(biāo)微調(diào)方法改善視頻幀之間的配準(zhǔn)質(zhì)量。

3 無(wú)人機(jī)視頻影像地理坐標(biāo)微調(diào)

3.1 視頻影像變換模型

利用特征匹配和RANSAC(隨機(jī)取樣一致性)算法[19-21]獲取視頻幀影像間匹配關(guān)系后，則可以選擇合適的幾何變換模型對(duì)待配準(zhǔn)影像坐標(biāo)進(jìn)行幾何變換，將待配準(zhǔn)影像坐標(biāo)調(diào)整到參考影像坐標(biāo)系下，從而改善基于坐標(biāo)信息的視頻幀配準(zhǔn)質(zhì)量。圖像變換模型主要包括剛體變換、仿射變換、相似性變換及透視變換等，視頻幀之間存在旋轉(zhuǎn)、縮放變化，可以采用仿射變換或相似性變換擬合幾何變換關(guān)系，但仿射變換在擬合效果方面優(yōu)于相似性變換[22]，因此本文采用仿射變換對(duì)視頻幀坐標(biāo)進(jìn)行調(diào)整。仿射變換的矩陣形式表示如下

(2)

式中，x1、y1為參考影像像點(diǎn)坐標(biāo)；x2、y2為待配準(zhǔn)影像像點(diǎn)坐標(biāo)；mi(i=0,1,2,3,4,5)為仿射變換系數(shù)。從式(2)可以看出仿射變換模型有6個(gè)未知參數(shù)，至少需要3對(duì)匹配特征點(diǎn)求解仿射變換模型參數(shù)，在同名特征點(diǎn)多于3對(duì)的情況下，需要采用最小二乘法求解仿射變換模型未知參數(shù)。本文以航線內(nèi)第一幀正射糾正后的視頻幀作為參考影像，通過(guò)仿射變換模型調(diào)整相鄰視頻幀的地理坐標(biāo)。調(diào)整效果如圖2所示。

從視頻幀地理坐標(biāo)調(diào)整結(jié)果可以看出該方法很好地消除了相鄰視頻幀間的位移偏差，卻又引入了尺度誤差，即仿射變換模型中的縮放變換。這是由于參考影像受誤差影響自身并非與地面信息嚴(yán)格一致，不可避免地存在投影誤差，誤差隨著視頻幀數(shù)的增加會(huì)越來(lái)越大。在仿射變換模型中則會(huì)表現(xiàn)為尺度變化越來(lái)越大，為此需要控制仿射變換模型中的縮放因子。

3.2 基于仿射尺度不變的坐標(biāo)微調(diào)

為了解決視頻幀坐標(biāo)調(diào)整過(guò)程中仿射變換模型縮放因子不受控制的問(wèn)題，本文提出了基于仿射尺度不變的坐標(biāo)微調(diào)方法。該方法通過(guò)比較仿射變換前后影像x和y方向上分辨率大小變化，獲取仿射變換模型縮放比例系數(shù)scale_x和scale_y，假設(shè)仿射變換后影像中心不存在平移變化，則按圖3位置關(guān)系計(jì)算坐標(biāo)微調(diào)量值。A(x,y)為仿射變換后影像左上角坐標(biāo)，A′(x′,y′)為坐標(biāo)微調(diào)后影像左上角坐標(biāo)，Δx、Δy為坐標(biāo)微調(diào)量，用下式表示為

(3)

按照式(3)計(jì)算出坐標(biāo)微調(diào)量，進(jìn)而改正仿射變換后影像左上角坐標(biāo)，同時(shí)x和y方向上的分辨率大小采用仿射變換前影像的分辨率大小。

以正射糾正后的參考幀為基準(zhǔn)依次調(diào)整相鄰視頻幀的地理坐標(biāo)，消除航線內(nèi)視頻幀之間的位移偏差，結(jié)果如圖4所示。

4 試驗(yàn)與分析

選取某型號(hào)無(wú)人機(jī)拍攝的兩條航線的視頻數(shù)據(jù)，按照自適應(yīng)關(guān)鍵幀提取算法實(shí)時(shí)獲取滿足重疊度要求的視頻關(guān)鍵幀共148張，幀影像大小為1920×1080像素。首先利用傳感器標(biāo)定參數(shù)對(duì)視頻幀進(jìn)行畸變差改正，消除畸變差影響；接著利用每幀對(duì)應(yīng)的定位定姿數(shù)據(jù)快速對(duì)每條航線的視頻幀進(jìn)行正射糾正；再利用SURF特征提取算法對(duì)航線內(nèi)正射糾正后的視頻幀兩兩匹配，計(jì)算兩兩之間的仿射變換模型；最后采用基于仿射尺度不變的坐標(biāo)微調(diào)方法對(duì)航線內(nèi)視頻幀進(jìn)行坐標(biāo)微調(diào)，消除兩兩之間的位移偏差，單條航線內(nèi)視頻幀配準(zhǔn)效果如圖5所示。

從圖5可以看出房屋、道路、山丘連接良好，未出現(xiàn)位移偏差現(xiàn)象。本次試驗(yàn)是選擇第一幀視頻影像作為參考影像從左至右兩兩進(jìn)行坐標(biāo)微調(diào)，航帶尾部配準(zhǔn)效果略差于其他部分，這是由于誤差積累引起的，可以采用從航帶中間選取參考幀的方法減少誤差積累。

5 結(jié) 語(yǔ)

本文針對(duì)應(yīng)急測(cè)繪中對(duì)無(wú)人機(jī)視頻流快速處理的需求，提出了一種無(wú)人機(jī)視頻影像快速配準(zhǔn)方法。該方法基于時(shí)間索引和線性/球面插值方法實(shí)現(xiàn)視頻幀與定位定姿信息的一一對(duì)應(yīng)，利用定位定姿信息對(duì)視頻幀進(jìn)行正射糾正，糾正后的視頻幀按照坐標(biāo)信息進(jìn)行配準(zhǔn)，由于定位定姿信息精度的影響，導(dǎo)致視頻幀間存在位移偏差。盡管基于仿射變換模型的方法能夠消除位移偏差，但縮放因子的影響造成影像形變嚴(yán)重，在此基礎(chǔ)上本文采用控制仿射變換模型中縮放因子不變的坐標(biāo)微調(diào)方法很好地解決了上述問(wèn)題，實(shí)現(xiàn)了航帶內(nèi)視頻幀的精確配準(zhǔn)。但是本文方法在航帶間視頻幀的配準(zhǔn)試驗(yàn)中并未取得較好的效果，下一步工作將繼續(xù)開展航帶間視頻幀的近實(shí)時(shí)配準(zhǔn)研究，為應(yīng)急測(cè)繪數(shù)據(jù)快速實(shí)時(shí)獲取提供技術(shù)支持。