一種解決水域航攝影像的拼接方法

王正軍

(湖南北斗微芯數(shù)據(jù)科技有限公司, 湖南 長沙 410006)

0 引言

水體監(jiān)測是預防水質(zhì)災害發(fā)生與發(fā)展的重要手段,傳統(tǒng)監(jiān)測方法如水域內(nèi)剖面分析法耗時費力,數(shù)據(jù)獲取效率低,并且無法獲取大區(qū)域范圍水體參數(shù)[1-2]。隨著我國水體災害監(jiān)測系統(tǒng)的構(gòu)建,遙感技術(shù)已成為用于監(jiān)測分析的主要手段,但依靠衛(wèi)星和載人飛機獲取遙感影像存在實時性差、成本高的劣勢[3]。無人機航攝技術(shù)具有響應(yīng)快、機動靈活的特點,可用于第一時間獲取影像資料[4]。然而,受航攝儀和飛行高度的限制,無人機單幅航拍影像范圍較小,一般監(jiān)測海洋或地表時,水域面積十分龐大,在將大量影像拼接成單幅拼接圖時,傳統(tǒng)依靠特征點的影像拼接方法因無法提取出足夠的特征點數(shù)量,致使無法完成拼接,在一定程度上限制了無人機高效性能的發(fā)揮。

航攝影像拼接是將兩幅或多幅影像按照一定的數(shù)學規(guī)則合并成單幅大視場影像的過程。一般包括預處理、特征配準、影像融合三個步驟[5],其中特征配準是根據(jù)匹配的特征點建立影像間的幾何變換關(guān)系,是影像拼接的核心[6]。在應(yīng)用特征配準實現(xiàn)影像拼接時,為克服外界環(huán)境和傳感器本身引起的影像變形,先后出現(xiàn)了剛體變換、仿射變換、透視變換等模型[7- 8]。因此,合適的變換模型和高精度的匹配結(jié)果是實現(xiàn)影像良好拼接的關(guān)鍵。針對水域影像因紋理匱乏而無法匹配適量特征點的問題,采取另一種解決思路,即在無人機上搭載高精度差分全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System,GNSS),由定位測姿系統(tǒng)(Positioning and Orientation System,POS)獲取位姿數(shù)據(jù)恢復立體成像模型,進一步推導出影像間的幾何變化關(guān)系,完成影像拼接。

1 幾何變換模型

經(jīng)過影像特征點匹配,可以搜索到相鄰影像匹配的特征點集合。若完成影像拼接,需要將待拼影像坐標系上的所有像素點透視變換到基準影像所在的坐標系上。影像坐標系間的變換關(guān)系可用某個矩陣來表示,即單應(yīng)性變換矩陣[9]。單應(yīng)性變換矩陣表述了像點和空間任意點的變換關(guān)系,傳感器成像模型如圖1所示,S-XSYSZS為空間直角坐標系,o-xy為像平面坐標系。

圖1 傳感器成像模型

空間某點P(X,Y,Z,1)T在經(jīng)中心投影方式獲得像點p(x,y,1)T,可用矩陣W完成變換

sp=WP=(w1,w2,w3,w4)P

(1)

式中,s為比例因子,空間點P所在的坐標系一般可隨意選擇,對于XOY平面上的點Z=0,則式(1)可寫成

(2)

式中,令H=(w1,w2,w3),P=(X,Y,1)T,則式(2)可簡寫為

sp=HP

(3)

式中，H即稱為單應(yīng)性變換矩陣,可用于描述影像間的平移、旋轉(zhuǎn)、縮放以及不同方向位移等多種透視變形,單應(yīng)性變換矩陣一般為3維滿秩矩陣,則對于兩幅影像的拼接,取待拼接影像平面為空間物方坐標系,則影像間的變化關(guān)系可表示為

(4)

式中，(x′,y′,1)T和(x,y,1)T分別表示像點在基準影像和待拼接影像上的齊次坐標,單應(yīng)性變換矩陣共有8個未知參數(shù),一般情況下,需要存在至少4個精準匹配的特征點進行求解。

2 影像配準

通常情況下,影像配準包含四個步驟:特征提取、特征匹配、求解變換矩陣和圖像變換。首先需要對影像的特征進行區(qū)分和描述,特征描述越精確,影像配準的精度越高,而后匹配相同特征,建立影像間的變換關(guān)系,即可將一幅影像上的像素點投影變換到另一幅影像上?？梢娪跋衽錅室鉀Q兩個問題:一是建立特征點間的關(guān)系,二是獲取影像間的變換矩陣[10]。目前,根據(jù)圖像的信息不同,影像配準主要包括基于特征的配準和基于灰度的配準,兩種方法均對影像的紋理要求嚴格,而對于如水域、森林等紋理單一的區(qū)域,存在無法提取到特征點的現(xiàn)象,下面介紹一種利用高精度定位定姿系統(tǒng)(Position and Orientation System，POS)數(shù)據(jù)實現(xiàn)影像配準的方法。

2.1 相鄰影像間的配準

如圖2所示,無人機在飛行過程先后經(jīng)空間點O1、O2,獲得相鄰影像對I1、I2,設(shè)地面上有一點Q,在世界坐標系下的坐標為(X,Y,Z),分別在兩幅影像上所成的像點及坐標為q1(u1,v1,1)和q2(u2,v2,1),O1、O2在世界坐標系下的坐標分別表示為(XC1,YC1,ZC1)和(XC2,YC2,ZC2)。

圖2 立體相對成像模型

以O(shè)1作為世界坐標系的原點,則存在以下關(guān)系式

(5)

式中，M為航攝儀的內(nèi)參數(shù)矩陣,可由像元尺寸dx、dy,像主點坐標(u0,v0)和焦距f構(gòu)成

(6)

將式(5)變換形式,可表達為

(7)

假設(shè)無人機由空間點O1運動到O2,位姿的變換關(guān)系為R[I,-t],R為三個姿態(tài)角構(gòu)成的三維旋轉(zhuǎn)矩陣,t為平移向量,可進一步得到

(8)

對于航攝地面,可用如下方程表示

(9)

式中，n表示航攝地面單位法向量；d為無人機飛行高度；X表示地面任意點坐標。綜合公式(7)～(9)可以進一步得到

(10)

ZC1/ZC2為系數(shù)項,因此可以得到兩幅影像間的配準結(jié)果

(11)

對于水域平面,d可看作近似相同,當無人機按照指定航高飛行時,可有效保證成像在相同景深中,故所有相鄰影像均滿足此單應(yīng)性關(guān)系。

2.2 多幅影像的配準

在完成無人機影像兩兩拼接后,可將拼接圖與第三幅影像進行拼接,直至所有影像拼接完成,但對于拼接后的影像不滿足單幅影像航攝條件,無法直接計算單應(yīng)性變換矩陣。因此,提出將矩陣分解的方法。

以三幅影像拼接為例,編號為P1、P2、P3,設(shè)前兩幅合成后的影像為Pm,P1和P2、Pm和P3、P2和P3之間的變換矩陣分別為H12、Hm3、H23,其中Hm3無法直接計算得到,因此,考慮先建立影像Pm與P2的關(guān)系,再由H23間接計算Hm3,即

Hm3=H23Hm2

(12)

由于影像P2是Pm的一部分,因此Hm2僅為一個平移矩陣。如圖3展示了兩幅影像的拼接效果，其中頂點A1、B1、C1、D1組成影像P1，頂點A2、B2、C2、D2組成影像P2，頂點Am、Bm、Cm、Dm組成影像Pm，坐標系以頂點A2為原點，單位為mm。

圖3 兩幅影像的拼接

可以看出,P2到Pm的平移參數(shù)為

(13)

式中,xA1,xB1,xC1,xD1,xA2,xB2,xC2,xD2為影像P1、P2各個頂點在坐標系中的橫坐標;yA1,yB1,yC1,yD1,yA2,yB2,yC2,yD2為影像P1、P2各個頂點在坐標系中的縱坐標;(xAm,yAm)為頂點Am的坐標;(Δx,Δy)為平移參數(shù)。Hm2即可表示為

(14)

進一步得到Hm3,完成影像的連續(xù)配準。

3 影像拼接實驗

3.1 實驗數(shù)據(jù)

我國城市近海岸區(qū)域聚集了企業(yè)、碼頭、港口等,情況復雜多變,加強沿海區(qū)域監(jiān)測事關(guān)重要,無人機可作為近海區(qū)域災情處置的主要保障方式。鑒于其快速響應(yīng)能力,本文選用大疆MAVIC PRO無人機,相機焦距為28 mm,沿某地區(qū)海岸線飛行,航高100 m,航向重疊度設(shè)置為60%,選取其中具有重疊的7幅影像如圖4所示,所對應(yīng)的POS數(shù)據(jù)如表1所示。

圖4 無人機航攝影像

表1 無人機影像POS數(shù)據(jù)

3.2 實驗結(jié)果

根據(jù)本文提出的應(yīng)用POS數(shù)據(jù)實現(xiàn)影像拼接設(shè)計思路,對上述7幅影像實現(xiàn)拼接。首先對影像進行預處理,使影像色彩、亮度一致;然后選用MATLAB對算法實現(xiàn)編程,計算兩兩影像間的單應(yīng)性變換矩陣和多幅影像的配準矩陣;最后完成影像拼接與融合。影像拼接結(jié)果如圖5所示。

圖5 無人機影像拼接圖

可見,在不依靠影像紋理特征時,應(yīng)用POS數(shù)據(jù)同樣可以實現(xiàn)影像的拼接,地物位錯較小。根據(jù)影像拼接圖,可有效了解海上水質(zhì)情況,為進一步應(yīng)急處置提供有效參考。

4 結(jié)束語

本文利用無人機導航定位系統(tǒng)所獲取的位姿參數(shù),推導了影像間的單應(yīng)性變換矩陣,并通過矩陣分解有效解決了多幅影像的配準問題,最終經(jīng)MATLAB編程,實現(xiàn)了無人機水域影像的大范圍自動拼接,有效解決了對影像紋理特征的依賴,同時拼接效率也得到了顯著提升。實驗表明,本文方法在海岸線水質(zhì)監(jiān)測方面具有較好的應(yīng)用價值。在應(yīng)對突發(fā)災情時,可以第一時間向決策指揮部門提供資料,以便迅速制定決策。