基于雙目視覺的自動空中加油近距導航方法

解洪文 王宏倫

(北京航空航天大學 無人駕駛飛行器設計研究所,北京 100191)

基于雙目視覺的自動空中加油近距導航方法

解洪文 王宏倫

(北京航空航天大學 無人駕駛飛行器設計研究所,北京 100191)

為解決插頭錐管式自動空中加油中的近距精確導航問題,提出了一種基于雙目視覺的近距導航方法.該方法使用受油機上的兩個攝像機拍攝加油錐管端面上光學標記的圖像,采用輪廓跟蹤法檢測圖像中的光斑區(qū)域,并將其灰度重心作為光學標記的像點,根據(jù)對極幾何約束完成像點的匹配,利用空間圓形擬合法計算加油錐管的位置和姿態(tài).建立了空中加油的三維虛擬場景對該導航方法進行仿真驗證,仿真結果表明,該方法在近距離加油對接時具有很高的位置和姿態(tài)測量精度,可以滿足自動空中加油的需要.

自動空中加油;視覺導航;雙目視覺

自動空中加油技術是未來空中加油技術的發(fā)展趨勢.我國采用的空中加油方式為插頭錐管式(又稱軟管方式),該方式主要依靠受油機的操縱來完成加油,在近距離加油對接時(一般在 100m以內),必須精確測量加油錐管相對于受油機的位置,通常要求相對位置的測量精度達到 10 cm級[1].傳統(tǒng)的 GPS(Global Positioning System)和慣性導航方法以及二者的組合,一般用于較遠距離的導航中.在近距離加油對接階段,由于 GPS信號易受干擾、慣性導航存在漂移等問題,很難達到足夠的位置測量精度.而視覺系統(tǒng)廣泛用于近距離的高精度三維測量中,視覺導航方法為這一問題提供了可行的解決方案.

國內在軟管自動空中加油方面的研究尚處于起步階段,國外已經(jīng)在這方面進行了較為廣泛的研究.文獻[2-3]提出了在加油錐管端面上放置光學標記并結合 LHM算法[4]的導航方法,并進行了仿真實驗,但該方法假定所有像點都能被正確識別,如果這些像點沒有被正確識別、二極管布置方式不是正多邊形或者出現(xiàn)個別損壞等,這種方法就不能正常工作,抗干擾能力較差;文獻[5-6]介紹了一種新型的視覺導航系統(tǒng) VisNav,該導航系統(tǒng)利用受油機上特制的傳感器和加油錐管上的信號燈進行配合,并通過修正 Rodrigues參數(shù)計算加油錐管的位置和姿態(tài),但是該方法需要依賴特制的傳感器和信號燈,通用性較差.

針對上述視覺導航方法存在的不足,本文研究了一種比較通用的基于雙目視覺的近距導航方法,可以快速準確測量加油錐管的相對位置和姿態(tài),并具有較高的抗干擾能力.

1 基于雙目視覺的近距導航方法

本方法的總體思路為:在加油錐管端面上放置多個光學標記(如圖 1所示),但不要求嚴格等間距;在受油機上安裝兩個帶有濾光片的攝像機,可削弱除光學標記外的其他環(huán)境光的干擾;兩個攝像機實時拍攝光學標記的圖像,并對圖像中光學標記的像點進行提取,利用雙目視覺系統(tǒng)的對極幾何關系完成同名像點的匹配,然后分別計算出單個光學標記的空間位置;最后對這些空間點進行空間圓形擬合,計算出空間圓的圓心位置和法線方向,可得出加油錐管的位置和姿態(tài).

圖1 放置在加油錐管端面上的光學標記

1.1 針孔攝像機模型

攝像機的成像采用針孔攝像機模型描述,即點 P在圖像中的投影位置 p為光心和 P點的連線與圖像平面的交點,如圖 2所示.OwXwYwZw為世界坐標系,O0UV為像素坐標系,OXY為圖像坐標系,O點的像素坐標為(u0,v0),p點的像素坐標為(u,v),圖像坐標為(x,y),焦距 f=|OcO|.

p點的像素坐標和圖像坐標的關系為

式中,dx和 dy分別是圖像中一個像素在 X和 Y方向的物理尺寸.

空間點 P的世界坐標與其像點 p的像素坐標的關系為

圖2 針孔攝像機模型

其中,R為 3×3的正交矩陣;t為 3×1的平移向量;fu=f/dx和 fv=f/dy為 U軸和 V軸上的歸一化焦距;M1為內參數(shù)矩陣,描述了攝像機的內部成像特性;M2為外參數(shù)矩陣,描述了攝像機在世界坐標系中的位置和姿態(tài),二者可通過攝像機的標定求得.

1.2 雙目視覺系統(tǒng)的數(shù)學模型

雙目視覺的原理如圖 3所示,由左右像點和攝像機的光心可以確定兩條射線,兩條射線的空間交點即為實際物點 P的位置.OclXclYclZcl和OcrXcrYcrZcr分別為左右攝像機坐標系,pl和 pr為P點在左右圖像平面的像點,其圖像坐標分別為(xl,yl),(xr,yr).根據(jù)式(1)、式(2)可以推導出

式中,Ml和 Mr為左右攝像機的投影矩陣.式(3)的幾何意義是過 Oclpl和 Ocrpr的兩條射線,點 P是這兩條射線的交點.聯(lián)立消去常數(shù) zcl和 zcr之后,可得到關于 xw,yw和zw的 4個線性方程,解此方程組可求出點的空間坐標.在實際應用中,該方程組一般為超定方程組,可采用最小二乘法求解.

圖3 雙目視覺的空間幾何關系

1.3 光學標記像點的提取

光學標記可看作點光源,在攝像機像平面的成像為橢圓形光斑.另外,由于濾光片的作用,圖像大部分區(qū)域亮度較低,只有光學標記對應的光斑部分亮度較高,轉化成灰度圖像后見圖 4a.

對該圖像首先進行濾波和二值化處理,將其轉化成二值圖像.然后對光斑區(qū)域進行檢測,本文采用了輪廓跟蹤法[7],使用鏈碼表記錄區(qū)域的邊界.如圖 4b所示,陰影部分代表一個光斑區(qū)域,#為當前邊界點,以它為中心按順時針進行邊界點的檢測,即圖 4b中 A-B-C-D的順序.遇到新的邊界點則停止該輪檢測,然后以新邊界點為中心進行新的檢測.當邊界點回到起點,且鏈碼方向與第1個鏈碼方向一致時,邊界線閉合,檢測結束.若某一像素在其鄰點中沒有新的邊界點,則表示為孤立點,予以剔除,這樣可以濾去隨機噪聲點的干擾.

多個光斑區(qū)域的檢測是在單個光斑區(qū)域基礎上完成的.掃描整個圖像區(qū)域,尋找屬于光斑區(qū)域的像素點,以該點為起點,利用單個光斑區(qū)域的檢測方法進行檢測,得到整個區(qū)域的邊界;將檢測出的區(qū)域記錄,以免同一區(qū)域被重復檢測;重復進行上述步驟,直到所有區(qū)域檢測完畢.

圖4c為從圖 4a中檢測到的光斑區(qū)域的輪廓.可見所有的光斑區(qū)域都被正確檢測出來,證明了該方法的有效性.

檢測出各個光斑區(qū)域之后,求取每個光斑區(qū)域的亞像素精度的灰度重心,將灰度重心作為光學標記像點的位置.

圖4 光學標記圖像及輪廓跟蹤過程

1.4 光學標記像點的匹配

像點匹配時利用了雙目視覺中的對極幾何關系.

如圖 5所示,由左右攝像機光心 Cl,Cr和空間點 P構成的平面稱為極平面.點 P的兩個像點pl和 pr都位于極平面與各自圖像平面的交線上.這樣就把對應點的搜索從二維平面降維到一維直線上,大大提高了匹配效率.

圖5 雙目視覺中的對極幾何

對極幾何關系在數(shù)學上可以通過基本矩陣[8]F來描述.式(3)可以寫成:

其中,pl和 pr分別為點 P的左右像點的圖像坐標;Pw為點 P的世界坐標;Ml1和 Mr1分別表示 Ml和 Mr中左邊 3×3旋轉矩陣部分;ml和 mr分別表示 Ml和 Mr中右邊的 3×1平移向量部分.

可利用式(5)給出的關系完成像點的快速匹配,之后再根據(jù)雙目視覺系統(tǒng)的數(shù)學模型分別計算出每個光學標記的空間位置.

1.5 加油錐管位置和姿態(tài)的測量

由于光學標記安裝在加油錐管的端面上,所以可認為它們位于一個空間圓上.因此,對這些點進行空間圓的擬合(如圖 6所示),可以將空間圓的圓心作為加油錐管端面的中心,將空間平面的法線方向作為加油錐管端面的朝向.

圖6 空間圓擬合

在進行空間圓擬合時,將空間圓看作是空間球體和空間平面的交線[9],分別進行空間球體和空間平面的擬合,聯(lián)立可得空間圓的方程.采用最小二乘參數(shù)估計法進行空間圓擬合,將數(shù)據(jù)點與空間球體和空間平面之間的代數(shù)距離作為評價準則,按照代數(shù)距離平方和最小的原則來求解估計的參數(shù).

按此方法進行空間圓形的擬合至少需要 4個有效點的信息,在實際應用中光學標記的數(shù)目一般多于 4個,這樣可有效防止因個別光學標記失效引起的測量失敗的問題.

2 仿真實驗

采用 Vega Prime 2.0視景驅動軟件和開源圖形庫 OpenGL建立了空中加油三維虛擬場景,如圖 7所示.用透視投影原理模擬兩個攝像機的成像過程,這同前面所述的針孔成像模型一致.

圖7 空中加油三維虛擬場景

從受油插頭和加油錐管相距 100m開始,直到二者完成對接(距離為 0)為止,每隔 1m提取左右兩幅攝像機圖像,利用上述方法計算加油錐管的位置和姿態(tài),并與真實值對比,得到測量誤差曲線,如圖 8所示.

圖8 位置和姿態(tài)測量誤差絕對值曲線

由圖 8可見,隨著距離的接近,側向和垂向的測距精度逐步提高,整個過程的測量誤差大致在5 cm范圍內,距離靠近時精度提高,40m以內測量誤差小于 3 cm,保證了受油插頭能夠準確地進入錐管的端面區(qū)域;前向的測距精度基本都在 15 cm以內,遠距時比較高,近距時精度有所下降,但由于此時側向和垂向的測距精度很高,受油插頭可準確地進入錐管的端面區(qū)域,這時也是可以滿足要求的.姿態(tài)測量誤差是以測得的法線方向與實際法線方向之間的角度偏差表示的.從圖 8明顯看出,遠距時姿態(tài)測量誤差稍大,近距時姿態(tài)測量誤差越來越小,40m以內小于 1°.

3 結束語

本文研究的基于雙目視覺的自動空中加油近距導航方法,充分利用了兩個攝像機的圖像信息,對加油錐管端面上光學標記的安裝位置沒有嚴格的要求,在部分光學標記受到遮擋或損壞時(至少 4個正常)仍能正常工作.該方法可采用通用的物理設備實現(xiàn),在近距離加油對接時達到了很高的位置和姿態(tài)測量精度,具有良好的應用前景.

References)

[1]董新民,徐躍鑒,陳博.自動空中加油技術研究進展與關鍵問題[J].空軍工程大學學報:自然科學版,2008,9(6):1-5 Dong Xinm in,Xu Yuejian,Chen Bo.Progress and challenges in automatic aerial refueling[J].Journal of Air Force Engineering University:Natural Science Edition,2008,9(6):1-5(in Chinese)

[2]Pollini L,Campa G,Giulietti F,et al.Virtual simulation set-up for UAV's aerial refueling[R].AIAA 2003-5682,2003

[3]Pollini L,Mati R,Innocenti M.Experimental evaluation of vision algorithms for formation flight and aerial refueling[R].AIAA 2004-4918,2004

[4]Lu C,Hager G D,Mjolsness E.Fastand globally convergent pose estimation from video images[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(6):610-622

[5]Valasek J,Kimmett J,Hughes D,et al.Vision based sensor and navigation system for autonomous aerial refueling[R].AIAA 2002-3441,2002

[6]Tandale M D,Bowers R,Valasek J.Trajectory tracking controller for vision-based probe and drogue autonomous aerial refueling[J].Journal of Guidance,Control,and Dynamics,2006,29(4):846-857

[7]陸宗騏,金登男.Visual C++.NET圖像處理編程[M].北京:清華大學出版社,2006:323-342 Lu Zongqi,Jin Dengnan.V isual C++.net programm ing of image process[M].Beijing:Tsinghua University Press,2006:323-342(in Chinese)

[8]張廣軍.視覺測量[M].北京:科學出版社,2005:146-147 Zhang Guangjun.Vision measurement[M].Beijing:Science Press,2005:146-147(in Chinese)

[9]潘國榮,陳曉龍.空間圓形物體數(shù)據(jù)擬合新方法[J].大地測量與地球動力學,2008,28(2):92-94 Pan Guorong,Chen Xiaolong.A new method for 3D circular object fitting[J].Journal of Geodesy and Geodynam Ics,2008,28(2):92-94(in Chinese)

(編 輯:趙海容)

Binocular vision-based short-range navigation m ethod for autonomous aeria l refueling

Xie Hongwen Wang Honglun

(Research Institute of Unmanned Aerial Vehicle,Beijing University of Aeronautics and Astronautics,Beijing 100191,China)

To solve the short-range precise navigation problem in the probe-and-drogue autonomous aerial refueling,a binocular vision-based short-range navigation method was presented.This method used two cameras installed on the receiver to capture the images of the optical markers mounted on the end surface of the drogue,then detected the light spot regions in the images by contour tracking algorithm and calculated their gray scale centers as the image points of the optical markers.These image points were matched according to epipolar geometry constraints,and the position and attitude of the drogue were calculated using space circle fitting arithmetic.A three-dimensional virtual scene of probe-and-drogue aerial refueling was established to simulate this navigation method.Simulation results show that this method has ahigh position and attitude measurement accuracy during the short-range docking maneuver,fulfilling the demand of autonomous aerial refueling.

autonomous aerial refueling;visual navigation;binocular vision

V 249.3

A

1001-5965(2011)02-0206-04

2009-12-03

國防預研基金資助項目

解洪文(1986-),男,山東泰安人,碩士生,akadia 001@126.com.