一種自主空中加油視覺導(dǎo)航圖像處理方法

吳 玲， 孫永榮， 趙科東

(1.南京航空航天大學(xué)導(dǎo)航研究中心， 南京 210016； 2.南京航空航天大學(xué)金城學(xué)院機(jī)電工程與自動(dòng)化學(xué)院， 南京 211156)

自主空中加油技術(shù)(autonomous aerial refueling，AAR)能夠有效擴(kuò)大無(wú)人機(jī)飛行半徑，延長(zhǎng)無(wú)人機(jī)留空時(shí)間，大大提高了無(wú)人機(jī)的性能，在軍事和民用方面都具有較大的應(yīng)用潛力。其中，軟管-錐套式加油由于可以同時(shí)為多架無(wú)人機(jī)加油，并且成本低，方式簡(jiǎn)單，而應(yīng)用廣泛[1-3]。針對(duì)軟管-錐套式自主空中加油技術(shù)，對(duì)加油錐套相對(duì)位置和姿態(tài)的高精度、實(shí)時(shí)測(cè)量，是實(shí)現(xiàn)加油對(duì)接的關(guān)鍵。而基于視覺導(dǎo)航的錐套的檢測(cè)與跟蹤是實(shí)現(xiàn)相對(duì)位姿測(cè)量的前提，首先需要準(zhǔn)確獲取捕獲圖像中錐套的位置，然后才能進(jìn)一步確定受油機(jī)探頭與錐套的相對(duì)位置[4-5]。

視覺導(dǎo)航技術(shù)是解決軟管-錐套式空中加油近距相對(duì)導(dǎo)航的最有效的方法，越來(lái)越受到廣大學(xué)者的關(guān)注。軟管-錐套式加油技術(shù)的視覺系統(tǒng)可分為主動(dòng)視覺系統(tǒng)和被動(dòng)視覺系統(tǒng)[6]。主動(dòng)視覺系統(tǒng)常采用明顯的特征標(biāo)記，如彩色記號(hào)或者LED(light emitting diodes)信標(biāo)來(lái)定位錐套。VisNav(vision-based navigation)是一種常用的主動(dòng)視覺系統(tǒng)，已在一些AAR研究中得到應(yīng)用[7]。主動(dòng)視覺系統(tǒng)中，錐套目標(biāo)捕獲處理時(shí)間短，可靠性高，但該方法需要對(duì)加油機(jī)的結(jié)構(gòu)進(jìn)行改變?yōu)樾艠?biāo)供電。被動(dòng)視覺系統(tǒng)無(wú)需安裝額外的硬件而易于實(shí)現(xiàn)。Martinez 等[8]針對(duì)自主空中加油任務(wù)提出了一種僅依靠錐套自身特征的被動(dòng)視覺方法。Yin等[9]提出了一種基于錐套口近似圓形和內(nèi)部黑暗特征的錐套檢測(cè)和跟蹤方法，并利用邊緣圖像提取圖像特征。Gao[10]提出了一種基于局部多特征的低秩稀疏分解的錐套檢測(cè)算法，并將錐套圖像系列分解為低秩背景和稀疏運(yùn)動(dòng)目標(biāo)。Wang等[11]采用了在錐套上增加紅色環(huán)形標(biāo)記以加強(qiáng)機(jī)器視覺的方法來(lái)進(jìn)行錐套的檢測(cè)與識(shí)別。Qin等[12]針對(duì)內(nèi)部加油口特征，提出了一種粗精兩級(jí)檢測(cè)結(jié)構(gòu)，利用圖像局部區(qū)域的行列掃描方法獲得較高精度的形狀參數(shù)。被動(dòng)視覺導(dǎo)航系統(tǒng)的關(guān)鍵在于提高圖像處理的實(shí)時(shí)性和可靠性[13]。針對(duì)目前軟管-錐套式自主空中加油視覺導(dǎo)航仍存在可靠性與實(shí)時(shí)性等性能不足的問(wèn)題，提出了一種實(shí)用的基于單目視覺的錐套檢測(cè)與跟蹤方法，并采用真實(shí)的、1∶1尺寸的錐套進(jìn)行算法驗(yàn)證，無(wú)需安裝專門的硬件(如信標(biāo))。通過(guò)一個(gè)基于微型六旋翼無(wú)人機(jī)的高保真試驗(yàn)平臺(tái)，對(duì)所提出的圖像處理方法進(jìn)行實(shí)時(shí)性及可靠性的評(píng)估。

1 視覺導(dǎo)航圖像處理策略

在軟管-錐套式空中加油中，將攝像頭安裝在受油機(jī)上，然后對(duì)攝像頭捕獲的圖像進(jìn)行分析處理，需要快速、可靠、準(zhǔn)確地提取錐套特征從而確定錐套相對(duì)于受油機(jī)的三維位置是AAR視覺導(dǎo)航的主要任務(wù)。采用狀態(tài)機(jī)進(jìn)行圖像處理操作，設(shè)計(jì)的狀態(tài)機(jī)具有初始狀態(tài)、捕獲狀態(tài)、鎖定狀態(tài)和退出狀態(tài)四種情況。如圖1所示。狀態(tài)機(jī)從初始狀態(tài)開始，其中計(jì)數(shù)器C被初始化為0。當(dāng)在當(dāng)前幀圖像中不能檢測(cè)到目標(biāo)時(shí)，將計(jì)數(shù)器C增加1，當(dāng)計(jì)數(shù)器達(dá)到最大設(shè)定值Cmax時(shí)，進(jìn)入退出狀態(tài)，停止任務(wù)。一旦檢測(cè)到目標(biāo)，將從初始狀態(tài)轉(zhuǎn)移到捕獲狀態(tài)，然后采取錐套跟蹤方法，在跟蹤過(guò)程中如果捕獲目標(biāo)失敗將重新回到初始狀態(tài)進(jìn)行目標(biāo)檢測(cè)。如果檢測(cè)成功并跟蹤到目標(biāo)，則轉(zhuǎn)移到鎖定狀態(tài)，最后輸出圖像定位結(jié)果，并求解基于視覺的相對(duì)位置，否則再重新回到初始狀態(tài)，等待新一幀圖像進(jìn)行檢測(cè)。

1.1 錐套檢測(cè)方法

圖2為加油錐套的基本結(jié)構(gòu)，當(dāng)受油機(jī)位于加油機(jī)近后方或者近距對(duì)接時(shí)，捕獲的錐套圖像中加油口內(nèi)部成像為近似圓形的黑色塊，這將是錐套檢測(cè)和跟蹤的主要特征。提出的錐套檢測(cè)方法由5個(gè)步驟組成，圖3為錐套檢測(cè)流程圖。首先，通過(guò)對(duì)原始圖像進(jìn)行閾值分割得到二值圖像，然后應(yīng)用數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行濾波處理，消除圖像干擾，尤其是錐套傘骨架干擾，其次利用輪廓提取方法得到所有的輪廓，并通過(guò)距離條件、面積條件、圓度條件和橢圓擬合條件進(jìn)行判斷，最后選擇圓度最大的輪廓作為目標(biāo)候選值進(jìn)行目標(biāo)檢測(cè)。

圖2 加油錐套基本結(jié)構(gòu)

圖3 錐套檢測(cè)流程圖

1.1.1 閾值分割處理

對(duì)圖像進(jìn)行閾值分割可以將圖像分割為多個(gè)區(qū)域，每個(gè)區(qū)域在顏色和亮度上具有較高的均勻性。由于捕獲的錐套圖像內(nèi)加油口為近似圓形的黑色塊，因此內(nèi)加油口像素點(diǎn)的灰度值較低，采用反閾值提取方法可以較容易地將其提取為前景區(qū)域。

讀取錐套灰度圖像S0，通過(guò)式(1)轉(zhuǎn)換進(jìn)行閾值分割為二值圖像I0。

(1)

式(1)中：tb為二值化灰度閾值；(x,y)為對(duì)應(yīng)的像素點(diǎn)坐標(biāo)；S0(x,y)和I0(x,y)分別為相應(yīng)圖像在(x,y)處的像素值。

1.1.2 形態(tài)學(xué)濾波處理

在閾值分割后進(jìn)行數(shù)學(xué)形態(tài)學(xué)濾波，可消除傘骨線和后方加油軟管帶來(lái)的干擾。在數(shù)學(xué)形態(tài)學(xué)中，將二值圖像看成一個(gè)二維點(diǎn)集，利用設(shè)計(jì)的結(jié)構(gòu)元素和形態(tài)學(xué)算子對(duì)集合中的像素值進(jìn)行變換[14]。假設(shè)僅考慮白色像素點(diǎn)，選擇圓形結(jié)構(gòu)元素Rd與二值化圖像I0進(jìn)行開運(yùn)算，即

I1=I0°Rd=(I0?Rd)⊕Rd

(2)

式(2)中：I1為經(jīng)過(guò)形態(tài)學(xué)濾波的圖像；°為開運(yùn)算符；?為腐蝕運(yùn)算符；⊕為膨脹運(yùn)算符。

1.1.3 輪廓提取處理

經(jīng)過(guò)形態(tài)學(xué)濾波處理后，可將二值圖像中的目標(biāo)區(qū)域(內(nèi)加油口)與其他區(qū)域分離，然后采用等高線提取方法對(duì)各分割區(qū)域進(jìn)行邊緣提取。輪廓提取主要包括兩步：①鏤空區(qū)域內(nèi)的點(diǎn)，僅保留邊界點(diǎn)；②根據(jù)連通性規(guī)則跟蹤所有連通區(qū)域的輪廓線。

對(duì)圖像I1進(jìn)行輪廓提取，可得到所有連通區(qū)域的輪廓點(diǎn)集P，定義為

P={Pi|i=1,2,…,N},Pi={(xim,yim)|m=1,2,…,ni}

(3)

式(3)中：N為連通區(qū)域個(gè)數(shù)；Pi為第i個(gè)連通區(qū)域的輪廓點(diǎn)集；ni為輪廓點(diǎn)個(gè)數(shù)；(xim,yim)為第m個(gè)輪廓點(diǎn)。

1.1.4 目標(biāo)輪廓判斷

輪廓提取后需要對(duì)目標(biāo)區(qū)域輪廓進(jìn)行判斷。這里采用范圍條件、面積條件、圓度條件和橢圓擬合條件來(lái)逐步搜索目標(biāo)輪廓。

對(duì)于每一個(gè)輪廓點(diǎn)集Pi，進(jìn)行上述4個(gè)條件的判斷，符合條件的輪廓集記為Psc={Pj|j=l1,l2,…,lq}，其中l(wèi)1，l2,…,lq表示輪廓候選值序號(hào)。

自主空中加油視覺系統(tǒng)中，只有受油機(jī)靠近錐套時(shí)才能正常工作，此時(shí)圖像中的內(nèi)加油口看起來(lái)應(yīng)該足夠大。因此目標(biāo)輪廓必須滿足約束條件為

xd>trx,yd>try,xd>trsyd,yd>trsxd

(4)

式(4)中：trx,try分別為x軸和y軸的閾值范圍；trs為閾值比；(xd,yd)為輪廓點(diǎn)集Pi中的像素坐標(biāo)范圍，即xd=max{xim}-min{xim}，yd=max{yim}-min{yim}。

根據(jù)成像原理，圓在圖像中會(huì)成像為一個(gè)橢圓圖形。因此一旦輪廓線滿足上述3個(gè)條件后，將采用最小二乘橢圓擬合方法對(duì)輪廓數(shù)據(jù)點(diǎn)進(jìn)行擬合[15]。橢圓擬合函數(shù)表示為

f(x,y)=x2+e1xy+e2y2+e3x+e4y+e5=0

(5)

(6)

式(6)中：(exm,eym)為橢圓點(diǎn)(xim,yim)的歸一化坐標(biāo)，其計(jì)算公式為

(7)

1.1.5 目標(biāo)確定

經(jīng)目標(biāo)輪廓判斷后，如果最終目標(biāo)輪廓候選個(gè)數(shù)為0，則在當(dāng)前圖像中找不到目標(biāo)。如果等于1，則確定輪廓橢圓。如果大于1，則選擇圓度最大的候選輪廓作為目標(biāo)輪廓，并將其橢圓擬合結(jié)果作為目標(biāo)特征定位結(jié)果。定義對(duì)數(shù)圓度為

(8)

式(8)中：ai,bi分別為候選輪廓Pi經(jīng)橢圓擬合結(jié)果的長(zhǎng)半軸和短半軸。

1.2 錐套跟蹤方法

空中加油過(guò)程中，加受油機(jī)需保持穩(wěn)定的飛行狀態(tài)，假設(shè)視頻圖片幀流中錐套圖像變化緩慢，且錐套在當(dāng)前圖像中的位置與最后一幀圖像中的位置非常接近。因此，可利用最后一幀圖像中錐套的位置作為先驗(yàn)信息來(lái)減少圖像處理時(shí)間，并保證當(dāng)前幀圖像的可靠性。

錐套跟蹤基于最后一幀圖像定位的結(jié)果進(jìn)行。如圖4所示，(a,b,θ,xp,yp)表示最后一幀內(nèi)加油口的橢圓形狀參數(shù)，然后在當(dāng)前幀圖像中選取最后一個(gè)檢測(cè)區(qū)域周圍較大的區(qū)域ABCD，并通過(guò)1.1節(jié)所述的錐套檢測(cè)方法在ABCD區(qū)域中搜索并解算錐套的位置。所選的矩形區(qū)域ABCD大小計(jì)算公式為

圖4 橢圓參數(shù)及跟蹤矩陣提取示意圖

(9)

式(9)中：ex、ey為擴(kuò)展區(qū)域尺寸；rext為擴(kuò)大系數(shù)。

2 實(shí)驗(yàn)結(jié)果及分析

通過(guò)自主空中加油試驗(yàn)臺(tái)進(jìn)行了算法驗(yàn)證。如圖5所示，試驗(yàn)臺(tái)由加油機(jī)、受油機(jī)和地面站組成。其中加油機(jī)由一個(gè)二維移動(dòng)平臺(tái)模擬，并將加油錐套安裝在上面。為了達(dá)到高保真度試驗(yàn)，所使用的錐套是與實(shí)際應(yīng)用中相同尺寸和顏色的1∶1錐套模型。受油機(jī)采用六旋翼飛行器模擬，并在其安裝攝像頭來(lái)模擬視覺系統(tǒng)，地面站對(duì)系統(tǒng)運(yùn)行進(jìn)行監(jiān)控，以保證實(shí)驗(yàn)在可控、安全的條件下進(jìn)行。所使用的相機(jī)為羅技C270，該相機(jī)能夠捕捉30 Hz的圖像，分辨率為1 280×720。為了減小圖像處理時(shí)間，進(jìn)行圖像處理的分辨率設(shè)為640×480，捕捉速度為25 fps。所提出的圖像處理方法在C++中開發(fā)完成，并使用OpenCV庫(kù)管理圖像數(shù)據(jù)。實(shí)驗(yàn)中采集了四段視頻進(jìn)行本文算法的性能驗(yàn)證，每段視頻包含800幀錐套不同運(yùn)動(dòng)的圖像，并將本文方法與文獻(xiàn)[9]方法進(jìn)行比較。

圖5 自主空中加油試驗(yàn)臺(tái)

2.1 錐套檢測(cè)方法可靠性測(cè)試

利用所提出圖像處理方法對(duì)所采集的所有圖像進(jìn)行檢測(cè)，其中視頻#1有4幀(第545～548幀)沒有找到目標(biāo)，視頻#4有2幀(第61幀和77幀)沒有找到目標(biāo)，視頻#2和#3中的所有幀圖像均準(zhǔn)確檢測(cè)到目標(biāo)，并利用肉眼觀察可判斷錐套檢測(cè)結(jié)果正確。圖6為部分幀圖片的錐套檢測(cè)結(jié)果。

圖6 部分幀圖片的錐套檢測(cè)結(jié)果

表1列出了兩種方法對(duì)所有3 200張圖像進(jìn)行錐套檢測(cè)的成功率對(duì)比結(jié)果。其中，文獻(xiàn)[9]方法成功率為97.38%，本文方法成功率為99.81%。

表1 兩種方法下錐套檢測(cè)成功率

2.2 錐套檢測(cè)方法時(shí)間測(cè)試

對(duì)所有圖像進(jìn)行錐套檢測(cè)計(jì)算時(shí)間進(jìn)行統(tǒng)計(jì)，如圖7所示?？梢?，本文方法的所有幀圖像在30 ms內(nèi)檢測(cè)完成，采用文獻(xiàn)[9]方法所用的平均計(jì)算時(shí)間為54.21 ms，與文獻(xiàn)[9]方法進(jìn)行比較統(tǒng)計(jì)結(jié)果如表2所示?？梢姡疚姆椒ㄓ?jì)算時(shí)間更短。

表2 兩種方法下錐套檢測(cè)時(shí)間比較

圖7 錐套檢測(cè)計(jì)算時(shí)間統(tǒng)計(jì)

2.3 錐套跟蹤方法實(shí)時(shí)性測(cè)試

由于錐套檢測(cè)時(shí)間較長(zhǎng)，采用錐套跟蹤方法可以減少圖像處理的計(jì)算時(shí)間。將所提出的錐套檢測(cè)和跟蹤方法相結(jié)合，可實(shí)現(xiàn)無(wú)人機(jī)自主空中加油視覺系統(tǒng)圖像處理的高可靠性和實(shí)時(shí)性。對(duì)前述4

個(gè)視頻采用錐套跟蹤算法處理，計(jì)算時(shí)間如圖8所示?？梢?，所有幀的跟蹤時(shí)間均小于5 ms，可顯著提高圖像處理實(shí)時(shí)性。與文獻(xiàn)[9]方法進(jìn)行比較統(tǒng)計(jì)結(jié)果如表3所示。

圖8 錐套檢測(cè)與跟蹤計(jì)算時(shí)間統(tǒng)計(jì)

表3 兩種方法下跟蹤時(shí)間比較

3 結(jié)論

基于視覺的相對(duì)導(dǎo)航技術(shù)是自主空中加油近距導(dǎo)航的關(guān)鍵技術(shù)，其中加油錐套的檢測(cè)與跟蹤是實(shí)現(xiàn)高精度視覺導(dǎo)航的前提。針對(duì)自主空中加油系統(tǒng)，提出了一種錐套檢測(cè)和跟蹤方法相結(jié)合的視覺導(dǎo)航圖像處理策略，并在一個(gè)高保真自主空中加油試驗(yàn)臺(tái)上進(jìn)行了試驗(yàn)驗(yàn)證。得出如下結(jié)論。

(1)所提出的錐套檢測(cè)方法，具有較高的可靠性，檢測(cè)成功率可達(dá)99.8%；平均計(jì)算時(shí)間為26.89 ms。

(2)采用錐套跟蹤算法，有利于提高錐套識(shí)別實(shí)時(shí)性，減小錐套圖像處理時(shí)間，平均計(jì)算時(shí)間為1.0 ms。