基于雙目視覺的空中加油錐套定位與對接控制

張易明, 艾劍良

(復(fù)旦大學(xué)航空航天系, 上海 200433)

0 引 言

空中加油是一種增加無人作戰(zhàn)飛機(jī)作戰(zhàn)半徑的主要方法,可分為軟管-錐套式(軟式)、伸縮套管式(硬式)兩類[1]。其中,采用軟式加油系統(tǒng)進(jìn)行空中加油具有加油裝置體積小、結(jié)構(gòu)簡單、便于拆裝、可在一臺加油機(jī)上安裝數(shù)套裝備等優(yōu)勢[2],有廣闊的應(yīng)用前景。空中加油過程包括會(huì)合、編隊(duì)、對接、加油和退出5個(gè)階段,對軟式自主空中加油而言,對接階段對控制的要求最高[3]。在軟式加油過程中,加油錐套在加油機(jī)尾渦下洗及大氣紊流作用下處于持續(xù)運(yùn)動(dòng)中[4],其擺動(dòng)范圍可達(dá)到2 m[5]。因此,快速準(zhǔn)確地定位錐套位置,是實(shí)現(xiàn)自主精確對接控制的前提條件。

在對接過程中,受油機(jī)從加油機(jī)側(cè)后方鎖定加油錐套并逐漸靠近。在這個(gè)區(qū)域,由于多種干擾影響,傳統(tǒng)慣性導(dǎo)航與GPS組合的導(dǎo)航方法難以提供高精度的位置測量信息[6],而使用雷達(dá)系統(tǒng)難以從加油機(jī)-加油裝置組合體中分辨出加油錐套的位置。因此,基于視覺技術(shù)的測量方法是具有應(yīng)用潛力的方案之一。近年來,相繼出現(xiàn)了一些基于Mean-Shift和卡爾曼濾波及其改進(jìn)或結(jié)合形式的單目錐套檢測方法[7-12],用于從攝像機(jī)拍攝到的圖像中尋找加油錐套。在對接過程中,僅在相機(jī)視野中識別出加油錐套是不夠的,還需通過測量錐套在視場中的深度解算其空間位置。文獻(xiàn)[13-14]開展了基于雙目視覺的加油錐套定位研究,文獻(xiàn)[15-17]研究了基于深度學(xué)習(xí)的錐套定位方法。對于雙目立體視覺問題,傳統(tǒng)的方法是先在一側(cè)畫面中提取感興趣的點(diǎn)或區(qū)域,利用色彩/灰度匹配邊緣匹配等方法在另一側(cè)畫面中找到共軛點(diǎn)對,隨后通過對極幾何求解空間點(diǎn)的坐標(biāo)信息[18]。此種方法計(jì)算量大,難以滿足實(shí)時(shí)性要求?？紤]到加油錐套在受油機(jī)視野中的幾何形態(tài)相對簡單且固定,可利用基于深度學(xué)習(xí)的目標(biāo)檢測網(wǎng)絡(luò)分別在兩側(cè)畫面中定位其中心位置,再利用對極幾何求解其空間坐標(biāo),可加快對加油錐套定位的速度。

對于圖像中錐套目標(biāo)的檢測問題,多數(shù)研究是基于色彩信息的濾波跟蹤方法,需要在加油錐套上額外加裝彩色光源以區(qū)分前景與背景,并要求加油錐套在受油機(jī)視野中呈現(xiàn)完整的橢圓形。當(dāng)跟蹤目標(biāo)與背景顏色接近或被遮擋時(shí),容易出現(xiàn)跟蹤窗口擴(kuò)大等問題;同時(shí),此類方法對初始幀中目標(biāo)所在位置的估計(jì)有較大依賴。為克服以上問題,可以引入深度學(xué)習(xí)網(wǎng)絡(luò)用于圖像中的目標(biāo)檢測。YOLO(you look only once)系列是一種高速的目標(biāo)檢測網(wǎng)絡(luò)[18-22],它的優(yōu)勢是兼顧了推理精度和速度,可作為目標(biāo)檢測階段的一種選擇。

在可獲得錐套空間坐標(biāo)的前提下,自主空中加油的對接控制問題可分為三部分:指令項(xiàng)、跟蹤項(xiàng)、鎮(zhèn)定項(xiàng)。指令項(xiàng)即指從編隊(duì)位置到對接位置的參考軌跡設(shè)計(jì)。通常參考軌跡被設(shè)計(jì)為一條平滑軌跡,以避免過度的超調(diào)和震蕩?，F(xiàn)有的研究主要采用低通濾波器[23]、多項(xiàng)式[24]等方法生成參考軌跡等方法。跟蹤項(xiàng)(外環(huán))使受油機(jī)按照指定的參考軌跡完成對接任務(wù),一般可以構(gòu)建誤差系統(tǒng)將跟蹤問題轉(zhuǎn)換為鎮(zhèn)定問題。常見的方法有:非零點(diǎn)集方法(non-zero setpoint,NZSP),該方法將參考輸出轉(zhuǎn)化為參考狀態(tài)[25];隨后有學(xué)者提出指令生成跟蹤器方法(command generator tracker,CGT),以克服NZSP需要常值參考輸出的缺點(diǎn)[26]。鎮(zhèn)定項(xiàng)(內(nèi)環(huán))用以保證系統(tǒng)穩(wěn)定和收斂,基于比例-積分-微分(proportion integral derivative,PID)[27]和線性二次型調(diào)節(jié)器(linear quadratic regulator,LQR)[28-29]的控制器是比較常見的方法,亦有學(xué)者開展了基于自適應(yīng)控制[30]、反步法[31-33]的對接控制研究。

1 問題描述

在空中加油對接階段,受油機(jī)起始位置一般位于加油錐套側(cè)后方偏下位置。以受油機(jī)機(jī)體系為參考坐標(biāo)系,定義加油錐套中心相對受油機(jī)的位置矢量為rd=(xd,yd,zd),如圖1所示。完成自主對接控制的任務(wù)即可分解為:第一,實(shí)時(shí)獲得錐套位置rd;第二,使rd在一定時(shí)間內(nèi)趨于0。

圖1 受油機(jī)機(jī)體坐標(biāo)系Fig.1 Body-axes of receiver aircraft

為實(shí)現(xiàn)上述目標(biāo),實(shí)現(xiàn)自主對接的任務(wù)流程可歸結(jié)如下。

步驟 1利用計(jì)算機(jī)視覺方法獲得rd:

(1) 在相機(jī)成像畫面中檢測加油錐套所在位置;

(2) 利用相機(jī)成像的映射關(guān)系反推加油錐套的空間位置rd。

步驟 2規(guī)劃一條平滑的參考軌跡,在指定時(shí)間內(nèi)逐漸消除rd。

步驟 3設(shè)計(jì)控制率使受油機(jī)跟蹤參考軌跡以完成對接任務(wù)。

2 基于雙目視覺系統(tǒng)的錐套定位

在受油機(jī)上架設(shè)雙目相機(jī)后,在機(jī)體系內(nèi)獲得rd的問題轉(zhuǎn)化為求取錐套在相機(jī)系統(tǒng)內(nèi)的空間坐標(biāo)問題。在實(shí)際應(yīng)用中,單個(gè)相機(jī)捕獲的是二維圖像。因此,需求解空間點(diǎn)與相機(jī)成像畫面點(diǎn)間的映射關(guān)系,進(jìn)而獲得加油錐套的空間坐標(biāo)。

2.1 相機(jī)成像模型

相機(jī)成像過程涉及如下坐標(biāo)系:

世界坐標(biāo)系Ow-xwywzw,描述相機(jī)及被攝物體在真實(shí)物理空間中的位置,其原點(diǎn)和坐標(biāo)軸方向可以任意指定,單位為mm;

相機(jī)坐標(biāo)系Oc-xcyczc,其原點(diǎn)位于鏡頭光學(xué)中心,xc,yc軸與成像畫面的兩條邊平行,zc軸與鏡頭光軸重合,單位為mm;

像素坐標(biāo)系Opix-xpixypix,原點(diǎn)為成像畫面左上角,xpix,ypix軸分別與成像畫面的兩條邊平行,該坐標(biāo)系反應(yīng)成像畫面中每一個(gè)像素點(diǎn)的行、列位置,坐標(biāo)值均為非零正整數(shù),單位為pixel。

圖像坐標(biāo)系Oimg-ximgyimg,原點(diǎn)為成像平面中心,ximg、yimg軸分別與成像畫面的兩條邊平行,單位通常與世界坐標(biāo)系一致。圖像坐標(biāo)系是對像素坐標(biāo)系的物理性補(bǔ)充,便于參與相機(jī)坐標(biāo)系及世界坐標(biāo)系間的坐標(biāo)變換。以上坐標(biāo)系間關(guān)系如圖2所示。

圖2 世界、相機(jī)、圖像和像素坐標(biāo)系Fig.2 World, camera, image and pixel coordinates

相機(jī)成像模型可表示為

(1)

式中:KInt為內(nèi)部參數(shù)矩陣;MExt為外部參數(shù)矩陣;zc稱為尺度因子。具體表示為

(2)

式中:fx,fy分別為x、y方向?qū)?yīng)的等效焦距,其定義是物理焦距與單位像素寬度的比值,單位為pixel;(cx,cy)為Oimg在Opix-xpixypix系下的坐標(biāo)。

KExt=[R,t]

(3)

式中:R為3×3正交旋轉(zhuǎn)矩陣;t為3×1平移向量。

實(shí)際的相機(jī)成像過程還需考慮鏡頭畸變,數(shù)學(xué)表達(dá)為

(4)

式(1)～式(4)描述了空間點(diǎn)(xw,yw,zw)到像素平面成像點(diǎn)(xpix,ypix)的映射關(guān)系,求解KInt、MExt、k、p的過程稱為相機(jī)標(biāo)定,可使用張正友標(biāo)定法進(jìn)行相機(jī)的參數(shù)標(biāo)定[34]。張正友標(biāo)定法是一種通過匹配棋盤格圖像上角點(diǎn)的真實(shí)坐標(biāo)與其成像坐標(biāo)來求解成像映射關(guān)系的方法,主要步驟為[35]。

步驟 1令zw=0平面與棋盤格平面重合,構(gòu)造單應(yīng)性矩陣,求解內(nèi)參矩陣;

步驟 2利用R的單位正交性求解外參矩陣;

步驟 3求解鏡頭畸變參數(shù);

步驟 4用LM(Levenberg-Marquardt)方法[36]優(yōu)化標(biāo)定結(jié)果,使平均重投影誤差極小。

2.2 基于平行雙目相機(jī)的空間點(diǎn)定位

假設(shè)一對雙目相機(jī)滿足如下關(guān)系(以下簡稱“理想雙目系統(tǒng)”):

① 內(nèi)參相同；② 光軸平行；③ 左右成像平面共面；④ 對極線行對齊。則可根據(jù)相似三角形原理求解空間一點(diǎn)到相機(jī)平面的距離,如圖3所示。

圖3 平行雙目相機(jī)測距Fig.3 Distance measurement with parallel cameras

(5)

式中:lbaseline為兩相機(jī)光心距離,稱為基線;dbp=xpix,l-xpix,r為左右兩成像平面內(nèi)成像點(diǎn)的視差;F為焦距。

令世界系與其中一相機(jī)系重合(如左相機(jī)),則不難計(jì)算得到:

(6)

式(6)表明,當(dāng)雙目相機(jī)系統(tǒng)滿足理想雙目系統(tǒng)假設(shè),空間點(diǎn)坐標(biāo)可由其成像的像素坐標(biāo)、相機(jī)內(nèi)部參數(shù)及兩相機(jī)間基線長度確定。

由于實(shí)際雙目系統(tǒng)可能存在加工或安裝誤差,需進(jìn)行立體校正,使其變換為理想雙目系統(tǒng)。

首先求解兩相機(jī)間的實(shí)際相對關(guān)系?？臻g一點(diǎn)P坐標(biāo)(xw,yw,zw)在一組雙目相機(jī)各自的相機(jī)系下坐標(biāo)有如下關(guān)系:

(7)

對n張標(biāo)定板進(jìn)行標(biāo)定,則可由n次標(biāo)定獲得的相機(jī)外參Rr、tr、Rl、tl求得兩相機(jī)間的旋轉(zhuǎn)、平移關(guān)系為

(8)

式中:Rrl、trl分別為左相機(jī)向右相機(jī)系的旋轉(zhuǎn)矩陣、平移向量。

為將雙目系統(tǒng)變換為理想系統(tǒng),可進(jìn)行如下操作:

(9)

步驟 2構(gòu)造Rrect=[e1,e2,e3]T使極點(diǎn)落于無窮遠(yuǎn)處。令e1與trl,e2與主光軸正交,e1、e2、e3正交,則有:

(10)

步驟 3構(gòu)造校正矩陣:

(11)

對兩相機(jī)捕獲的圖像分別左乘式(11),即可得到校正后的理想雙目系統(tǒng)成像。

假設(shè)雙目系統(tǒng)左相機(jī)光軸與受油機(jī)體軸Obxb平行,其光心在受油機(jī)機(jī)體坐標(biāo)系系內(nèi)位置矢量為rbc則加油錐套位置矢量可表示為

(12)

2.3 目標(biāo)檢測網(wǎng)絡(luò)

在標(biāo)定雙目相機(jī)系統(tǒng)后,還需獲得加油錐套中心在成像平面內(nèi)的像素坐標(biāo)(xpix,ypix),即可利用式(12)求得加油錐套中心在雙目相機(jī)系統(tǒng)坐標(biāo)系內(nèi)的坐標(biāo)。本文采用一種基于改進(jìn)YOLOv4-Tiny的目標(biāo)檢測網(wǎng)絡(luò)獲得加油錐套中心在圖像中的像素坐標(biāo)。

YOLOv4系列網(wǎng)絡(luò)在Neck部分采用了FPN(feature pyramid networks)+PAN(path aggregation network)的結(jié)構(gòu)進(jìn)行特征融合。其中,FPN結(jié)構(gòu)能給增強(qiáng)high-level語義,有利于完成分類任務(wù);PAN能增強(qiáng)low-level語義,有利于完成定位任務(wù)[37]。YOLOv4-Tiny是YOLOv4的輕量化版本,它犧牲了一定的精確性,但檢測速度更快,更適合完成實(shí)時(shí)檢測任務(wù)。

2.3.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4-Tiny的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。圖中,Conv表示卷積層,Leaky表示Leaky ReLU激活函數(shù),Linear表示Linear激活函數(shù),BN表示batch normalization層[35]。

圖4 YOLOv4-Tiny結(jié)構(gòu)Fig.4 Structure of YOLOv4-Tiny

分析網(wǎng)絡(luò)結(jié)構(gòu)不難發(fā)現(xiàn),每個(gè)YOLO層前的Conv+BN+Leaky層占用較多計(jì)算資源。以第一個(gè)YOLO層前為例,其卷積層尺度為3×3×512,輸入256個(gè)特征圖,需1 179 648個(gè)參數(shù)。參考network in network (NIN)方法[38],將一個(gè)3×3×512的卷積層分解為3個(gè):1×1×128→3×3×128→1×1×512,可在實(shí)現(xiàn)原卷積層功能的同時(shí),將參數(shù)減少到245 760個(gè)。對3個(gè)YOLO層前的Conv+BN+Leaky層做同樣處理。

其次為增加降采樣階段的感受野,在第一個(gè)Dense Block中插入空間金字塔池化(spatial pyramid pooling, SPP)模塊,如圖5所示。

圖5 在Dense Block中插入SPPFig.5 Insert SPP into Dense Block

經(jīng)過如上兩項(xiàng)修改的網(wǎng)絡(luò)在下文中稱為YOLOv4-TSPP。

2.3.2 網(wǎng)絡(luò)輸出

網(wǎng)絡(luò)的輸出為目標(biāo)類別、分類置信度、目標(biāo)邊界框。目標(biāo)邊界框有4個(gè)待預(yù)測參數(shù):(tx,ty,tw,th),如圖6所示。其中,(tx,ty)為邊界框中心的偏移量,(tw,th)為寬高縮放比。(bx,by,bw,bh)為預(yù)測得到的目標(biāo)邊界框,其中

圖6 邊界框的預(yù)測Fig.6 Prediction of Bounding-Box

(13)

是邊界框中心相對圖像左上角的偏移量;

bw=pwetw,bh=phety

(14)

是邊界框的寬和高;(cx,cy)是預(yù)設(shè)邊界框在特征圖上的中心坐標(biāo);(pw,ph)是預(yù)設(shè)邊界框在特征圖上的寬和高。

2.4 加油錐套橢圓擬合

近距離對接過程中,受油機(jī)需要將受油插頭插入加油錐套中。前節(jié)建立的檢測網(wǎng)絡(luò)在理想狀態(tài)下輸出一個(gè)外接于錐套的矩形框。實(shí)際加油錐套在受油機(jī)視野中為圓形,在外接矩形所框定的范圍內(nèi)存在非插入目標(biāo)區(qū)域,若受油機(jī)錯(cuò)誤進(jìn)入該區(qū)域則可能導(dǎo)致對接失敗。為此,本文在獲得預(yù)測矩形框的基礎(chǔ)上建立一種“向心八點(diǎn)法”快速擬合錐套邊界。首先作如下假設(shè):

(1) Yolov4-TSPP已經(jīng)提供了相當(dāng)高交并比的外接矩形框;

(2) 加油錐套末端的穩(wěn)定傘色彩沿其周向基本保持一致;

(3) 在近距離對接時(shí),預(yù)測矩形框內(nèi)大部分被錐套占據(jù),剩余部分幾乎為顏色一致的天空。

基于以上假設(shè),建立如下橢圓邊界擬合流程:

步驟 1裁剪畫面,只保留矩形框內(nèi)的區(qū)域;

步驟 2用Otsu方法將裁剪出的區(qū)域二值化處理[39],矩形框四個(gè)角點(diǎn)處應(yīng)全為0或全為1;

步驟 3從矩形框的4個(gè)角點(diǎn)出發(fā),各沿兩條直線搜索錐套橢圓邊界上的點(diǎn),共尋找8個(gè)邊緣點(diǎn)用于擬合橢圓;

步驟 4利用最小二乘法擬合出橢圓。

邊緣點(diǎn)搜索的方法見圖7,以右上角出發(fā)為例,分為圖示兩條路徑。二值化后黑色像素為目標(biāo)邊緣,值為1;白色像素為背景,值為0。搜索目標(biāo)為在直線路徑上找到離矩形框角點(diǎn)最近的目標(biāo)邊緣點(diǎn)。

圖7 邊緣檢測方法Fig.7 Method of edge detection

為了過濾孤立噪聲點(diǎn),當(dāng)前點(diǎn)A處為1時(shí),檢查其周圍3×3范圍內(nèi)A1的值是否全為1或大部分為1(如和為8),若是則進(jìn)一步沿搜索方向取4×4范圍內(nèi)A2值是否全為1,或A,A1,A2的像素點(diǎn)集合大部分為1(如和為14)。若滿足上述條件,則判斷當(dāng)前像素點(diǎn)A為邊緣點(diǎn)。對8條路徑重復(fù)上述步驟,即可得到落于錐套橢圓邊界上的8個(gè)點(diǎn)。

相比在全局范圍內(nèi)進(jìn)行邊緣檢測,“向心八點(diǎn)法”的計(jì)算量極小,只需在Yolov4-SPP給出的矩形框內(nèi)進(jìn)行8次一維搜索,即可得到加油錐套橢圓形邊界。針對具體情況可對此方法進(jìn)行更詳細(xì)地邏輯梳理,例如:當(dāng)二值圖內(nèi)存在一個(gè)矩形框角點(diǎn)與其他角點(diǎn)非同值,則可只取6個(gè)點(diǎn)進(jìn)行橢圓擬合;當(dāng)二值圖內(nèi)存在2個(gè)角點(diǎn)與另外2個(gè)角點(diǎn)非同值,可根據(jù)過去幾幀預(yù)測的矩形框適當(dāng)調(diào)整裁剪范圍等。

2.5 加油錐套實(shí)時(shí)定位流程

結(jié)合第2.1節(jié)～第2.4節(jié)所述方法,可針對實(shí)時(shí)獲取加油錐套位置及擬合其橢圓邊緣這一任務(wù)目標(biāo)建立一套完整的工作流程?？偨Y(jié)為圖8。

圖8 錐套定位流程Fig.8 Scheme of drogue positioning

3 受油機(jī)自動(dòng)對接控制律設(shè)計(jì)

前文已討論了一種由固連于受油機(jī)上的雙目相機(jī)獲取加油錐套相對機(jī)體位置的方法,因此選擇受油機(jī)機(jī)體坐標(biāo)系進(jìn)行動(dòng)力學(xué)建模及控制律設(shè)計(jì)。

3.1 受油機(jī)模型

機(jī)體坐標(biāo)系下受油機(jī)線性化模型定義為

(15)

3.2 參考軌跡設(shè)計(jì)

為了避免過大的超調(diào),引入時(shí)間t的7次多項(xiàng)式函數(shù)作為參考軌跡,引導(dǎo)受油機(jī)接近加油錐套完成對接任務(wù),其形式為

ηr(t)=fT(t)Aco

(16)

式中:ηr=(xr,yr,zr)為位置指令;f(t)=(t4,t5,t6,t7);Aco=[ax,ay,az]為系數(shù)矩陣。參考指令可做如下設(shè)計(jì)。

對齊階段,在時(shí)間段[0,t1]消除y,z方向的初始位置偏差(yd0,zd0):

(17)

(18)

精確跟蹤階段,在時(shí)間段[t1,t2]進(jìn)行指令過渡,在時(shí)間段[t2,tf]完全跟蹤錐套位置,具體地:

(19)

式中:(Δydrogue(t),Δzdrogue(t))為加油錐套相對初始位置的位移;kr(t)為過渡函數(shù),定義為

(20)

式(20)的引入可令參考軌跡指令在全任務(wù)時(shí)間內(nèi)實(shí)現(xiàn)由7次多項(xiàng)式逼近向完全跟蹤的平滑過渡,避免指令切換引起的震蕩。

在x方向,加油錐套的運(yùn)動(dòng)幾乎可以忽略不計(jì),設(shè)計(jì)參考軌跡為

xr(t)=f(t)ax

(21)

由以下終端條件可求得系數(shù)向量ax為

(22)

式中:vf為對接時(shí)受油機(jī)相對加油錐套的前向速度,通常為0.5 m/s左右。

3.3 基于RSLQR増廣的模型參考自適應(yīng)控制

對理想系統(tǒng),定義跟蹤誤差為

e=zd-z

(23)

為消除跟蹤誤差,引入積分信號:

(24)

將式(23)、式(24)代入式(15)得:

(25)

增廣的系統(tǒng)動(dòng)力學(xué)方程為

(26)

引入增廣系統(tǒng)的狀態(tài)量及系統(tǒng)矩陣,可將式(26)記為

(27)

基準(zhǔn)控制量設(shè)計(jì)為增廣狀態(tài)的負(fù)反饋形式:

ub l=-Kxx+KceI

(28)

引入線性二次型指標(biāo):

(29)

式中:Q=diag(Q1,Q2);R為正定矩陣。引入代數(shù)Riccatti方程:

PA+ATP-PBR-1BTP+Q=0

(30)

則反饋增益為:

KLQR=[Kx,-Kc]=R-1BTP

(31)

為提供控制系統(tǒng)魯棒性,可在基準(zhǔn)控制器的基礎(chǔ)上引入自適應(yīng)控制量?？紤]帶有不確定性的 無人機(jī)開環(huán)系統(tǒng)模型為

(32)

式中:Λ表征控制系統(tǒng)的潛在缺陷;ΘT表征系統(tǒng)匹配不確定性;Φx為部分狀態(tài)量。定義參考模型為

(33)

定義系統(tǒng)對參考模型的跟蹤誤差為

eref=xe-xref

(34)

總控制輸入為

(35)

(36)

(37)

式中:proj(θ,y)為投影算子,其定義為

(38)

f為θ的凸函數(shù),定義為

(39)

受油機(jī)對接控制系統(tǒng)的示意圖如圖9所示。

圖9 對接控制系統(tǒng)框圖Fig.9 Diagram of docking controller system

4 實(shí)驗(yàn)方法與結(jié)果

4.1 實(shí)驗(yàn)環(huán)境

雙目相機(jī)系統(tǒng)由兩臺同型號相機(jī)平行架設(shè)而成;計(jì)算機(jī)為單GPU的單人電腦;標(biāo)定用棋盤格采用硬質(zhì)PET材質(zhì)制作,棋盤格邊框?yàn)? mm,并增加背光,以提高圖像對比度。具體環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境Table 1 Experiment environment

4.2 雙目視覺系統(tǒng)驗(yàn)證實(shí)驗(yàn)

4.2.1 雙目相機(jī)標(biāo)定

拍攝15組棋盤格圖像,利用張正友標(biāo)定法分別對兩相機(jī)標(biāo)定內(nèi)、外參矩陣,計(jì)算重投影誤差,如圖10所示。圖10中,對15組標(biāo)定板進(jìn)行重投影,其平均重投影誤差為0.51 pixels,實(shí)驗(yàn)中輸入圖像大小為2 592×1 936 pixels,單張圖片的最大平均重投影誤差為1.17 pixels,為圖片對角線長度的0.036%,可見標(biāo)定結(jié)果可靠。

圖10 重投影誤差Fig.10 Reprojection error

經(jīng)標(biāo)定得到兩相機(jī)內(nèi)部參數(shù)如下。

(1) 左相機(jī)

焦距Fl=2.373 5×103

光心(cx,cy)l=(1 297,969)

徑向畸變kl=[0.4 101,-1.9 595,3.2 949]T

切向畸變pl=[-0.023 5,0.001 7]T

(2) 右相機(jī)

焦距Fr=3.446 3×103

光心(cx,cy)r=(1 297,969)

徑向畸變kr=[0.377 6,-1.5 757,2.8 951]T

切向畸變pr=[-0.014 3,0.008 1]T

右相機(jī)相對左相機(jī)的旋轉(zhuǎn)矩陣、平移向量為

trl=[-115.416 7,-0.856 3,-0.817 0]T

以左相機(jī)光心為世界坐標(biāo)系原點(diǎn),兩相機(jī)及所拍攝標(biāo)定板在世界坐標(biāo)系的位置如圖11所示。

圖11 相機(jī)及標(biāo)定板的位置Fig.11 Location of cameras and checkboards

4.2.2 目標(biāo)檢測網(wǎng)絡(luò)訓(xùn)練及測試

在單GPU計(jì)算機(jī)訓(xùn)練訓(xùn)檢測網(wǎng)絡(luò),使用同樣的訓(xùn)練參數(shù)對YOLOv4、YOLOv4-Tiny及YOLOv4-TSPP進(jìn)行訓(xùn)練,參數(shù)設(shè)置如表2所示。

表2 訓(xùn)練參數(shù)Table 2 Training parameters

對數(shù)據(jù)集作如下說明。

訓(xùn)練集:由2 000張加油錐套縮比模型(約1∶12.5)的照片構(gòu)成。為增加樣本多樣性并提高網(wǎng)絡(luò)分類能力,針對加油錐套多空洞結(jié)構(gòu)的特點(diǎn),訓(xùn)練集圖片具有以下特征:① 畫面內(nèi)存在多種不同背景,部分背景與錐套模型顏色相近;② 錐套模型存在尺寸、姿態(tài)、位置變化、部分超出畫面等情況;③ 存在其他與錐套模型具有相似尺寸的圓形物體。圖12是訓(xùn)練集部分圖片示例。

圖12 訓(xùn)練集示例Fig.12 Examples of training set

測試集:150幅由視頻生成的連續(xù)圖片序列,對其進(jìn)行人工標(biāo)注。測試集與訓(xùn)練集相互獨(dú)立,且背景中存在干擾物。

(1) 目標(biāo)檢測網(wǎng)絡(luò)性能測試

利用以上數(shù)據(jù)集按表2參數(shù)訓(xùn)練YOLOv4、YOLOv4-Tiny及改進(jìn)的YOLOv4-TSPP,在測試集上的測試結(jié)果如表3所示。與YOLOv4-Tiny對比,YOLOv4-TSPP的卷積層浮點(diǎn)運(yùn)算量為降低為73.51%,模型權(quán)重文件尺寸降低為69.53%;檢測速度下降了9.14%,但仍然高達(dá)182 FPS,足以滿足實(shí)時(shí)性要求;目標(biāo)邊界框預(yù)測值相對真值的平均IoU提高了5個(gè)百分點(diǎn),達(dá)到88.53%,這意味著網(wǎng)絡(luò)可以較好地預(yù)測目標(biāo)所在位置及其大小。

表3 檢測網(wǎng)絡(luò)在測試集上的性能對比Table 3 Performance comparison of detectors running on test set

在測試集上比了YOLOv4-TSPP與傳統(tǒng)方法(文獻(xiàn)[11],Camshift+卡爾曼濾波)的目標(biāo)檢測性能。圖13顯示,YOLOv4-TSPP能精確預(yù)測目標(biāo)中心;使用Camshif方法時(shí)在部分時(shí)間段出現(xiàn)了嚴(yán)重的漂移,其原因在于邊界框預(yù)測隨著時(shí)間的推移出現(xiàn)擴(kuò)大的情況,當(dāng)聚類信息強(qiáng)于目標(biāo)的干擾物進(jìn)入預(yù)測框時(shí),干擾物被錯(cuò)認(rèn)為目標(biāo)。

圖13 圖像序列預(yù)測Fig.13 Predictions on image sequence

圖14統(tǒng)計(jì)了預(yù)測框與目標(biāo)外接框真值的交并比(intersection over union, IoU),YOLOv4-TSP的預(yù)測維持了較高的IoU,而Camshift無法維持良好的預(yù)測。

圖14 圖像序列IoUFig.14 IoU on image sequence

(2) 雙目定位試驗(yàn)

用已標(biāo)定雙目相機(jī)拍攝若干組包含錐套模型的圖像對,每組間目標(biāo)沿相機(jī)光軸方向間隔50 mm,離相機(jī)的350～2 000 mm(縮比模型直徑約為真實(shí)加油錐套的1/12.5,相當(dāng)于驗(yàn)證了雙目系統(tǒng)在距離4～25 m范圍內(nèi)的預(yù)測真實(shí)錐套位置的能力)。

先用YOLOv4-TSPP分別預(yù)測目標(biāo)中心在左、右相機(jī)畫面內(nèi)的像素坐標(biāo),再利用式(6)即可求解其空間坐標(biāo)。在此流程中,目標(biāo)的空間定位誤差主要來源于深度zw的測量誤差,在相機(jī)標(biāo)定足夠精確的前提下,由式(6)通過zw求解xw、yw的過程不引入額外誤差,因此應(yīng)主要針對深度測量開展試驗(yàn)。

圖15 雙目目標(biāo)檢測試驗(yàn)(經(jīng)立體校正)Fig.15 Test of binocular object detection (stereo rectified)

試驗(yàn)對比了對輸入的雙目圖像進(jìn)行校正及未進(jìn)行校正的情況,試驗(yàn)結(jié)果表明:

(1) 進(jìn)行雙目校正有助于提升測距精度,距離預(yù)測的平均誤差分別為:校正后-0.110 2 mm,未校正17.912 2 mm;定義距離的相對預(yù)測誤差為絕對誤差與實(shí)際距離的比值,可得每組測距的相對誤差,如圖16所示。

圖16 距離預(yù)測結(jié)果Fig.16 Result of distance prediction

(2) 左、右兩視圖中目標(biāo)中心的連線應(yīng)落在同一水平線上。進(jìn)行雙目校正后,預(yù)測目標(biāo)中心點(diǎn)對連線相對水平線的平均偏角為-0.230 7°,不進(jìn)行雙目校正,其平均偏角為-0.692 0°。這從側(cè)面說明,該方法在避免進(jìn)行全局水平匹配搜索的情況下,依然能夠很好地預(yù)測目標(biāo)中心位置。目標(biāo)中心點(diǎn)對的連線相對水平線的偏角情況如圖17所示。

圖17 預(yù)測中心連線相對水平線的偏角Fig.17 Deflection angle of connecting line between predicted centers over relative to horizontal line

圖18展示了雙目系統(tǒng)預(yù)測目標(biāo)位置的結(jié)果,圖中實(shí)際位置為試驗(yàn)過程中錐套模型擺放位置的近似空間軌跡,在深度預(yù)測具備足夠精度的前提下,可以認(rèn)為空間位置預(yù)測亦具備足夠精度。

圖18 目標(biāo)在世界坐標(biāo)系中的位置Fig.18 Location of target in world coordinates

(3) 橢圓擬合試驗(yàn)

對輸入圖像由Yolov4-TSPP在測試集上預(yù)測的矩形框后,利用第2.4節(jié)提出的向心八點(diǎn)法擬合得到錐套邊緣。橢圓擬合的結(jié)果如圖19所示,在測試集上搜索得到8個(gè)邊緣點(diǎn)并進(jìn)行橢圓擬合的平均耗時(shí)約為0.015 s(Matlab環(huán)境)。

圖19 橢圓擬合效果Fig.19 Performance of ellipse fitting

4.3 對接控制系統(tǒng)仿真實(shí)驗(yàn)

第4.2節(jié)表明,基于YOLOv4-TSPP的雙目系統(tǒng)可以有效捕捉加油錐套相對受油機(jī)的位置,因此,可基于此前提,采用文獻(xiàn)[33]給出的狀態(tài)空間模型對加油錐套運(yùn)動(dòng)進(jìn)行仿真,并仿真驗(yàn)證對接控制器的性能。

以受油機(jī)作定直平飛為基準(zhǔn)狀態(tài),飛行速度為100 m/s,飛行高度為5 000 m,進(jìn)行配平并線化,加油錐套相對受油機(jī)的初始位置為(100,50,-50)。配平并線化后,式(15)中受油機(jī)狀態(tài)矩陣、控制矩陣、輸出矩陣分別為

--------------------

基準(zhǔn)控制器的設(shè)計(jì)參數(shù)取為

Q=diag(20,10,10,1,10,10,1,1,1,
20,10,20,10,10,220,200,200)

R=diag(80,800,900,2 300)

其中,diag(·)表示以括號內(nèi)元素為對角元素的對角陣,矩陣中除對角元素外全為0。

自適應(yīng)控制器設(shè)計(jì)參數(shù)取為

ΓΘ=(0.1,0.1,1,1,1,1,1,1,1)×500
ΓU=(1,100,100,100)

仿真過程中,對受油機(jī)系統(tǒng)矩陣中各元素進(jìn)行±30%的隨機(jī)攝動(dòng),以模擬建模誤差及參數(shù)不確定性。同時(shí),在80 s時(shí)加入持續(xù)時(shí)間為10 s的Dryden紊流,在100 s、110 s、120 s依次加入x、y、z方向的突風(fēng),以檢驗(yàn)控制器的抗風(fēng)擾動(dòng)性能。風(fēng)擾動(dòng)情況如圖20所示。

圖20 風(fēng)擾動(dòng)Fig.20 Wind disturbances

指令跟蹤的仿真結(jié)果如圖21所示,結(jié)果表示為相對受油機(jī)于起始位置定直平飛時(shí)狀態(tài)的增量。在無風(fēng)擾動(dòng)的情況下(80 s前),基于RSLQR增廣的兩種MRAC控制器均能使受油機(jī)跟蹤參考軌跡,模型參數(shù)的攝動(dòng)使自適應(yīng)控制器的跟蹤精度優(yōu)于文獻(xiàn)[29]提出的NZSP控制器。加入風(fēng)擾動(dòng)后(80 s后),NZSP方法可使受油機(jī)穩(wěn)定,但受擾動(dòng)后震蕩幅度顯著大于受投影MRAC控制的受油機(jī);而使用傳統(tǒng)的MRAC方法(不引入投影算子)時(shí),在持續(xù)風(fēng)擾動(dòng)作用下受油機(jī)出現(xiàn)大幅度震蕩,其原因在于式(35)中自適應(yīng)量沒有引入約束機(jī)制,當(dāng)實(shí)際狀態(tài)與參考模型狀態(tài)差異較大時(shí)易引起控制量發(fā)散。

圖21 y、z方向的指令跟蹤Fig.21 Command tracking in y, z direction

圖22顯示,當(dāng)存在風(fēng)擾動(dòng)時(shí),各控制面的偏轉(zhuǎn)角度及角速率在各自限值內(nèi)(所選受油機(jī)模型舵面偏轉(zhuǎn)角限值為±25°、±21.5°、±30°,偏轉(zhuǎn)速率限值為±60°/s、±60°/s、±120°/s)。氣流擾動(dòng)帶來較大的瞬時(shí)偏轉(zhuǎn)速率,可通過距陣R進(jìn)行調(diào)節(jié)。

圖22 控制面偏轉(zhuǎn)情況Fig.22 Deflection of control surfaces

完成對齊階段后,受油機(jī)在y-z平面內(nèi)的跟蹤誤差如圖24所示。以加油錐套的捕捉半徑0.4 m為閾值,統(tǒng)計(jì)無風(fēng)擾動(dòng)的情況下精確跟蹤階段內(nèi)跟蹤誤差小于閾值的概率為80.73%,即受油機(jī)在該階段有80.73%的可能性對接成功,如圖24(a)。存在風(fēng)擾動(dòng)時(shí),如圖24(b),受油機(jī)在紊流作用下跟蹤誤差出現(xiàn)一定程度的增大,在紊流停止后經(jīng)過5 s左右回到較低誤差水平;在突風(fēng)起始時(shí)刻受油機(jī)出現(xiàn)較大跟蹤誤差,經(jīng)過5 s左右回到較低誤差水平,在風(fēng)場穩(wěn)定后跟蹤誤差與無風(fēng)擾動(dòng)時(shí)基本一致。

圖23 y-z平面內(nèi)的跟蹤誤差(無風(fēng)擾動(dòng))Fig.23 Tracking error in y-z plane (without turbulence)

圖24 y-z平面內(nèi)的跟蹤誤差(有風(fēng)擾動(dòng))Fig.24 Tracking error in y-z plane (with turbulence)

經(jīng)反復(fù)試驗(yàn),控制器設(shè)計(jì)參數(shù)影響如下:

(1) 增大Q陣對角線上的最后3個(gè)元素有助于抑制指令跟蹤誤差的產(chǎn)生,但同時(shí)將增大舵面偏轉(zhuǎn);增大R陣對角線上的元素有助于抑制舵面偏轉(zhuǎn),但同時(shí)將增加跟蹤誤差,在構(gòu)造基準(zhǔn)控制器時(shí)需權(quán)衡調(diào)整達(dá)到理想狀態(tài);

(2)增大自適應(yīng)控制器設(shè)計(jì)參數(shù)ΓΘ、ΓU有助于減小圖25所示的參考模型跟蹤誤差,即存在模型參數(shù)不確定性的飛機(jī)能更好地跟蹤參考模型的狀態(tài)。但該參數(shù)過大將使控制量出現(xiàn)較大振蕩,應(yīng)設(shè)計(jì)調(diào)優(yōu)。

圖25 參考模型跟蹤誤差Fig.25 Error of tracking the reference model

4 結(jié) 論

本文針對自主空中加油對接過程中錐套定位問題建立了基于雙目YOLOv4-TSPP的空間定位方案,提出了一種基于YOLO目標(biāo)檢測結(jié)果進(jìn)行向心八點(diǎn)搜索的錐套橢圓形邊界擬合方法,并利用實(shí)體縮比模型進(jìn)行了目標(biāo)檢測和雙目測距的試驗(yàn)驗(yàn)證;針對空中加油對接控制問題提出了基于投影方法的MRAC增廣控制器,進(jìn)行了仿真驗(yàn)證。結(jié)果表明:

(1) YOLOv4-TSPP較YOLOv4-Tiny體積更小、性能更好,有較高的目標(biāo)檢測精度和速度,橢圓邊界擬合方法滿足實(shí)時(shí)性要求,符合空中加油的實(shí)際需求;

(2) 先分別從雙目視野中檢測目標(biāo)物再進(jìn)行位置匹配的方式降低了計(jì)算量,也從一定程度上擺脫了匹配算法對色彩的依賴度,可以提高雙目測量方法的魯棒性;

(3) 提出的控制方法能有效進(jìn)行自主對接控制,并在機(jī)體參數(shù)存在不確定性及存在風(fēng)擾動(dòng)的情況下有較強(qiáng)的魯棒性。