基于視覺(jué)的空中加油定位技術(shù)研究

趙敏琨，劉小雄，徐新龍，楊 楠，王映龍

（西北工業(yè)大學(xué) 自動(dòng)化學(xué)院，西安 710072）

0 引言

隨著無(wú)人機(jī)飛行能力和完成任務(wù)效率的提高，人們?cè)絹?lái)越迫切地需要將無(wú)人機(jī)進(jìn)行有效而穩(wěn)定的遠(yuǎn)程部署與機(jī)動(dòng)。不論是傳統(tǒng)的有人戰(zhàn)斗機(jī)還是新興的無(wú)人機(jī)，二者都存在作戰(zhàn)半徑有限的問(wèn)題?？罩屑佑妥鳛樵黾訜o(wú)人機(jī)空中續(xù)航能力的一種有效方式，已經(jīng)在世界上諸多國(guó)家實(shí)踐中得到了廣泛使用；而以該過(guò)程高自主性為目標(biāo)的自動(dòng)空中加油（AAR，autonomous aerial refueling）技術(shù)，正是各國(guó)研究的熱點(diǎn)。

空中加油需要兩架飛機(jī)之間保持一定的距離和速度，其中一架作為加油機(jī)，另一架作為受油機(jī)。該操作可以讓飛機(jī)在途中補(bǔ)充燃料，從而大幅提高其遠(yuǎn)程作戰(zhàn)、長(zhǎng)時(shí)間續(xù)航的能力。然而，空中加油過(guò)程包括了多種技術(shù)的綜合應(yīng)用。除了飛行器設(shè)計(jì)中加油和受油裝置的硬件研究之外，還有兩機(jī)靠近時(shí)的導(dǎo)航、制導(dǎo)與控制研究。其中，加油接口首先提供了加油的物質(zhì)基礎(chǔ)，導(dǎo)航則包括了位置、速度、姿態(tài)等信息的獲取和處理，制導(dǎo)指令計(jì)算出合適的加油路線和軌跡，控制最后實(shí)現(xiàn)精確的對(duì)接操作。在這些技術(shù)之中，導(dǎo)航是一個(gè)非常重要的環(huán)節(jié)，因?yàn)樗喈?dāng)于對(duì)環(huán)境的感知，只有先得到了飛行器的相對(duì)位姿數(shù)據(jù)，才能在此基礎(chǔ)上進(jìn)行后續(xù)的制導(dǎo)和控制。

對(duì)于AAR 問(wèn)題來(lái)說(shuō)，必須確保兩機(jī)之間的距離和相對(duì)姿態(tài)能夠滿足安全標(biāo)準(zhǔn)，這就提出了對(duì)導(dǎo)航信息精確獲取的要求。通常，導(dǎo)航過(guò)程需要通過(guò)多種傳感器和算法來(lái)確定飛行器的位置和姿態(tài)，包括導(dǎo)航衛(wèi)星、慣性測(cè)量單元、激光雷達(dá)、光學(xué)傳感器以及檢測(cè)跟蹤、位姿估計(jì)、信息融合等。其中，采用光學(xué)傳感器獲取圖像數(shù)據(jù)，通過(guò)視覺(jué)處理算法最終得到導(dǎo)航信息的過(guò)程被稱為視覺(jué)導(dǎo)航、或基于視覺(jué)的定位；一般來(lái)說(shuō)，完整的視覺(jué)導(dǎo)航包括檢測(cè)、跟蹤、位姿估計(jì)三大步驟。

相較于傳統(tǒng)方式，視覺(jué)導(dǎo)航有以下幾個(gè)優(yōu)點(diǎn)：

1）低改動(dòng)：不需要系統(tǒng)性調(diào)整飛行器的結(jié)構(gòu)設(shè)計(jì)，同時(shí)得益于圖像傳感器較小的體積，可以采用加裝的方式將其添加到飛行器上。

2）低成本：使用普通的光學(xué)傳感器和計(jì)算機(jī)視覺(jué)算法就可以達(dá)到較高的精度要求。

3）無(wú)源性：傳統(tǒng)的導(dǎo)航方式依賴于參考信號(hào)，如地面站或衛(wèi)星信號(hào)等，但在某些場(chǎng)景下，這些信號(hào)可能不穩(wěn)定或無(wú)法獲取。而視覺(jué)導(dǎo)航不需要參考信號(hào)，能夠在復(fù)雜環(huán)境下實(shí)現(xiàn)自主導(dǎo)航。

隨著近年來(lái)光學(xué)傳感器和計(jì)算機(jī)視覺(jué)算法的發(fā)展，視覺(jué)導(dǎo)航技術(shù)逐漸成熟。針對(duì)AAR 問(wèn)題，美國(guó)團(tuán)隊(duì)首先引入了視覺(jué)導(dǎo)航技術(shù)，其代表有2005年提出的VisNav系統(tǒng)［1］、2008年的VisBRR 系統(tǒng)［2］，以及2006年起Campa團(tuán)隊(duì)［3］所做的工作。近十多年來(lái)，國(guó)內(nèi)外研究者就該問(wèn)題提出了多種解決方案，不論是軟式錐套定位［4-7］，還是硬式接口定位［8-9］，以及加油機(jī)定位［10-11］和受油機(jī)定位［12-14］。

綜上，本文將首先介紹空中加油技術(shù)概念，然后依照不同研究主體的順序，對(duì)AAR 過(guò)程中基于視覺(jué)定位的研究發(fā)展進(jìn)行梳理總結(jié)，最后在此基礎(chǔ)上展望未來(lái)的研究方向。

1 空中加油技術(shù)概念

1.1 空中加油的方式

根據(jù)加油和受油接口的不同，目前空中加油可以分為兩種主要方式：軟管-錐套式（PDR，probe-and-drogue refueling）和硬桿-接口式（BRR，boom-and-receptacle refueling）［15］，二者分別簡(jiǎn)稱為“軟式”和“硬式”。

采用軟式空中加油，需要受油機(jī)在機(jī)首或機(jī)翼前緣安裝1根固定的、或可伸縮的受油（管）插頭；需要加油機(jī)在機(jī)翼側(cè)邊安裝加油吊艙，或者在機(jī)身中心線安裝加油平臺(tái)；吊艙伸出軟管的長(zhǎng)度為15～27m 不等，平臺(tái)伸出軟管的典型長(zhǎng)度為24m；加油軟管末端安裝有漏斗狀的錐套，其配有機(jī)械自鎖機(jī)構(gòu)［16］。兩機(jī)接近時(shí)，飛行員控制受油機(jī)緩慢加速，當(dāng)受油插頭伸進(jìn)加油錐套后，機(jī)構(gòu)自動(dòng)鎖緊完成對(duì)接。

采用硬式空中加油，需要受油機(jī)機(jī)身具備專用的受油接口；需要加油機(jī)尾部具備專用的可伸縮剛性硬桿，以及配套的專職加油操作員控制艙；硬桿中部裝有V 形或H 形氣動(dòng)操作面，可以讓它在一定范圍內(nèi)移動(dòng)［16］。兩機(jī)接近時(shí)，飛行員控制受油機(jī)穩(wěn)定在對(duì)接范圍（即受油包絡(luò)）內(nèi)，操作員控制氣動(dòng)操作面和伸縮機(jī)構(gòu)，當(dāng)硬桿末端的加油插頭對(duì)準(zhǔn)并伸進(jìn)受油接口后，兩機(jī)完成對(duì)接。

上述兩種空中加油方式各有利弊，硬式流量大、輸油速度快、對(duì)空氣湍流不敏感、但通用性差，需要專職的加油機(jī)［16-17］；軟式流量小、輸油速度慢、對(duì)空氣湍流敏感、不過(guò)通用性強(qiáng)，方便以客機(jī)或運(yùn)輸機(jī)為基礎(chǔ)加裝輸油系統(tǒng)，進(jìn)而改裝為加油機(jī)。

目前，我國(guó)在役的主要加油機(jī)——運(yùn)油20采用的就是機(jī)翼兩邊各1個(gè)加油吊艙、加上機(jī)身中心線1個(gè)加油平臺(tái)，總共能夠伸出3條軟管的軟式空中加油布局，如圖1所示。

圖1 運(yùn)油-20加油布局

1.2 空中加油的流程

假設(shè)AAR 在中高空進(jìn)行，加油機(jī)定高平飛，那么加油過(guò)程可以分為四個(gè)階段：交會(huì)（Rendezvousing）、對(duì)接（Docking）、加油（Refueling）、脫離（Dismissing）。以下首先給出幾個(gè)關(guān)鍵位置點(diǎn)的定義［18-19］，再說(shuō)明各階段機(jī)動(dòng)動(dòng)作［20］，整個(gè)流程如圖2所示。

圖2 空中加油飛行剖面

觀察（Observation）位置：一般位于加油機(jī)的側(cè)后方，與加油機(jī)機(jī)翼保持足夠的安全距離。

預(yù)接觸（Pre-contact）位置：硬式情況位于加油機(jī)的后下方，軟式情況位于加油機(jī)的側(cè)后方，與加油機(jī)機(jī)尾保持足夠的安全距離。

接觸（contact）位置：硬式情況位于加油機(jī)后下方的一定三維范圍內(nèi)，軟式情況位于加油機(jī)側(cè)后方的一定三維范圍內(nèi)。

空中加油控制點(diǎn)（ARCP，air refueling control point）：相對(duì)于指定加油機(jī)而言，受油機(jī)到達(dá)觀察／預(yù)接觸位置的規(guī)劃地理點(diǎn)。

空中加油起始點(diǎn)（ARIP，air refueling initial point）：受油機(jī)進(jìn)入加油航道的地理點(diǎn)，啟動(dòng)與加油機(jī)的無(wú)線電聯(lián)系并開(kāi)始進(jìn)行對(duì)接機(jī)動(dòng)。

交會(huì)起始點(diǎn)（RVIP，rendezvous initial point）：在ARCP之前的一個(gè)規(guī)劃地理點(diǎn)。如果兩機(jī)沒(méi)有達(dá)到指定的高度，就開(kāi)始爬升／下降機(jī)動(dòng)；如果兩機(jī)沒(méi)有達(dá)到共同的航道，就開(kāi)始航跡機(jī)動(dòng)。

交會(huì)階段：接到加油命令后，在不同位置的兩機(jī)或其中一方前往指定空域的RVIP，先到者盤旋等候另一方；當(dāng)雙方都到達(dá)后，受油機(jī)前往ARIP。

對(duì)接階段：與加油機(jī)建立目視和無(wú)線電聯(lián)系后，受油機(jī)機(jī)動(dòng)至加油高度以下300 m；當(dāng)接到進(jìn)入受油編隊(duì)指令后，受油機(jī)機(jī)動(dòng)至預(yù)接觸位置；當(dāng)接到受油指令后，受油機(jī)機(jī)動(dòng)至加油接觸位置并保持穩(wěn)定飛行。對(duì)軟式而言，到接觸位置的機(jī)動(dòng)包含了受油插頭伸進(jìn)加油錐套完成對(duì)接的過(guò)程；對(duì)硬式而言，到接觸位置后，還需要加油機(jī)上的操作員控制加油硬桿伸到受油接口里完成對(duì)接。

加油階段：兩機(jī)完成對(duì)接后，加油機(jī)控制油管閥門打開(kāi)給受油機(jī)輸油，并在加油完畢后自動(dòng)關(guān)閉閥門。該階段兩機(jī)保持相對(duì)靜止。

脫離階段：加油結(jié)束后，受油機(jī)緩慢減速并進(jìn)行偏轉(zhuǎn)機(jī)動(dòng)，從接觸位置脫離。至此，AAR 流程結(jié)束。

2 空中加油視覺(jué)定位研究現(xiàn)狀

根據(jù)研究主體的不同，AAR 視覺(jué)定位可以分為軟式、硬式和機(jī)體三類，即相機(jī)照射、定位的目標(biāo)分別為加油錐套、受油接口區(qū)域和加／受油機(jī)機(jī)體；根據(jù)相機(jī)的結(jié)構(gòu)區(qū)別，AAR 視覺(jué)定位可以分為單目、雙目、紅外攝像頭三類。當(dāng)然，為了追求更高的精度和更好的魯棒性，大部分研究不僅僅使用視覺(jué)系統(tǒng)得到的導(dǎo)航結(jié)果，而是將它與其他傳感器的輸出進(jìn)行融合，包括慣性、導(dǎo)航衛(wèi)星、激光雷達(dá)等。不同傳感器的使用場(chǎng)景有別，其中視覺(jué)傳感器主要用于近距離，對(duì)應(yīng)上節(jié)所述的 “對(duì)接”、“加油”和 “脫離”三個(gè)階段，而其他傳感器主要用于中遠(yuǎn)距離，即 “交會(huì)”階段。圖3給出了AAR 問(wèn)題的輸入分類和整體流程。

圖3 自動(dòng)空中加油問(wèn)題輸入分類和整體流程

以下，從不同研究主體的角度出發(fā)，梳理自動(dòng)空中加油視覺(jué)定位的研究現(xiàn)狀，主要關(guān)注其中用到的檢測(cè)、跟蹤和位姿估計(jì)算法，并在后一小節(jié)給出總結(jié)。

2.1 加油錐套定位

軟式空中加油是應(yīng)用最早也是最廣泛的空中加油方式，對(duì)于AAR 問(wèn)題，該方案的關(guān)鍵在于，受油機(jī)的加油插頭需要對(duì)準(zhǔn)加油機(jī)拖曳軟管末端的加油錐套，以便在接近時(shí)成功插入并完成對(duì)接，如圖4所示。這一目標(biāo)就從感知層面提出了對(duì)錐套精確定位的要求。然而，由于在接近過(guò)程中存在著加、受油飛機(jī)的抖動(dòng)，拖曳軟管的湍流運(yùn)動(dòng)，以及天氣變化等因素，使得錐套的位姿很難精確地確定。所以，如何定位錐套，還有如何提高錐套定位的精度，是多年以來(lái)學(xué)者們研究的重點(diǎn)。

錐套的視覺(jué)定位，就是根據(jù)輸入的圖像經(jīng)過(guò)算法處理識(shí)別出錐套區(qū)域，進(jìn)一步跟蹤其二維坐標(biāo)，然后由此估計(jì)出錐套相對(duì)于受油機(jī)的三維位置和三軸姿態(tài)。根據(jù)采用光學(xué)標(biāo)記與否，錐套的視覺(jué)檢測(cè)定位可以分為合作與非合作兩類。其中，“合作”指的是給錐套安裝LED主動(dòng)光源，或者安裝具有明顯色差的環(huán)狀條帶；“非合作”則指不改變錐套光學(xué)外觀。

2005年，Valasek等人提出了VisNav系統(tǒng)［1］，其采用了基于位置敏感二極管（PSD，position sensing diode）的導(dǎo)航引導(dǎo)技術(shù)。在AAR 過(guò)程中，當(dāng)加油機(jī)錐套內(nèi)的紅外LED發(fā)射的結(jié)構(gòu)光照到受油機(jī)頭的PSD 上時(shí)，會(huì)產(chǎn)生電流信號(hào)，根據(jù)電流強(qiáng)弱可以得到LED 在PSD 平面的投影坐標(biāo)。當(dāng)?shù)玫?組及以上LED的數(shù)據(jù)后，VisNav系統(tǒng)利用高斯最小二乘差分校正（GLSDC，gaussian least squares differential correction）算法得到六自由度導(dǎo)航信息。2011年，解洪文［4］使用濾光雙目相機(jī)對(duì)錐套邊緣光學(xué)標(biāo)記進(jìn)行拍攝，通過(guò)輪廓跟蹤法檢測(cè)出光斑區(qū)域的邊界，進(jìn)一步得到其像素重心，再根據(jù)對(duì)極幾何原理完成3D點(diǎn)匹配。2013年，王旭峰等人［21］通過(guò)色彩空間變換，根據(jù)內(nèi)、外中心距和內(nèi)、外長(zhǎng)軸比判斷“加裝紅色標(biāo)識(shí)的環(huán)帶”區(qū)域，對(duì)檢測(cè)到的區(qū)域用最小二乘（LS，least squares）橢圓擬合得到端面中心坐標(biāo)。2015年，支健輝等人［22］首先進(jìn)行色彩空間轉(zhuǎn)換-自適應(yīng)閾值分割的圖像預(yù)處理，擬合中心點(diǎn)后，根據(jù)目標(biāo)像素位置變換速度，對(duì)MeanShift算法的目標(biāo)搜索窗寬進(jìn)行自適應(yīng)修正；同時(shí)定義了基于巴氏系數(shù)的閾值函數(shù)，處理錐套被遮擋的情況。2016年，秦勇等人［23］先給錐套上添加標(biāo)記，用顏色通道相減方式進(jìn)行提取，再通過(guò)最大類間方差法進(jìn)行閾值分割檢測(cè)；接著根據(jù)上一幀目標(biāo)擬合最小橢圓尺寸和運(yùn)動(dòng)速度確定感興趣區(qū)域（ROI，region of interest），在此區(qū)域內(nèi)完成對(duì)錐套的跟蹤定位。

2014年，黃斌等人［6］提出一種無(wú)須安裝標(biāo)記的、基于圓形特征的錐套檢測(cè)與跟蹤方法。直接由錐套形狀特點(diǎn)確定ROI，用掃描法獲取內(nèi)部邊緣點(diǎn)；同時(shí)，說(shuō)明了一種多方位最近點(diǎn)區(qū)域搜索法，用以提取錐套所在的所有可能圖像區(qū)域，并且采用檢測(cè)前跟蹤策略進(jìn)行精匹配。2015 年，楊博文等人［7］采用快速霍夫梯度法（FHGM）進(jìn)行錐套預(yù)檢測(cè)，以初始中心設(shè)置ROI，再利用中心八向搜索法確定并提取輪廓，最后通過(guò)LS橢圓擬合精確定位，該方案有效解決了遠(yuǎn)距離情況下錐套和背景混雜的問(wèn)題。2016年，高宇等人［24］提出了一種基于跟蹤-學(xué)習(xí)-檢測(cè)（TLD，tracking learning detection）的錐套跟蹤算法。先通過(guò)金字塔（LK，Lucas-Kanade）光流法跟蹤錐套，再利用半監(jiān)督學(xué)習(xí)P-N 算法更新檢測(cè)框，最后借助級(jí)聯(lián)分類器返回含目標(biāo)的圖像塊并融合跟蹤框。2018年，李旺靈等人［25］針對(duì)Meanshift方法中跟蹤窗口不變，導(dǎo)致跟蹤失敗的問(wèn)題，使用錐套的位置信息作為輸入以更新跟蹤目標(biāo)窗口；針對(duì)大幅快速運(yùn)動(dòng)導(dǎo)致跟蹤失敗的問(wèn)題，采用擴(kuò)大當(dāng)前時(shí)刻視場(chǎng)、即增大窗口尺寸的改進(jìn)措施；通過(guò)這種自適應(yīng)核窗口的改進(jìn)，該方案針對(duì)AAR 問(wèn)題的實(shí)時(shí)性更好。同年，吳雷等人［26］對(duì)實(shí)際錐套定位精度進(jìn)行了建模與定量研究，他們首先通過(guò)誤差方程對(duì)相機(jī)焦距、對(duì)接距離等關(guān)鍵因素進(jìn)行定量分析；然后基于自行設(shè)計(jì)的一套高精度三軸物理運(yùn)動(dòng)平臺(tái)，進(jìn)行試驗(yàn)和誤差測(cè)量。

2021年，張怡等人［27］針對(duì)傳統(tǒng)目標(biāo)跟蹤檢測(cè)器和跟蹤器獨(dú)立，跟蹤效果取決于檢測(cè)結(jié)果，且檢測(cè)跟蹤關(guān)聯(lián)策略復(fù)雜的問(wèn)題，基于檢測(cè)跟蹤一體化的CenterTrack網(wǎng)絡(luò)，改進(jìn)提出了一種AAR 場(chǎng)景下的目標(biāo)聯(lián)合檢測(cè)跟蹤算法。分別從模型設(shè)計(jì)與網(wǎng)絡(luò)優(yōu)化兩方面著手，采用膨脹卷積輕量化網(wǎng)絡(luò)、深度可分離卷積減少參數(shù)與計(jì)算量、以及使用多種優(yōu)化策略相結(jié)合的措施改善該網(wǎng)絡(luò)計(jì)算量較大、訓(xùn)練耗時(shí)過(guò)長(zhǎng)的問(wèn)題。

2.2 受油接口定位

硬式空中加油是另一種常見(jiàn)的空中加油方式，對(duì)于AAR 問(wèn)題，該方案的關(guān)鍵在于，加油機(jī)的加油硬桿末端需要對(duì)準(zhǔn)受油機(jī)機(jī)身上表面的受油接口，以便伸長(zhǎng)后成功插入并完成對(duì)接，如圖5所示。這一目標(biāo)就從感知層面提出了對(duì)接口精確定位的要求。不過(guò)，由于在接觸位置附近可能存在兩機(jī)的抖動(dòng)、硬桿氣動(dòng)舵面的湍流運(yùn)動(dòng)、以及天氣變化等因素，使得接口的位姿較難精確地確定。所以，如何定位接口，以及如何提高接口定位的精度，是多年以來(lái)學(xué)者們研究的重點(diǎn)。

圖5 硬式受油接口示例

另外，因?yàn)橛彩郊佑托枰僮鲉T移動(dòng)硬桿與受油接口對(duì)接，而接口目標(biāo)較小、且在目視情況下較不明顯，所以其周圍通常噴涂有與機(jī)身底色對(duì)比明顯的輔助識(shí)別標(biāo)識(shí)。美軍F-22戰(zhàn)斗機(jī)機(jī)身上的輔助識(shí)別標(biāo)識(shí)是一個(gè) “梯形跑道”狀的黑白相間圖案，而F-16戰(zhàn)斗機(jī)機(jī)身上的輔助識(shí)別標(biāo)識(shí)是一個(gè)“梯形‘王’字”狀的白色條紋。

接口的視覺(jué)定位，就是根據(jù)輸入的圖像經(jīng)過(guò)算法處理識(shí)別出接口區(qū)域，進(jìn)一步跟蹤其二維坐標(biāo)，然后由此估計(jì)出接口相對(duì)于加油機(jī)的三維位置和三軸姿態(tài)。同時(shí)，由于接口周圍的標(biāo)識(shí)相當(dāng)于顯著特征，識(shí)別的目標(biāo)部分也包含了該標(biāo)識(shí)。

2008年，Doebbler等人提出了VisBRR 系統(tǒng)［2］，其采用了基于主動(dòng)可變輪廓（ActiveDeformable Contour，也稱visual snake）的圖像處理技術(shù)，使用安裝在加油機(jī)機(jī)尾指向后下方的單目攝像頭拍攝受油機(jī)機(jī)頭的受油接口，采用閉合的不相交的輪廓來(lái)分離圖像中的目標(biāo)區(qū)域；該區(qū)域噴涂有塊狀輔助標(biāo)識(shí)，它的形狀、大小、位置和顏色等參數(shù)均為已知的；利用這些先驗(yàn)信息即可實(shí)現(xiàn)對(duì)標(biāo)志的跟蹤，進(jìn)而估計(jì)出相對(duì)位姿。2017年，文獻(xiàn)［8］在Meanshift算法基礎(chǔ)上提出了一種基于角匹配的內(nèi)核帶寬自適應(yīng)算法。先使用后向跟蹤法修正核窗口中心，再根據(jù)Harris算法檢測(cè)角點(diǎn)，之后用小尺度方法對(duì)兩幀之間的同一點(diǎn)進(jìn)行匹配和回歸分析，進(jìn)而確定核窗口寬度的更新量。同年，吳佳駒等人［9］針對(duì)Meanshift算法僅僅利用目標(biāo)區(qū)域H 分量顏色統(tǒng)計(jì)信息，缺乏空間信息而導(dǎo)致的跟蹤失敗問(wèn)題，考慮到目標(biāo)遮擋情況下，外層像素更易受背景影響，而靠近中心的更可靠，故加入了目標(biāo)中心到當(dāng)前點(diǎn)的距離作為權(quán)重分配因子，提出了改進(jìn)方案。

2.3 加／受油機(jī)機(jī)體定位

不論是軟式還是硬式，不論是單機(jī)還是多機(jī)，空中加油的過(guò)程中接近并保持穩(wěn)定的步驟對(duì)飛行員而言相當(dāng)于考驗(yàn)了近距離編隊(duì)能力，如圖6所示。對(duì)于AAR 問(wèn)題，準(zhǔn)確把握接近過(guò)程中對(duì)方飛機(jī)的位姿也是至關(guān)重要的，因?yàn)檫@不僅能給飛行員提供機(jī)動(dòng)參考，還能減小高危的空中碰撞風(fēng)險(xiǎn)。所以，如何定位目標(biāo)機(jī)體，以及如何提高目標(biāo)機(jī)體定位的精度，是多年以來(lái)學(xué)者們研究的熱點(diǎn)。

機(jī)體的視覺(jué)定位，就是根據(jù)輸入圖像經(jīng)過(guò)算法處理識(shí)別出加／受油機(jī)機(jī)體區(qū)域，進(jìn)一步跟蹤其二維坐標(biāo)，然后由此估計(jì)出加／受油機(jī)機(jī)體的相對(duì)三維位置和三軸姿態(tài)。然而，由于錐套和硬桿也在圖像中占據(jù)了一部分可見(jiàn)域，對(duì)加油機(jī)體檢測(cè)而言，需要消除錐套的影響；對(duì)受油機(jī)體檢測(cè)而言，需要消除硬桿的影響。

2006年起，Campa團(tuán)隊(duì)針對(duì)加油機(jī)體的定位問(wèn)題，陸續(xù)進(jìn)行了一系列研究。他們采用的方案是在受油機(jī)頭安裝單目攝像頭，指向斜上方拍攝加油機(jī)圖像；同時(shí)在加油機(jī)尾部設(shè)置多個(gè)點(diǎn)狀的光學(xué)標(biāo)志物（其位置信息為先驗(yàn)已知的），以便提取特征并進(jìn)行跟蹤。Campa等人［3］首先分析了基于機(jī)器視覺(jué)進(jìn)行AAR 過(guò)程中檢測(cè)標(biāo)記和位姿估計(jì)算法的性能。提出了一種魯棒的算法，用于正確識(shí)別和分類光學(xué)標(biāo)記；然后提供標(biāo)記位置的排序列表，作為位姿估計(jì)算法的輸入。另外，其詳細(xì)研究了GLSDC 和正交迭代（LHM，Lu，Hager and Mjolsness）算法的性能，突出了計(jì)算量、魯棒性和誤差傳播的差異。Fravolini等人［10，28］按照這種思路，基于3D 虛擬視景（VRT，virtual reality toolbox）生成的AAR機(jī)動(dòng)圖像流，分別在加油機(jī)尾安裝人工標(biāo)記與否的兩種情況下，研究了特征提取-匹配-位姿估計(jì)過(guò)程的效果。此外，他們還提出了兩種特征匹配算法：一種是僅分析兩個(gè)匹配點(diǎn)集之間的距離得出匹配決策，另一種不僅考慮不同點(diǎn)集之間的距離，還考慮同一點(diǎn)集之間的接近性，后者可以用拓?fù)鋱D建模。

2009年，Weaver［18］通過(guò)喬萊斯基分解狀態(tài)協(xié)方差矩陣確定各自由度擾動(dòng)的標(biāo)準(zhǔn)量，然后給各自由度一個(gè)標(biāo)準(zhǔn)擾動(dòng)，利用VRT 的3D渲染生成加油機(jī)的預(yù)測(cè)圖像；這些圖像和實(shí)時(shí)測(cè)量圖像進(jìn)行比較，作為EKF 的量測(cè)誤差反饋，最后融合INS數(shù)據(jù)得到相對(duì)位姿。他的方案中，單目紅外攝像頭安裝在受油機(jī)機(jī)頭位置并指向斜上方。相比于普通彩色圖像，紅外圖像的復(fù)雜度更低，可以減少圖像處理的計(jì)算量。另外，為了衡量預(yù)測(cè)和真實(shí)圖像的差異，他考慮了三種基于灰度值的算子：圖像強(qiáng)度差平方和、圖像梯度和帶有閾值的圖像梯度。這種圖像匹配方案，避免了檢測(cè)跟蹤中錯(cuò)誤檢測(cè)和錯(cuò)誤關(guān)聯(lián)的可能性。

2012年，郭軍等人［29］假設(shè)已經(jīng)得到特征點(diǎn)投影坐標(biāo)，著眼于位姿估計(jì)算法實(shí)踐。利用3D-3D 對(duì)極幾何原理和N點(diǎn)透視技術(shù)進(jìn)行相對(duì)定位導(dǎo)航。接著使用EKF 對(duì)視覺(jué)估計(jì)數(shù)據(jù)濾波，并與速度量測(cè)數(shù)據(jù)融合，以提高視覺(jué)導(dǎo)航算法的精度和魯棒性。同年，王龍等人［11］針對(duì)AAR 過(guò)程位姿信息嚴(yán)重耦合和強(qiáng)非線性的問(wèn)題，受衛(wèi)星導(dǎo)航偽距概念啟發(fā)，利用特征點(diǎn)的圖像坐標(biāo)信息對(duì)位置和姿態(tài)進(jìn)行解耦，提出了一種迭代算法。

2016年起，Nykl團(tuán)隊(duì)針對(duì)受油機(jī)體的定位問(wèn)題，陸續(xù)進(jìn)行了一系列研究。他們采用的方案是在加油機(jī)尾安裝雙目攝像頭，指向斜下方拍攝受油機(jī)圖像。Parson［12］提出了一種立體視覺(jué)檢測(cè)算法。首先根據(jù)雙目圖像利用半全局立體匹配算法（SGBM，semi-global block matching）算法計(jì)算出視差圖；其次根據(jù)視差-深度矩陣轉(zhuǎn)換關(guān)系，計(jì)算得到重投影點(diǎn)云，使視差圖中的每個(gè)像素都映射到了左相機(jī)坐標(biāo)系下的一個(gè)三維坐標(biāo)點(diǎn)。Piekenbrock等人［13，30］提出了一種基于三維迭代最近點(diǎn)的（ICP，iterative closest point）的并行計(jì)算定位實(shí)現(xiàn)方案。假設(shè)預(yù)先已知受油機(jī)的參考點(diǎn)云模型，第一步的點(diǎn)云配準(zhǔn)過(guò)程先進(jìn)行k-d樹(shù)搜索給出近似最近鄰結(jié)果（ANN，approximate nearest neighbor），用其作為初值再執(zhí)行Delaunay 三角剖分得到精確最近鄰結(jié)果（NN，nearest neighbor）；第二步的點(diǎn)云變換（根據(jù)感知點(diǎn)云和參考點(diǎn)云數(shù)據(jù)計(jì)算旋轉(zhuǎn)平移變換矩陣的過(guò)程）過(guò)程是：先找到各自的中心，再將兩點(diǎn)云平移至原點(diǎn)，使用奇異值分解（SVD，singular value decomposition）處理它們的協(xié)方差矩陣，在此基礎(chǔ)上確定旋轉(zhuǎn)四元數(shù)，使用中心點(diǎn)確定平移矢量。

2019年，Anderson等人［31］主要研究了加油機(jī)尾伸出的硬桿對(duì)受油機(jī)圖像遮擋的問(wèn)題，在虛擬視景中量化分析了其遮擋范圍，同時(shí)確定哪些像素不能用于雙目立體視差成像，從而達(dá)到降噪并提高算法效率的目的。同年，Parson等人［32］提出了一種殼參考模型，其與真實(shí)模型的區(qū)別在于只用受油機(jī)的局部生成點(diǎn)云，他從完整的模型中手動(dòng)去除了機(jī)腹部分以及被加油硬桿遮擋的機(jī)頂部分；這樣，在進(jìn)行配準(zhǔn)時(shí)只需使用局部感知點(diǎn)云和局部參考點(diǎn)云進(jìn)行匹配。Paulson等人［14］遵循類似思路，同樣著眼于加油桿遮擋，采用了將遮擋區(qū)域轉(zhuǎn)換為陰影體（Shadow Volume，計(jì)算機(jī)圖形學(xué)技術(shù)）的策略，動(dòng)態(tài)更新進(jìn)近對(duì)接過(guò)程的點(diǎn)云參考模型。

2020年，Lee等人［33］在同樣流程的基礎(chǔ)上，引入了基于深度學(xué)習(xí)技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolutional neural network）對(duì)圖像動(dòng)態(tài)裁剪出ROI區(qū)域，再送入ICP 流程，即：捕獲高分辨率雙目立體圖像-用CNN 動(dòng)態(tài)裁剪-生成ROI區(qū)域視差圖-計(jì)算出重投影點(diǎn)云-用ICP確定受油機(jī)位姿。仿真結(jié)果表明，相比于團(tuán)隊(duì)之前的試驗(yàn)，該方案的運(yùn)行速度更快。

2.4 視覺(jué)定位算法總結(jié)

綜合上述研究現(xiàn)狀，將視覺(jué)AAR 問(wèn)題可用的算法總結(jié)為圖7。表1給出了將基于視覺(jué)的定位技術(shù)應(yīng)用于AAR 問(wèn)題的知名研究團(tuán)隊(duì)。

表1 視覺(jué)AAR 問(wèn)題知名研究團(tuán)隊(duì)

圖7 視覺(jué)AAR 問(wèn)題可用的處理算法總結(jié)

從視覺(jué)傳感器獲得數(shù)據(jù)后，先后進(jìn)行檢測(cè)、跟蹤及位姿估計(jì)的過(guò)程；其中，檢測(cè)跟蹤環(huán)節(jié)可以分為基于特征點(diǎn)、基于目標(biāo)、圖像匹配三種技術(shù)路線，位姿估計(jì)環(huán)節(jié)分為對(duì)極幾何、PnP問(wèn)題、點(diǎn)云問(wèn)題三種求解思路。

1）基于特征點(diǎn)的技術(shù)路線適用于接口和機(jī)體檢測(cè)，因?yàn)榻涌跇?biāo)識(shí)與機(jī)體對(duì)比度明顯、而機(jī)體邊緣與背景也有明確的分界，容易提取出特征點(diǎn)，接著進(jìn)行匹配和篩選，從而定位2D點(diǎn)。

2）基于目標(biāo)的技術(shù)路線適用于錐套檢測(cè)，因?yàn)殄F套相當(dāng)于一個(gè)小目標(biāo)，進(jìn)而需要將其從背景中分割下來(lái)，然后提取出其輪廓作為特征，接著在此基礎(chǔ)上計(jì)算橢圓參數(shù)，定位2D目標(biāo)。

3）不論是2D點(diǎn)還是2D目標(biāo)，對(duì)其連續(xù)的定位就構(gòu)成了跟蹤問(wèn)題，光流、相關(guān)濾波、均值漂移都是可以采用的算法。

4）另外，關(guān)于目標(biāo)檢測(cè)和跟蹤，新穎的深度學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)技術(shù)也可以考慮，如讓YOLO 網(wǎng)絡(luò)檢測(cè)錐套目標(biāo)，然后使用GOTURN 網(wǎng)絡(luò)進(jìn)行跟蹤，或者使用檢測(cè)跟蹤一體化的CenterTrack網(wǎng)絡(luò)。

5）圖像匹配技術(shù)路線適用于機(jī)體檢測(cè)，基于灰度的分支利用圖像整體的統(tǒng)計(jì)特征進(jìn)行相似性度量，基于特征的分支提取人為設(shè)計(jì)的特征點(diǎn)、線，再計(jì)算描述子進(jìn)行匹配。

6）對(duì)極幾何適用于單目相機(jī)，其求解思路是根據(jù)對(duì)極約束方程組，利用需求數(shù)量的2D-2D 點(diǎn)對(duì)計(jì)算出基礎(chǔ)或單應(yīng)性矩陣，再結(jié)合相機(jī)內(nèi)參得到本質(zhì)矩陣，最后通過(guò)奇異值分解獲取旋轉(zhuǎn)矩陣和平移向量。

7）PnP（perspective-n-point）問(wèn)題就是已知n個(gè)2D-3D點(diǎn)對(duì)（即一些三維點(diǎn)和它們?cè)谙衿矫娴耐队拔恢茫?，?jì)算相機(jī)或物體位姿的過(guò)程。其求解思路中，通常先用直接計(jì)算法得到位姿初值，然后構(gòu)建最小二乘優(yōu)化問(wèn)題迭代求解。直接線性變換（DLT，direct liner transform）算法至少需要6對(duì)匹配點(diǎn)計(jì)算位姿矩陣，而EPnP算法則需要4對(duì)不共面的匹配點(diǎn)。

8）點(diǎn)云問(wèn)題針對(duì)雙目和RGB-D 相機(jī)（從輸出數(shù)據(jù)來(lái)說(shuō)，RGB-D相機(jī)相當(dāng)于單目攝像頭與小型激光雷達(dá)的組合），是基于數(shù)量龐大的3D-3D 點(diǎn)對(duì)計(jì)算位姿的過(guò)程。對(duì)雙目而言，其求解思路遵循“視差-深度-配準(zhǔn)-變換”，即由立體圖像計(jì)算視差圖，根據(jù)視差-深度關(guān)系得到圖像點(diǎn)深度，進(jìn)一步得到其三維坐標(biāo)，預(yù)先完成感知點(diǎn)云和參考點(diǎn)云的配準(zhǔn)，然后通過(guò)奇異值分解求出位姿變換值。

3 未來(lái)的研究方向

隨著算法技術(shù)的不斷發(fā)展，可用于AAR 問(wèn)題的處理方法也越來(lái)越多，未來(lái)的研究將朝著更準(zhǔn)確高效、更穩(wěn)定、更安全的方向進(jìn)步。

首先，精確的定位技術(shù)將成為未來(lái)研究的重點(diǎn)。近年來(lái)，深度學(xué)習(xí)算法在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了顯著的進(jìn)展；因此，未來(lái)可以考慮將深度學(xué)習(xí)目標(biāo)檢測(cè)算法與傳統(tǒng)的視覺(jué)定位算法結(jié)合，以提高定位的精確性，如文章［33-35］所做工作；同時(shí)，受益于神經(jīng)網(wǎng)絡(luò)模型端到端的特征，未來(lái)也可以考慮使用一體化模型，整合檢測(cè)定位過(guò)程，以減少人為設(shè)計(jì)算法的復(fù)雜性和不穩(wěn)定性，如文章［27，36-37］所做工作。不過(guò)需要說(shuō)明的是，目前針對(duì)AAR 問(wèn)題引入了深度學(xué)習(xí)算法的研究?jī)H局限于軟式錐套的定位跟蹤，未來(lái)需要研究其在硬式受油接口以及加／受油機(jī)體方面的應(yīng)用。

其次，魯棒性將成為未來(lái)研究的另一個(gè)重點(diǎn)。由于AAR 過(guò)程存在多種不確定因素，如霧／霾、光照、背景干擾等，如何讓算法主動(dòng)適應(yīng)天氣變化，以及如何排除環(huán)境中其他可見(jiàn)目標(biāo)對(duì)算法的影響，如文章［7-8，14，22］所做工作，是未來(lái)需要考慮的另一個(gè)方面。

最后，多源信息融合也是未來(lái)研究的重要方向。因?yàn)橐曈X(jué)系統(tǒng)僅提供了一個(gè)信源的數(shù)據(jù)，對(duì)AAR 問(wèn)題高安全性的需求遠(yuǎn)未達(dá)標(biāo)，所以聯(lián)合使用視覺(jué)、雷達(dá)、激光等多種信息整合在一起，以實(shí)現(xiàn)更精確、更可靠的定位效果非常必要，如文章［9，18，29，32］所做工作。

4 結(jié)束語(yǔ)

隨著外部環(huán)境的復(fù)雜化，以及人們對(duì)航空力量遠(yuǎn)程部署機(jī)動(dòng)的需要日益增長(zhǎng)，對(duì)空中加油技術(shù)的研究也越來(lái)越受到重視，作為空中加油自動(dòng)、自主化的重要組成部分，基于視覺(jué)的感知與定位研究有著極其重要的意義。

本文整理了空中加油的技術(shù)概念，綜述了近年來(lái)該領(lǐng)域的研究進(jìn)展，提煉總結(jié)了可用的視覺(jué)處理算法，提出了未來(lái)研究的重要方向。然而，對(duì)于AAR 技術(shù)的研究，目前仍主要停留在初級(jí)階段，也存在有精度和穩(wěn)定性方面的一些困難與挑戰(zhàn)，需要在計(jì)算機(jī)仿真、算法優(yōu)化、實(shí)機(jī)系統(tǒng)測(cè)試、安全性評(píng)估等方面進(jìn)一步努力。