基于影像實時處理的加油對接段輔助對準技術(shù)

張建花，高帥華

（中國飛行試驗研究院 測試所,陜西 西安 710089）

引言

空中加油是增大戰(zhàn)機航程、增強作戰(zhàn)效能的重要手段，技術(shù)難度大、風(fēng)險高。我國戰(zhàn)斗機以“插頭-錐管”式空中加油系統(tǒng)為主，又稱軟式加油。加油錐套對大氣紊流較敏感，特別是當兩機逼近時，兩機流場相互影響，加油錐套擺動幅度加大，受油機飛行員難以瞄準。目前空中加油試飛主要是靠飛行員目視判斷完成加油對接，對接試飛前需要反復(fù)訓(xùn)練以提高空中加油對準效率，只有飛行經(jīng)驗豐富、飛行技術(shù)精湛的戰(zhàn)斗機飛行員才能完成。

基于圖像技術(shù)的空中加油輔助引導(dǎo)系統(tǒng)的研究最早起源于無人機。美國自2003年開始研究自主空中加油技術(shù)（autonomous air refueling,AAR）。2015年4月16日，美國海軍X-47B 無人機利用光學(xué)傳感器和圖像技術(shù)完成第一次無人機自主空中加油對接測試[1-2]。近年來，國內(nèi)部分高校等科研機構(gòu)開展了基于機器視覺/圖像處理的無人機自主空中加油方面的研究，但都處于理論仿真和實驗驗證階段[3]。本文研究基于影像實時處理的加油對接段輔助對準技術(shù)主要用于實現(xiàn)空中加油試飛中加油錐套與受油頭對接過程的影像及加油錐套中心與受油頭實時相對位置快速獲取，實現(xiàn)加油關(guān)鍵參數(shù)與視頻畫面實時同步顯示，為飛行員、指揮員提供可視化的信息共享平臺，為受油機飛行員提供輔助對準。

1 方案設(shè)計

空中加油過程可以劃分為編隊、對接、加油和分離4 個階段[3]。對接階段是整個空中加油過程中最重要的部分，對接的成功與否直接決定能否成功加油。在受油機上加裝加油對接段輔助對準系統(tǒng)引導(dǎo)飛行員進行空中加油對接操作。系統(tǒng)主要由高清攝像機、加受油組件相對位置解算單元、高清視頻采集記錄器、機載時碼發(fā)生器、網(wǎng)絡(luò)數(shù)據(jù)交換單元、座艙顯示單元、數(shù)據(jù)遙測下傳單元組成，如圖1所示。

高清像機獲取空中加油對接過程中加受油組件的圖像，加受油組件相對位置解算單元實時解算加油錐套和受油頭的相對位置，將位置信息實時發(fā)送至受油機飛行員座艙顯示單元顯示，輔助引導(dǎo)飛行員進行對接操作。同時，位置信息可通過數(shù)據(jù)遙測下傳單元發(fā)送至地面監(jiān)控大廳，供指揮員和試飛工程師用于編隊飛行態(tài)勢分析，保證飛行安全。高清視頻采集記錄器采集記錄圖像和數(shù)據(jù)信息，用于事后分析。機載時碼發(fā)生器為系統(tǒng)提供統(tǒng)一的基準。

2 關(guān)鍵技術(shù)

2.1 復(fù)雜光學(xué)條件下錐套目標跟蹤技術(shù)

空中加油高空環(huán)境下圖像易受強光照、背景復(fù)雜多變等因素影響，由于兩機相對運動、錐套擺動、旋轉(zhuǎn)，導(dǎo)致錐套圖像目標易被遮擋、圖像尺度多變等情況，錐套的實時捕獲、定位及快速跟蹤是加油錐套與受油頭精確定位的必要前提。

國內(nèi)各高校與科研機構(gòu)在加錐套檢測算法方面也開展了系列研究。西北工業(yè)大學(xué)提出了一種多尺度低秩和稀疏分解錐套檢測算法[4-5]?？哲姽こ檀髮W(xué)開展了基于HSV 色彩空間的特征檢測與識別方法進行錐套特征提取方法研究[6]。南京航空航天大學(xué)提出了一種基于形狀信息的Hough-LS 兩級錐套目標檢測與定位方法[7]。北京航空航天大學(xué)采用點匹配與位姿估計算法對軟管式加油錐發(fā)光二極管LED 標志進行識別和位姿估計[8]。但是，這些算法跟蹤效果受制于圖像質(zhì)量，無法解決實際飛行復(fù)雜光學(xué)條件下錐套旋轉(zhuǎn)時的跟蹤穩(wěn)定性問題以及錐套圖像由遠及近急劇膨脹時的跟蹤點漂移問題。

本文采用基于人工神經(jīng)網(wǎng)絡(luò)的加油錐套自動識別技術(shù)，實現(xiàn)加油錐套運動參數(shù)的實時測量。在利用深度學(xué)習(xí)進行圖像處理時，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸入即為原始圖像，通過多層的神經(jīng)系統(tǒng)，逐層對圖像進行特征提取，獲得每一層的特征表達[9-10]。同時可以通過訓(xùn)練調(diào)整各層參數(shù)使得輸入與輸出的結(jié)果接近，最后利用分類器對圖像中的特征進行分類識別[11-12]。搭建深度學(xué)習(xí)環(huán)境，構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，處理流程如圖2所示。

加油錐套特征點跟蹤主要由訓(xùn)練和識別2 部分組成。在模型訓(xùn)練階段，通過訓(xùn)練樣本集來調(diào)整神經(jīng)網(wǎng)絡(luò)架構(gòu)中各層權(quán)值，使得輸出誤差最?。辉谧R別跟蹤部分，將模型訓(xùn)練部分得到的參數(shù)作為初始權(quán)值使用，將測試樣本通過各層網(wǎng)絡(luò)映射，得到識別結(jié)果。初始階段將獲取的1 600×1 200 分辨率的加油錐套實際運動圖片進行人工裁剪，裁剪出錐套目標為30×30 像素，用于訓(xùn)練深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。訓(xùn)練時為自適應(yīng)矩估計算法，通過損失函數(shù)對每個參數(shù)梯度進行一階矩和二階矩估計，調(diào)整參數(shù)的學(xué)習(xí)速率。訓(xùn)練完成后，將測試樣本輸入至訓(xùn)練模型當中，測試樣本量約為2 000 張圖片，對圖片中的特征點進行跟蹤。

2.2 基于四角直線約束的像機標定技術(shù)

由于軟管運動范圍視場景深較大，不宜采用常規(guī)控制點空間后方交會法[13]標定。本文提出基于四角直線約束的像機標定方法，將線性參數(shù)(x0,y0,fx,fy,φ,ω,κ,Xs,Ys,Zs)和非線性的畸變系數(shù)ki,(i=0,1,2,3,4)區(qū)分求解。在空間測量視場范圍內(nèi)靠近主點的區(qū)域布置標定控制點，利用線性變換求解線性參數(shù)，在拍攝視場4 角放置共線標志約束板，利用直線擬合完成畸變系數(shù)求解。攝像機標定示意圖如圖3所示。

1）利用點求取像機標校的線性參數(shù)

根據(jù)計算機視覺原理，任意一個像點(x,y)和對應(yīng)(X,Y,Z)的物方點滿足的中心透視投影關(guān)系通過投影矩陣寫成：

像機投影矩陣M矩陣與像機內(nèi)外參數(shù)的關(guān)系為

像機姿態(tài)角，可采用以下公式：

此時，就得到了像機的全部線性參數(shù)(x0,y0,fx,fy,φ,ω,κ,Xs,Ys,Zs)。

2）利用直線求取像機標校的畸變參數(shù)

由于鏡頭畸變系數(shù)的存在，直線的像并不一定是直線。因此，用于標定的像直線是通過對直線的像進行線性擬合逼近得到的。依據(jù)上一步計算得出的像機線性參數(shù)，根據(jù)直線的像的曲線方程參數(shù)和像直線的直線方程參數(shù)計算得到畸變系數(shù)。

畸變后像點與理想像點之間的關(guān)系：

又因為

將（4）、（5）式帶入直線的像的曲線方程，可寫為

式中：ρi為曲線方程參數(shù)，(i=0,1,2)，且有：

由此，通過對方程線性求解得到畸變系數(shù)ki(i=0,1,2,3,4)。

2.3 加受油組件相對位置實時測量技術(shù)

以受油機受油頭為坐標原點建立坐標系，X軸指向飛機右機翼，Y軸垂直向上，Z軸垂直于XY平面指向機尾，構(gòu)成右手坐標系。高清像機在機上的安裝基線一般在1 m～3 m，測量距離覆蓋30 m，基線距離越短，雙目圖像匹配相對視差越小，因像素抖動產(chǎn)生的空間點重構(gòu)誤差越大。因此，采用視差梯度約束減少空間點跳躍帶來的精度損失。

視差與深度信息密切相關(guān),視差的變化隨深度一致性變化[14]。視差梯度約束是指：視差幾乎應(yīng)該在所有的地方都是平滑的,根據(jù)視覺特性,視差梯度Gd應(yīng)小于等于2；若Gd大于2，認為這2 個點不匹配。假如在圖像上有2 個點m1(x1,y1)和m2(x2,y2)視差分別為d1、d2，則他們的視差梯度定義為

利用2.2 中的訓(xùn)練結(jié)果，將實時獲取的待識別的錐套運動影像進行實時檢測，并對兩路影像中的匹配同名像點利用視差梯度約束進行判斷，提高匹配精度，得到同名像點在兩路像機畫面中的像素坐標(x1,y1)和(x2,y2)。采用雙目視覺前方交會測量法[14]，得到錐套中心三維空間坐標(X,Y,Z)，計算模型如下：

式中：(x0,y0,f)分別為像機內(nèi)參數(shù)；(XS,YS,ZS,a1···a3,b1···b3,c1···c3)為像機外方位元素；(Δx,Δy)為像機鏡頭畸變參數(shù)的改正數(shù)，這些參數(shù)均可通過像機標定獲取[15]。每對同名像點的像點坐標可以列出4 個方程，通過最小二乘原理[16]得到加油錐套相對于受油頭的瞬時位置(X,Y,Z)。

3 實驗結(jié)果與分析

如圖4所示，在實驗室構(gòu)建加油組件智能視覺識別平臺，對錐套跟蹤算法的魯棒性進行了測試，實驗表明該算法可實現(xiàn)空中復(fù)雜環(huán)境下錐套圖像快速、穩(wěn)定識別與跟蹤。如圖5所示，利用機械臂進行精度驗證，通過圖像計算錐套的運動位置，對影像實時處理與事后處理結(jié)果進行對比分析，差值小于0.1 m，可滿足空中加油輔助對準的需求，誤差對比分析如圖6所示。圖7 為加油對接段輔助對準系統(tǒng)實驗室功能測試。

4 結(jié)論

本文提出的系統(tǒng)架構(gòu)與計算方法，通過實驗室仿真以及空中加油試飛驗證，實現(xiàn)了加油錐套與受油頭相對位置的實時測量，為飛行員和指揮員提供空中加受油機、錐套與受油頭實時位置信息，輔助飛行員空中加油對接，提高加受油對接成功率，縮短了試飛周期，有效保障了飛行安全。