基于視覺的空投系統(tǒng)姿態(tài)獲取及解算技術研究

吳瓊，張紅英，李霞

1.南京航空航天大學，江蘇 南京 210016

2.天津理工大學 天津市先進機電系統(tǒng)設計與智能控制重點實驗室，天津 300384

3.天津理工大學 國家機電工程實驗教育示范中心，天津 300384

重型設備和物資的精確空投是大型軍用運輸機的基本能力，運輸機投放輜重利用空投貨臺作為載體。為了實現(xiàn)空投貨臺的平穩(wěn)著陸，計算空投貨臺實時的三軸姿態(tài)角十分重要，以避免側翻事故的發(fā)生[1-2]。常規(guī)空投活動使用全球定位系統(tǒng)（GPS）和慣性測量單元（IMU）獲得貨物平臺的位置和姿態(tài)信息。然而，在有遮擋信號的場景（如建筑物和山谷）中，GPS 信號則易丟失，不能精確定位。IMU 使用加速度計和陀螺儀長期工作，逐漸累積誤差產(chǎn)生嚴重的漂移，難以提供空投貨臺準確的姿態(tài)信息[3-4]。利用攝像機估計空投貨臺降落姿態(tài)需要廣泛研究，且缺乏相關的理論依據(jù)。因此，本文對利用視覺技術進行空投貨臺姿態(tài)估計的可行性進行了相應的研究。

隨著計算機視覺的發(fā)展，基于視覺估計無人機的位姿受到了國內(nèi)外學者的關注。C.Patruno等[5-6]通過級聯(lián)檢測識別直升機停機坪的H標志，利用曲率檢測H形標志的12個角點并進行匹配，最終得到機載攝像機的三維姿態(tài)，之后在室內(nèi)和室外雜亂環(huán)境下利用H 形標志的輪廓信息對飛行器位姿進行精準測量。Xu等[7-9]利用地面合作目標的實際形狀和滅影線特征自主估計無人機的著陸姿態(tài)，并驗證了利用線特征進行姿態(tài)估計比點特征具有更高的精度和可靠性。Yuan 等[10]為擴展旋翼無人飛行器視覺測量范圍，提出分層視覺的定位方法，設計了三個著陸階段以適應不同尺度的視覺人工目標。Wang 等[11-12]利用單目相機，使四旋翼飛行器能夠在不同海況的條件下自動跟蹤和降落在船舶甲板平臺上，證明了視覺系統(tǒng)的精準性和魯棒性。Hao 等[13]提出基于譜殘差的協(xié)同目標三重約束魯棒檢測算法，使無人機在復雜環(huán)境下檢測合作目標有較高的準確率。Zhang等[14]提出只需從包含5個編碼標記點的單幅影像中獲取姿態(tài)角，減少了相鄰兩幀影像求解姿態(tài)角的時間，對0°滾轉角和25°俯仰角的測量精度已達到0.01°和0.04°。Fan等[15]以固定翼無人機為研究對象，用譜殘差檢測感興趣區(qū)域，基于稀疏編碼和空間金字塔匹配5個特征點，最后采用正交迭代估計無人機相對跑道的三軸歐拉角。P.R.Palafox 等[16]提出一種健壯的無人機自主起飛、跟蹤、降落到移動平臺的系統(tǒng)。系統(tǒng)基于視覺定位和高度自適應PID控制器，即一種新型高度自適應PID控制器對著陸平臺進行跟蹤。Andrew 等[17-18]利用機場跑道的平行線信息，通過分析跑道消影點與飛行器位姿的關系，由單幅跑道圖像求解得到了飛行器的位姿信息。Cesetti 等[19]提出無人機從高分辨率航空圖，尋找自然地標并利用光流進行圖像匹配，最終確定無人機的導航軌跡。Tsai 等[20-21]通過Hu 不變矩識別T 形合作目標，并利用合作目標中的平行線及交點解算位姿參數(shù)。Miao 等[22-24]提出一種基于單目視覺的微小型無人機的自主著陸方法，首先利用奇異值分解（SVM）算法對合作標志進行提取，然后采用一種基于牛頓迭代的非線性優(yōu)化算法用于估計無人機位置和姿態(tài)，最后將慣導數(shù)據(jù)和視覺定位數(shù)據(jù)通過自適應卡爾曼濾波進行融合。Park 等[25-28]通過地面攝像機對安裝在飛行器上的 LED 燈進行拍攝，結合LED 燈的位置關系和視覺算法實現(xiàn)了對飛行器的位姿估計。閻峰[29]提出了一種基于立體視覺的固定翼無人機位姿測量方法，通過立體視覺重建目標無人機三維點云，基于無人機組件三維點云擬合魯棒地完成位姿測量。

國內(nèi)外學者對利用視覺估計飛行器位姿進行了很多研究，但無人機飛行高度都在50m 之內(nèi)，對高空降落的飛行器位姿解算研究相對較少。由于空投系統(tǒng)初始空投高度過高，空投貨臺著陸過程是相對著陸標志從遠距離到近距離的過程，目前大部分方案集中于近距離基于合作標志的飛行器著陸引導。隨著距離的增加，當超出算法的有效距離，位姿估計精度就會變差，甚至不可用，所以無法沿用無人機低空視覺著陸的研究經(jīng)驗，不滿足實際空投需求，從而成為利用視覺解算空投貨臺姿態(tài)技術發(fā)展的“瓶頸”。

為了解決這個問題，本文提出了一種基于視覺的方法：（1）解算空投貨臺的姿態(tài)，設計地面合作標記；（2）根據(jù)距地面的不同高度，識別不同的合作標記；（3）在不同降落階段使用不同的視覺算法提取可靠的圖像特征信息；（4）以準確提取特征滿足空投為目標，驗證視覺算法的有效性和實時性。

1 解算空投貨臺姿態(tài)的可視化算法

1.1 合作目標設計

本文設計了整體合作目標，包含一個中心合作目標和4個邊緣合作目標，如圖1 所示?？烧{(diào)節(jié)中心合作目標和邊緣合作目標的距離，使合作目標放大，擴展了合作目標的有效拍攝距離，滿足空投貨臺在高空的測姿要求。隨著距地高度的升高，中心合作目標和邊緣合作目標在采集影像中所占的像素越來越小，最終可退化成5個特征點集，也可作為地面特征為空投貨臺降落提供視覺參考。設計“房形”合作目標，單一合作目標形狀簡單，共有7 個角點，避免提取的角點數(shù)量過多影響算法運行時長，也可保證整體合作目標在距地160m 的高空可以清晰拍攝到合作目標。并且單一合作目標中有5 個角點不共線，角點位置分散，易于提取。合作目標的顏色要相對于背景突出，方便識別，故合作目標采用黑色和白色，相對于背景容易分割。

圖1 合作目標示意圖Fig.1 Schematic diagram of cooperation objectives

空投貨臺距地面合作目標之間的距離分為0～20m近地面和20～160m遠地面兩個階段。利用針孔相機模型的相似三角形成像原理計算出整體合作目標和中心合作目標的尺寸，為合作目標的設計提供理論依據(jù)。

1.2 可視化算法的描述

1.2.1 圖像處理總體框架

對采集得到的序列影像首先利用高斯金字塔進行壓縮，減少圖像處理量，再利用大津算法（Otsu）進行二值化，可適應在復雜環(huán)境下，對圖像閾值的自動調(diào)節(jié)，降低背景對合作目標的干擾。最后利用中值濾波對采集影像中的噪聲進行去噪，并盡可能保留影像中的邊緣信息。通過空投貨臺的高度氣壓計輸出的距地高度選擇不同的尺度下視覺人工特征，空投貨臺姿態(tài)總體解算步驟如圖2所示。

圖2 基于視覺的空投貨臺姿態(tài)解算方法總體框圖Fig.2 Block diagram of vision-based approach for solving the heading attitude of air-dropped cargo platform

1.2.2 整體合作目標提取

空投貨臺初始降至160m，高空拍攝地面合作目標在整張影像上的像素面積比過小，且存在干擾物干擾正確合作目標的篩選，利用合作目標的幾何特征對干擾目標進行篩選。首先經(jīng)過高斯金字塔對圖像質(zhì)量進行壓縮，中值濾波去除影像中的噪聲，再進行灰度化、二值化處理。利用拉普拉斯算子對影像邊緣進行濾波，獲取圖像中眾多的連通域，根據(jù)合作目標面積—周長比不變的固有幾何性質(zhì)對連通域進行篩選，再計算各候選連通域質(zhì)心間的歐氏距離判定整體合作目標，可快速剔除非期望連通域。再求得包含點集最小面積的矩形，最終將矩形圖像剪裁出來。

本文根據(jù)“房形”的合作標志自身面積—周長比固定不變的幾何性質(zhì)對候選連通域進行篩選。合作目標的具體尺寸如圖3 所示。圖3 中，D為中心合作目標與邊緣合作目標的水平和垂直距離，la為中心合作目標長邊數(shù)值，lb為中心合作目標短邊數(shù)值。

圖3 合作目標幾何特征Fig.3 Geometric characteristics of cooperative target

1.2.3 中心合作標志提取

空投貨臺在降落過程中，在距地面20m 以內(nèi)的范圍，由于相機視場，在輸出影像中無法出現(xiàn)完整的合作目標，出現(xiàn)4個邊緣合作目標數(shù)量不齊或者標志不完整的情況，如圖4所示。且合作目標所占影像的像素比變高，故只提取整體合作目標中的中心合作目標。

圖4 中心合作目標的提取Fig.4 Extraction of central cooperation target

Hu 不變矩使得合作目標可以平移、旋轉和尺度不變形，不會受到目標幾何變化的影響，可準確識別不同拍攝距離下的合作目標，是衡量圖像特征的區(qū)域描述子。

計算模板合作目標S1 和影像中所有連通域的Hu 不變矩，選取和模板合作目標Hu 不變矩數(shù)值相近的輪廓作為合作目標，進一步排除整體合作目標區(qū)域內(nèi)的干擾噪聲，篩選影像中出現(xiàn)的合作目標。再將所有合作目標連通域與模板進行相似度匹配，選取相似度最高和面積最大的目標作為中心合作目標。

1.3 姿態(tài)提取部分

1.3.1 合作目標特征提取與匹配

本文選擇采用FAST算法來檢測特征點BRIEF 算法計算一個特征點的描述子（ORB）特征提取合作目標的角點，根據(jù)ORB 提取的特征點計算二進制的魯棒獨立基本特征（BRIEF）描述子，利用相鄰幀影像中的BRIEF 描述子使用漢明距離進行匹配。漢明距離是一種衡量特征距離的計算方法，即為兩字符串的對應位置中不同字符的個數(shù)，計算數(shù)值越小，特征之間越相似。對上一節(jié)篩選得到的遠地面整體合作目標與近地面中心合作目標進行特征點的提取和匹配，如圖5所示。

圖5 合作目標特征提取和匹配Fig.5 Cooperative target feature extraction and matching

1.3.2 姿態(tài)解算

姿態(tài)解算實際就是對于機載相機外參數(shù)的估計。由于空投貨臺處于高空俯視拍攝合作目標位置，合作目標所有特征點中必共在同一平面，則可以通過單應性進行運動估計。單應（Homography）變換，是用來描述物體在世界坐標系和像素坐標系之間的位置映射關系，假設圖像I1和I2具有一對匹配良好的特征點p1和p2。在提取落在平面P上的合作目標的所有特征點時，令該平面滿足以下等式

式中，n是平面P法線；d是機載攝像機到基準幀的垂直高度?；趩螒P系的相對位姿估計主要包括地面法矢量計算和相對位姿解算兩個過程。當世界坐標系確定后，景物平面在坐標系中的法向量一般情況下是不會發(fā)生變化的，因此在求解位姿前，對地面法向量進行計算，而地面法向量為空投貨臺距地面合作目標的垂直高度，該數(shù)值由機載的高度氣壓計測量提供。

對單應矩陣利用SVD得到旋轉矩陣R和平移矩陣t，再將旋轉矩陣轉換成歐拉角（滾轉角φ、俯仰角θ和偏航角ψ），轉換關系如下

式 中，A 為cosψcos?；B 為sinψcos?；C 為-sinα；D 為cosψsinθsin?-sinψcosθ；E 為cosψcosθ+sinψsin?sinθ；F 為cos?sinθ；G 為sinψsinθ+ cosψsin?cosθ；H 為sinψsin?cosθ-cosψsinθ；I為cos?cosθ。

在空投系統(tǒng)下降過程中貨臺運動劇烈，貨臺搭載機載攝像機需要對焦地面合作標志，為的是使拍攝特征一直保持相機的視場范圍內(nèi)，以防合作目標丟失。故需控制云臺相機轉動，使相機鏡頭的主點對準目標坐標系的中心。云臺的轉動導致視覺算法無法直接反映空投貨臺在世界坐標系下三軸歐拉角的數(shù)值。機載攝像機和云臺固定裝載在空投貨臺的質(zhì)心處，再通過角度編碼器獲取云臺轉動的角度RT，最終和根據(jù)視覺影像解算出的姿態(tài)角Rs進行運算來獲取空投貨臺真實的三軸姿態(tài)角Rr

2 戶外試驗

試驗中，空投貨臺的初始降落高度分為160m遠地面和20m近地面兩部分，除驗證視覺算法的有效性，還比較了視覺算法實時輸出的估計值和測量真實值之間的誤差。最終在“時間性能”部分討論了視覺算法在處理時間方面的性能。

2.1 試驗材料與設備

本文試驗中采用大疆御Mavic Air 2無人機模擬空投貨臺在空投開傘后的降落過程，如圖6 所示。由于目前的研究還沒有完全實現(xiàn)視覺算法與飛控的結合，并正在進一步研究中，以下的試驗過程只通過無人機采集航拍圖像，然后由測試平臺進行仿真試驗。

圖6 試驗現(xiàn)場場景Fig.6 Experiment scene

無人機模擬空投貨臺降落過程中，初始降落高度在距地160m的有效距離范圍內(nèi)進行分析?？胀敦浥_開傘后，垂直方向的降落速度為0～2m/s的勻速運動，水平移動速度約等于當?shù)仫L速。無人機將降落過程分為近地面和遠地面兩個階段。根據(jù)實際合作目標材質(zhì)要求，整體合作目標尺寸為10m×7.4m，中心合作目標尺寸為2m×1.5m，邊緣合作目標尺寸為1m×0.7m，中心合作目標和邊緣合作目標的水平和垂直距離為3m，并固定在地面上，使合作目標距地面的高度為0，確保視覺算法估計的無人機姿態(tài)角即為在世界坐標系下的真實姿態(tài)。

在無人機降落過程中，對不同降落高度進行數(shù)據(jù)統(tǒng)計并將試驗結果記錄下來。通過計算機對采集影像進行處理，計算出無人機滾轉角、俯仰角和偏航角作為估計值，以機載IMU 測量的姿態(tài)角結果作為真值，并用均方根誤差（RMSE）衡量觀測值較真值之間的偏差

式中，i表示需處理第n幀影像；θi表示真實空投貨臺姿態(tài)角；θ?i表示基于視覺算法解算的三軸姿態(tài)角；trans為歐式距離的均方根，表示視覺算法解算姿態(tài)與真實三軸姿態(tài)在當前幀影像中的誤差。

在試驗場景中分別進行6 組試驗：3 組近地面試驗和3組遠地面試驗。最終取3 次試驗結果的RMSE 值進行平均，得到最終累計的試驗誤差數(shù)據(jù)，以增加試驗數(shù)據(jù)的說服力。

2.2 識別合作標志有效性試驗

為驗證視覺算法能識別合作目標的有效性和可行性，所以設立試驗進行驗證。由于無人機降落過程中姿態(tài)角變化較為平穩(wěn)，通過對合作目標進行不同方向、不同飛行位置的拍攝，得到具有較大幾何形變和角度畸變的影像，并識別影像中出現(xiàn)的合作目標，合作目標識別結果如圖7所示。

圖7 影像中合作目標識別結果Fig.7 Cooperation target identification result

通過試驗結果可以驗證，設計的視覺算法對合作目標發(fā)生幾何形變、角度畸變以及尺度變化是有效的和魯棒的。

2.3 近地面的姿態(tài)估計階段試驗

近地面飛行試驗的目的是驗證無人機姿態(tài)估計視覺算法的有效性和精準性。近地面試驗空投貨臺從距地高度20m處降落，飛行距離較短，垂直降落速度約為0.45m/s，相機采樣頻率較高。比較視覺解算姿態(tài)角和機載IMU 輸出的真實姿態(tài)隨時間變化規(guī)律，并計算RMSE 值，如圖8所示。

圖8 無人機近地面基于視覺解算出相對于地面合作目標的姿態(tài)角誤差分析Fig.8 The attitude angle error analysis of UAV near ground is calculated based on visual solution

圖8說明了無人機姿態(tài)誤差和降落時間的關系，紅色線代表基于視覺算法估計的無人機降落的實時姿態(tài)角的擬合曲線，藍色線代表機載IMU 輸出的真實值的擬合曲線。近地面降落時間45s，從距地高度20m處降落至地面。滾轉角φ和俯仰角θ估計值相對于IMU 輸出的真實值略有變化，偏航角ψ估計值似乎非常接近沒有不規(guī)則波動的真實曲線。近地面滾轉角、俯仰角和偏航角的RMSE值分別為0.856°、0.794°和0.412°，試驗結果表明，本文提出的基于視覺的位姿恢復方法具有良好的性能。在近地面試驗中，即使邊緣合作目標未出現(xiàn)在相機視野范圍內(nèi)，不完整成像，也可識別出正確的中心合作目標，再次證明了該算法的有效性和魯棒性。

隨著無人機和地面合作目標之間的相對距離減小，中心合作目標超出機載相機的視野范圍，影像中無法呈現(xiàn)完整的合作目標的輪廓或全部角點，此時無人機采用定點盲降完成最后階段的自主著陸，而且高度較低時會存在一定的地面效應，因此無人機最終著陸位置會偏離標志中心。

2.4 遠地面的姿態(tài)估計階段試驗

試驗的目的是驗證利用視覺算法對無人機進行姿態(tài)估計的可行性。遠地面試驗空投貨臺從距地高度160m 處降落，飛行距離和飛行范圍較大，垂直降落速度約為2m/s，設置相機采樣頻率較低。利用攝像機記錄降落過程中不同姿態(tài)角下的影像數(shù)據(jù)，經(jīng)視覺算法分別對無人機的橫滾角、俯仰角和偏航角進行估計，并計算RMSE 衡量觀測值同真值之間的偏差，試驗結果如圖9所示。

圖9 無人機遠地面基于視覺解算出相對于地面合作目標的姿態(tài)角誤差分析Fig.9 The attitude angle error analysis of UAV far ground is calculated based on vision solution

圖9 說明了無人機姿態(tài)誤差和降落時間的關系，遠地面降落時間為70s，從初始降落160m 的高度降落至距地面20m處。由于空降貨臺初始降落高度過高，視覺估計誤差較大，但隨著降落高度的下降，視覺精度提高，視覺估計曲線逐漸貼合真實曲線。在遠地面距地面高160m處無人機的滾轉角和俯仰角的RMSE 值最大在 5.6°左右，分別為5.746°和5.514°，而無人機的偏航角的誤差較小，僅為2.563°，小于滾轉角和俯仰角的誤差。遠地面試驗在復雜環(huán)境中采集影像，存在顏色相似和形狀相似的干擾物體，會影響合作目標的提取，但視覺算法仍然能夠識別合作目標并對姿態(tài)進行估計，再次證明了視覺算法的魯棒性以及對外部干擾的可靠性。

遠地面的平均姿態(tài)角大于近地面的姿態(tài)角的原因是采樣頻率較慢，兩幀時間間隔較長，無人機本身的旋轉角度較大。無人機高速降落或降落過程中強烈的振動使得采集得到的影像模糊，降低了圖像的質(zhì)量，合作目標的角點模糊。當空投的高度較高時，經(jīng)過視覺算法篩選出的有效合作目標區(qū)域的像素數(shù)量占整幅影像的像素占比過少，使得合作目標中同一角點的所占像素過少，導致角點提取錯誤，進而導致誤匹配。這些因素可能會在合作目標檢測和角點提取過程中對算法產(chǎn)生負面影響，從而導致圖像處理過程中出現(xiàn)故障。

通過無人機飛行仿真，驗證了基于視覺的空投貨臺姿態(tài)解算方法的有效性。對遠地面和近地面兩個階段的試驗數(shù)據(jù)進行整合，統(tǒng)計從160m 的高空平穩(wěn)降落到地面的三軸歐拉角的RMSE 值。由圖10 可知，隨著無人機距地面的高度下降，解算出的滾轉角、俯仰角和偏航角的RMSE 減小。但視覺解算出的滾轉角和俯仰角的RMSE值受距地面合作目標高度的影響更大，而對偏航角的影響較小。這一結論與試驗2觀察得到的結論相符。

圖10 無人機降落過程相對于合作目標的不同姿態(tài)的RMSEFig.10 RMSE of different attitudes of the UAV landing process relative to the cooperative target

無人機在到達20m 的近地面后滾轉角、俯仰角和偏航角均小于1°，無人機的三軸的姿態(tài)誤差較為穩(wěn)定，以實現(xiàn)較為準確的位姿估計。在近地面時，較低的RMSE 值再次證明了該算法的有效性。在給定的檢測范圍內(nèi)，在不同高度階段，不同的視覺算法具有不同的定位精度，姿態(tài)誤差會發(fā)生不同的變化。雖然空投貨臺不斷下降，解算位姿偏差不斷下降，但隨著誤差的累積，解算三軸姿態(tài)的誤差將出現(xiàn)緩慢增長。

2.5 時間性能試驗

為驗證算法的實時性，對視覺算法的時間性能進行測試，以避免無人機失衡。分別對近地面和遠地面兩個階段無人機的降落時間進行統(tǒng)計，算法的實時性根據(jù)單幀位姿解算時間進行衡量，見表1。

表1 兩個階段姿態(tài)估計時間性能測試Table 1 Two-stage attitude estimation time performance experiment

由表1可知，近地面階段單幀位姿解算時間為129.57ms，可保證10幀/s的工作頻率，可實時完成對無人機姿態(tài)的獲取。試驗已經(jīng)證明，當無人機運動速度低于0.45m/s時，基于視覺解算無人機位姿方法能夠確保自主降落的實時性要求。遠地面階段單幀無人機位姿解算時間為923.96ms，平均單幀影像的處理時間在1s以內(nèi)，能夠滿足1幀/s影像采樣頻率。

遠地面階段單幀位姿解算耗時遠遠大于近地面階段的原因有：當無人機處于遠地面階段時，采集影像分辨率為3840×2160，以保證影像中合作目標的清晰，大大增加了處理的像素數(shù)量，增大計算量，使得位姿解算時間增加。另外，距地面合作目標距離過高，采集的影像在雜亂的背景中包含許多干擾物體，從而增加了合作目標檢測的處理時間，并且遠地面階段需處理中心合作目標和邊緣合作目標的角點數(shù)量，而近地面則只需處理中心合作目標的角點，這也會增加姿態(tài)解算的時間。這些原因使得遠地面階段只能滿足1幀/s的處理速度。

3 結束語

本文提出了一種基于單目視覺的空投貨臺姿態(tài)估計和自主著陸算法。該方法利用單目攝像機檢測特定的合作目標，求解空投貨臺的三軸姿態(tài)角。將著陸過程分為近地面20m和遠地面160m兩個階段，設計了不同尺度的合作目標作為不同階段的視覺參考，這有效地提高了飛行器的降落高度。在遠地面階段，利用整體合作目標的固有幾何特性，從背景中檢測并估計空投貨臺與地面合作目標的相對位置。在近地面著陸時，采用Hu不變矩區(qū)分中心合作目標作為視覺標記，以減少圖像中的特征數(shù)量，提高算法的實時性和姿態(tài)角精度。

為了說明所提出的分階段視覺算法的性能，本文進行了室外試驗和分析。試驗結果表明，該算法提供了一個高精度的視覺標記姿態(tài)角。近地面相對位姿估計的最大RMSE 為0.836°，平均單幀位姿估計時間為129.57ms，綜合性能指標較好。遠地面相對姿態(tài)估計的最大RMSE 值為5.746°，平均姿態(tài)估計時間小于1s。雖然目前的研究只是初步的工作，但是它證明了基于視覺算法的空投貨臺的著陸過程中的姿態(tài)角的可行性。

未來的工作是提高視覺系統(tǒng)的魯棒性，并考慮空投貨臺降落時遇到惡劣的天氣環(huán)境（如霧霾、大雨等）。視覺算法和機載系統(tǒng)的控制系統(tǒng)的集成可以進一步提高機載著陸的可靠性和準確性。