基于地標(biāo)的輕量化無人機精準降落算法

2022-09-06 11:09:48李勁松仝家朋

計算機工程與應(yīng)用 2022年17期

原輝，裴楚，王帥，李勁松，姜敏，仝家朋

1.國網(wǎng)山西省電力公司電力科學(xué)研究院，太原 030001

2.華北電力大學(xué) 自動化系，河北保定 071003

隨著無人機在各領(lǐng)域的不斷普及，對其功能的要求越來越高，其中無人機精準自主降落技術(shù)是無人機自主飛行的關(guān)鍵技術(shù)。目前，大多數(shù)廠商選用全球定位系統(tǒng)（global positioning system，GPS）來進行無人機的定位[1]，這種定位方式雖然簡單易行，但是需要考慮GPS精度，而且在某些特殊環(huán)境下，GPS 信號容易受到干擾。所以，如何實現(xiàn)無人機的精準降落，突破GPS 定位在特殊環(huán)境下的局限性，成為了無人機領(lǐng)域亟待解決的問題。近年來，國內(nèi)外越來越多的研究者對該領(lǐng)域做研究，南京航空航天大學(xué)的何昱等人[2]對微小型四旋翼無人機自主著陸視覺系統(tǒng)做了研究，采用嵌入式處理器設(shè)計了一種適用于微型四旋翼無人飛行器自主降落的視覺系統(tǒng)，在實際應(yīng)用中證實了嵌入式設(shè)備的實用性。湖南工業(yè)大學(xué)的羅哲[3]對著陸標(biāo)志的拍攝圖像進行預(yù)處理后，通過改進的Wellner自適應(yīng)閾值算法獲得二值圖像，查找輪廓并采用最小周長多邊形（MPP）對輪廓進行多邊形逼近，從而找到目標(biāo)。瓦倫西亞理工大學(xué)的Wubben等學(xué)者[4]設(shè)計了ArUco 地面標(biāo)識，通過視覺特征來計算搭載低成本相機的無人機與目標(biāo)標(biāo)記之間的相對位置，并通過實驗驗證了該方法的可行性。哈爾濱工業(yè)大學(xué)樊瓏[5]提出用超聲波測量高度、再通過機載相機尋找停機坪上黑白相間的圓環(huán)降落標(biāo)志來計算出無人機位置的的視覺定位方法，完成自動降落控制。西北工業(yè)大學(xué)張咪等人[6]通過對特定地標(biāo)進行預(yù)處理、Canny 算子二值化、腐蝕膨脹等算法進行濾噪、提取圖像的輪廓信息并經(jīng)過校驗后進行位姿估計的方式，實現(xiàn)無人機的降落。

但是上述方法都有著一些問題：

（1）地標(biāo)占地面積較大，不利于在特定環(huán)境中例如電廠桿塔針對小型無人機的精準降落的需求。

（2）在環(huán)境信息豐富的環(huán)境中不便于應(yīng)用，例如有著豐富物體存在的室外環(huán)境會對地標(biāo)識別造成干擾，或者誤識別。

（3）算法都需要對圖像進行預(yù)處理等步驟，增加了圖像處理環(huán)節(jié)，不利于在嵌入式設(shè)備上計算。

考慮到無人機的自主運行環(huán)境以及嵌入式計算設(shè)備計算力有限的問題，提出一種基于地標(biāo)的輕量化精準降落算法，對ArUco地面標(biāo)識法與張咪論文中地標(biāo)過大與室外環(huán)境復(fù)雜會出現(xiàn)干擾的情況這兩個方面改進。

（1）通過加入顏色域信息，取消了張咪、羅哲等人在圖像處理中常有的灰度化、高斯濾波等濾噪、提高對比度的環(huán)節(jié)，節(jié)省了圖像處理時間，降低了信息提取難度。

（2）通過提出基于地標(biāo)長度的二維空間相對位置計算方法，取消了張咪、樊瓏等人通過無人機三維空間位姿估計方式，也避免了因機載相機的焦距計算不準確帶來的影響，方便了本文算法在不同無人機、采用不同機載相機時的使用。通過識別設(shè)定的兩種形成對比的顏色和指定形狀實現(xiàn)快速實時地檢測地面標(biāo)識，然后通過二維層面相對位置計算得到無人機與降落地標(biāo)的相對位置和相對方向，從而可以引導(dǎo)無人機精準降落且無人機方向準確。此過程便于在復(fù)雜環(huán)境中準確查找地標(biāo)，不需要考慮相機焦距，所以結(jié)果更加準確且方法便于移植。

1 系統(tǒng)構(gòu)成

1.1 地標(biāo)設(shè)計

無人機的降落地標(biāo)在設(shè)計時需考慮三個重要因素，分別為標(biāo)志需要包含定點降落所需的信息、標(biāo)志需要是機載處理器能夠快速識別的形狀以及標(biāo)志需要容易辨識[7]。設(shè)計的降落地標(biāo)如圖1 所示，該圖形由兩個菱形疊加組成，一個是黃色菱形，另一個是比前菱形略大的藍色菱形，兩種顏色形成對比；再外圍是白色方形背景板，其可以將目標(biāo)圖像與其他有色噪聲隔離開。

圖1 降落地標(biāo)Fig.1 Landing landmark

地標(biāo)的大小視無人機降落的初始高度而定。將地標(biāo)的黃色菱形的狹長邊界構(gòu)成的角記為頂角，與頂角對應(yīng)的、兩個短邊界形成的夾角記為底角，則定好地標(biāo)后，地標(biāo)的頂角角度和頂角到底角的距離可以測量得到。對地標(biāo)大小的要求是在無人機初始降落高度上機載相機拍攝圖片后地標(biāo)藍色邊界寬度要大于4個像素，而黃色菱形的底角處寬度要3 倍于藍色邊界寬度。黃色菱形的頂角弧度值要不同于另外三個角。所以使用的地標(biāo)可以根據(jù)GPS精度、無人機大小等要求自行設(shè)計其他尺寸的地標(biāo)，同時地標(biāo)的顏色構(gòu)成和頂角大小也可以自行更換。

后面的實驗中無人機初始降落高度是10 m，地標(biāo)藍色邊界為5 cm 寬，黃色菱形頂角到底角長0.45 m，頂角弧度值是0.68，且黃色菱形其余三個角度均大于此弧度。圖2 中地標(biāo)是圖1 地標(biāo)的變體，其上藍黃地標(biāo)被金屬薄片遮擋了一部分，頂角弧度大于底角弧度，用于實驗設(shè)計地標(biāo)被遮擋時的情況。

圖2 被遮擋的地標(biāo)Fig.2 Obscured landmark

1.2 無人機架構(gòu)

無人機部分主要分為硬件部分和軟件系統(tǒng)，如圖3。硬件部分包括無人機機體、機載計算機、機載相機、機載飛控、GPS等，該部分主要完成無人機飛行、飛行動作控制、圖像拍攝、執(zhí)行算法等功能。軟件部分主要是降落初始階段的GPS信息處理和降落第二階段的算法執(zhí)行。

圖3 無人機架構(gòu)Fig.3 UAV architecture

2 精準降落算法

通過檢測地標(biāo)的兩個狹長邊界線來確定地標(biāo)的位置，分析地標(biāo)位置來獲取無人機位移所需信息的。算法流程分為邊界提取、邊界篩選、確定中心、相對位置計算、無人機位移控制等步驟。下文中說的像素坐標(biāo)系即圖像處理中常用的笛卡爾坐標(biāo)系，以圖像的左上角為原點。

2.1 邊界提取

無人機在初始降落階段會依據(jù)GPS信息控制飛行，使無人機飛到地標(biāo)上空，以使無人機機載相機可以拍攝到地標(biāo)。接下來就進入圖像處理的環(huán)節(jié)。

機載相機拍攝的彩色圖像從RGB顏色空間轉(zhuǎn)換到HSV空間。因為顏色信息在HSV空間中更貼近人類感官，且受光照等變化的影響更小[8-9]。地標(biāo)圖片轉(zhuǎn)化為HSV空間后，黃色在H、S、V通道上有一段對應(yīng)的閾值，其中H 通道對應(yīng)顏色色相。根據(jù)黃色的三個通道的閾值進行二值化，做法是介于此閾值內(nèi)的像素點設(shè)為255，其余的都設(shè)為0。然后對該二值圖使用Robert算法[10]進行邊緣檢測，然后使用累計概率霍夫變換[11-13]直線檢測算法進行處理，得到的直線檢測結(jié)果。

2.2 邊界篩選

上面直線檢測結(jié)果中會存在誤檢測的線段，這種情況在復(fù)雜環(huán)境中尤為多，所以還需對邊界檢測出的線段進行篩選和確定。

檢測上面邊界檢測結(jié)果中每個線段兩側(cè)是否分別為黃藍二色。做法是依次在每個線段左右兩側(cè)對稱位置取檢測點，當(dāng)驗證檢測點的像素值分別屬于黃色H值和藍色H 值時，保留該線段。設(shè)當(dāng)前線段Li的兩端在像素坐標(biāo)系中坐標(biāo)值為(x1,y1)和(x2,y2)，要在Li上取Npi個等間距的分割點，在這些分割點的兩側(cè)、與Li垂直的方向上距線段Li為像素值Nin取測試點對，如圖4。樣本點集合為(xsim,ysim)。一般情況下樣本點的坐標(biāo)求取公式為：

圖4 線段兩側(cè)的樣本點(Npi=2)Fig.4 Sample points on both sides of line segment(Npi=2)

其中k=0,1,…,Npi-1。

公式（1）和（2）是針對一般情況下直線檢測結(jié)果的計算。對于水平和垂直情況下的直線檢測結(jié)果，實現(xiàn)類似計算只需對公式（1）和（2）進行化簡即可，后面所有計算公式也只針對一般情況下的直線檢測結(jié)果。

然后對上述檢測結(jié)果做同一直線的多次描述的剔除，從而實現(xiàn)一個邊界處只由一個檢測線段來描述，做法是從上述檢測結(jié)果中任選兩條直線記為L1、L2，然后按照由兩直線延長線夾角為θ12，當(dāng)θ12≤θpa（其中θpa為設(shè)定臨界值）時認為兩直線為同一線，且保留L1、L2中線段長度較長的線段。如此將所有的線段兩兩配對且處理。

此時篩選出的兩個線段準確描述了圖像上地標(biāo)黃藍色交界的狹長線，記為邊界描述線，用LL和LR。

2.3 確定中心

篩選出的兩個邊界描述線相交處就是地標(biāo)的頂角處。認定地標(biāo)上從底角點(xb,yb)到頂角點(xv,yv)連線上距底角點S比例處就是地標(biāo)的中心點(xp,yp)，如圖5。若無人機準確降落，機載相機光心應(yīng)該與地標(biāo)中心相重疊。

圖5 地標(biāo)的中心Fig.5 Center of landmark

先由兩個邊界描述線相交求出頂角點位置，做法是在兩個邊界描述線的延長線上找到兩線的交點。一般情況下設(shè)線段LL和LR的兩端坐標(biāo)分別為(x1,y1)、(x2,y2)和(x3,y3)、(x4,y4)，則對于頂角點(xv,yv)有公式如下：

再求地標(biāo)的底角。做法是在兩個線段上找出距頂角點相同距離的點，記為(xD1,yD1)、(xD2,yD2)，此兩個點連線的中點(xm,ym)與頂角點的連線就是頂角點和底角點的共線，然后從頂角點沿上述連線找到第一個顏色為藍、同時倒退2 個像素后顏色為黃的點，此點就是提取到的底角點(xb,yb)。在一般情況下先計算(xD1,yD1)，即：

其中，Llen為LL與LR中距離較小的長度，(xt1,yt1)、(xt2,yt2)為方程(1+kc2)x2+(2kcbc-2xv-2kc yv)x+x2v+b2c+yv(yv-2bc)-Llen的兩個根。

LL01與LL02分別為(xt1,yt1)、(xt2,yt2)到(xc,yc)的距離。當(dāng)LL01≤LL02時，(xD1,yD1)為(xt1,yt1)，否則，(xD1,yD1)為(xt2,yt2)。

按照同樣的方式，在公式（7）的條件下求出(xD2,yD2)。

此時可得(xm,ym)為：

接下來計算底角點位置：

公式（10）和（11）中xadd和yadd用于表明像素坐標(biāo)系上從頂角點到底角點的過程中x方向和y方向上增長趨勢。

判斷在像素坐標(biāo)系上從頂角點到底角點的過程中x方向和y方向的增長快慢。

Ltpv1與Ltpv2分別為(xtp1,ytp1)、(xtp2,ytp2)到(xv,yv)的距離。

當(dāng)Ltpv1≤Ltpv2時認為xadd方向上增長較慢；否則yadd方向上增長較慢。

開始通過測試找到底角點。設(shè)定(xla,yla)為(xv,yv)。

當(dāng)xadd方向上增長相對慢時，初始n=0，

檢測點(xla,yla)的像素值是否為黃色H值，同時點(xtm,ytm)的像素值是否為藍色H 值，成立則認定點(xtm,ytm)就是底角點(xb,yb)；否則按下面公式計算：

再令n=1，計算公式（14），并對點(xla,yla)和(xtm,ytm)進行顏色檢測。如此進行測試，直到找到底角點或者n等于圖像的短邊界的長度值時停止。

當(dāng)yadd方向上增長相對慢時，初始n=0，

檢測點(xla,yla)的像素值是否為黃色H值，同時點(xtm,ytm)的像素值是否為藍色H 值，成立則認定點(xtm,ytm)就是底角點(xb,yb)；否則按下面公式計算：

再令n=1 ，計算公式（16），并對點(xla,yla)和(xtm,ytm)進行顏色檢測。如此進行測試，直到找到底角點或者n等于圖像的短邊界的長度值時停止。

如此找到了底角點(xb,yb)，然后計算地標(biāo)中心點(xp,yp)，計算如下：

2.4 相對位置計算

本文無人機降落所需位置參數(shù)有三個：二維平面上無人機到地標(biāo)中心所需位移距離，分為機頭方向所需前進距離xcmd和機身所需右移距離ycmd，參數(shù)若為負值表示需要反方向移動；無人機機頭方向轉(zhuǎn)到地標(biāo)頂角所指方向的所需偏轉(zhuǎn)角度θL。

圖像的像素坐標(biāo)系的y軸負向?qū)?yīng)實際的無人機機頭方向。角度θL為地標(biāo)頂角方向順時針偏離圖像的像素坐標(biāo)系y軸負向的角度，如圖6。

圖6 地標(biāo)相對位置參數(shù)Fig.6 Landmark relative position parameters

確定θL的角度值。先設(shè)定兩個輔助向量Ve和Le，其中Ve=( 0,-10 )，Le=(1 0,0 )。設(shè)底角點指向頂角點的向量為Mi。計算出Mi和Ve的夾角θVM，同樣計算出Mi和Le的夾角θLM。計算θL為：

然后開始計算地標(biāo)相對位置。計算過程是按照針孔成像的原理，通過二次對比信息應(yīng)用地標(biāo)長度和像素數(shù)直接測得相對位置，不用測量相機的焦距。原理如圖7所示。

圖7 地標(biāo)相對位置原理Fig.7 Principle of relative position of landmark

圖7 中f是機載相機的焦距，H是相機光心的對地高度，Pcmd是地標(biāo)中心到圖像中心的像素值，Pla是地標(biāo)頂角點到底角點的像素值，Lcmd是實際中地標(biāo)中心到相機光心的平面距離，Lla是實際中地標(biāo)頂角點到底角點的平面距離。Lla可以被事先很方便地測量得到；要得到f需要對所用相機進行測量，而且每個相機需要單獨去測，機載相機更換就需要重新測；要測得H需要讀取無人機GPS 信息或者氣壓計，有較大誤差；Lcmd是需要得到的數(shù)值。根據(jù)針孔成像原理可以得到：

所以可以得到：

這樣Lcmd可以十分方便地通過計算得到，而且當(dāng)無人機更換機載相機時也不需要重新測量焦距。

計算xcmd和ycmd，設(shè)像素坐標(biāo)系上圖像寬Lcol和圖像長Lrow，Lla是實際中地標(biāo)頂角點到底角點的平面長度，參數(shù)Rt記錄比例。

2.5 無人機位移控制

計算出xcmd、ycmd和θL，當(dāng)無人機按照該參數(shù)移動后，無人機的相機光心就會與地標(biāo)中心重疊且無人機機頭方向與地標(biāo)頂角的指向相同。

無人機在計算出上述參數(shù)后，就進入比例-積分-微分（PID）控制器[14-16]進行無人機位移控制，使無人機邊下降邊靠近地標(biāo)中心。這個調(diào)節(jié)過程是分為兩步進行的，先迅速進行水平上的位置調(diào)整，再立即進行方向調(diào)整且同時下降一定高度。這樣無人機一邊調(diào)整一邊降落。待地標(biāo)在機載相機中邊界超出圖像拍攝范圍時，無人機就停止位置調(diào)整，只進行降落和停機。至此無人機完成整個降落環(huán)節(jié)。

3 實驗對比與性能分析

本文采用的飛行平臺是大疆經(jīng)緯M210 RTK V2無人機，垂直懸停精度為±0.1 m，水平懸停精度為±0.3 m；計算核心使用的配套的妙算2 模塊。衡量降落方案的精準程度，需要比較降落結(jié)果的誤差，首先需要對圖標(biāo)建立平面坐標(biāo)系，如圖8 所示，圖中O處就是地標(biāo)中心。根據(jù)無人機降落后相機光心與地標(biāo)中心的相對位置，就可以看出降落的精準程度。圖中AO距離為直線誤差，AB向量與CO向量的夾角為無人機降落角度誤差。

圖8 降落圖標(biāo)坐標(biāo)系Fig.8 Landing icon coordinate system

3.1 圖片的處理效果

優(yōu)化后的算法在實際應(yīng)用中有著顯著效果，如圖9到圖13 表示了算法在不同距離情況下檢測地標(biāo)的效果。圖中青色線段表示檢測到的邊界線，黃色點表示頂角點和底角點，紅色點表示S=0.3 時地標(biāo)中心點。從圖中可以看出，算法可以明顯對抗距離變化和地標(biāo)旋轉(zhuǎn)。

圖9 地標(biāo)距相機1 mFig.9 Result when distance from landmark to camera is 1 m

圖13 地標(biāo)距相機5 m且左轉(zhuǎn)Fig.13 Result when distance from landmark to camera is 5 m and turning left

圖14展示算法在地標(biāo)被遮擋或者地標(biāo)與其他功能相結(jié)合時的應(yīng)用情況。圖14中是地標(biāo)上貼有兩塊用于無人機充電的電擊貼片，對于地標(biāo)識別來說，這是很大的遮擋物。但是從圖14中可以看出地標(biāo)識別情況依然良好。

圖14 地標(biāo)距相機2 m且地標(biāo)后側(cè)被占用Fig.14 Result when distance between landmark and camera is 2 m and landmark is blocked

3.2 算法降落實驗

為了驗證降落策略的可行性，實驗采用的降落方案分為三個階段，第一階段為GPS 位移，無人機以固定高度采用GPS信息移動到地標(biāo)上空，使地標(biāo)在相機“視野”范圍內(nèi)；第二階段為算法執(zhí)行階段，無人機根據(jù)地標(biāo)測算出相對位置信息后，立即調(diào)整無人機位移和方向，使無人機飛到地標(biāo)中心正上方且其機頭方向與地標(biāo)正向相同，同時無人機勻速下降；第三階段為無人機只執(zhí)行降落指令，當(dāng)圖像匹配程序執(zhí)行完畢之后，無人機只執(zhí)行降落指令，完成降落。

圖10 地標(biāo)距相機3 mFig.10 Result when distance from landmark to camera is 3 m

圖11 地標(biāo)距相機5 mFig.11 Result when distance from landmark to camera is 5 m

圖12 地標(biāo)距相機5 m且右轉(zhuǎn)Fig.12 Result when distance from landmark to camera is 5 m and turning right

實驗的過程如下，設(shè)定無人機的初始高度為10 m，在下降過程中使用圖1 地標(biāo)，當(dāng)無人機降落到1 m 高度時無人機開始進行只降落階段。無人機的高度變化如圖15所示，無人機的姿態(tài)橫滾角變化如圖16所示，俯仰角變化如圖17所示，降落結(jié)果如圖18所示。

圖15 高度變化Fig.15 Height change

圖16 橫滾角變化Fig.16 Roll angle change

圖17 俯仰角變化Fig.17 Pitch angle change

圖18 降落結(jié)果Fig.18 Landing results

3.3 性能分析

本文算法、基于地標(biāo)的TLD 算法[17]、基于ArUco 標(biāo)記的方法[4]和大疆無人機基于GPS 的自有返航功能進行降落效果對比如表1所示。其中本文算法進行8次實驗，實驗結(jié)果使用8 次實驗的平均數(shù)，降落用時只計算第二階段和第三階段用時；大疆無人機返航功能定返航高度為10 m，降落用時只計算下降所用時間。其他方法使用對應(yīng)論文中的結(jié)果。

表1 算法平均降落精度對比Table 1 Comparison of algorithm average landing accuracy

從表1 可以看出本文算法的位置精度和角度精度都相對較高。與基于地標(biāo)的TLD 方式和基于ArUco 標(biāo)記的方法相對比，本文算法位置誤差更小，且增加一個角度判斷功能。與基于GPS的自有返航功能進行對比，具有明顯的實用性。

本文算法與TLD的平均幀率如表2所示，本文算法的平均幀率達到了25.97 frame/s，雖然與TLD、KCF 方式的幀率相比略差了一些，但是在成功率上有了較為明顯的提升，不僅如此本文算法還考慮了角度方向的偏差，綜合整體而言，本文算法在本文所設(shè)定環(huán)境下性能是要明顯優(yōu)于這兩種算法的，而且本文算法處理幀率完全滿足飛行過程中的需求，因此在實時性上也得到了一定的保證。

表2 算法平均幀率對比Table 2 Algorithm average frame rate comparison

4 結(jié)束語

針對無人機自主降落精度不高的問題，提出基于地標(biāo)的輕量化精準降落算法，通過識別構(gòu)成對比的顏色和地標(biāo)形狀實現(xiàn)快速實時地檢測著陸標(biāo)識，圖像處理流程簡單快速且準確，然后通過相對位置計算在二維層面得到無人機對于降落地標(biāo)的相對位置和方向，引導(dǎo)無人機精準降落。算法執(zhí)行過程不需要考慮相機焦距，無需事先進行相機標(biāo)定，在一定遮擋情況下也能精準識別。圖像計算過程盡可能簡單，無需進行圖像降噪濾波等預(yù)處理，減少了圖像處理時間和對計算平臺計算力的需求。實驗結(jié)果表明，本文提出的策略能大大提高無人機自動降落的精度，在地標(biāo)大小設(shè)計合適的情況下，無人機完全可以降落在地標(biāo)上，且方向準確。