基于多傳感器的無人機避障方法研究及應(yīng)用

,,,

(1.貴州電網(wǎng)有限責(zé)任公司 輸電運行檢修分公司，貴陽 210046;2.天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司，天津 300000)

0 引言

隨著無人機技術(shù)的發(fā)展，無人機在電力巡檢方面的應(yīng)用越來越多，國家電網(wǎng)、南方電網(wǎng)均有無人機巡檢的應(yīng)用。由于電力巡線現(xiàn)場環(huán)境復(fù)雜，高山、樹木、建筑物等環(huán)繞在輸電線路周圍，對無人機尤其是多旋翼無人機的巡線作業(yè)提出了更高要求。無人機飛行過程中在線檢測并規(guī)避障礙物成為了迫切需求。

相關(guān)文獻表明，針對多傳感器融合的避障技術(shù)[1-3]，國內(nèi)已有研究人員開展了相關(guān)工作。Syed Ghafoor Shah融合了立體視覺和三維激光掃描儀2個傳感器的信息，對無人機自主避障和導(dǎo)航技術(shù)進行了研究[4]，研究了基于SURF方法提取立體圖像特征點，來匹配微型飛行器位置和方位角，最終系統(tǒng)滿足室內(nèi)環(huán)境下的微型飛行器的自主實時避障和導(dǎo)航要求。由于飛行器只在室內(nèi)飛行，相比室外實際飛行環(huán)境，障礙物較單一，避障要求較低。陳奕君選取超聲波和紅外開關(guān)作為測距系統(tǒng)的傳感器,選取CCD攝像機作為視覺傳感器，設(shè)計了一種兩級信息融合的結(jié)構(gòu),能夠充分的利用傳感器獲取的外部信息并滿足實時避障的要求，通過改進的BP神經(jīng)網(wǎng)絡(luò)對測距傳感器采集的信息進行融合，并且以旅行家II移動機器人為研究平臺，實現(xiàn)了機器人在實際環(huán)境中的避障[5]。張煜基于多傳感數(shù)據(jù)融合的技術(shù)，對無人車避障導(dǎo)航進行了研究,對模糊神經(jīng)網(wǎng)絡(luò)的A* VFF避障導(dǎo)航算法進行改進,最后通過構(gòu)建仿真實驗平臺,在較為復(fù)雜的環(huán)境下完成了無人車避障導(dǎo)航的仿真實驗[6]。楊福增、王濤等人申請了一項基于多傳感器信息融合的山地農(nóng)業(yè)機器人避障系統(tǒng)的發(fā)明專利[7]，該系統(tǒng)主要包括視覺傳感器、超聲波、紅外傳感器、數(shù)據(jù)融合模塊和控制器ARM模塊，通過多DSP處理器對多傳感器信息進行并行處理，控制器ARM模塊進行避障決策控制，滿足了對山地農(nóng)業(yè)機器人實時避障的要求。在基于毫米波雷達多旋翼自主避障方面，李圓圓分析了無人機巡線避障系統(tǒng)理論，包括毫米波避障雷達方案、毫米波避障雷達在無人機巡線應(yīng)用中的功能要求以及高壓輸電線的RCS特性,采用GO-CFAR檢測算法解決了無人機避障系統(tǒng)在超低空復(fù)雜地面背景下障礙物的預(yù)報問題[8]。王濱海等人研究了一種基于毫米波雷達的無人機巡檢線路走廊方法與裝置,它包括巡檢無人直升機,在無人直升機上設(shè)有機載毫米波雷達裝置和高清攝像機檢測設(shè)備,機載毫米波雷達裝置包括機載天線,并且公開了一種利用這種裝置所實現(xiàn)的一種基于毫米波雷達的無人機巡檢線路走廊方法[9]。在基于雙目視覺避障方面，周士超研究了基于雙目立體視覺的無人機避障算法，利用光流法的景深感知模型提前感知前景電力塔，然后利用SIFT算法提取塔的特征點并匹配，最后結(jié)合相機參數(shù)計算出塔目標(biāo)的深度信息[10]。這種方法需要提前輸入特定已知模型，對模型依賴較高，但是得到的距離精度較高。楊維、朱文球等人提出了基于RGB-D相機的多旋翼無人機自主避障算法，采用分層策略區(qū)分障礙物與非障礙物，再用區(qū)域塊方法搜索避障路徑，最終調(diào)用ROS系統(tǒng)的gazebo仿真環(huán)境模擬無人機飛行場景進行了仿真實驗，并在仿真環(huán)境中加入了障礙物，最終通過變換得到實際路徑需要的偏移距離，從而達到避障和路徑規(guī)劃的目的[11]。史浩明針對導(dǎo)航避障策略問題，采用改進的人工勢場法，結(jié)合最優(yōu)控制思想設(shè)計控制器，引導(dǎo)無人機自主避障到達目標(biāo)點。同時，針對障礙物檢測問題，提出改進的金字塔光流算法，通過對攝像機標(biāo)定，得到幾何參數(shù)，完成距離的精確解算。最終，基于EDA實驗箱在搭建的嵌入式平臺上，對設(shè)計算法進行了驗證，仿真結(jié)果表明系統(tǒng)可以識別目標(biāo)場景中的障礙物，并更新路徑進行自主避障[12]。

但是目前國內(nèi)無人機對障礙物檢測，大多采用單一傳感器對單一障礙物進行檢測，或者采用少數(shù)幾種傳感器對日常使用中障礙物進行檢測，針對電力巡線應(yīng)用設(shè)計的無人機障礙物檢測方法[13]，也只是采用電磁場檢測傳感器和超聲波傳感器對輸電線路本身和大目標(biāo)障礙物進行檢測，現(xiàn)有的這些方法存在2個問題：1)沒有綜合考慮電力巡線現(xiàn)場復(fù)雜環(huán)境，對障礙物檢測方法及避障策略過于簡單；2)采用的GPS精度不高，導(dǎo)致無人機絕對位置檢測誤差太大，直接影響無人機避障。

為了方便電力巡檢作業(yè)，執(zhí)行巡檢任務(wù)的多旋翼無人機通常較靈活，載重能力有限，因此較重的激光雷達及毫米波雷達并不適用于多旋翼，只能選擇輕量化的毫米波雷達。但是輕量化毫米波的測量距離及精度有限，而且只能檢測出距離，不能實現(xiàn)自主避障。因此加入雙目視覺傳感器，通過檢測障礙物的方向和距離，從而得到最佳避障繞行路線。由于雙目視覺的檢測距離較短，與毫米波雷達融合測距，對障礙物實現(xiàn)不同梯度的深度測量，及早發(fā)現(xiàn)障礙物并進行躲避，差分GPS使無人機定位精度更高，從而實現(xiàn)多旋翼無人機自主避障。

1 自主避障控制系統(tǒng)

圖1 為自主避障控制系統(tǒng)連接框圖。毫米波雷達和雙目視覺傳感器實現(xiàn)障礙物檢測功能。通過電腦棒對多傳感器數(shù)據(jù)進行融合，識別威脅后調(diào)整航線，并將處理的結(jié)果傳送到飛行控制器。電腦棒與飛行控制器實現(xiàn)通信，并采用差分GPS提高多旋翼無人機的定位精度，最終飛行控制器控制多旋翼無人機躲避障礙物。

圖1 自主避障控制系統(tǒng)連接框圖

差分GPS的工作原理如下：RTK基準(zhǔn)站通過中轉(zhuǎn)裝置，將接收到的衛(wèi)星載波信號和自身坐標(biāo)信息，傳送給多旋翼無人機的接收機。多旋翼無人機信號發(fā)送接收天線接收GPS衛(wèi)星載波信息和RTK基站信息，利用相位差分算法，實時計算出無人機的精確定位數(shù)據(jù)。差分GPS的工作過程是，首先，在無人機GPS接收機附近設(shè)置一個已知精度坐標(biāo)的差分基準(zhǔn)站；其次，基準(zhǔn)站的接收機連續(xù)接收GPS導(dǎo)航信號，將測得的位置或距離數(shù)據(jù)與已知的位置、距離數(shù)據(jù)進行比較，確定誤差，得出準(zhǔn)確改正值；最后，將這些改正數(shù)據(jù)通過數(shù)據(jù)鏈發(fā)播給覆蓋區(qū)域內(nèi)的用戶，用以改正用戶的定位結(jié)果。結(jié)合差分GPS的精準(zhǔn)定位，飛行控制器在飛行到障礙物區(qū)域進行航跡重規(guī)劃，保證多旋翼無人機的安全避障。通過研究航跡實時重規(guī)劃方法，實現(xiàn)對障礙物的及時躲避繞行。根據(jù)無人機輸電線路巡檢的避障要求，結(jié)合多旋翼無人機的有效載荷，在確保續(xù)航時間的前提下，通過分析傳感器的指標(biāo)，對障礙物探測的傳感器進行選型，確定傳感器類型和掛載方式。通過障礙物檢測數(shù)據(jù)信息融合，無人機進行動態(tài)避障，進行航跡重規(guī)劃，最終繞過障礙物到達目標(biāo)點。設(shè)計流程圖如圖2所示。

2 障礙物檢測

基于毫米波雷達和視覺傳感器的融合技術(shù)，實現(xiàn)了多線程的障礙物相對方位檢測。

2.1 雙目視覺傳感器

雙目立體視覺技術(shù)借鑒人通過雙眼感知立體空間的能力，經(jīng)過雙目定標(biāo)、圖像采集、畸變校正、立體匹配等步驟得到了視差結(jié)果，并計算出場景的景深圖，進而重建出空間景物的三維信息。采用柵格法檢測障礙物，得到障礙物的距離及方向。雙目視覺檢測障礙物的示意圖如圖3所示。

圖3 雙目視覺傳感器檢測障礙物示意圖

在實際應(yīng)用過程中，雙目視覺傳感器檢測障礙物的過程如下：(1)標(biāo)定：使用數(shù)學(xué)方法消除徑向和切線方向上的鏡頭畸變，輸出無畸變圖像。需要先對2個攝像頭做單目標(biāo)定，再做雙目標(biāo)定。雙目標(biāo)定依賴于2個攝像頭之間的旋轉(zhuǎn)矩陣R和平移向量T，從而計算出這2個攝像頭在空間上的幾何關(guān)系。(2)立體校正：由于2個攝像頭在安裝時幾乎不存在準(zhǔn)確的共面和行對準(zhǔn)的成像平面，這就需要調(diào)整2個攝像頭的角度和距離，保證圖像平面精確落在同一個平面上，而且圖像的行完全地對準(zhǔn)到前向平行結(jié)構(gòu)，目前有很多算法實現(xiàn)了立體校正，如Hartley算法和Bouguet算法。(3)立體匹配：查找左右攝像頭視場中的3D點，只計算它們的重疊視圖內(nèi)的可視區(qū)域。對于處理非畸變的校正立體圖像，往往使用塊匹配的算法，分為一下3個步驟[14]。預(yù)過濾，使圖像亮度歸一化并加強圖像紋理；沿著水平極線用SAD窗口匹配搜索；再過濾，去除壞的匹配點。(4)重投影：當(dāng)?shù)玫綌z像頭的相對幾何位置后，通過2個攝像頭視圖中的匹配點之間的三角測量轉(zhuǎn)換，就可以將視差圖轉(zhuǎn)換為深度值。圖像中的每個像素點轉(zhuǎn)換后的圖像即為景深圖。(5)三維坐標(biāo)：通過坐標(biāo)轉(zhuǎn)換得到物理坐標(biāo)系下的障礙物的三維坐標(biāo)。(6)通過景深圖檢測障礙物的深度，通過柵格法得到障礙物與攝像頭光心的方向。

設(shè)A為雙目視覺傳感器得到的圖像景深圖，景深即距離障礙物的深度；在A中建立系統(tǒng)直角坐標(biāo)系，以圖像的左上角為坐標(biāo)原點，以橫向為X軸，縱向為Y軸，則最大值xmax, ymax。以R為步長對A圖進行劃分，由此形成一個個柵格。每行的柵格數(shù)Nx=xmax/R;每列的柵格數(shù)Ny=ymax/R。所謂柵格法[15-16]是給整個景深圖建立柵格索引，如圖4所示，使得每個像素點都包含在某一個柵格中。

圖4 柵格坐標(biāo)與序號關(guān)系

建立柵格索引之后，開始遍歷圖像景深圖。首先判斷柵格內(nèi)像素點的深度是否為零，若不為零，判斷與閾值之間的大小(所謂閾值就是事先定義好的一個距離)。如果存在大于閾值的深度，則記錄下該像素點所在的柵格索引。其次，遍歷圖像過程中記錄下每個柵格里符合要求的像素點個數(shù)，計算柵格里的平均深度。最終，根據(jù)鄰近柵格決定是否進行合并。約束條件是柵格的鄰近8個柵格是否都有深度值。由此，得到了最終的障礙物的深度和方向。

2.2 毫米波雷達

毫米波雷達傳感器是指工作在毫米波波段的雷達，工作頻率通常在30～300 GHz范圍內(nèi)，相比與紅外、激光等傳感器具有較強的穿透灰塵、煙霧的能力，以及較強的抗干擾能力。由于毫米波雷達體積小、分辨率高、功耗低等特點，滿足中小型無人機對體積功耗的要求，可以用來檢測無人機機頭方向障礙物距離和相對運動速度?？梢愿鶕?jù)應(yīng)用需求同步安裝一個或多個毫米波雷達，達到檢測多方向障礙物的目的。

毫米波雷達傳感器通過UART接口把數(shù)據(jù)實時傳遞給STM32電路板，目標(biāo)刷新率為50 Hz。電路板對障礙物進行數(shù)據(jù)處理后，診斷是否有障礙物并分析障礙物信息，再將信息傳遞給電腦棒。毫米波雷達在工作過程中，向周圍發(fā)射低功率電磁波束，捕獲回波信號計算障礙物的距離。電腦棒制定避障策略從而引導(dǎo)無人機飛行控制系統(tǒng)快速做出調(diào)整飛行方向的決策。

3 無人機避障航跡規(guī)劃算法

虛擬力場法(virtual force field method,VFF)是一種實時性非常好的局部避障算法[17-18]，其基本思想是構(gòu)造目標(biāo)方位的引力場和障礙物周圍的斥力場，兩者共同作用形成虛擬的人工力場，搜索勢函數(shù)的下降方向來尋找無碰撞路徑，最終使多旋翼無人機沿著合力方向運動[19]。VFF算法使用柵格來表示環(huán)境，同時使用力場法對多旋翼無人機進行局部避障控制。假設(shè)障礙物會對無人機施加一定的排斥力,用repulse(x,y)來表示，目標(biāo)點會對無人機產(chǎn)生一定的吸引力，用attract(x,y)來表示，它們的合力決定了無人機行進的方向。這里用球形坐標(biāo)表示目標(biāo)點、障礙物與無人機之間的空間關(guān)系。設(shè)目標(biāo)點的坐標(biāo)為target(θ，φ，r),障礙物的坐標(biāo)為obstacle(θ,φ，r)，吸引力和排斥力的相關(guān)公式如下：

Attract.x=K*θ_t*(e(-c1*r)+c2)

(1)

Attract.y=K*φ_t*(e(-c1*r)+c2)

(2)

式中，K，c1,c2均表示系數(shù)，θ_t為目標(biāo)點坐標(biāo)的θ值，φ_t為目標(biāo)點坐標(biāo)的φ值。

Repulse.x=-k0*sign(θ_o)*

(3)

Repulse.y=-k0*sign(φ_o)*

(4)

式中，K0，c3,c4,s1,s2,t1,t2均表示系數(shù)，θ_o為障礙物坐標(biāo)的θ值，φ_o為障礙物坐標(biāo)的φ值。

吸引力和排斥力的合力rate(x，y)如下：

rate.x=Attract.x+Repulse.x

(5)

rate.y=Attract.y+Repulse.y

(6)

設(shè)多旋翼無人機當(dāng)前點為view_dir(x,y,z)，躲避障礙物時航跡重規(guī)劃，則新的航跡目標(biāo)點為new_waypoint(x,y,z)。

nw.x=vd.x*cos(rate.x)-vd.y*sin(rate.x)

(7)

nw.y=vd.x*sin(rate.x)-vd.y*cos(rate.x)

(8)

nw.z=0

(9)

式中(nw.x，nw.y，nw.z)表示生成的新的航跡點，(vd.x，vd.y，vd.z)表示當(dāng)前點。

在遇到障礙物時，采用虛擬力場法得到新的目標(biāo)點，避開該障礙物以后再回歸到原航點。由于毫米波雷達檢測的距離較遠，在距離12 m的時候飛控控制無人機開始減速，等到6m時雙目視覺可以檢測到障礙物信息，此時無人機開始避障繞行。

4 實驗結(jié)果與分析

4.1 實驗步驟和方法

圖5是飛行實驗所用的多旋翼無人機，安裝了毫米波雷達、guidance雙目視覺模塊、差分gps天線、intel電腦棒等，軸距為1.2 m，空機重量為6kg。guidance雙目視覺模塊輸出的圖像大小為320*240，即xmax=240, ymax=320，選擇的步長R=20。

圖5 多旋翼無人機

實驗步驟如下：

1) 檢查飛機狀態(tài)確保各連接處連接可靠無松動。

2)安裝電腦棒，選擇6 s電池給電腦棒供電，由于電壓不匹配，選擇電源板對電壓及電流進行轉(zhuǎn)換。電腦棒與guidance進行連接。基于opencv的圖像采集處理程序exe文件安裝在電腦棒里，設(shè)置為自啟動模式。

3)連接飛控與地面站軟件，啟動flightgear軟件，首先對自主避障程序進行半實物仿真，以驗證自主避障算法是否準(zhǔn)確，以及控制策略是否符合邏輯。

4)執(zhí)行完步驟3后，將飛控安裝在飛機平臺上，電池通電，等待飛機自檢通過。

5)規(guī)劃飛機航跡點，2個航跡點1點及2點分別位于桿塔的兩側(cè)。通過遙控器解鎖電機，電機怠速旋轉(zhuǎn)，輕推油門至中間位置。

6)緩慢控制飛機推近桿塔。設(shè)定無人機減速的距離閾值為12 m，執(zhí)行避障的距離閾值為6 m，當(dāng)毫米波雷達及視覺模塊檢測到障礙物時，會自主執(zhí)行避障策略；

8)重復(fù)進行上述過程20次，記錄20組測試數(shù)據(jù)；

有風(fēng)速大于5 m/s的環(huán)境下，風(fēng)向會對飛機的避障產(chǎn)生一定影響，需時刻關(guān)注電池電壓，一旦電量過低飛機必須降落，防止出現(xiàn)摔機風(fēng)險。

4.2 實驗數(shù)據(jù)及結(jié)果分析

飛行前多旋翼無人機位于home點，起飛后首先飛至1點、再飛向2點目標(biāo)點，飛行實驗的航跡如圖7所示。白色直線為飛行前規(guī)劃的航跡點，在這種情況下，如果1點和2點沒有桿塔或者其它障礙物，多旋翼無人機應(yīng)該直線飛行，最終到達2點目標(biāo)點。由于飛行的航跡中存在桿塔這個障礙物，因此多旋翼無人機在飛行過程中自主進行避障，黑色曲線為實際飛行的航跡點。

圖6 飛行實驗 圖7 避障航跡對比

實驗結(jié)果表明，自主避障模塊可以實現(xiàn)對多旋翼無人機前向環(huán)境信息的實時采集，多旋翼無人機通過融合毫米波雷達及雙目視覺傳感器檢測的障礙物信息，在飛行過程中實時的對桿塔進行自主避障，最終繞過桿塔這個障礙物到達了目標(biāo)航點。

5 結(jié)束語

本文針對傳統(tǒng)無人機避障傳感器單一、適應(yīng)性差的問題，提出了一種基于多傳感器的多旋翼無人機自主實時的避障方法。方法中結(jié)合毫米波雷達檢測的障礙物信息及雙目視覺傳感器柵格法檢測的障礙物信息，采用虛擬力場法對桿塔實現(xiàn)了避障，能滿足多種條件下的避障需求，例如樹木、建筑物、桿塔等。實驗證明該避障方法可實現(xiàn)無人機自主避障。但是，在無人機巡檢過程中，除了樹木、桿塔，還有交叉線纜，由于小型的毫米波雷達傳感器并不能保證完全識別細小的導(dǎo)線，視覺傳感器檢測障礙物的距離又較短，因此如何采用多傳感器識別導(dǎo)線實現(xiàn)無人機避障，還有待進一步研究。