基于深度學(xué)習(xí)的無人機(jī)自主避障方法研究

賈俊良， 孫 哲

（北京電子科技職業(yè)學(xué)院機(jī)電工程學(xué)院， 北京 100176）

0 引言

隨著科技的不斷進(jìn)步，無人機(jī)技術(shù)得到了快速發(fā)展，因其具有體積小巧、飛行靈活、機(jī)動性強的特點，在航拍航測[1]、施藥植保[2]、交通巡查[3]、地質(zhì)勘探[4]和災(zāi)害救援[5]等領(lǐng)域被廣泛應(yīng)用。 用無人機(jī)代替?zhèn)鹘y(tǒng)人工巡航飛行具有成本低、效率高的優(yōu)勢，但由于飛行中存在諸多不可預(yù)知的障礙，如人、樹木、電線和建筑等等，在飛行中如不能及時識別與躲避障礙，則會造成飛行任務(wù)失敗，甚至出現(xiàn)無人機(jī)損壞和人員傷害等危險情況的發(fā)生[6-8]。因此，無人機(jī)自主避障技術(shù)[9]成了無人機(jī)領(lǐng)域研究的熱點問題。

近年來，人工智能在圖像識別方面的快速發(fā)展，使機(jī)器對周圍環(huán)境的感知與判斷變得更加快速與精準(zhǔn)， 尤其是深度學(xué)習(xí)在物體識別方面的技術(shù)進(jìn)步， 突破了傳統(tǒng)圖像處理算法在特征提取上的技術(shù)瓶頸問題[10-12]。 深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用在人臉識別[13]、人體動作檢測[14]、物體檢測[15]和圖像語義分割[16]等方面。 深度學(xué)習(xí)采用數(shù)據(jù)驅(qū)動方式進(jìn)行特征提取，通過對大量圖像目標(biāo)樣本的學(xué)習(xí)，獲取數(shù)據(jù)集特定的特征表示， 其對數(shù)據(jù)集的表達(dá)更加高效和準(zhǔn)確， 是實現(xiàn)無人機(jī)在復(fù)雜環(huán)境下對障礙物進(jìn)行快速精準(zhǔn)識別的重要技術(shù)手段。 在物體定位方面，隨著飛行時間深度感知技術(shù)[17]的不斷成熟，在不同距離的測量精度上相較于傳統(tǒng)三角定位法有了大幅提升，成為了3D 視覺定位領(lǐng)域中極具發(fā)展前景的技術(shù)方法。

為此， 本項目擬采用深度學(xué)習(xí)目標(biāo)檢測技術(shù)與飛行時間深度感知技術(shù)相結(jié)合的方法， 探索無人機(jī)自主飛行的智能化、自動化解決方案，提升無人機(jī)自主避障能力，為推動無人機(jī)自主飛行技術(shù)及相關(guān)研究提供技術(shù)支持。

1 國內(nèi)外研究現(xiàn)狀分析及存在問題

國內(nèi)外目前環(huán)境感知方法主要包括聲學(xué)傳感、 激光傳感、紅外傳感、機(jī)器視覺和毫米波雷達(dá)，或者這些方法組合而成的復(fù)合方法[18]。 Roberts 等[19]將多個超聲波傳感器安裝在無人底部與側(cè)面， 分別獲取無人機(jī)飛行高度信息和無人機(jī)與墻面距離信息，通過對數(shù)據(jù)的分析與處理，完成對周圍環(huán)境的評估與感知， 實現(xiàn)了無人機(jī)室內(nèi)環(huán)境下的避障飛行，但受限于超聲波傳感器的探測精度，無法適應(yīng)室外復(fù)雜環(huán)境的避障需求；李海林等[20]采用激光列陣傳感器對植保無人機(jī)周邊環(huán)境進(jìn)行實時檢測， 建立了基于機(jī)器學(xué)習(xí)的樹木與電線桿兩個類別的分類器， 在戶外環(huán)境下對障礙物檢測和識別效果進(jìn)行了驗證， 結(jié)果表明對兩種障礙物識別的平均準(zhǔn)確率為97%， 實現(xiàn)了植保無人機(jī)田間自主避障飛行，但整體價格高昂，且易受環(huán)境天氣影響；楊福增等[21]研究了基于機(jī)器視覺的障礙物定位方法，該方法通過安裝兩個攝像頭實現(xiàn)雙目立體視覺，在進(jìn)行視覺標(biāo)定后可獲取無人機(jī)與障礙物之間的距離，識別準(zhǔn)確率為96%，平均耗時小于100ms，戶外試驗取得了較好的避障效果。但該方法受光照變化影響較大，且有效識別距離小于2m，因此僅能執(zhí)行低速飛行任務(wù)的避障工作。 孫學(xué)超等[22]研究了一種基于毫米波雷達(dá)的茶園環(huán)境感知方法，該方法將毫米波雷達(dá)安裝在無人機(jī)下方，實現(xiàn)了地面仿形功能， 在飛行過程中能夠在起伏地形上保證無人機(jī)與地面恒定高度，但整體體積與耗能過大，導(dǎo)致應(yīng)用場合較窄。

由上述可知， 單一類型傳感器對障礙物進(jìn)行檢測具有各自優(yōu)缺點，不能完全滿足復(fù)雜環(huán)境的自主避障需求，而基于多傳感器融合技術(shù)的環(huán)境感知方法， 將充分發(fā)揮不同傳感器的長處并彌補不足[23-24]。 Fasano 等[25]將一個波段雷達(dá)、 兩個彩色相機(jī)和兩個紅外相機(jī)組成一套環(huán)境感知系統(tǒng)（DS&A 系統(tǒng)）。 波段脈沖雷達(dá)作為主要傳感器，四光電相機(jī)（兩個接收可見光波段，兩個接收紅外波段）作為輔助傳感器。通過設(shè)計一個邏輯硬件體系結(jié)構(gòu)，將各傳感器獲取的數(shù)據(jù)進(jìn)行融合， 最終實現(xiàn)了復(fù)雜環(huán)境下障礙物的識別與跟蹤。

Yang 等[26]為實現(xiàn)無人機(jī)的精準(zhǔn)避障，將彩色相機(jī)和紅外傳感器相結(jié)合， 提出了一種基于中間感知的避障軌跡預(yù)測方法。 該方法主要包括三個步驟， 第一步是以NYU v2 RGB-D 數(shù)據(jù)集為基礎(chǔ)，將飛行軌跡分為直行、左轉(zhuǎn)、右轉(zhuǎn)、左前、右前5 個類別，即將軌跡預(yù)測問題轉(zhuǎn)換為深度學(xué)習(xí)的分類問題；第二步進(jìn)行中間感知，通過深層神經(jīng)網(wǎng)絡(luò)預(yù)測彩色圖像對應(yīng)的深度圖和表面法向量 （障礙物與無人機(jī)之間的幾何特征）；最后一步是將步驟二中生成的深度圖和表面法向量輸入到一個分類卷積網(wǎng)絡(luò)中，得到最終的飛行軌跡。實驗表明，該方法較單獨對彩色圖像進(jìn)行軌跡預(yù)測的精度高出20%。

綜上所述， 多種類型傳感器復(fù)合使用的方式能夠提升無人機(jī)環(huán)境感知和避障防撞能力， 國內(nèi)外都在開展基于多傳感器融合技術(shù)的無人機(jī)避障方法研究， 但如何實現(xiàn)無人機(jī)精準(zhǔn)避障并最終實現(xiàn)自主飛行， 仍是一大技術(shù)難題。 本研究緊緊圍繞復(fù)雜環(huán)境下無人機(jī)環(huán)境感知技術(shù)展開探索研究， 將深度學(xué)習(xí)目標(biāo)檢測方法引入到障礙物識別中，賦予無人機(jī)更高層次的感知能力，通過彩色信息與深度信息相結(jié)合的方式，提升障礙物定位信息精度，并依據(jù)障礙物類別制定無人機(jī)飛行策略， 為無人機(jī)實現(xiàn)智能自主避障提供更為豐富的決策依據(jù)。

2 障礙物圖像采集與數(shù)據(jù)集建立

本研究以多旋翼無人機(jī)為研究對象， 采集飛行中典型障礙物（人、樹木、電線和建筑）照片。 通過在無人機(jī)上搭載攝像頭的方式，采集不同高度、角度的障礙物圖像。無人機(jī)飛行路徑中障礙物的類別與屬性不同， 且環(huán)境具有不確定性，為提高深度學(xué)習(xí)模型泛化能力和魯棒性，降低光照變化、 物體遮擋和陰雨霧霾等天氣對障礙物檢測的影響，分多批次在變化光照強度、物體遮擋、陰雨霧霾天氣等環(huán)境下采集障礙物照片。

在此基礎(chǔ)上，采用空間濾波的方式對數(shù)據(jù)進(jìn)行增廣，保證獲取新數(shù)據(jù)樣本的同時， 保留原始圖像的主要特征和信息。 將采集的原始圖像和數(shù)據(jù)增廣獲取的圖像進(jìn)行隨機(jī)混合，建立無人機(jī)飛行障礙物數(shù)據(jù)集，并對不同障礙物照片進(jìn)行人工標(biāo)注。 部分樣本示例，見圖1。

圖1 樣本多樣性示例Fig.1 Examples of sample diversity

3 障礙物識別模型建立

采用深度學(xué)習(xí)目標(biāo)檢測算法， 對深層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與優(yōu)化，建立障礙物識別與分類的視覺模型，見圖2，將帶有標(biāo)簽的圖像輸入到模型中，通過對模型的訓(xùn)練，完成不同障礙物的特征識別和信息提取， 并通過對網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)的優(yōu)化，提升障礙物的識別精度。 在此基礎(chǔ)上，使用遷移學(xué)習(xí)的方式， 將MS-COCO 數(shù)據(jù)集的訓(xùn)練權(quán)重對本網(wǎng)絡(luò)模型進(jìn)行初始化， 提升模型的收斂速度與識別性能。 最后，在無人機(jī)飛行的真實環(huán)境中進(jìn)行對比試驗，選取最佳檢測模型， 實現(xiàn)基于機(jī)器視覺的多種障礙物精準(zhǔn)識別。

圖2 Faster R-CNN 模型結(jié)構(gòu)Fig.2 Faster R-CNN architecture

4 圖像匹配與障礙物定位

為保證無人機(jī)飛行任務(wù)的順利進(jìn)行， 需要獲取飛行路徑中障礙物與無人機(jī)在空間中的相對位置， 確保無人機(jī)能有足夠的空間躲避障礙物， 本研究將深度信息與障礙物類別屬性信息相結(jié)合， 制定無人機(jī)飛行方案與避障策略，以滿足無人機(jī)飛行避障需求。

彩色相機(jī)與深度相機(jī)采集的圖像分別用于障礙物的檢測和距離測定， 但由于深度相機(jī)與彩色相機(jī)的安裝位置、相機(jī)參數(shù)和視角的不同，深度圖像與彩色圖像視場存在較大差異，為將兩種圖像信息有效融合，需對其進(jìn)行圖像匹配。本研究以彩色圖像為基準(zhǔn)，對深度圖像進(jìn)行視場匹配， 使障礙物在兩種圖像中處于相同位置。 在此基礎(chǔ)上，提取彩色圖像障礙物檢測框內(nèi)的深度信息，對其進(jìn)行模糊、濾波與去噪處理，提升障礙物與無人機(jī)相對距離的測量精度。 如圖3 所示為障礙物定位原理圖。

圖3 障礙物定位原理圖Fig.3 Schematic diagram of obstacle positioning

5 避障策略制定與軌跡規(guī)劃

無人機(jī)飛行環(huán)境中存在多種障礙物， 障礙物的準(zhǔn)確識別與分類是制定避障策略的關(guān)鍵， 本研究利用深度學(xué)習(xí)目標(biāo)檢測方法， 訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)， 獲取目標(biāo)分類模型，通過實時采集無人機(jī)飛行中的圖像，判斷飛行路徑中的障礙物種類及其數(shù)量。

根據(jù)飛行路徑上障礙物與無人機(jī)之間的相對距離，將二者之間的區(qū)域劃分為安全區(qū)、預(yù)警減速區(qū)和避障區(qū)。當(dāng)無人機(jī)處于安全區(qū) （即無碰撞風(fēng)險或碰撞風(fēng)險極低的區(qū)域），無人機(jī)正常執(zhí)行飛行任務(wù)；當(dāng)障礙物與無人機(jī)距離達(dá)到設(shè)定閾值，則進(jìn)入預(yù)警減速區(qū)，無人機(jī)根據(jù)障礙物類別與屬性，做出減速飛行并進(jìn)行懸停避讓、拉升避障、繞飛越障的飛行策略判斷； 當(dāng)減速到安全飛行速度并進(jìn)入避障區(qū)，無人機(jī)執(zhí)行相應(yīng)避障策略，避障飛行期間，根據(jù)深度信息持續(xù)判斷碰撞風(fēng)險，當(dāng)觸發(fā)高風(fēng)險碰撞警報，則懸停請求人工接管， 降低撞機(jī)造成的無人機(jī)損壞和人員傷害風(fēng)險。 最后通過仿真和試驗， 對整個系統(tǒng)進(jìn)行優(yōu)化，提升無人機(jī)在復(fù)雜環(huán)境下的感知與避障能力。

圖4 測試結(jié)果Fig.4 Test result

6 結(jié)論

多種障礙物的精準(zhǔn)識別與位置信息獲取技術(shù)。 戶外環(huán)境復(fù)雜，視覺系統(tǒng)常受到光照變化、物體遮擋和陰雨霧霾等影響， 采取深度學(xué)習(xí)算法和飛行時間深度感知方法相結(jié)合的方式實現(xiàn)障礙物的精準(zhǔn)識別定位。

基于障礙物類別與屬性的避障技術(shù)。 針對無人機(jī)飛行中遇到的不同障礙物，制定最優(yōu)避障策略，提高無人機(jī)自主避障的智能化程度。