基于無線探測與光電探測的機(jī)場無人機(jī)探測與定位系統(tǒng)研究

張力波，甄軍平，曹 鐵，房天謀

（民航成都電子技術(shù)有限責(zé)任公司，成都 610041）

0 引言

隨著無人機(jī)技術(shù)的快速發(fā)展，民用無人機(jī)呈現(xiàn)出種類日益增多、性能日益提升、使用領(lǐng)域不斷擴(kuò)展、使用門檻不斷降低、獲得渠道不斷增多的特點(diǎn)。民用無人機(jī)普及程度的不斷提升也帶來了擾航事件的增多。2017年發(fā)生在成都雙流機(jī)場、重慶機(jī)場和杭州蕭山等機(jī)場的無人機(jī)擾航事件將無人機(jī)“黑飛”行為推到了輿論的風(fēng)口浪尖?！昂陲w惡飛”無人機(jī)事件不僅嚴(yán)重干擾機(jī)場的正常運(yùn)行秩序，而且嚴(yán)重威脅著乘客和航空器的安全。2019年11月1日，《民航局關(guān)于促進(jìn)機(jī)場新技術(shù)應(yīng)用的指導(dǎo)意見》的新技術(shù)目錄中明確提出對無人機(jī)等“低慢小”目標(biāo)的探測與反制技術(shù)。

當(dāng)前無人機(jī)探測的主要傳感方式有雷達(dá)、無線和光電。雷達(dá)探測是雷達(dá)向外發(fā)射電磁波，通過對回波進(jìn)行處理得出無人機(jī)的探測信息，這些信息包括距離、角方向、徑向速度以及微多普勒特征等。無線探測是通過探測無人機(jī)的通訊無線電信號(hào)來對無人機(jī)進(jìn)行識(shí)別和定位，具體地，識(shí)別方面，運(yùn)用射頻識(shí)別技術(shù)來監(jiān)測無人機(jī)傳輸信號(hào)，提取信號(hào)的頻譜特征，并與無人機(jī)特征庫中的頻譜特征進(jìn)行匹配，實(shí)現(xiàn)對無人機(jī)品牌與型號(hào)的識(shí)別；定位方面，運(yùn)用到達(dá)時(shí)間差法（簡稱TDOA）以及無線電測向技術(shù)對無人機(jī)進(jìn)行定位。光電探測主要是運(yùn)用攝像機(jī)等光電設(shè)備采集無人機(jī)圖像，并結(jié)合深度學(xué)習(xí)算法從圖像中識(shí)別出無人機(jī)。

由于機(jī)場對電磁環(huán)境有嚴(yán)格要求，本文選擇不產(chǎn)生額外電磁干擾的無線探測和光電探測設(shè)備，研究基于TDOA定位技術(shù)與深度學(xué)習(xí)識(shí)別技術(shù)的無人機(jī)探測與定位系統(tǒng)。

1 系統(tǒng)概述

1.1 系統(tǒng)組成

如圖1所示，本文所設(shè)計(jì)的無人機(jī)探測與定位系統(tǒng)主要包含無線探測設(shè)備、光電探測設(shè)備、服務(wù)器以及顯示設(shè)備。其中，無線探測設(shè)備持續(xù)對監(jiān)測環(huán)境范圍內(nèi)的無人機(jī)進(jìn)行探測與定位，并把探測結(jié)果發(fā)送至服務(wù)器；服務(wù)器在接收到無人機(jī)定位信息后，控制光電探測設(shè)備朝向無人機(jī)方向并以適當(dāng)?shù)姆糯蟊堵蔬M(jìn)行圖像采集，并將采集的圖像發(fā)送給服務(wù)器；服務(wù)器上部署的深度學(xué)習(xí)算法從圖像中識(shí)別出無人機(jī)；最終在顯示設(shè)備上顯示探測到的無人機(jī)類型、在地圖中的位置以及帶有無人機(jī)識(shí)別結(jié)果的光電圖像。

圖1 系統(tǒng)組成

1.2 無線探測模塊

無線探測模塊所用設(shè)備為三臺(tái)無線電探測設(shè)備，無線電探測設(shè)備不發(fā)射電磁波，通過陣列天線和多通道無線電接收機(jī)被動(dòng)截獲和接收無人機(jī)及操作者發(fā)射的遙控和圖傳信號(hào)，對收到的信號(hào)分選識(shí)別后加以確認(rèn)，單臺(tái)設(shè)備可對信號(hào)實(shí)現(xiàn)參數(shù)測量和高精度測向，同時(shí)識(shí)別出無人機(jī)的型號(hào)。多臺(tái)設(shè)備組網(wǎng)運(yùn)用TDOA算法可以實(shí)現(xiàn)對無人機(jī)的高精度定位，最終結(jié)合地圖實(shí)現(xiàn)無人機(jī)型號(hào)、位置和航跡等信息的可視化。

TDOA算法原理如圖2所示，無人機(jī)對外發(fā)送無線電信號(hào)，距離不同的探測設(shè)備收到信號(hào)的時(shí)間點(diǎn)不同，因此利用多個(gè)探測設(shè)備接收到信號(hào)的時(shí)間差△來確定無人機(jī)的位置。對每兩臺(tái)探測設(shè)備來說，無人機(jī)與兩臺(tái)探測設(shè)備間的距離差△=×△，其中為電磁波傳播速度。據(jù)此可在兩探測設(shè)備之間繪制出關(guān)于距離差值的雙曲線，三臺(tái)設(shè)備可形成三組雙曲線，三組雙曲線共同的交點(diǎn)即是無人機(jī)的位置。

圖2 TDOA算法原理圖

1.3 光電探測模塊

光電探測模塊是無線探測模塊的必要補(bǔ)充，依靠光電探測模塊可直觀評(píng)價(jià)系統(tǒng)對無人機(jī)的探測結(jié)果，同時(shí)結(jié)合基于深度學(xué)習(xí)的目標(biāo)檢測與跟蹤算法，可實(shí)現(xiàn)在無線探測設(shè)備探測到無人機(jī)后，依靠光電探測模塊對無人機(jī)進(jìn)行確認(rèn)與跟蹤。由于無人機(jī)體積小，相對于雷達(dá)探測，可見光探測無人機(jī)的距離較短。為了提高光電探測設(shè)備對無人機(jī)的探測精度，需選用高倍率、高分辨率攝像機(jī)作為光電探測設(shè)備。市面上已推出了在光學(xué)倍率和數(shù)字倍率的配合下實(shí)現(xiàn)目標(biāo)放大1280倍的激光重載云臺(tái)，具備2560×1440的輸出圖像尺寸。以大疆御2民用小型無人機(jī)為例，其展開尺寸為183×253×77 mm，如圖3所示，激光重載云臺(tái)可在2km范圍內(nèi)明顯發(fā)現(xiàn)該型號(hào)無人機(jī)。

圖3 2 km處的無人機(jī)探測圖像

2 基于深度學(xué)習(xí)的無人機(jī)識(shí)別算法研究

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測方面表現(xiàn)出卓越性能，特別是YOLO系列，其推理速度越來越快，檢測精度越來越高，早已達(dá)到了工業(yè)應(yīng)用水平。本次研究選用2021年曠視科技推出的YOLOX作為攝像機(jī)圖像下的無人機(jī)檢測算法，該算法在目前的YOLO系列算法中取得了最佳效果。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測模型的網(wǎng)絡(luò)結(jié)構(gòu)一般由三部分構(gòu)成，即提取特征的骨干網(wǎng)絡(luò)（backbone）、用于預(yù)測的頭部（head）以及介于之間的頸部（neck）。相對于YOLOv3～YOLOv5，YOLOX算法最主要的改進(jìn)在于模型的檢測頭，如圖4所示，YOLOv3～YOLOv5采用耦合檢測頭，即目標(biāo)的分類任務(wù)（Cls）和目標(biāo)位置的回歸任務(wù)（Reg）共用一個(gè)檢測頭，但因分類和回歸任務(wù)沖突，耦合檢測頭會(huì)損害性能。因此，YOLOX對檢測頭做了解耦，不僅改善了收斂速度，還使AP提升了4.2%。

圖4 YOLOX網(wǎng)絡(luò)head部分的改進(jìn)措施

2.2 優(yōu)化措施

2.2.1 圖像分塊識(shí)別

YOLOX網(wǎng)絡(luò)的圖片輸入尺寸是640×640像素，任意尺寸的圖片在送入網(wǎng)絡(luò)前都會(huì)放大或縮小至640×640像素后再進(jìn)行推理。由于遠(yuǎn)處的無人機(jī)尺寸小，如果直接將重載平臺(tái)采集的2560×1440像素圖片送入網(wǎng)絡(luò)，經(jīng)過縮放后的無人機(jī)將難以識(shí)別。因此，為了降低縮放比例，本研究將2560×1440像素的圖片拆分成4×3張720×720像素的圖片，如圖5所示，相鄰切分圖像之間保留部分重疊區(qū)域，以防止無人機(jī)正好被拆成兩部分而不能被識(shí)別。

圖5 檢測圖片切分

在識(shí)別到無人機(jī)后，算法會(huì)返回?zé)o人機(jī)在各切分圖像中的位置，因此需根據(jù)偏移量將無人機(jī)的識(shí)別位置映射回原圖中的位置。為了避免無人機(jī)處在切分重疊區(qū)域時(shí)出現(xiàn)重復(fù)識(shí)別問題，需對無人機(jī)的識(shí)別結(jié)果進(jìn)行非極大值抑制處理（簡稱NMS）。處理后的結(jié)果如圖6所示。

圖6 處理后的結(jié)果

2.2.2 基于TensorRT的推理優(yōu)化

相比于只識(shí)別一張圖片，將一張圖像切分成12張圖像后進(jìn)行圖像識(shí)別，識(shí)別速度將會(huì)大大降低，為了確保無人機(jī)識(shí)別的實(shí)時(shí)性，需對算法的推理速度進(jìn)行優(yōu)化。TensorRT是Nvidia公司推出的旨在極致優(yōu)化GPU資源使用的深度學(xué)習(xí)推理計(jì)算框架，它對深度學(xué)習(xí)模型主要進(jìn)行兩方面的優(yōu)化，一是模型量化，通過數(shù)據(jù)精度校準(zhǔn)模塊，在保證模型推理精度的前提下，將模型中數(shù)據(jù)類型為FP32的參數(shù)通過映射操作降為FP16或INT8的數(shù)據(jù)類型，減少模型推理計(jì)算量；二是對模型進(jìn)行重構(gòu)，以如圖7所示的網(wǎng)絡(luò)結(jié)構(gòu)為例，用于圖像檢測的深度學(xué)習(xí)算法，其網(wǎng)絡(luò)結(jié)構(gòu)通常包含很多的由卷積層（conv）、偏置層（bias）以及激活函數(shù)層（如Relu）組成的塊結(jié)構(gòu)（block），TensorRT通過層間融合將該塊結(jié)構(gòu)合并成一個(gè)CBR層；并通過張量融合將多個(gè)結(jié)構(gòu)相同的層合并成一個(gè)更寬的層；并且ten?sorRT可以自動(dòng)實(shí)現(xiàn)連接層（concat），不用專門計(jì)算。通過對模型重構(gòu)減少模型對GPU的CUDA核心占用量以及調(diào)用頻率，使得整個(gè)模型結(jié)構(gòu)更小，更快，更高效。

圖7 TensorRT對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化示例

因此，按照TensorRT模型優(yōu)化流程，將訓(xùn)練好的YOLOX模型轉(zhuǎn)化為通用的ONNX模型格式，再運(yùn)用TensorRT對模型進(jìn)行量化以及結(jié)構(gòu)優(yōu)化，最終生成engine格式文件，通過調(diào)用en?gine格式文件來識(shí)別圖像中的無人機(jī)。如表1所示，經(jīng)過推理優(yōu)化后，重載云臺(tái)輸入一張2560×1440尺寸的圖像，對圖像進(jìn)行標(biāo)準(zhǔn)化、切分、縮放等預(yù)處理操作的總耗時(shí)為平均6.25 ms；經(jīng)推理優(yōu)化后的YOLOX模型對12張切分圖像同時(shí)推理的總耗時(shí)為平均24.71 ms；將算法的識(shí)別結(jié)果處理成業(yè)務(wù)所需結(jié)果，需經(jīng)過格式轉(zhuǎn)化、非極大值抑制等后處理操作，其耗時(shí)為平均8.90 ms；從重載云臺(tái)輸入圖像至最終結(jié)果輸出總耗時(shí)為平均39.86 ms，低于40 ms，滿足實(shí)時(shí)性要求。

表1 無人機(jī)識(shí)別過程耗時(shí)表

3 結(jié)語

所搭建的基于無線探測與光電探測的機(jī)場無人機(jī)探測與定位系統(tǒng)，能夠?qū)崿F(xiàn)直徑2 km范圍內(nèi)的無人機(jī)定位與圖像識(shí)別。無線探測設(shè)備的探測能力會(huì)受周圍障礙物遮擋的干擾。基于光電探測設(shè)備和深度學(xué)習(xí)的無人機(jī)識(shí)別方面，由于網(wǎng)上并無此種需求條件下的無人機(jī)數(shù)據(jù)集，本次研究通過自飛御2無人機(jī)，在不同時(shí)間段和不同距離條件下采集了523張圖片，并結(jié)合COCO數(shù)據(jù)集在預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行訓(xùn)練。雖然對不同類型無人機(jī)的識(shí)別效果尚不能給出具體評(píng)價(jià)結(jié)果，但驗(yàn)證了結(jié)合光電探測設(shè)備和深度學(xué)習(xí)遠(yuǎn)距離識(shí)別無人機(jī)的可行性。在后續(xù)的工作中繼續(xù)采集無人機(jī)、鳥、飛機(jī)等空中物體圖片，增強(qiáng)基于光學(xué)圖像的無人機(jī)識(shí)別性能，并結(jié)合目標(biāo)跟蹤算法完善系統(tǒng)。