基于AI技術(shù)的無人機(jī)機(jī)載前端智能識(shí)別技術(shù)研究

劉軍杰 朱建收 盛雨笛 胡永輝 盛從兵

摘 要：將無人機(jī)高精度定位技術(shù)與視覺跟蹤技術(shù)融合，可以實(shí)現(xiàn)輸電線路設(shè)備高清影像的精準(zhǔn)采集。因此，有必要建立基于無人機(jī)機(jī)載前端的巡檢圖像智能識(shí)別前端系統(tǒng)模型，實(shí)現(xiàn)輸電線路設(shè)備缺陷、通道隱患的實(shí)時(shí)識(shí)別。其間可以將人工智能（AI）技術(shù)應(yīng)用到無人機(jī)機(jī)載前端智能識(shí)別中，結(jié)合目標(biāo)檢測(cè)算法，獲得智能識(shí)別結(jié)果?，F(xiàn)場(chǎng)應(yīng)用后，無人機(jī)視角下的微小目標(biāo)檢測(cè)符合應(yīng)用要求。本研究成果可在一定程度上提升無人機(jī)巡檢應(yīng)用效果。

關(guān)鍵詞：無人機(jī)巡檢;智能識(shí)別;檢測(cè)算法;YOLO v3網(wǎng)絡(luò)

中圖分類號(hào)：V279;TP391.41文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）14-0008-03

Abstract： The integration of UAV high-precision positioning technology and visual tracking technology can achieve accurate collection of high-definition images of transmission line equipment. Therefore， it is necessary to establish? a front-end system model for the intelligent identification of inspection images based on the airborne front-end of the UAV to realize the real-time identification of transmission line equipment defects and channel hidden dangers. In the meantime， artificial intelligence （AI） technology can be applied to the intelligent recognition of the airborne front-end of the UAV， combined with the target detection algorithm， to obtain the intelligent recognition result. After the field application， the detection of small targets under the UAV's perspective meets the application requirements. The research results can improve the application effect of UAV inspection to a certain extent.

Keywords： UAV inspection;intelligent identification;detection algorithm;YOLO v3 network

無人機(jī)高精度定位以網(wǎng)絡(luò)實(shí)時(shí)差分定位（RTK）為基礎(chǔ)，融合視覺導(dǎo)航跟蹤技術(shù)，可以實(shí)現(xiàn)絕緣子串、防振錘、間隔棒、均壓環(huán)和桿塔等關(guān)鍵部位的捕捉和精準(zhǔn)拍攝，而視覺追蹤是其需要解決的主要問題之一[1-2]。本文采用深度學(xué)習(xí)的方法，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)，同時(shí)使用深度學(xué)習(xí)框架Darknet，選用YOLO系列網(wǎng)絡(luò)模型，對(duì)無人機(jī)視覺拍攝的數(shù)據(jù)集進(jìn)行訓(xùn)練，然后運(yùn)用所得模型參數(shù)來進(jìn)行前向推理，從而實(shí)現(xiàn)無人機(jī)的目標(biāo)檢測(cè)。

1 目標(biāo)檢測(cè)算法

Darknet是一個(gè)用C語言和CUDA運(yùn)算平臺(tái)編寫的開源神經(jīng)網(wǎng)絡(luò)框架，具有以下優(yōu)點(diǎn)：易于安裝，結(jié)構(gòu)明晰，源代碼查看、修改方便，沒有任何依賴項(xiàng)。模型訓(xùn)練采用基于Caffe深度學(xué)習(xí)框架的TensorRT加速的YOLO算法。配置環(huán)境使用cuda8.0.61、cudnn7.0、opencv2.4.8、Python2.7.6、Keras2.1.1、Numpy1.14.2、TensorFlow1.0.0、pip19.0.3、setuptools-40.8.0和cmake3.5.1等工具，使用JetPack3.3軟件將TX2嵌入式開發(fā)板刷機(jī)，即可自動(dòng)安裝TensorRT加速工具，方便在TX2上部署[3]。

YOLO v3網(wǎng)絡(luò)模型借鑒了殘差網(wǎng)絡(luò)（Residual Network）的做法，在一些層之間設(shè)置了快捷鏈路，采用Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示[4-5]。

YOLO v3網(wǎng)絡(luò)模型使用聚類算法，得到9種不同寬與高的先驗(yàn)框，前面輸出三種不同尺寸的特征圖，每個(gè)特征圖上的一個(gè)點(diǎn)只需要預(yù)測(cè)三個(gè)先驗(yàn)框。根據(jù)圖中信息，確定9個(gè)尺寸的anchors（錨點(diǎn)）值。anchors值取8、13、19、29、45、35、28、65、84、60、51、117、144、110、90、211、208和271。

YOLO v3網(wǎng)絡(luò)模型采用3個(gè)不同尺度的特征圖來進(jìn)行對(duì)象檢測(cè)，由于下采樣倍數(shù)高，這里特征圖的感受野比較大，因此其適合檢測(cè)圖像中尺寸比較大的對(duì)象。

YOLO v3網(wǎng)絡(luò)模型本來使用Darknet框架，雖然易于部署但是無法應(yīng)用其他加速方法，在用Pytorch軟件改寫后可以使用TensorRT加速。也就是說，先通過運(yùn)行YOLO v3_to_onnx.py腳本程序?qū)arknet模型轉(zhuǎn)為ONNX格式，再運(yùn)行onnx_to_tensorrt.py腳本程序?qū)NNX轉(zhuǎn)為TensorRT model，即可用TensrorRT加速CNN（卷積神經(jīng)網(wǎng)絡(luò)）部分。用20類缺陷樣本做測(cè)試，在TX2嵌入式開發(fā)板上運(yùn)行模型，其平均準(zhǔn)確率超過85%，召回率超過90%，每張圖片的處理速度為62 ms。

2 目標(biāo)檢測(cè)應(yīng)用

2.1 數(shù)據(jù)集統(tǒng)計(jì)

連接金具訓(xùn)練集與測(cè)試數(shù)據(jù)集，統(tǒng)計(jì)結(jié)果如表1、表2所示。

2.2 模型優(yōu)化

由于連接金具模型需要部署在TX2嵌入式開發(fā)板上進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)，因此要采用輕量小模型對(duì)連接金具進(jìn)行精確識(shí)別與定位。在YOLO v3網(wǎng)絡(luò)模型的基礎(chǔ)上對(duì)其進(jìn)行輕量處理，去掉一些特征層，保留3個(gè)獨(dú)立預(yù)測(cè)分支，構(gòu)建了一個(gè)適合在資源受限環(huán)境下運(yùn)行的Tiny-YOLO v3檢測(cè)模型，該模型的檢測(cè)流程如圖2所示。

從圖2可知，在Tiny-YOLO v3檢測(cè)模型中，原YOLO v3網(wǎng)絡(luò)模型的主干架構(gòu)DarkNet-53被簡(jiǎn)化成一個(gè)包含7個(gè)網(wǎng)絡(luò)層的CNN，它由一系列的卷積層（Convolutional）及最大池化層（Max Pooling）組成，其中的卷積層用于提取特征，步幅為2的池化層則對(duì)卷積層輸出的特征圖進(jìn)行下采樣。

除主干架構(gòu)之外，后續(xù)的多尺度預(yù)測(cè)過程也利用CNN最后輸出的大小及第5個(gè)卷積層輸出的大小的特征圖來輸出兩組預(yù)測(cè)結(jié)果，得到兩個(gè)張量。其間只需要進(jìn)行一次上采樣，采樣前只使用少量的卷積層來進(jìn)行維度壓縮。

2.3 模型測(cè)試結(jié)果

一是測(cè)試硬件，包括嵌入式NVIDIA JETSON TX2和1080TI服務(wù)器。二是測(cè)試環(huán)境，服務(wù)器有Cuda10.0、Cudnn7.6、Opencv3.4.0、Python3.6和Darknet。嵌入式使用JetPack3.3對(duì)嵌入式TX2進(jìn)行刷機(jī)，即可自動(dòng)安裝相關(guān)運(yùn)行環(huán)境，方便在TX2上進(jìn)行部署。

在關(guān)鍵部位目標(biāo)測(cè)試結(jié)果中，首先根據(jù)關(guān)鍵部位（如絕緣子串、防振錘、間隔棒、均壓環(huán)和桿塔等）建立樣本庫(kù)。目前，針對(duì)電力巡線，訓(xùn)練了包含五類目標(biāo)的模型，分別是絕緣子、連接金具、連接掛點(diǎn)、防震錘及鳥巢。其次，由于實(shí)時(shí)性要求較高，選取YOLO v3網(wǎng)絡(luò)模型作為訓(xùn)練框架。最后，基于YOLO v3目標(biāo)識(shí)別算法進(jìn)行各類別模型訓(xùn)練，訓(xùn)練精度如表3所示。

在連接金具測(cè)試中，將連接金具分為insulatorlinkline、linelinktower和insulatorlinktower三類，采集實(shí)際巡檢環(huán)境圖像并進(jìn)行標(biāo)記，共制作了5萬多張標(biāo)記圖像樣本進(jìn)行訓(xùn)練，同時(shí)制作4 364張圖像數(shù)據(jù)進(jìn)行測(cè)試，在測(cè)試閾值設(shè)置為0.5的情況下，平均檢測(cè)精度達(dá)到0.507 014。經(jīng)測(cè)試，將該模型部署于無人機(jī)平臺(tái)上實(shí)際飛行時(shí)，輸入視頻分辨率為1 080 Pixel，其檢測(cè)速度可達(dá)到30幀/s，檢測(cè)效果很好，可滿足實(shí)時(shí)檢測(cè)需求。具體連接金具的檢測(cè)結(jié)果如圖3所示。

在導(dǎo)線數(shù)據(jù)測(cè)試結(jié)果中，導(dǎo)線檢測(cè)類別僅為導(dǎo)線一類目標(biāo)。采集實(shí)際飛行環(huán)境中的導(dǎo)線圖像并進(jìn)行標(biāo)記，共制作5 000多張標(biāo)記圖像樣本進(jìn)行訓(xùn)練，同時(shí)制作441張圖像數(shù)據(jù)進(jìn)行測(cè)試，在測(cè)試閾值設(shè)置為0.25的情況下，平均檢測(cè)精度達(dá)到0.78。經(jīng)測(cè)試，將該模型部署于無人機(jī)平臺(tái)上實(shí)際飛行時(shí)，輸入視頻分辨率為1 080 Pixel，其檢測(cè)速度可達(dá)到4幀/s，檢測(cè)效果較好，可滿足實(shí)時(shí)導(dǎo)線檢測(cè)和跟蹤需求。此外，將該模型部署于1080TI服務(wù)器上，檢測(cè)速度可達(dá)到49幀/s。

3 結(jié)語

在無人機(jī)場(chǎng)景下，本文應(yīng)用目標(biāo)檢測(cè)，使用機(jī)載TX2運(yùn)行YOLO v3網(wǎng)絡(luò)模型，由DAC數(shù)據(jù)集訓(xùn)練獲得網(wǎng)絡(luò)模型權(quán)重。由現(xiàn)場(chǎng)應(yīng)用結(jié)果可以看出，無人機(jī)視角下的微小目標(biāo)檢測(cè)基本符合應(yīng)用要求，但依然存在一些問題，比如，過小的物體無法識(shí)別，其根本原因在于數(shù)據(jù)集不夠完善，從而出現(xiàn)一些誤檢與漏檢。

參考文獻(xiàn)：

[1]胡志坤，趙超越，王振東，等.基于邊緣計(jì)算和無人機(jī)巡檢圖像的輸電桿塔關(guān)鍵部位隱患智能識(shí)別[J].浙江電力，2020（10）：21-27.

[2]任海波，王水，黃遲，等.一種智能化巡檢無人機(jī)系統(tǒng)的設(shè)計(jì)研究[J].中國(guó)新通信，2020（19）：70-71.

[3]孫雙春，張玲艷，楊濤，等.智能識(shí)別技術(shù)在無人機(jī)電力巡檢中的應(yīng)用[J].新型工業(yè)化，2020（5）：87-88.

[4]邵瑰瑋，劉壯，付晶，等.架空輸電線路無人機(jī)巡檢技術(shù)研究進(jìn)展[J].高電壓技術(shù)，2020（1）：14-22.

[5]劉文華，劉洋，李寧.智能識(shí)別算法在無人機(jī)巡線中的應(yīng)用研究[J].中國(guó)管理信息化，2018（11）：128-133.