一種無人機圖像識別技術體系研究與應用

趙薛強

（中水珠江規(guī)劃勘測設計有限公司，廣州 510610）

0 引 言

無人機由于其便利性、經(jīng)濟性近年來被廣泛應用于水庫大壩、水電站等水利工程的巡檢巡查中，獲取了海量照片、視頻等可視化圖像數(shù)據(jù)，為水利行業(yè)智慧化監(jiān)管做出了重大貢獻［1］。崔保春等［2］提出了一種基于模式識別技術的高光譜遙感影像檢測方法提高了影像拼接的精度，董淑娟等［3］提出了一種僅針對攝像頭、雷達等采集的水利工程質(zhì)量圖像的誤差補償神經(jīng)網(wǎng)絡的檢測算法。在水利工程無人機圖像智能識別領域，國內(nèi)外學者主要在無人機圖像質(zhì)量和圖像細節(jié)紋理等方面開展檢測識別研究，而針對海量的多期巡檢圖像違規(guī)違法等異常問題檢測方面主要采用人工判別的方法，費時費力且效率不高，為滿足智慧水利建設和水利信息化行業(yè)發(fā)展的需要，亟須構(gòu)建新的智能化圖像識別方法技術體系。隨著人工智能技術的發(fā)展，基于目標識別檢測算法的人工智能技術為水利工程的無人機海量圖像異常特征識別提供了技術支撐。

Redmon J 等［4］于2015年 提出的YOLO（You Only Look Once：Unified，Real-Time Objection Detection）算法在圖像識別領域被廣泛應用，從第一代YOLO v1 已發(fā)展到第五代YOLO v5［5］，其中YOLO v1、YOLO v2、YOLO v3均由Redmon J等提出并改進發(fā)展的，YOLO v4、YOLO v5是針對特定的應用環(huán)境由其他學者改進發(fā)展的，由于算法源碼公開時間短等原因，存在一定的應用局限性［6-8］。YOLO v3 作為YOLO 算法框架系列的經(jīng)典，針對其小目標識別精度不高這一弊端，國內(nèi)外學者對YOLO v3 算法進行了一些改進［9-17］，蔡鴻峰等［9］提出了選用Darknet-49 為主干網(wǎng)絡，通過引入DIoU 函數(shù)，對損失函數(shù)進行了優(yōu)化改進，但mAP 僅提升了2.4%；顧晉等［10］通過改進的車輛算法對原YOLO v3 中的模型進行剪枝處理，提升了YOLO v3 算法識別的精度和效率，上述研究多應用于行人檢測［11］、車輛檢測［12］、交通標志識別［13］、船只識別［14］等小尺度、單目標的特征物檢測識別領域，在大范圍、小尺度和多目標的水利工程無人機圖像檢測識別領域應用較少。

為提升無人機圖像識別的精度和效率，滿足水利工程建設期針對工程安全、進度等強監(jiān)管工作的要求，達到智能化施工和管理的目的，擬通過開展無人機圖像智能識別技術體系研究，基于YOLO v3 單階段目標檢測算法框架，在引入通道注意力模塊（Squeeze-and-Excitation（SE）-block）的基礎上，優(yōu)化算法設計，搭建基于Yolov3-SE 框架的高精度、高效率的圖像識別算法，研發(fā)無人機圖像自動識別系統(tǒng)，形成適合水利工程的無人機圖像智能識別技術體系，提升無人機圖像識別的效率和成功率，為水利工程建設期的無人機巡檢圖像異常特征物智能識別提供技術支撐，也為河湖環(huán)境監(jiān)測、防洪應急救援、河湖岸線監(jiān)測等行業(yè)領域的無人機動態(tài)監(jiān)管提供關鍵技術支撐。

1 研究方法

在深入分析前人研究成果的基礎上，基于YOLO v3 單目標檢測算法框架，通過引入SE-block，開展高精度、高效率地YOLO v3-SE 算法設計研究，構(gòu)建無人機圖像智能識別技術體系，研發(fā)無人機圖像自動識別系統(tǒng)。

主要關鍵技術流程分為以下3個步驟：首先，針對無人機航攝圖像的類型，將視頻統(tǒng)一轉(zhuǎn)化為照片，構(gòu)建圖片流處理中心，開展圖像處理、圖像分割、像元處理等的圖像預處理工作；其次，根據(jù)應用需求，對圖片中異常特征物體開展標注和用于模型訓練的數(shù)據(jù)集制作工作；最后，基于YOLO v3 算法框架，通過引入SE-block，構(gòu)建YOLO v3-SE 算法框架，開展無人機圖像異常特征物識別，并開發(fā)相應的自動識別系統(tǒng)滿足工程應用實踐要求。具體技術流程見圖1所示。

圖1 技術流程Fig.1 Technical process

2 關鍵技術算法設計

2.1 YOLO v3-SE算法設計

YOLO v3 作為YOLO 系列算法的一個代表，其實現(xiàn)原理如圖2所示。它在特征提取網(wǎng)絡部分引入了殘差結(jié)構(gòu)加深網(wǎng)絡深度，并引入跳層連接，有效防止梯度消失，由此構(gòu)建了更深層次和更高精度的特征提取網(wǎng)絡DarkNet53。對象分類用Logistic取代了Softmax。在檢測部分，它利用3 個輸出分支分別對不同尺寸的目標物進行檢測，同時3 個特征層之間通過特征金字塔結(jié)構(gòu)實現(xiàn)特征的有效融合，提高了檢測性能和小目標識別。YOLO v3 是一個端到端的深度神經(jīng)網(wǎng)絡結(jié)構(gòu)，因此建立了新的多任務損失函數(shù)來進行網(wǎng)絡的訓練。其損失函數(shù)由邊界框坐標回歸損失、分類損失和置信度損失三部分構(gòu)成。

圖2 YOLO v3算法結(jié)構(gòu)Fig.2 Structure of YOLO v3 algorithm

邊界框坐標回歸損失為：

其中{xp，yp，wp，hp}為預測目標框位置信息，{xt，yt，wt，ht}為真實目標框位置信息，該損失函數(shù)主要用于目標位置的回歸。

置信度損失為：

式中：confp和conft分別表示目標預測和真實置信度，該損失主要用于判斷網(wǎng)格內(nèi)是否存在目標。

分類損失為：

總體損失函數(shù)為上述三部分損失的加權和：

式中：λcoo、λconf和λcls為正數(shù)的權值參數(shù)，在訓練過程中該損失采用誤差反向傳遞的方式進行網(wǎng)絡參數(shù)的調(diào)整。

YOLO v3 在Microsoft COCO 數(shù)據(jù)集上mAP@0.5 達 到57.9%，每張圖像的檢測速度可達到51 ms［18］。相比YOLO v1、YOLO v2 算法框架，YOLO v3 算法無論是檢測精度和檢測速度都有較大幅度的提升，但YOLO v3 對3 個輸出分支特征層的特征利用存在不足，無法充分地利用有效特征，這使得YOLO v3對目標的定位并不精準。

為了提升YOLO v3 算法識別小目標物的精度，國內(nèi)外學者通過引入注意力機制，提升了小目標物識別的精度。其基本實現(xiàn)原理為：注意力機制（SKNet、SE-block、CBAM 等）［19-21］依靠神經(jīng)網(wǎng)絡計算出梯度通過前向傳播與后向反饋的方式獲得注意力權重，并應用于YOLO v3 的優(yōu)化改造中以提升目標識別率。與其他注意力機制相比，SE-block 可以在通過較少的參數(shù)，減少無關信息帶來的干擾，這對異常特征樣本量較少的無人機圖像識別尤為重要，其通過對各通道的依賴性進行建模以提高網(wǎng)絡的表征能力，并且可以對特征進行逐通道調(diào)整，這樣網(wǎng)絡就可以通過自主學習來選擇性地加強包含有用信息的特征并抑制無用特征，進而可提高小目標識別的精度。SE-block基本原理如圖3 所示。首先，經(jīng)過一個標準的卷積操作，如式（5）所示。再經(jīng)過Squeeze 操作將H×W×C 壓縮至1×1×C，將該通道的表示定義為各通道的全局空間特征，形成通道描述符，如式（6）所示；然后經(jīng)過Excitation 操作開展對各通道的依賴程度的學習，同時依據(jù)依賴程度的不同調(diào)整特征圖，獲得全局的特征通道權值系數(shù)S，如式（7）所示。最后將學習到的各個通道的權值系數(shù)乘到特征圖U上，完成通道維度上的有效特征加強，無效特征的抑制，如式（8）所示。

圖3 通道注意力模塊（SE-block）Fig.3 Channel attention module（SE-block）

式（5）～（8）和圖3 中，U表示二維矩陣；H為每個維度特征圖的高；W為每個維度特征圖的寬；W1Z表示第1 個全連接操作；W2RELU(.)為第2 個全連接操作；RELU(.)為ReLU 激活函數(shù)；σ(.)為Sigmoid函數(shù)；S為各通道重要程度的權重。

針對無人機拍攝的照片、視頻中特征物大小尺寸不同和異常特征物樣本庫較少等問題，為實現(xiàn)無人機圖像特征目標物的高精度提取，通過在3個輸出分支添加SE-block，增強每個分支的特征表達，構(gòu)建新的YOLO v3-SE 算法框架，從而使網(wǎng)絡有選擇性地加強關鍵特征，并抑制無用特征，YOLO v3-SE 算法網(wǎng)絡結(jié)構(gòu)如圖4所示。

圖4 Yolov3-SE算法結(jié)構(gòu)圖Fig.4 Yolov3-SE algorithm structures

同時，針對數(shù)據(jù)集樣本中各類目標物的類間數(shù)據(jù)量不均衡，存在較大差距，不利于模型的訓練，以及對于實際的檢測效果也是有較大影響等弊端，根據(jù)圖片數(shù)據(jù)和目標物分布的實際情景通過對原始圖片采取翻轉(zhuǎn)、隨機裁剪（3 種不同尺寸）以及翻轉(zhuǎn)和隨機裁剪混合的方式來進行數(shù)據(jù)增強，用以提高無人機特征物識別的成功率。數(shù)據(jù)增強效果示意如圖5所示。

圖5 數(shù)據(jù)增強示意圖Fig.5 Data enhancement diagram

2.2 自動識別系統(tǒng)設計

為實現(xiàn)從海量無人機圖像中智能化、自動化地檢測識別水利工程建設期的非法棄渣、工地塌方、施工挖坑積水等異常特征狀況，基于云計算、大數(shù)據(jù)、YOLO v3-SE 目標檢測算法、計算機開發(fā)語言、GIS 技術等技術方法研發(fā)無人機圖像自動識別系統(tǒng)，用于滿足海量無人機航拍視頻、照片等圖像的智能化精確識別的需求。系統(tǒng)具體設計步驟為：首先，構(gòu)建無人機原始圖像和異常特征識別標記圖像數(shù)據(jù)庫，開展無人機圖像的數(shù)據(jù)庫設計研究，前端采用JavaScript語言、后端采用Java語言，數(shù)據(jù)庫采用具有空間數(shù)據(jù)存儲管理功能的PostgreSQL 數(shù)據(jù)庫，空間數(shù)據(jù)顯示管理可采用開源GIS 平臺，通過讀取無人機航攝圖像自帶的POS 定位信息，建立地圖定位點與圖像之間的空間聯(lián)系，開展航攝圖像信息的讀取和入庫；其次，融合YOLO v3-SE 算法，采用Pytorch1.2.0 深度學習框架和Python 編程語言，構(gòu)建后端無人機圖像自動識別計算和大數(shù)據(jù)處理中心；最后，通過前端WEB端進行調(diào)用深度學習框架，開展不同期的無人機航攝圖像異常特征物識別，并將異常照片進行入庫和圖上定位顯示，以便技術人員進行判別比對和管理。

2.3 精度評價指標

目標特征檢測識別常用的精度評價指標主要為基于mAP值（Mean Average Precision）的評價法。mAP 是指不同召回率下的精度均值。在無人機圖像異常目標檢測中，一個模型會檢測多種不同異常特征物，每一類都繪制一條PR（Precision-Recall）曲線，并計算出AP 值，而mAP 可通過多個類別的AP 值平均值求取。由于通過計算數(shù)據(jù)集中所有類別AP 值的平均值即可求取mAP，因此只需計算AP 即可。AP 計算方法主要有3種方法：

（1）在VOC2010 數(shù)據(jù)集以前，先求取當Recall ＞= 0，0.1，0.2，…，1 共11 段時的Precision 最大值，然后計算11 個Precision的平均值即為AP如公式（9）所示，mAP即為所有類別AP值的平均數(shù)。

式中：γ為召回率Recall的取值；ρ(γ)為召回率大于11個點時的最大準確率值。

（2）在VOC2010 數(shù)據(jù)集及以后，需選取每一個召回率Recall 大于等于Recall 值時的Precision 最大值，計算PR 曲線下面積作為AP值，然后求取mAP，此方法為目前較為常用的mAP精度評定方法。

式中；TP（True Positive）表示一個正確的定位結(jié)果；FP（False Positive）表示一個錯誤的結(jié)果；FN（False Negative）表示未預測出的結(jié)果。

（3）在Microsoft COCO 數(shù)據(jù)集中，可采用設定多個IOU（Intersection over Union）閾值（步長選擇0.05，閾值范圍為0.5～0.95，）的方法，在每一個IOU 閾值下都對應相應一類別的AP值，然后計算在不同IOU 閾值下的AP 平均數(shù)，即為所求的某一類的AP值。

3 實驗應用與結(jié)果分析

3.1 實驗區(qū)域

實驗區(qū)域為大藤峽水利樞紐工程、南渡江引水工程、環(huán)北部灣廣東水資源配置工程等10 多個大型水利工程。為科學監(jiān)管和掌握建設期的工程進度，利用無人機航空攝影測量技術開展了工程建設期的巡檢巡查工作，獲取了海量的無人機巡檢圖像。為智能化地檢測、識別和管理海量的水利工程無人機圖像，基于YOLO v3-SE 算法和計算機開發(fā)語言，自主研發(fā)了無人機圖像自動識別系統(tǒng)，實現(xiàn)了實驗區(qū)域無人機圖像異常特征的自動識別。為評估本文所提出的Yolov3-SE 算法的檢測性能，選取了各類別精度AP 和平均精度mAP 作為評價指標，選用第二種AP 計算方法，在自制的實際應用場景數(shù)據(jù)集上進行了有效驗證。

3.2 實驗環(huán)境與實驗數(shù)據(jù)集

選取無人機航拍巡檢數(shù)據(jù)庫中的圖像數(shù)據(jù)，并針對實際應用場景中的異常特征目標物，基于VOC標準制作了實際應用場景下的標準數(shù)據(jù)集。使用Lableimg 標注工具進行人工標注數(shù)據(jù)集，依照如表1 所示的異常目標物標準，制作了包含101 540張圖片數(shù)據(jù)、140 300 個目標物的標準數(shù)據(jù)集。數(shù)據(jù)集具體參數(shù)如表2 所示。訓練集包含66 000 張圖片數(shù)據(jù)，測試集包含35 514 張圖片數(shù)據(jù)。YOLO v3-SE算法一共開展了90輪迭代訓練，其中前60輪學習率設置為le-4，后30輪設置為le-5，每輪訓練的批大?。╞atchsize）設置為8，優(yōu)化策略采用Adam，深度學習率衰減為0.95。實驗硬件環(huán)境為：Intel Xeon Gold 5122 CPU，顯卡NVIDIA GTX-1080Ti（2 張，顯存各11GB）；軟件環(huán)境為：深度學習框架Pytorch1.2.0，操作系統(tǒng)Ubuntu 18.04，3.6.12版本的Python編程語言。

表1 異常目標物標準Tab.1 norm of abnormal target

表2 數(shù)據(jù)集參數(shù)表Tab.2 Parameters of Dataset

3.3 定量實驗結(jié)果分析

為了評估YOLO v3-SE 算法性能，將本文算法與YOLO v3基礎算法、融入注意力模塊的SKNet-YOLO v3 算法和CBAMYOLO v3算法進行了比較。選取了各類別的識別精度AP，以及所有類別的平均精度mAP 作為評估標準，統(tǒng)計情況如表3 所示。從表3 可以看出，本文算法相較于YOLO v3 基礎算法、SKNet-YOLO v3 算法和CBAM-YOLO v3 算法在積水（stag_water）、塌方（collapse）、運輸船（trans_boat）、聚集型漂浮物（g_garbage）、棄渣（spoil）和分散型漂浮物（d_garbage）6 類目標物的檢測精度AP 均有較大幅度的提升。與YOLO v3 基礎算法相比，平均檢測精度mAP 從59.83%提升至90.17%，與添加注意力模塊的SKNet-YOLO v3改進算法相比，平均檢測精度mAP從79%提升至90.17%，與添加注意力模塊的CBAM-YOLO v3 改進算法相比，平均檢測精度mAP 從72%提升至90.17%。綜上所述，本文提出的YOLO v3-SE 算法相較于YOLO v3基礎算法和其他添加注意模塊的改進YOLO v3 算法相比，在針對無人機圖像的單個目標物檢測精度AP及mAP均有明顯提升。

表3 各算法的識別精度統(tǒng)計表 %Tab.3 Statistical table of recognition accuracy of each algorithm

3.4 定性實驗結(jié)果分析

為了定性分析實驗結(jié)果，從自制的標準數(shù)據(jù)集中選取了6個類別的圖片數(shù)據(jù)。同時為了更好地對YOLO v3-SE 算法的檢測效果進行評估，選取不同角度和不同區(qū)域的圖片數(shù)據(jù)進行實際測驗。實際可視化結(jié)果如圖6 所示。從圖6 中可以看出，我們可以有效的識別出圖片中的目標物，而且檢測的精度也是相當高的。尤其是在積水的檢測中，漏檢的情況很少，且對于船只的檢測已經(jīng)達到非常精確的效果。由此可見YOLO v3-SE 算法在實際檢測中效果良好，能夠達到檢測要求。

圖6 6類目標物可視化結(jié)果圖Fig.6 Visualized results on 6 tagets

4 結(jié) 語

通過深入研究YOLO v3 算法框架，引入SE-block，提出了基于YOLO v3-SE 算法的無人機圖像檢測識別方法，設計了無人機圖像自動識別系統(tǒng)，形成了無人機圖像識別技術體系，主要工作如下。

（1）為了提高檢測成果的精度，彌補YOLO v3 基礎算法針對無人機航攝圖像小目標物識別精度不高的局限性，通過引入SE-block，對YOLOv3 的基本框架進行改進，自主構(gòu)建了YOLO v3-SE 識別算法框架。并針對標注數(shù)據(jù)集樣本不均衡的情況，根據(jù)圖像數(shù)據(jù)和目標物分布的實際情景做相應的數(shù)據(jù)增強，提高了無人機特征物識別的成功率。從實驗結(jié)果對比分析可知，相比于基礎YOLO v3 以及引入其他注意力模塊的SKSet-YOLO v3 改進算法和CBAM-YOLO v3 改進算法，YOLO v3-SE 算法針對無人機航攝圖像的檢測有著更好的效果，檢測精度AP 和mAP 均得到了明顯提升。從定性定量分析結(jié)果來看，YOLOv3-SE檢測算法是一種較好的無人機航攝圖像目標檢測識別方法。

（2）融合YOLO v3-SE 算法，采用GIS 技術、大數(shù)據(jù)等，自主研發(fā)的無人機圖像自動識別系統(tǒng)，完成了多個大型水利工程海量無人機巡檢航拍圖像的入庫、自動識別和管理，為水利工程檔案博物館的建設提供了珍貴的歷史影像資料。

（3）設計的無人機圖像識別算法和自動識別系統(tǒng)，形成的無人機圖像智能識別技術體系，僅是針對無人機航攝獲取圖像后而進行的圖像入庫和圖像異常特征物識別，相對于防洪搶險、應急救援等極端情況，未來需進一步加強無人機前端實時拍攝圖像和視頻實時傳輸監(jiān)控的異常實時檢測識別。同時，本研究僅針對6 個應用場景進行實驗驗證，未來將根據(jù)需求增加異常樣本庫，構(gòu)建針對更多應用場景的異常識別。