基于YOLOv3的正下無人機(jī)視角挖掘機(jī)實(shí)時(shí)檢測方法

蔡振宇,王澤鍇,陳特歡,李文來

基于YOLOv3的正下無人機(jī)視角挖掘機(jī)實(shí)時(shí)檢測方法

蔡振宇,王澤鍇,陳特歡*,李文來

（寧波大學(xué) 機(jī)械工程與力學(xué)學(xué)院, 浙江 寧波 315211）

針對無人機(jī)巡檢的智能化要求, 提出一種應(yīng)對高空巡檢場景下的實(shí)時(shí)挖掘機(jī)檢測模型. 該模型以YOLOv3為基礎(chǔ), 將骨干網(wǎng)絡(luò)精簡至43層, 通過特征融合策略使檢測任務(wù)在兩個(gè)尺度上進(jìn)行. 此外模型還借鑒了focal loss的思想設(shè)計(jì)損失函數(shù). 文中實(shí)驗(yàn)對象為正下無人機(jī)視角的挖掘機(jī)目標(biāo). 在完成了數(shù)據(jù)集的搭建工作后, 根據(jù)正下無人機(jī)視角的目標(biāo)特性進(jìn)行訓(xùn)練, 使模型達(dá)到最優(yōu)解. 最終經(jīng)實(shí)驗(yàn)驗(yàn)證, 在相同輸入尺寸的情況下, 本文所提出的檢測模型比YOLOv3準(zhǔn)確率更高、魯棒性更好, 且?guī)瑪?shù)可提升10幀·s-1.

無人機(jī)視角; YOLOv3; 特征融合; 目標(biāo)檢測

當(dāng)前工程中的巡檢任務(wù)多為人工實(shí)現(xiàn), 人工巡檢存在效率低下、巡檢頻次低、成本過高等諸多問題[1]. 而無人機(jī)自動巡檢技術(shù)為巡檢任務(wù)提供了一種智能化的解決方案, 能夠在很大程度上取代人工巡檢. 其中對高空環(huán)境下目標(biāo)檢測技術(shù)的研究是無人機(jī)在精準(zhǔn)貨物投送、自主充電、目標(biāo)跟隨飛行等無人機(jī)自主行為領(lǐng)域的基礎(chǔ), 具有較高的應(yīng)用價(jià)值.

在經(jīng)典的機(jī)器學(xué)習(xí)方法中, 對于目標(biāo)特征的提取是工作的核心內(nèi)容, 通常會采用尺度不變特征變換[2]、方向梯度直方圖[3]等方法進(jìn)行特征提取. 再將所得的特征輸入諸如支持向量機(jī)[4]、迭代器(AdaBoost)[5]等分類器之中. 然而所提取的特征嚴(yán)重依賴于人工設(shè)計(jì), 且在實(shí)際工作環(huán)境下, 滿足高指標(biāo)智能巡檢需求需要在高空進(jìn)行檢測工作. 處于無人機(jī)視角下的檢測目標(biāo)在獲取的圖像里僅占據(jù)著少量像素. 此外, 巡檢環(huán)境多為郊外地區(qū), 檢測過程中存在背景復(fù)雜度高、視頻數(shù)據(jù)計(jì)算量大等問題[6]. 2006年Hinton等[7]首次引入了深度學(xué)習(xí)的概念, 通過設(shè)計(jì)深層次的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對目標(biāo)特征進(jìn)行提取. 深度學(xué)習(xí)在很大程度上解決了手工特征的應(yīng)用局限性, 大幅度地提升了模型的魯棒性與靈活性[8].

當(dāng)前, 基于深度學(xué)習(xí)的目標(biāo)檢測方法大體上可分為兩類, 即基于回歸思想的單階檢測方法和基于區(qū)域建議的兩階檢測方法. 其中基于回歸思想的單階檢測方法使用單個(gè)前饋神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)對區(qū)域類別的預(yù)測并對區(qū)域進(jìn)行微調(diào). 常見的基于回歸思想的檢測方法包括SSD[9]、YOLO[10]、YOLOv2[11]、YOLOv3[12]、RetinaNet[13]等等.

單階檢測方法無需第二階段的區(qū)域分類操作, 能極大地提高檢測效率. YOLOv3作為一種單階檢測方法, 在保證一定檢測效率的同時(shí), 其檢測精度比經(jīng)典的SSD以及前代YOLO模型更高, 從而被廣泛地應(yīng)用于許多實(shí)際場景中. 張富凱等[14]在YOLOv3的基礎(chǔ)上設(shè)計(jì)6個(gè)不同尺度的卷積特征圖, 實(shí)現(xiàn)了交通監(jiān)控中車輛的檢測. 戴偉聰?shù)萚15]針對遙感圖像中的飛機(jī)目標(biāo)采用一個(gè)49層網(wǎng)絡(luò)結(jié)構(gòu)代替模型的骨干網(wǎng)絡(luò)并對檢測尺度進(jìn)行了擴(kuò)展. 舒軍等[16]則在YOLOv3的基礎(chǔ)上引入了更高分辨率的檢測模塊來強(qiáng)化航拍小目標(biāo)的檢測能力.

當(dāng)前對YOLOv3的研究重點(diǎn)在于提高模型的檢測準(zhǔn)確率, 然而模型的檢測速率卻很少有顯著的提升. 本文所考慮的無人機(jī)巡檢任務(wù)中, 主要通過四旋翼飛行器的機(jī)載攝像頭采集圖像, 并交由移動地面站進(jìn)行處理. 由于移動地面站的圖像處理能力相對GPU服務(wù)器性能較弱, 運(yùn)行深度學(xué)習(xí)模型時(shí)難以保證檢測速率. 這意味著執(zhí)行無人機(jī)巡檢任務(wù)對模型的檢測速率具有很高的要求.

目標(biāo)檢測的對象為無人機(jī)電力巡檢過程中所出現(xiàn)的違章挖掘機(jī). 考慮到電力系統(tǒng)的布置場景多為郊外環(huán)境, 場景復(fù)雜性較高, 且文中主要的研究對象為靜態(tài)圖像中的挖掘機(jī), 挖掘機(jī)在靜態(tài)圖像中所呈現(xiàn)出的外觀形態(tài)會隨著工作狀態(tài)發(fā)生變化, 這也意味著挖掘機(jī)目標(biāo)的檢測比一般靜態(tài)目標(biāo)的檢測難度更大. 此外, 出于精準(zhǔn)定位的需求, 采集的挖掘機(jī)圖像皆為正下無人機(jī)視角. 這也導(dǎo)致圖像中的目標(biāo)特征信息量較低, 在復(fù)雜的郊外環(huán)境下容易出現(xiàn)目標(biāo)的誤判現(xiàn)象.

本文以YOLOv3模型為基礎(chǔ)進(jìn)行改進(jìn)工作, 構(gòu)建多尺度特征融合神經(jīng)網(wǎng)絡(luò)模型, 并建立以正下無人機(jī)視角的挖掘機(jī)為樣本的數(shù)據(jù)集, 用于訓(xùn)練和測試所構(gòu)建的深度學(xué)習(xí)目標(biāo)檢測模型. 模型的骨干網(wǎng)絡(luò)部分由Darknet53[12]修改而來, 包含43個(gè)卷積層, 實(shí)現(xiàn)了模型參數(shù)的精簡. 借鑒深度殘差網(wǎng)絡(luò)(ResNet)[17]中的殘差塊設(shè)計(jì)方法加速計(jì)算. 此外還將特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks, FPN)[18]的分級檢測思想應(yīng)用于模型之中, 采用將深層與淺層特征融合的策略在大小兩個(gè)尺寸的特征圖上進(jìn)行物體檢測. 為保障模型的檢測速率, 先驗(yàn)框的數(shù)量設(shè)置為6個(gè), 先驗(yàn)框的獲取則采取均值方法對樣本做6類聚類處理. 考慮到訓(xùn)練過程中存在正負(fù)樣本不均衡的現(xiàn)象, 為了保障檢測的準(zhǔn)確度, 借鑒RetinaNet的focal loss思想設(shè)計(jì)損失函數(shù)來更新模型. 最后通過實(shí)驗(yàn)證明該改進(jìn)算法實(shí)現(xiàn)了對模型的性能提升.

1 檢測方法

1.1 YOLO檢測思想

YOLO算法已發(fā)展至第3代, 它將目標(biāo)檢測作為回歸問題處理. 如圖1所示, YOLO將預(yù)測圖劃分為×個(gè)單元格操作, 當(dāng)目標(biāo)的中心坐標(biāo)位于其中某個(gè)單元格時(shí), 該單元格就負(fù)責(zé)目標(biāo)的檢測工作. 每個(gè)格子預(yù)測個(gè)邊界框位置信息(,,,)及其置信度(conf), 以及多類別概率(cls_num).

圖1 YOLO的檢測示意圖

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

模型的骨干網(wǎng)絡(luò)基于Darknet53進(jìn)行修改得到, 為強(qiáng)化網(wǎng)絡(luò)輸入數(shù)據(jù)的信息量, 將輸入尺寸由默認(rèn)的416×416擴(kuò)展至608×608, 通道數(shù)為3. 網(wǎng)絡(luò)模型的整體結(jié)構(gòu)如圖2所示.

圖2 模型的網(wǎng)絡(luò)結(jié)構(gòu)

圖2中, CBL模塊代表一個(gè)完整的卷積過程, 該結(jié)構(gòu)在卷積操作后加上批標(biāo)準(zhǔn)化(Batch Nor- malization, BN)[19]層進(jìn)行處理, 減少過擬合現(xiàn)象, 并串聯(lián)一個(gè)激活層, 激活函數(shù)選用Leaky RELU.

網(wǎng)絡(luò)模型在卷積計(jì)算過程中共采取2種計(jì)算策略, 分別為“SAME”和“VALID”. 對于無法整除的情況則采用向上取整的方式獲得輸出結(jié)果.

考慮小目標(biāo)檢測需求, 提取的圖像特征將更著重于細(xì)節(jié)特征, 這意味著高層級的語義信息存在大量信息冗余. 針對這種情況, 對YOLOv3模型骨干網(wǎng)絡(luò)部分的52層卷積進(jìn)行層向剪枝處理以減少模型的參數(shù), 經(jīng)精簡后的模型其特征提取部分構(gòu)建為一43層的全卷積網(wǎng)絡(luò)結(jié)構(gòu).

總體來說, 修改后的網(wǎng)絡(luò)結(jié)構(gòu)包含自底向上路徑、自頂向下路徑、側(cè)邊路徑等部分. 在輸入尺寸同為416×416的條件下, 經(jīng)修改后的模型參數(shù)量與原版模型對比見表1, 其中參數(shù)量以10億次浮點(diǎn)運(yùn)算量為單位.

表1 模型參數(shù)對比 ×10億次

自底向上的過程為模型的骨干網(wǎng)絡(luò)部分. 在自底向上的過程中網(wǎng)絡(luò)不斷加深, 以此實(shí)現(xiàn)多級特征的提取. 自底向上的網(wǎng)絡(luò)由res_模塊組合搭建, 該模塊借鑒了深度殘差網(wǎng)絡(luò)的殘差結(jié)構(gòu), 通過對殘差結(jié)構(gòu)res_unit的使用解決深層網(wǎng)絡(luò)訓(xùn)練時(shí)梯度消失的問題. 自底向上的過程共歷經(jīng)4次下采樣操作. 為了保留特征中的細(xì)節(jié)信息, 下采樣的整個(gè)過程中無池化層參與, 均由步伐大小為2的卷積操作實(shí)現(xiàn). 最終采用38×38與76×76這兩個(gè)特征圖尺度作為該過程的輸出.

在自頂向下的路徑中, 主要通過上采樣的方式擴(kuò)展深層特征圖的尺寸, 再通過側(cè)邊路徑將擴(kuò)展尺寸后的特征圖和淺層同尺寸特征圖進(jìn)行串聯(lián)操作, 從而輸出信息量更加豐富的特征圖. 與RetinaNet類似, 對于76×76尺度的輸出, 采取最鄰近上采樣的策略將高一層的特征圖在分辨率上進(jìn)行兩倍的上采樣工作, 并與同尺寸的自底向上輸出的最高層特征圖進(jìn)行串聯(lián)疊加.

最后的輸出預(yù)測圖張量形式分別為38×38×18與76×76×18. 在此基礎(chǔ)上進(jìn)行位置回歸和分類.

Anchor框是一系列預(yù)設(shè)在圖像上的框, 本文采用均值方法對收集樣本進(jìn)行聚類, 使聚類得到的Anchor框可以達(dá)到更高的交并比(Intersection- over-Union, IOU). IOU用來描述1、2交集區(qū)域和并集區(qū)域面積的比例, 公式為

均值聚類的距離公式為

1.3 損失函數(shù)

2 實(shí)施方法

2.1 數(shù)據(jù)集

出于對無人機(jī)定位準(zhǔn)確度的考慮, 數(shù)據(jù)集的圖像采集工作由機(jī)載正下視鏡頭完成, 通過飛行器對挖掘機(jī)進(jìn)行航拍采樣. 無人機(jī)采用大疆的消費(fèi)級飛行器精靈4 Pro, 相機(jī)型號為FC6310. 最終獲得一共包含3599張圖片的數(shù)據(jù)樣本, 共4932個(gè)目標(biāo), 平均每張圖片包含1.37個(gè)目標(biāo). 采用樣本標(biāo)注軟件LabelImg對圖像數(shù)據(jù)中的目標(biāo)進(jìn)行人工標(biāo)注. 帶標(biāo)注的樣本數(shù)據(jù)按8:1:1的比例分為3部分: 訓(xùn)練集2879張、驗(yàn)證集360張、測試集360張. 數(shù)據(jù)集的樣本尺寸分布情況如圖3所示.

圖3 數(shù)據(jù)集的樣本尺寸分布

具體數(shù)據(jù)集平均目標(biāo)信息統(tǒng)計(jì)情況見表2.

表2 數(shù)據(jù)集信息統(tǒng)計(jì)

文中檢測對象為施工中的挖掘機(jī)個(gè)體. 對于輸入的圖像樣本, YOLOv3模型將樣本劃分為×個(gè)網(wǎng)格, 文中設(shè)置每個(gè)網(wǎng)格的Anchor數(shù)為3. 其中目標(biāo)中心坐標(biāo)所在的Anchor為正樣本, 其余負(fù)責(zé)背景的Anchor為負(fù)樣本, 樣本示例如圖4所示.

圖4 數(shù)據(jù)樣本示例

2.2 模型訓(xùn)練

為了訓(xùn)練檢測模型, 文中設(shè)置每個(gè)網(wǎng)格預(yù)測3個(gè)邊界框, 并通過對損失函數(shù)的數(shù)值衰減來更新模型. 此外, 本文還使用了數(shù)據(jù)增廣與遷移學(xué)習(xí)方法來改善模型的性能. 采取多尺度訓(xùn)練的策略, 在訓(xùn)練過程中以每100批次量為一個(gè)周期, 使模型的輸入尺寸在320至608的范圍內(nèi)以32的倍率隨機(jī)變動, 從而實(shí)現(xiàn)模型性能的提升.

數(shù)據(jù)增廣: 數(shù)據(jù)增廣是應(yīng)對樣本數(shù)據(jù)不足時(shí)提高模型性能的一種手段. 綜合考慮巡檢過程中光照以及天氣等因素的影響, 本文增廣策略包括調(diào)整輸入樣本的HSV值, 即色相(Hue)、飽和度(Saturation)、明度(Value), 以50%的波動范圍對三者進(jìn)行調(diào)節(jié). 此外, 由于下視鏡頭的中心旋轉(zhuǎn)特性, 文中增加數(shù)據(jù)的角度旋轉(zhuǎn)增廣.

訓(xùn)練: 以公開數(shù)據(jù)集PASCAL VOC 2012為基礎(chǔ)進(jìn)行預(yù)訓(xùn)練操作, 然后在GPU配置為NVIDIA GTX Titan XP的本地主機(jī)上對收集的挖掘機(jī)數(shù)據(jù)進(jìn)行訓(xùn)練. 在本文的訓(xùn)練策略中, 批量大小設(shè)為64, 歷經(jīng)600輪次訓(xùn)練, 初始學(xué)習(xí)率為0.001. 分別在輪次為480、540時(shí)下降至前一階段的10%.

3 實(shí)驗(yàn)

實(shí)驗(yàn)的軟件環(huán)境為操作系統(tǒng)Ubuntu 16.04, 深度學(xué)習(xí)框架采用基于C語言的Darknet. 實(shí)驗(yàn)環(huán)境的主要硬件配置如下: 處理器為Intel Xeon(R) CPU E5-2678 v3 2.3GHz×48, 內(nèi)存為64GB, GPU為GTX Titan XP. 實(shí)驗(yàn)對象為航空視角下的挖掘機(jī). 檢測器的輸入主要有2種形式, 分別為視頻和圖像. 采用測試集進(jìn)行評估, 通過mAP@0.5IOU[20]評估所制作的測試集作為準(zhǔn)確性的參考依據(jù).

在評估改進(jìn)的YOLOv3模型性能之前進(jìn)行了實(shí)驗(yàn)A. 選擇目前存在的Faster R-CNN[21]、SSD以及原版YOLOv3這3種主流目標(biāo)檢測模型, 在文中所搭建的挖掘機(jī)數(shù)據(jù)集上進(jìn)行數(shù)據(jù)訓(xùn)練, 模型參數(shù)設(shè)定參照論文中的數(shù)值. 模型在當(dāng)前數(shù)據(jù)集下的性能見表3.

本文在表3中測試了各模型的檢測精度以及檢測速率. 并通過對網(wǎng)絡(luò)模型輸入尺寸的調(diào)節(jié)來測試模型在不同分辨率下的性能表現(xiàn). 通過對比Faster R-CNN、SSD以及原版YOLOv3這3種主流目標(biāo)檢測模型, 可以看出針對文中提出的數(shù)據(jù)集, 綜合考慮檢測準(zhǔn)確率以及速率, YOLOv3具有更加優(yōu)秀的性能表現(xiàn).

表3 檢測模型基準(zhǔn)實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)B中, 考慮正下無人機(jī)視角特性, 采用合適的數(shù)據(jù)增廣策略來提高模型的檢測精度, 加入旋轉(zhuǎn)的方式對數(shù)據(jù)進(jìn)行增廣, 選取輸入尺寸為608×608的YOLOv3模型進(jìn)行測試, 結(jié)果見表4.

表4 不同旋轉(zhuǎn)角度下的模型性能

本文在YOLOv3的基礎(chǔ)上對模型進(jìn)行了多項(xiàng)修改以提高模型的目標(biāo)檢測性能. 實(shí)驗(yàn)結(jié)果見表5.

表5 模型改進(jìn)對比實(shí)驗(yàn)

在實(shí)驗(yàn)C1中, 測試了原始的基于DarkNet53的YOLOv3模型, 并將其作為其他實(shí)驗(yàn)的基準(zhǔn)模型, 輸入尺寸設(shè)置為608×608.

在實(shí)驗(yàn)C2中, 對模型的網(wǎng)絡(luò)結(jié)構(gòu)采用文中所描述的策略進(jìn)行修改, 以43層全卷積結(jié)構(gòu)作為骨干網(wǎng)絡(luò), 并使檢測任務(wù)在兩個(gè)檢測尺度上進(jìn)行. 實(shí)驗(yàn)結(jié)果顯示, 針對單目標(biāo)檢測的情況, 網(wǎng)絡(luò)結(jié)構(gòu)的精度不會帶來檢測準(zhǔn)確率的大幅度波動, 并顯著地提升了模型的檢測速率.

在實(shí)驗(yàn)C3中, 將focal loss引入模型的損失函數(shù)中進(jìn)行對比實(shí)驗(yàn), 證明損失函數(shù)的改進(jìn)可提升模型的檢測精度.

在實(shí)驗(yàn)D中, 對基于基準(zhǔn)的修改進(jìn)行整合, 測試改進(jìn)后的YOLOv3模型. 并對網(wǎng)絡(luò)模型輸入尺寸進(jìn)行調(diào)節(jié)來測試模型在不同分辨率下的性能表現(xiàn), 實(shí)驗(yàn)結(jié)果見表6.

表6 不同輸入尺寸下的模型性能對比實(shí)驗(yàn)

通過對比表3中原版YOLOv3的實(shí)驗(yàn)結(jié)果可以看出, 改進(jìn)后的模型在檢測速率上實(shí)現(xiàn)了明顯的提升, 在相同的輸入尺寸下最高可提升10幀·s-1. 此外由于網(wǎng)絡(luò)層級過高導(dǎo)致細(xì)節(jié)特征在卷積過程中損失嚴(yán)重, 當(dāng)YOLOv3模型的輸入尺寸降低至480×480及以下, 其對于實(shí)驗(yàn)數(shù)據(jù)集的小目標(biāo)檢測性能呈現(xiàn)為斷層式下跌. 文中改進(jìn)模型采取的特征融合策略能更好地保留細(xì)節(jié)特征, 針對小目標(biāo)實(shí)驗(yàn)對象具有良好的檢測性能, 在模型的輸入尺寸由大至小的實(shí)驗(yàn)測試環(huán)境下始終維持著較高的準(zhǔn)確度, 具有極高的魯棒性. 本文方法的實(shí)驗(yàn)效果如圖5所示.

圖5 模型的檢測效果示意

4 結(jié)束語

本文將無人機(jī)的高空巡檢工作和深度學(xué)習(xí)的視覺檢測算法相結(jié)合, 對現(xiàn)有檢測性能優(yōu)良的YOLOv3的整體網(wǎng)絡(luò)與損失函數(shù)進(jìn)行改進(jìn), 以適用于正下無人機(jī)視角的挖掘機(jī)檢測. 文中搭建了一個(gè)正下無人機(jī)視角的單類挖掘機(jī)目標(biāo)數(shù)據(jù)集, 修改了模型的骨干網(wǎng)絡(luò)并以FPN的思想設(shè)計(jì)檢測網(wǎng)絡(luò)部分, 使檢測任務(wù)在大小兩個(gè)尺度上進(jìn)行. 為了解決樣本嚴(yán)重不均衡問題, 在損失函數(shù)中加入了focal loss. 文中提出的模型平均精度最高可達(dá)89.6%, 在相同輸入尺寸的條件下對比YOLOv3模型可實(shí)現(xiàn)最高10幀·s-1的檢測速率提升, 且具有更強(qiáng)的魯棒性.

由于條件的限制, 所收集的數(shù)據(jù)集有待進(jìn)一步擴(kuò)容, 這對最終模型性能的表現(xiàn)有著顯著的影響. 此外, 模型的損失函數(shù)還有待進(jìn)一步調(diào)優(yōu). 為此, 在接下來的工作中, 還需進(jìn)一步對樣本集進(jìn)行擴(kuò)容, 優(yōu)化損失函數(shù), 并在保障性能的前提下繼續(xù)進(jìn)行模型的輕量化工作.

[1] 陳志強(qiáng). 淺談變電站機(jī)器人巡檢系統(tǒng)優(yōu)化應(yīng)用[J]. 工程技術(shù)(文摘版)·建筑, 2016(2):156.

[2] Ma X X, Grimson W E L. Edge-based rich representation for vehicle classification[C]//Tenth IEEE International Conference on Computer Vision, 2005:1185-1192.

[3] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//2005 IEEE Conference on Computer Vision and Pattern Recognition, 2005:886-893.

[4] Kazemi F M, Samadi S, Poorreza H R, et al. Vehicle recognition using curvelet transform and SVM[C]// Fourth International Conference on Information Technology, 2007:516-521.

[5] Freund Y, Schapire R E. A decision-theoretic generalization of on-line learning and an application to boosting[J].Journal of Computer and System Sciences, 1997, 55(1): 119-139.

[6] 王健, 王曉東, 郭磊. 基于混合高斯模型的運(yùn)動目標(biāo)檢測[J]. 寧波大學(xué)學(xué)報(bào)(理工版), 2019, 32(3):35-39.

[7] Hinton G E, Salakhutdinov R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[8] 周曉杰, 蔡元強(qiáng), 夏克江, 等. 基于火焰圖像顯著區(qū)域特征學(xué)習(xí)與分類器融合的回轉(zhuǎn)窯燒結(jié)工況識別[J]. 控制與決策, 2017, 32(1):187-192.

[9] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision, 2016:21-37.

[10] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016:779-788.

[11] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017:6517-6525.

[12] Redmon J, Farhadi A. YOLOv3: An incremental improvement[EB/OL]. [2019-08-17].https://arxiv.org/abs/ 1804.02767.

[13] Lin T, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//International Conference on Computer Vision, 2017:2999-3007.

[14] 張富凱, 楊峰, 李策. 基于改進(jìn)YOLOv3的快速車輛檢測方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(2):12-20.

[15] 戴偉聰, 金龍旭, 李國寧, 等. 遙感圖像中飛機(jī)的改進(jìn)YOLOv3實(shí)時(shí)檢測算法[J]. 光電工程, 2018, 45(12):84- 92.

[16] 舒軍, 吳柯. 基于改進(jìn)YOLOv3的航拍目標(biāo)實(shí)時(shí)檢測方法[J]. 湖北工業(yè)大學(xué)學(xué)報(bào), 2020(1):21-24.

[17] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016:770-778.

[18] Lin T, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition, 2017:936- 944.

[19] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019-07-12].https://arxiv.org/abs/1502.03167.

[20] Everingham M, Eslami S M A, van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

[21] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6):1137-1149.

Real-time excavator detection under direct UAV view based on improved YOLOv3 method

CAI Zhenyu, WANG Zekai, CHEN Tehuan*, LI Wenlai

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

A real-time excavator detection method for high-altitude patrol scenarios is proposed to meet the requirements of Unmanned Aerial Vehicle (UAV) intelligent inspection. The model is based on YOLOv3 and adopts a 43-layer backbone network. The object can be detected on two scales through feature fusion strategy. Besides, it also defines the loss function with the idea of focal loss. The experimental object in this article is an excavator under the direct UAV view. Upon the completion of the construction of the dataset, the optimal solution of the model is obtained by training the model with characteristics of the object under direct UAV view. The experimental results show that the proposed model is more accurate and robust than YOLOv3 for the same input size, and has increased by 10 frame per second in terms of frame number.

UAV view; YOLOv3; feature fusion; object detection

TP391.4

A

1001-5132（2021）02-0042-07

2020?06?06.

寧波大學(xué)學(xué)報(bào)（理工版）網(wǎng)址: http://journallg.nbu.edu.cn/

國家自然科學(xué)基金（61703217）; 浙江省教育廳科研項(xiàng)目（Y201840096, Y201839158, Y201840072）; 寧波市科技創(chuàng)新2025重大

專項(xiàng)（2019B10100）.

蔡振宇（1994－）, 男, 湖南株洲人, 在讀碩士研究生, 主要研究方向: 深度學(xué)習(xí)、目標(biāo)檢測. E-mail: bnbnnvh@163.com

陳特歡（1988－）, 男, 浙江寧波人, 副教授, 主要研究方向: 微流體控制、計(jì)算最優(yōu)控制、機(jī)器人控制. E-mail: chentehuan@nbu.edu.cn

（責(zé)任編輯 韓 超）