基于改進(jìn)YOLO的邊緣設(shè)備實(shí)時目標(biāo)檢測算法研究

劉洪濤，孫杰，王成松，許健宇，孫一博，靳方明，張璐璐，薄志忠，王忻

基于改進(jìn)YOLO的邊緣設(shè)備實(shí)時目標(biāo)檢測算法研究

劉洪濤，孫杰，王成松，許健宇，孫一博，靳方明，張璐璐，薄志忠，王忻

（國網(wǎng)黑龍江省電力有限公司 齊齊哈爾供電公司，黑龍江 齊齊哈爾 161006）

：針對邊緣設(shè)備上目標(biāo)檢測模型檢測精確度低、檢測識別效率慢的問題，提出了一種改進(jìn)YOLO的邊緣設(shè)備實(shí)時目標(biāo)檢測算法。算法設(shè)計(jì)了多尺度特征融合模塊，此模塊利用現(xiàn)有方法中各種特征尺度之間缺失路徑的組合進(jìn)行連接來提高檢測精確度。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)目標(biāo)檢測部署模型相比，改進(jìn)YOLO算法在邊緣設(shè)備上識別速度更快檢測精確度更高，為目標(biāo)檢測模型向輕量化平臺的移植提供了可能。

邊緣設(shè)備；多尺度特征融合；YOLO

目標(biāo)檢測能夠?qū)D像或視頻中的各種目標(biāo)進(jìn)行定位和分類，并在多個領(lǐng)域有著廣泛的應(yīng)用，如無人駕駛汽車、醫(yī)學(xué)成像、運(yùn)動分析等。其中許多應(yīng)用場景需要高度精確地實(shí)時反饋。由于采用了深度學(xué)習(xí)算法，目標(biāo)檢測在精確度和效率方面都取得了重大進(jìn)步。但將目標(biāo)檢測模型移植到邊緣設(shè)備時，由于邊緣設(shè)備的計(jì)算能力弱，故目標(biāo)檢測模型的執(zhí)行速度會急劇下降。

目前實(shí)現(xiàn)輕量級目標(biāo)檢測模型主要通過減少模型尺寸和計(jì)算量，但這些方法并不能直接轉(zhuǎn)化為更快的模型在邊緣設(shè)備上應(yīng)用。多尺度特征融合是解決目標(biāo)尺度變化問題的核心。隨著特征融合模塊的日益復(fù)雜，效率和準(zhǔn)確度之間的權(quán)衡已經(jīng)飽和，因此需要新的特征融合方法[1]來提高準(zhǔn)確度與效率。但大多數(shù)方法都側(cè)重于自上而下或自下而上的特征提取的隨機(jī)組合，忽略了非相鄰特征尺度之間的特征融合，這些融合可以顯著改善提取的特征細(xì)節(jié)。此外，現(xiàn)有的特征融合方法受到輸出尺度數(shù)量的限制，因此會遺失底層特征。

為進(jìn)一步提高目標(biāo)檢測模型的精確度，構(gòu)建適合邊緣設(shè)備移植的網(wǎng)絡(luò)模型，本文提出了改進(jìn)YOLO的目標(biāo)檢測算法，設(shè)計(jì)了一個原始特征收集和重新分配模塊，能夠有效地結(jié)合多尺度特征提高模型準(zhǔn)確度，最終將目標(biāo)檢測模型移植到邊緣設(shè)備上時，檢測的準(zhǔn)確度得到有效提升。

1 YOLO算法

YOLO是基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別和檢測算法，能夠在圖像與視頻中同時檢測和分類對象。本文以YOLOv4-Tiny為例，原始的YOLOv4-Tiny主干特征提取網(wǎng)絡(luò)如圖1所示。

圖1 YOLOv4-Tiny主干特征提取網(wǎng)絡(luò)

在YOLOv4-Tiny中，使用了CSPdarknet53-Tiny作為主特征提取網(wǎng)絡(luò)[2]，和CSPdarknet53相比，為了使檢測速度更快將激活函數(shù)改為Leaky ReLU，其與ReLU的不同之處是其負(fù)半軸乘以了很小的系數(shù)，使得輸入信息小于0時，信息并沒有完全丟失，Leaky ReLU的表達(dá)公式如下：

式(1)中，表示前一層匯總的信號；通常取值為0.001；()激活后信號并傳遞給下一層神經(jīng)元。

損失函數(shù)是用來評價模型預(yù)測值和真實(shí)值之間的符合程度，在YOLOv4-Tiny網(wǎng)絡(luò)中，使用CIOU損失函數(shù)，它將目標(biāo)與錨框之間重疊率、尺度、距離以及懲罰性都考慮了進(jìn)去，使得目標(biāo)框的回歸更加穩(wěn)定。CIOU損失函數(shù)計(jì)算公式如下：

式(2)～(5)中，2(,b)分別代表了預(yù)測框和真實(shí)框的中心點(diǎn)的歐式距離；代表的是包含預(yù)測框和真實(shí)框的最小閉包區(qū)域的對角線距離；是長寬比的相似性；是權(quán)重參數(shù)；是交并比。

2 基于改進(jìn)YOLO的目標(biāo)檢測算法設(shè)計(jì)

本文基于CSPdarknet53-Tiny網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，使用原始特征收集和重新分配模塊來提高部署在邊緣設(shè)備目標(biāo)檢測模型的準(zhǔn)確度。目前多尺度特征融合方法都停留在自上而下和自下而上的方法，此類方法只關(guān)注相鄰的特征尺度，因此非相鄰的特征尺度間的組合會被忽視，導(dǎo)致特征信息在遠(yuǎn)距離的特征尺度之間的傳播效率低。如果將非相鄰的特征尺度間進(jìn)行特征融合，再重新分配回對應(yīng)的特征尺度中，目標(biāo)檢測模型的精確度將會獲得較大提升。其中每個比例的特征尺度都包含其他比例尺度的直接連接，這樣不會增加模型的計(jì)算量就能達(dá)到多不同特征尺度之間建立聯(lián)系，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)后的YOLOv4-Tiny主干特征提取網(wǎng)絡(luò)

因?yàn)樵继卣魇占椭匦路峙淠K輸入與輸出特征尺度沒有制約，所以原來YOLOv4-Tiny雖然只有兩個特征輸出尺度，但是在最后特征尺度加權(quán)和階段可以額外增加兩條特征輸出尺度，從而利用感受野較小的低級特征來提高模型性能，達(dá)到提高模型精確度的目的。原始特征收集和重新分配模塊為了減少不必要的計(jì)算，在傳遞過程中通過1*1的卷積來保證不會產(chǎn)生額外計(jì)算，并在最后通過加權(quán)和將傳遞的特征融合在一起，然后使用5*5內(nèi)核的MBConv模塊繼續(xù)傳遞融合后的特征圖，最后重新分配到不同的YOLO檢測頭。這樣的設(shè)計(jì)允許將網(wǎng)絡(luò)尺寸保持在最小，因?yàn)樵继卣魇占椭匦路峙淠K僅用四層表示，一個1*1卷積、一個加權(quán)和和MBConv塊中的兩層，以及所需的上采樣和下采樣層。還可以輕松優(yōu)化功能的并行收集和重新分配，以加快執(zhí)行速度。

3 實(shí)驗(yàn)與實(shí)驗(yàn)數(shù)據(jù)分析

實(shí)驗(yàn)采用COCO數(shù)據(jù)集，包含117264個圖像，包含80個對象類，平均每個圖像有7.4個邊界框[3]。通過在各種邊緣設(shè)備上模型識別的每秒幀數(shù)（FPS）來評估模型。對提出的原始特征收集和重新分配模塊與主干截斷方法進(jìn)行研究，并將改進(jìn)模型與各種實(shí)時目標(biāo)檢測模型的性能進(jìn)行比較。

3.1 實(shí)驗(yàn)評估設(shè)置

特征提取主干的執(zhí)行速度和準(zhǔn)確性的平衡對檢測模型的選擇至關(guān)重要。邊緣設(shè)備的計(jì)算能力、理論計(jì)算和模型尺寸都是影響模型執(zhí)行速度的重要因素。本文直接收集表1中Jetson設(shè)備上各種特征提取主干的FPS。根據(jù)該表，將改進(jìn)的YOLOv4-Tiny主干特征提取模型與MobilenetV2（*1.4）和EfficientNet-B3進(jìn)行比較，最終由表1知改進(jìn)的YOLOv4-Tiny主干特征提取模型檢測精度最高。

表1 特征提取主干模型對比

使用PANet與YOLOv4-Tiny檢測頭提出的特征聚合路徑。與PANet中的傳統(tǒng)卷積塊不同，實(shí)驗(yàn)選擇單個1*1逐點(diǎn)卷積層，用于各種特征級別之間的所有形式的連接。在每個功能融合路徑之前，所有功能都通過單個MBConvSE塊。實(shí)驗(yàn)期間還在特征融合時進(jìn)行特征細(xì)節(jié)提取，最終使用單個1*1逐點(diǎn)卷積層將特征映射轉(zhuǎn)換為目標(biāo)檢測輸出。

實(shí)驗(yàn)在訓(xùn)練前準(zhǔn)備工作：

（1）幾何增強(qiáng)，隨機(jī)裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)、調(diào)整大小等；光度增強(qiáng)，HSV調(diào)整、亮度調(diào)整等；

（2）實(shí)驗(yàn)中使用余弦退火學(xué)習(xí)率衰減策略。

（3）實(shí)驗(yàn)?zāi)Ｐ褪褂肅IOU損失函數(shù)。訓(xùn)練時首先凍結(jié)使用遷移學(xué)習(xí)權(quán)重初始化的層，并以0.001的學(xué)習(xí)率訓(xùn)練150輪。然后解凍所有層，并在較小的起始學(xué)習(xí)率0.0001上微調(diào)300個階段的模型。實(shí)驗(yàn)在320*320輸入分辨率上進(jìn)行了所有消融實(shí)驗(yàn)，但同時實(shí)驗(yàn)也訓(xùn)練了224*224和416*416的模型進(jìn)行最終比較。

（4）本文采用準(zhǔn)確率（Accuracy）、精度（AP）、精度均值（mAP）作為模型的評價指標(biāo) Accuracy、AP和mAP值越大，表明目標(biāo)檢測精度越高。各評價指標(biāo)公式定義如下：

式(6)中，x為每一類預(yù)測正確的數(shù)量，num為每一類的樣本總數(shù)，為類別數(shù)。

對于消融實(shí)驗(yàn)，所有模型都在三臺Jetson設(shè)備上實(shí)現(xiàn)，使用FPS作為評估指標(biāo)。其中使用基于TensorRT的FP16優(yōu)化來進(jìn)一步加快執(zhí)行速度。所有模型都以批量大小等于1的方式執(zhí)行，因?yàn)閷?shí)驗(yàn)的目標(biāo)是實(shí)時應(yīng)用程序。處理10000張圖像，并計(jì)算FPS的平均執(zhí)行時間[4]。除此之外還為基于TensorRT的INT8優(yōu)化提供FPS值，以便與專門為整數(shù)計(jì)算設(shè)計(jì)的檢測模型進(jìn)行公平比較。應(yīng)該注意的是，Jetson Nano沒有支持基于INT8的優(yōu)化的張量核，因此此類模型與Jetson Nano上的浮點(diǎn)計(jì)數(shù)器部件相比沒有任何優(yōu)勢。

3.2 實(shí)驗(yàn)內(nèi)容

原始特征收集和重新分配模塊，以及與輕量級檢測層相適應(yīng)的特征聚合路徑，本文方法在性能上提供了改進(jìn)，而不考慮主干或特征聚合路徑。雖然這也是以FPS略有下降為代價的[5]，但總體而言，兩者之間的權(quán)衡是有利的，因此，原始特征收集和重新分配模塊是模型中有利可圖的輕量級應(yīng)用。多尺度特征之間沒有關(guān)聯(lián)的時候，除了有特征提取主干提供融合特征外，重新分配的方式也提供了非常必要的特征進(jìn)行融合。通過原始特征收集和重新分配模塊，有無快捷連接進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。通過添加快捷連接可以讓感受野低的特征加入融合達(dá)到提高模型精確度的目的[6]。由表2知通過使用原始特征收集和重新分配模塊，能夠加快模型執(zhí)行速度并提高準(zhǔn)確度。

YOLOv4-Tiny是基于主干CSPdarknet53-Tiny網(wǎng)絡(luò)的，并在不使用遷移學(xué)習(xí)的情況下從頭開始訓(xùn)練。實(shí)驗(yàn)仍使用4個特征提取輸入到本文的特征集合中[7]，并根據(jù)模型2個可分配數(shù)量用于YOLOv4-Tiny輸出進(jìn)行比例重新分配。實(shí)驗(yàn)在Jetson Nano設(shè)備上執(zhí)行這兩個模型，與其他兩個平臺相比，Jetson Nano設(shè)備的資源最少[8]。最終結(jié)果見表3，使用原始特征收集和重新分配模塊的模型在準(zhǔn)確度方面都優(yōu)于原始版本。實(shí)驗(yàn)發(fā)現(xiàn)原始特征收集和重新分配模塊模塊為YOLOv4-Tiny在準(zhǔn)確度上獲得了較大改進(jìn)。因?yàn)閅OLOv4-Tiny只有兩個輸出尺度，加入模塊后可以提高多尺度特征融合故而能提高模型準(zhǔn)確度。

表3 與YOLOv4-Tiny模型進(jìn)行比較

4 結(jié)論

本文提出了一種改進(jìn)YOLO的邊緣設(shè)備實(shí)時目標(biāo)檢測算法，該方法是一種新的原始特征收集和重新分配模塊。將此方法應(yīng)用到邊緣設(shè)備上，提高了輕量級目標(biāo)檢測模型的準(zhǔn)確性和檢測效率。此方法對邊緣設(shè)備機(jī)器學(xué)習(xí)模型設(shè)計(jì)帶來廣泛的應(yīng)用可能。深入了解目標(biāo)檢測模型的各種特征之間的相互融合可以進(jìn)一步增強(qiáng)特征提取交互，這是在保證其效率的同時提高模型精度的一個重要方式。

[1] 方路平，何杭江，周國民. 目標(biāo)檢測算法研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用，2018, 54(13): 9-24, 33.

[2] YU, Y.S. ,LIU, C.Y. Optimization of Multi-Objective Optimal Control Problems and Its Application in Designing of Horizontal Well[J]. Journal of Lanzhou University of Technology, 2007, 33, 4.

[3] 金守峰，林強(qiáng)強(qiáng)，高磊，等. 幀間差分融合灰度投影的運(yùn)動目標(biāo)檢測方法[J]. 現(xiàn)代電子技術(shù)，2019, 42(6): 100-127.

[4] GIRSHICK,R.,DONAHUE,J., DARRELL, T.,et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, 2014, 14632381.

[5] 肖紅軍，白冰鑫. 基于改進(jìn)ViBe算法的動態(tài)目標(biāo)檢測[J]. 自動化與信息工程，2020, 41(5): 33-37.

[6] 周登浩，武斌. 基于景深和LK光流法的視頻測速算法[J]. 傳感器與微系統(tǒng)，2021, 40(8): 116-120.

[7] 龍浩，李慶黨，張明月. 基于HSV顏色空間和局部紋理的陰影消除算法研究[J]. 電子測量技術(shù)，2020, 43(18): 81-87.

[8] 王冰洋，孟卿卿. 一種改進(jìn)視覺背景提取算法研究[J]. 電子測量技術(shù)，2020, 43(22): 104-108.

Research on real-time target detection algorithm for edge devices based on improved YOLO

LIU Hong-tao，SUN Jie，WANG Cheng-song，XU Jian-yu，SUN Yi-bo，JIN Fang-ming，ZHANG Lu-lu，BO Zhi-zhong，WANG Xin

(Qiqihar Power Supply Company, State Grid Heilongjiang Electric Power Co. Heilongjiang Qiqihar 161006, China)

This paper proposes an improved YOLO algorithm for real-time target detection on edge devices to address the problems of low detection accuracy and slow detection recognition efficiency of target detection models on edge devices. The algorithm introduces a multi-scale feature fusion module. This module uses the combination of missing paths between various feature scales in existing methods to connect to improve the detection accuracy. Experimental results show that the improved YOLO algorithm identifies faster detection accuracy on edge devices compared to traditional target detection deployment models. This offers the possibility of porting the target detection model to lightweight platforms.

edge devices；multi-scale feature fusion；YOLO

2022-04-20

國網(wǎng)黑龍江省電力有限公司科技項(xiàng)目（5224132000G8）

劉洪濤（1977-），男，黑龍江佳木斯人，碩士學(xué)位，政工師，主要從事輸配電及發(fā)電廠變電站技術(shù)的應(yīng)用研究。1443345723@qq.com。

TP391.41

A

1007-984X(2022)05-0006-05