一種基于YOLOv5的家用物體檢測(cè)優(yōu)化算法

胡繼港 楊杰 祝曉軒

摘要：針對(duì)現(xiàn)有家用物體檢測(cè)算法模型存在的計(jì)算量大和對(duì)小目標(biāo)檢測(cè)效果不佳等問題，本文提出了一種基于YOLOv5的家用物體檢測(cè)優(yōu)化算法。采用輕量級(jí)的GhostBottleneck，代替Bottleneck結(jié)構(gòu)，降低網(wǎng)絡(luò)參數(shù)。同時(shí)，添加卷積注意力模塊，強(qiáng)化小目標(biāo)物體的特征信息，從而提高對(duì)家用小物體的檢測(cè)性能。為了證明該算法的有效性，采用YOLOv5m_G、YOLOv5m_GC_a和YOLOv5m_GC_b 3種網(wǎng)絡(luò)模型，在自建的家用物體數(shù)據(jù)集的訓(xùn)練集和驗(yàn)證集中進(jìn)行訓(xùn)練，并在測(cè)試集上對(duì)模型的性能進(jìn)行對(duì)比分析。研究結(jié)果表明，在保證檢測(cè)精度的前提下，改進(jìn)后的算法YOLOv5m_GC_b與原始的YOLOv5m算法相比，參數(shù)量降低了30%，計(jì)算量降低了37%，有效降低了參數(shù)量和計(jì)算量，便于更好地部署在嵌入式設(shè)備中，提高了對(duì)家用小物體的檢測(cè)性能，該研究具有一定的創(chuàng)新性。

關(guān)鍵詞：家用物體檢測(cè)； YOLOv5； Ghost卷積； CBAM注意力模塊

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-9798（2023）02-0026-05； DOI：10.13306/j.1006-9798.2023.02.004

基金項(xiàng)目：山東省自然科學(xué)基金資助項(xiàng)目（ZR2021MF025）

作者簡(jiǎn)介：胡繼港（1997-），男，碩士研究生，主要研究方向?yàn)閳D像識(shí)別與檢測(cè)。

通信作者：楊杰（1969-），男，副教授，主要研究方向?yàn)閳D像識(shí)別及檢測(cè)、測(cè)控技術(shù)與儀器。Email：yangjie@qdu.edu.cn

近年來，隨著家用服務(wù)機(jī)器人的應(yīng)用越來越廣泛，機(jī)器人自主檢測(cè)和抓取物體成為人們研究的重點(diǎn)，而目標(biāo)檢測(cè)是機(jī)器人抓取任務(wù)的第一步。目前，在家用物體檢測(cè)方面進(jìn)行的相關(guān)研究，大多采用深度學(xué)習(xí)的方法。王忠塬等人［1］通過設(shè)計(jì)多卷積核的深度可分離分組卷積，改進(jìn)了Faster RCNN算法對(duì)小目標(biāo)特征的提取能力；莊千洋等人［2］采用通道剪枝算法，對(duì)YOLOv4網(wǎng)絡(luò)進(jìn)行剪枝，提升檢測(cè)網(wǎng)絡(luò)對(duì)家用物體檢測(cè)的綜合性能；劉奕帆等人［3］運(yùn)用K-D樹算法，對(duì)物體識(shí)別與定位方法算法進(jìn)行優(yōu)化，進(jìn)行家庭目標(biāo)物體的檢測(cè)；趙睿等人［4］通過增加YOLOv5算法的檢測(cè)頭，以提升密集場(chǎng)景下小目標(biāo)物體的檢測(cè)能力。以上算法雖然進(jìn)行了一定程度上的優(yōu)化，但仍然存在一些不足，如雙階段檢測(cè)算法模型質(zhì)量較大、訓(xùn)練時(shí)間長(zhǎng)、對(duì)顯存要求較高，后續(xù)難以進(jìn)行進(jìn)一步部署；單階段檢測(cè)算法的泛化能力較低，在復(fù)雜場(chǎng)景和遠(yuǎn)距離小目標(biāo)場(chǎng)景中檢測(cè)效果較差?；诖?，本文以YOLOv5m模型為基礎(chǔ)，對(duì)家用物體檢測(cè)優(yōu)化算法進(jìn)行研究。首先使用結(jié)構(gòu)簡(jiǎn)單且計(jì)算量小的GhostBottleneck模塊，替換C3_X中的Bottleneck，然后引入卷積注意力模塊［5］（convolutional block attention module，CBAM），提升對(duì)小目標(biāo)物體的檢測(cè)能力，并在自制家用物體數(shù)據(jù)集中進(jìn)行驗(yàn)證。研究結(jié)果表明，與原始的YOLOv5m算法相比，改進(jìn)后的算法YOLOv5m_GC_b，有效降低了參數(shù)量和計(jì)算量，可以更好地部署在嵌入式設(shè)備中，提高了對(duì)家用小物體的檢測(cè)性能。該研究具有廣闊的應(yīng)用前景。

1 YOLOv5算法

目標(biāo)檢測(cè)是對(duì)圖像中目標(biāo)物體的位置和大小進(jìn)行判定，隨著深度學(xué)習(xí)的不斷發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法也得到了廣泛應(yīng)用［6］。YOLOv5m由Input輸入層、Backbone主干層、Neck頸部層和Prediction預(yù)測(cè)層4部分組成［7］。Input輸入層由數(shù)據(jù)增強(qiáng)、錨框計(jì)算和圖片調(diào)整組成，Backbone主干層由Focus結(jié)構(gòu)、C3結(jié)構(gòu)和空間金字塔池化結(jié)構(gòu)［8］（spatial pyramid pooling，SPP）組成；Neck層為特征融合網(wǎng)絡(luò)，由特征金字塔［9］（feature pyramid networks，F(xiàn)PN）結(jié)構(gòu)和路徑聚合網(wǎng)絡(luò)［10］（path aggregation network，PAN）結(jié)構(gòu)組成;Prediction預(yù)測(cè)層是網(wǎng)絡(luò)的預(yù)測(cè)部分。YOLOv5m網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

2 改進(jìn)YOLOv5算法

2.1 輕量化模塊GhostBottleneck

YOLOv5網(wǎng)絡(luò)模型中標(biāo)準(zhǔn)卷積層較多，導(dǎo)致網(wǎng)絡(luò)參數(shù)量和計(jì)算量較大，基于此，華為諾亞方舟實(shí)驗(yàn)室提出了一種Ghost卷積［11］，與直接用常規(guī)卷積相比，Ghost卷積通過簡(jiǎn)單的濾波和線性變換，使計(jì)算量大幅度降低。

與原YOLOv5m算法相比，改進(jìn)的輕量型YOLOv5m_G算法，使用由Ghost Module組成的GhostBottleneck模塊，將YOLOv5主干網(wǎng)絡(luò)中C3_X結(jié)構(gòu)里的殘差組件Bottleneck進(jìn)行替換，使用較少的參數(shù)生成特征圖。Bottleneck模塊改進(jìn)結(jié)構(gòu)如圖2所示。

2.2 CBAM注意力機(jī)制

CBAM注意力模塊由通道注意模塊和空間注意模塊2個(gè)獨(dú)立的子模塊構(gòu)成［12］，是一種即插即用的模塊，嵌入CBAM模塊的2種YOLOv5m_G模型結(jié)構(gòu)如圖3所示。本文分別將CBAM注意模塊嵌入在Neck層“Contact”之后和Head層檢測(cè)頭之前，通過實(shí)驗(yàn)探討了對(duì)網(wǎng)絡(luò)性能的影響。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)收集

為使網(wǎng)絡(luò)能夠更好的學(xué)習(xí)，本研究采用自主收集數(shù)據(jù)集的方式，構(gòu)建適合的家用物體數(shù)據(jù)集。首先從現(xiàn)有開源數(shù)據(jù)集中進(jìn)行整理，從COCO2017和VOC2012數(shù)據(jù)集中整理餐具、蔬菜和水果等數(shù)據(jù)，然后利用Requests模塊，在網(wǎng)絡(luò)中爬取圖片并篩選整理，最后在日常生活環(huán)境中補(bǔ)充數(shù)據(jù)。在收集數(shù)據(jù)時(shí)，以不同的背景和照明條件進(jìn)行拍攝，從而使數(shù)據(jù)的形態(tài)和場(chǎng)景更加豐富。

本實(shí)驗(yàn)選取21類生活中常見的物品構(gòu)建數(shù)據(jù)集，杯子、筆、布偶、橙子、充電器、刀、訂書機(jī)、胡蘿卜、剪刀、蘋果、瓶子、勺子、手機(jī)、書、鼠標(biāo)、雙面膠、香蕉、牙膏、牙刷、眼鏡、遙控器，部分?jǐn)?shù)據(jù)集圖片如圖4所示。

按照8∶1∶1的比例，將該數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，測(cè)試集數(shù)量略高于驗(yàn)證集［13］，其中訓(xùn)練集共計(jì)37 102幅圖像，驗(yàn)證集共計(jì)4 637幅圖像，測(cè)試集共計(jì)4 650幅圖像。訓(xùn)練集與驗(yàn)證集用于模型訓(xùn)練與單次訓(xùn)練結(jié)果的評(píng)估，測(cè)試集用于最終模型的檢測(cè)效果評(píng)估［14］。

本文所用數(shù)據(jù)集中的圖像，分辨率根據(jù)拍攝設(shè)備不同而有所不同，為了增強(qiáng)數(shù)據(jù)的可靠性，對(duì)圖像經(jīng)自適應(yīng)縮放后，統(tǒng)一分辨率為640×640［15］。

3.2 數(shù)據(jù)標(biāo)注

在完成圖片的收集之后，采用LabelImg標(biāo)注工具［16］對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，數(shù)據(jù)標(biāo)注過程如圖5所示。對(duì)LabelImg標(biāo)注完成后，得到xml格式的標(biāo)簽文件，xml文件主要包含圖片大小、物體類型以及標(biāo)注矩形框的位置坐標(biāo)等信息［17］。

3.3 實(shí)驗(yàn)平臺(tái)

訓(xùn)練超參數(shù)設(shè)置如表1所示。實(shí)驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，使用Python編程語言，基于Pytorch框架，搭建整個(gè)模型，在谷歌提供的云服務(wù)器平臺(tái)Colab上，使用圖形處理器（graphics processing unit，GPU）資源進(jìn)行實(shí)驗(yàn)。

3.4 衡量指標(biāo)

本文采用平均精確率（mean average precision，mAP）、正向推理的計(jì)算量（floating point of operations，F(xiàn)LOPs）和參數(shù)量（parameters，params）來評(píng)價(jià)網(wǎng)絡(luò)性能。mAP作為目標(biāo)檢測(cè)領(lǐng)域衡量精度的重要指標(biāo)，一般在交并比為0.5時(shí)計(jì)算，即mAP@0.5；FLOPs為浮點(diǎn)運(yùn)算數(shù)，用來衡量模型的復(fù)雜程度；params主要用來形容模型的大小程度［18］。mAP的計(jì)算公式為

式中，C為物體種類總數(shù)，C=21；APi表示第i個(gè)類別的精確率，其中i為序號(hào)。

3.5 結(jié)果與分析

本文采用3種網(wǎng)絡(luò)模型YOLOv5m_G、YOLOv5m_GC_a和YOLOv5m_GC_b，在自建家用物體數(shù)據(jù)集的訓(xùn)練集和驗(yàn)證集中進(jìn)行訓(xùn)練，并在測(cè)試集上對(duì)模型的性能進(jìn)行對(duì)比分析［19］。不同網(wǎng)絡(luò)模型在測(cè)試集上的性能比較如表2所示。

通過對(duì)比YOLOv5m和YOLOv5m_G的性能可知，GhostBottleneck結(jié)構(gòu)明顯地減少YOLOv5m的參數(shù)量和計(jì)算量，但精確度相對(duì)較低。通過與YOLOv5m_GC_a和YOLOv5m_GC_b進(jìn)一步比較發(fā)現(xiàn)，將CBAM注意模塊集成到網(wǎng)絡(luò)的不同位置，其優(yōu)化性能也有所不同，將其嵌入到Neck中的“Contact”后，對(duì)檢測(cè)精度提升較小，而在Head前加入CBAM注意機(jī)制，可以有效提高網(wǎng)絡(luò)性能，比未加入注意力機(jī)制前的YOLOv5m_G，高出1.9%。

在保證檢測(cè)精度的前提下，與原始YOLOv5m算法相比，改進(jìn)后的算法YOLOv5m_GC_b的參數(shù)量降低了30%，計(jì)算量降低了37%，有效降低了參數(shù)量和計(jì)算量，便于更好地部署在嵌入式設(shè)備中［20］。

4 結(jié)束語

為了保證家用物體檢測(cè)精度，降低算法的計(jì)算量和參數(shù)量，本文提出一種基于改進(jìn)YOLOv5m的算法。采用GhostBottleneck代替網(wǎng)絡(luò)主干C3_X結(jié)構(gòu)中的Bottleneck，同時(shí)，為了提高檢測(cè)精度，將CBAM注意模塊嵌入到網(wǎng)絡(luò)中的不同位置，并進(jìn)行了多次實(shí)驗(yàn)。研究結(jié)果表明，將CBAM模塊嵌入Yolov5m_G網(wǎng)絡(luò)的Head之前，可有效提高檢測(cè)精度，在自建家用物體數(shù)據(jù)集訓(xùn)練結(jié)果可以看出，優(yōu)化的網(wǎng)絡(luò)模型YOLOv5m_GC_b，可較好地控制了模型計(jì)算量和參數(shù)量。以后的研究將考慮采用其他方法來改進(jìn)YOLOv5m_GC_b算法，進(jìn)一步提高網(wǎng)絡(luò)的檢測(cè)精度和速度，并將該算法應(yīng)用于家用服務(wù)機(jī)器人等嵌入式設(shè)備中。

參考文獻(xiàn)：

［1］ 王忠塬． 基于改進(jìn)Faster RCNN的小目標(biāo)檢測(cè)技術(shù)研究［D］． 長(zhǎng)春：長(zhǎng)春理工大學(xué)，2021．

［2］ 莊千洋． 室內(nèi)移動(dòng)機(jī)器人目標(biāo)搜尋與抓取研究［D］． 金華：浙江師范大學(xué)，2021．

［3］ 劉奕帆． 室內(nèi)服務(wù)機(jī)器人的定位與物體抓取研究［D］． 哈爾濱：哈爾濱工業(yè)大學(xué)，2020．

［4］ 趙睿，劉輝，劉沛霖，等． 基于改進(jìn)YOLOv5s的安全帽檢測(cè)算法［J/OL］． 北京航空航天大學(xué)學(xué)報(bào)：1-16［2022-06-06］．

［5］ WOO S，PARK J C，LEE J Y，et al． Cbam：Convolutional block attention module［J］． The European conference on computer vision （ECCV），2018：3-19．

［6］ 李澤輝，陳新度，黃佳生，等． 基于改進(jìn)YOLOv3的紋理瓷磚缺陷檢測(cè)［J］． 激光與光電子學(xué)進(jìn)展，2022，59（10）：294-302．

［7］ 王莉，何牧天，徐碩，等． 基于YOLOv5s網(wǎng)絡(luò)的垃圾分類和檢測(cè)［J］． 包裝工程，2021，42（8）：50-56．

［8］ SRI J S，ESTHER R P． LittleYOLO-SPP：A Delicate Real-Time Vehicle Detection Algorithm［J］． Optik，2020，225．

［9］ LIN T Y，DOLLR P，GIRSHICK R，et al． Feature pyramid networks for object detection［C］∥Conference on Computer Vision and Pattern Recognition． Honolulu，HI，USA：IEEE，2017：2117-2125．

［10］ LIU S，QI L，QIN H，et al． Path aggregation network for instance segmentation［C］∥Conference on Computer Vision and Pattern Recognition． Salt Lake City，UT，USA：IEEE，2018：8759-8768．

［11］ HAN K，WANG Y，TIAN Q，et al． Ghostnet：More features from cheap operations［C］∥Conference on Computer Vision and Pattern Recognition. Seattle，WA，USA：IEEE，2020：1580-1589．

［12］ 王陽萍，韓淑梅，楊景玉，等． 改進(jìn)YOLOv4的鐵路沿線遙感影像地物檢測(cè)方法［J］. 光譜學(xué)與光譜分析，2022，42（10） ：3275-3282．

［13］ 宋懷波，王云飛，段援朝，等． 基于YOLO v5-MDC的重度粘連小麥籽粒檢測(cè)方法［J］． 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（4）：245-253．

［14］ 李盼池，李文杰． 基于一維卷積神經(jīng)網(wǎng)絡(luò)的巖石物理相識(shí)別［J］． 吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2022，40（1）：51-63．

［15］ 吳睿，畢曉君． 基于改進(jìn)YOLOv5算法的珊瑚礁底棲生物識(shí)別方法［J］． 哈爾濱工程大學(xué)學(xué)報(bào)，2022，43（4）：580-586．

［16］ 肖德琴，林思聰，劉勤，等． 基于紅外熱成像的生豬耳溫自動(dòng)提取算法［J］． 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（8）：255-262．

［17］ 王鴻璞． 基于機(jī)器視覺的機(jī)械臂抓取研究及其應(yīng)用［D］． 徐州：中國(guó)礦業(yè)大學(xué)，2021．

［18］ 孫世丁，鄒小輝，付賽際，等． 基于深度學(xué)習(xí)的七類病毒電鏡圖像自動(dòng)識(shí)別［J］． 中華實(shí)驗(yàn)和臨床病毒學(xué)雜志，2021，35（1）：28-33．

［19］ 向玉開． 基于計(jì)算機(jī)紅外視覺的異常行為檢測(cè)［D］． 北京：中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院上海技術(shù)物理研究所），2019．

［20］ 張瑞琰，安軍社，姜秀杰. 一種基于連接敏感度的CNN初始化剪枝方法［J］． 計(jì)算機(jī)應(yīng)用與軟件，2020，37（11）：268-274，298．

Abstract：Aiming at the problems of the existing household object detection algorithm model，such as large amount of computation and poor detection effect on small objects，this paper proposes an optimization algorithm for household object detection based on YOLOv5. It uses lightweight GhostBottleneck to replace the Bottleneck structure and reduces network parameters. At the same time，the convolution attention module is added to the algorithm to strengthen the feature information of small target objects，so as to improve the detection performance of household small objects. In order to prove the effectiveness of the algorithm，three network models，YOLOv5m_G，YOLOv5m_GC_a and YOLOv5m_GC_b，are proposed in this paper. The model is trained in the training set and the validation set of the self-built household object dataset，and its performance is compared and analyzed on the test set. The research results show that，compared with the original YOLOv5m algorithm，the improved algorithm YOLOv5m_GC_b reduces the number of parameters by 30% and the computation amount by 37% under the premise of ensuring the detection accuracy. It can effectively reduce the number of parameters and the amount of computation，and facilitate better deployment in embedded devices. This research is innovative.

Key words：household object detection； YOLOv5； Ghost convolution； CBAM attention module