基于YOLOv4算法的集裝箱破損檢測方法

馬林 朱昌明 周日貴

摘要：針對港口集裝箱破損檢測的算法較少，并且存在檢測速度慢、檢測精度低的問題，本文提出一種基于改進(jìn)的YOLOv4卷積神經(jīng)網(wǎng)絡(luò)的集裝箱破損檢測方法。通過改進(jìn)的K均值聚類算法獲取集裝箱數(shù)據(jù)集的錨點(diǎn)框，結(jié)合焦點(diǎn)分類損失函數(shù)，減少易分類樣本的損失;引入α平衡因子調(diào)節(jié)正負(fù)樣本的不均衡，使檢測結(jié)果更加精確。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv4算法比目前流行的算法在明顯破損檢測及小目標(biāo)破損檢測上具有更好的效果，且不會明顯增加檢測時(shí)間，在集裝箱破損檢測等方面具有較高的實(shí)用價(jià)值。

關(guān)鍵詞： 港口應(yīng)用; YOLOv4; K均值聚類; 焦點(diǎn)分類損失函數(shù); 破損檢測

中圖分類號： TP391.41 ? ?文獻(xiàn)標(biāo)志碼： A

Abstract： There are few algorithms for port container damage detection， and there are problems of slow detection speed and low detection accuracy. Aimed at the problems， an improved YOLOv4 convolutional neural network is proposed for container damage detection. The anchor frame of the container dataset is obtained by an improved K-means clustering algorithm， and the focus classification loss function is combined to reduce the loss of easily classification samples. The α balance factor is introduced to adjust the imbalance between positive and negative samples， which makes the detection results more accurate. The experimental results show that， compared with the current popular algorithm， the improved YOLOv4 algorithm is of better effect on obvious damage detection and small target damage detection， and the detection time does not significantly increase， so it has a higher practical value in container damage detection.

Key words： port application; YOlOv4; K-means clustering; focus classification loss function; damage detection

0 引 言

隨著全球經(jīng)濟(jì)一體化發(fā)展，越來越多的國際貿(mào)易貨物需經(jīng)由港口運(yùn)輸，港口作業(yè)的高效和安全變得越來越重要，而集裝箱的智能化管理是影響港口作業(yè)效率的主要因素之一。為此，一些學(xué)者提出了箱號識別，如：WANG等[1]采用一種基于深度學(xué)習(xí)的目標(biāo)檢測算法Faster-RCNN對集裝箱箱號進(jìn)行檢測識別;BU等[2]采用改進(jìn)的區(qū)域生成網(wǎng)絡(luò)實(shí)現(xiàn)箱號檢測，再通過CNN對目標(biāo)字符進(jìn)行識別;馬欣欣等[3]將傳統(tǒng)的加權(quán)模板算法應(yīng)用到集裝箱檢測上。針對破損檢測方面的研究，江南等[4]對單個絕緣子利用圖像處理技術(shù)進(jìn)行定位檢測，楊鵬等[5]結(jié)合信息熵與低秩張量之間的差熵檢測破損區(qū)域。這些利用傳統(tǒng)機(jī)器學(xué)習(xí)檢測破損區(qū)域的方法有2個缺點(diǎn)：（1）無法達(dá)到實(shí)時(shí)檢測;（2）對復(fù)雜的自然場景的檢測準(zhǔn)確率低。對比傳統(tǒng)學(xué)習(xí)方法，當(dāng)前深度學(xué)習(xí)算法有更好的目標(biāo)檢測效果。2017年，LIN等[6]提出焦點(diǎn)分類損失函數(shù)，解決了目標(biāo)檢測中正負(fù)樣本不均衡的問題。本文基于已有的研究，結(jié)合集裝箱數(shù)據(jù)集和箱頂洞破損特征，采用YOLOv4[7]算法和焦點(diǎn)分類損失函數(shù)調(diào)整檢測類別的目標(biāo)權(quán)重，使模型更注重對明顯破損區(qū)域和劃痕或小孔等區(qū)域的檢測;使用K均值聚類[8]生成集裝箱數(shù)據(jù)集的錨點(diǎn)框，提高檢測準(zhǔn)確性。最后，通過實(shí)驗(yàn)結(jié)果證明，本文方法可以同時(shí)提高集裝箱破損檢測的平均精度和速度。

1 YOLOv4算法

1.1 YOLOv4算法原理

YOLOv4[7]算法以YOLOv3算法為基礎(chǔ)，在特征提取網(wǎng)絡(luò)的修改、網(wǎng)絡(luò)訓(xùn)練方法、激活函數(shù)運(yùn)用、損失函數(shù)的改進(jìn)以及數(shù)據(jù)預(yù)處理等各方面做出改進(jìn)。該算法主要由特征提取層、特征融合層和預(yù)測層3個部分組成，具體結(jié)構(gòu)見圖1。

圖1中，CBM塊為卷積層、歸一化和Mish激活函數(shù)的結(jié)合;CBL塊為卷積層、歸一化和Leaky激活函數(shù)的結(jié)合;Res為兩個CBM塊加上跳層連接組合;SPP是空間特征金字塔池化，由3個池化層組成。

1.2 YOLOv4算法核心

YOLO網(wǎng)絡(luò)是一種基于深度學(xué)習(xí)的單階段目標(biāo)檢測算法，具有較快的檢測速度，在實(shí)際應(yīng)用中也取得了較好的效果。YOLO網(wǎng)絡(luò)將輸入的圖片劃分為大小為N×N的網(wǎng)格，當(dāng)破損區(qū)域落入某個網(wǎng)格中時(shí)，由該網(wǎng)絡(luò)負(fù)責(zé)檢測目標(biāo)[9]。與其他單階段算法相比，YOLO能夠更加有效地檢測不同尺度的目標(biāo)區(qū)域，同時(shí)YOLO在速度性能上表現(xiàn)突出，可以滿足港口集裝箱破損檢測的需求。

YOLOv4[7]的網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv3的更復(fù)雜，它主要是在YOLOv3的基礎(chǔ)上進(jìn)行了以下改進(jìn)：

（1）輸入端。對輸入圖像數(shù)據(jù)進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)，通過分別對4張圖片進(jìn)行翻轉(zhuǎn)、縮放、色域改變等，并且按照4個方向位置擺好，進(jìn)行圖像的組合，極大地豐富了檢測物體背景。

（2）主干特征提取網(wǎng)絡(luò)。在每個Darknet53中添加CSP模塊[10]，并且在主干網(wǎng)絡(luò)中使用Mish激活函數(shù)，同時(shí)使用Dropblock正則化方式隨機(jī)刪除神經(jīng)元，防止過擬合。

（3）特征融合模塊。在特征提取網(wǎng)絡(luò)與最后的輸出層之間添加SPP[11]模塊和PANet[12]模塊，使網(wǎng)絡(luò)進(jìn)行多尺度特征信息融合。

（4）預(yù)測模塊。在3個不同尺度的特征圖上分別對大、中和小目標(biāo)進(jìn)行檢測預(yù)測，在特征圖上應(yīng)用錨點(diǎn)框，并生成帶有類概率、對象得分和包圍框的最終輸出向量[6]。

2 YOLOv4網(wǎng)絡(luò)模型改進(jìn)

2.1 錨點(diǎn)框更新

錨點(diǎn)框的大小對于YOLOv4網(wǎng)絡(luò)十分重要，若初始邊界框參數(shù)更接近真實(shí)邊界框，則模型收斂速度會更快，并且預(yù)測邊界會更加貼合真實(shí)邊界框。

YOLOv4算法在訓(xùn)練前可通過K均值聚類算法對相應(yīng)標(biāo)注集中的邊界框?qū)挕⒏哌M(jìn)行聚類，以獲得初始邊界框尺寸。由于在標(biāo)準(zhǔn)K均值聚類算法中用歐氏距離度量兩點(diǎn)間的距離，較大邊界框的尺寸誤差比較小邊界框的大。為提高檢測準(zhǔn)確率，對K均值聚類算法進(jìn)行優(yōu)化。根據(jù)交并比的重疊度選取更適合的錨點(diǎn)框，采用如下距離公式[13]使邊界框交并比的大小與邊界框尺寸無關(guān)。

為驗(yàn)證引入焦點(diǎn)分類損失函數(shù)的有效性，將原網(wǎng)絡(luò)結(jié)構(gòu)與本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行對比。其中焦點(diǎn)分類損失函數(shù)參數(shù)γ=2，α1、α2、α3分別設(shè)置為1、2、2。這里針對不同類別設(shè)置權(quán)重，可以使模型更加注重檢測明顯破損區(qū)域、小目標(biāo)（劃痕或小孔）。由表3可知，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv3在槽、明顯破損區(qū)域的檢測精度上都有明顯提升，明顯破損區(qū)域的檢測平均精度由35.29%上升到73.46%，小目標(biāo)的檢測平均精度則由22.60%上升到31.57%。本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv4在檢測明顯破損區(qū)域和小目標(biāo)上也有明顯的提升。另外，本文改進(jìn)的算法比原算法在平均精度均值上提升了6.46%，這表示改進(jìn)后的算法減少了小目標(biāo)的漏檢、誤檢等情況，提高了算法性能。

運(yùn)行時(shí)間增加是因?yàn)闄z測到了更多的目標(biāo)。對小目標(biāo)檢測的平均精度不太高是因?yàn)閿?shù)據(jù)集是人工標(biāo)注的，可能存在對小目標(biāo)區(qū)域漏標(biāo)、多標(biāo)等情況。另外，對于劃痕或小孔等小目標(biāo)的檢測，自然場景數(shù)據(jù)集會產(chǎn)生許多的干擾，如集裝箱上的黑漆、銹跡、水漬、光照等[19-20]。

為驗(yàn)證本文算法的有效性，表3展示幾個比較有名的算法的性能比較，其中：SSD512[15]采用不同的卷積對不同特征圖進(jìn)行檢測;Efficientdet-d0、Efficientdet-d1[21]具有可擴(kuò)展體系結(jié)構(gòu)，其主要利用反復(fù)自上向下和自下向上的特征融合，將特征進(jìn)行回歸和分類。

由表3可知，本文算法具有最優(yōu)的表現(xiàn)。圖2展示的是算法改進(jìn)前后目標(biāo)檢測的效果圖，其中：藍(lán)色框表示槽（類別1）的部分;黃色框表示明顯破損部分（類別2）;紅色框是劃痕或小孔部分（類別3）;各個框的上方是對預(yù)測類別的置信度得分。由圖2可見，本文算法對集裝箱破損檢測的效果很好。

4 總結(jié)和未來工作

港口集裝箱破損智能化檢測將是大勢所趨，故本文針對集裝箱破損檢測設(shè)計(jì)了一種改進(jìn)的YOLOv4算法。首先采用優(yōu)化的K均值聚類算法獲得特定數(shù)據(jù)集合適的錨點(diǎn)框，接著對小目標(biāo)分類損失函數(shù)權(quán)重進(jìn)行修改，使正負(fù)樣本不平衡問題得到充分緩解。經(jīng)測試發(fā)現(xiàn)，本文算法比目前流行的算法在明顯破損區(qū)域和小目標(biāo)（劃痕或小孔）檢測方面具有較好的檢測效果，比未改進(jìn)YOLOv4算法的平均精度均值提升了10%左右，其中對明顯破損區(qū)域和小目標(biāo)的檢測平均精度分別上升了10.57%和13.53%。

本文以YOLOv4算法作為主要網(wǎng)絡(luò)架構(gòu)，主要貢獻(xiàn)如下：（1）針對在集裝箱破損檢測中對明顯破損區(qū)域和小目標(biāo)定位不準(zhǔn)確問題，通過對數(shù)據(jù)集進(jìn)行聚類處理，獲取更準(zhǔn)確的錨點(diǎn)框。（2）對分類損失函數(shù)進(jìn)行修改，使集裝箱破損正負(fù)樣本不均衡問題得到緩解，提高了檢測效果。

未來集裝箱破損檢測研究可以關(guān)注以下問題：（1）針對數(shù)據(jù)集標(biāo)注問題、小目標(biāo)檢測平均精度低的問題，劃分更規(guī)范的標(biāo)注標(biāo)準(zhǔn)，減少檢測錯誤和誤檢測。（2）減少光照、雨水等對圖像的干擾。

參考文獻(xiàn)：

[1] WANG Zhiming， WANG Wuxi， XING Yuxiang. Automatic container code recognition via Faster-RCNN[C]//International Conference on Control， Automation and Robotics （ICCAR）. 2019： 870-874. DOI： 10.1109 / ICCAR.2019.8813401.

[2] BU Wanghui， YAN Shuang， CHEN Jing， et al. Visual recognition of container number with arbitrary orientations based on deep convolutional neural network[C]//2018 10th International Conference on Intelligent Human-Machine Systems and Cybernetics. IEEE， 2018： 204-207. DOI： 10.1109/IHMSC.2018.10153.

[3] 馬欣欣， 李小平. 集裝箱箱號字符識別關(guān)鍵技術(shù)的研究[J]. 現(xiàn)代電子技術(shù)， 2019， 42（14）： 131-134， 139. DOI： 10.16652/j.issn.1004-373x.2019.14.030.

[4] 江南， 李怡然， 黃毅標(biāo)， 等. 基于絕緣子的高空電線桿損壞檢測技術(shù)[J]. 機(jī)械設(shè)計(jì)與制造工程， 2019， 48（3）： 107-111. DOI： 10.3969/j.issn.2095-509X.2019.03.025.

[5] 楊鵬， 劉德兒， 李瑞雪， 等. 結(jié)合信息熵與低秩張量分析的金屬零件破損檢測[J]. 激光與光電子學(xué)進(jìn)展， 2019， 56（21）： 64-71. DOI： 10.3788/LOP56.211006.

[6] LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2020， 42（2）： 318-327. DOI： 10.1109/TPAMI.2018.2858826.

[7] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection[EB/OL]. arXiv： 2004.10934[cs.CV]. https：//arxiv.org/abs/2004.10934v1.

[8] 王菲菲， 李秦， 張夢佳. k-means聚類算法的改進(jìn)研究[J]. 甘肅科技縱橫， 2017， 46（3）： 68-70. DOI： 10.3969/j.issn.1672-6375.2017.03.021.

[9] 陳正斌， 葉東毅， 朱彩霞， 等. 基于改進(jìn)YOLOv3的目標(biāo)識別方法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2020， 29（1）： 49-58. DOI： 10.15888/j.cnki.csa.007230.

[10] WANG C Y， LIAO H Y M， YEH I H， et al. CSPNet： a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. IEEE， 2020： 1571-1580. DOI： 10.1109/CVPRW50498.2020.00203.

[11] PURKAIT P， ZHAO Cheng， ZACH C. SPP-net： deep absolute pose regression with synthetic views[EB/OL]. arXiv：1712.03452[cs.CV]. https：//arxiv.org/abs/1712.03452v1.

[12] WANG Xiaolan， WANG Shuo， CAO Jiaqi， et al. Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net[J]. IEEE Access， 2020， 8： 110227-110236. DOI： 10.1109/ACCESS.2020.3001279.

[13] LIU Shu， QI Lu， QIN Haifang， et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018： 8759-8768. DOI： 10.1109/CVPR.2018.00913.

[14] 黃鳳榮， 李楊， 郭蘭申， 等. 基于Faster R-CNN的零件表面缺陷檢測算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2020， 32（6）： 883-893. DOI： 10.3724/SP.J.1089.2020.17981.

[15] LIU Wei， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector[C]//Computer Vision–ECCV 2016. Lecture Notes in Computer Science， 2016， 9905： 21-37. DOI： 10.1007/978-3-319-46448-0_2.

[16] LI Ye， SHI Fangye， HOU Shaoqi， et al. Feature pyramid attention model and multi-label focal loss for pedestrian attribute recognition[J]. IEEE Access， 2020， 8： 164570-164579. DOI： 10.1109/ACCESS.2020.3010435.

[17] ZHU Qinfeng， ZHENG Huifeng， WANG Yuebing， et al. Study on the evaluation method of sound phase cloud maps based on an improved YOLOv4 algorithm[J]. Sensors， 2020， 20（15）： 4314. DOI： 10.3390/s20154314.

[18] LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context[C]//Computer Vision–ECCV 2014. Lecture Notes in Computer Science， 2014， 8693： 740-755. DOI： 10.1007/978-3-319-10602-1_48.

[19] 任海鵬， 馬展峰. 基于復(fù)雜網(wǎng)絡(luò)特性的帶鋼表面缺陷識別[J]. 自動化學(xué)報(bào)， 2011， 37（11）： 1407-1412. DOI： 10.3724/SP.J.1004.2011.01407.

[20] 徐志剛， 車艷麗， 李金龍， 等. 路面破損圖像自動處理技術(shù)研究進(jìn)展[J]. 交通運(yùn)輸工程學(xué)報(bào)， 2019， 19（1）： 176-194.

[21] TAN Mingxing， PANG Ruoming， LE Q V. EfficientDet： scalable and efficient object detection[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2020： 10778-10787. DOI： 10.1109/CVPR42600.2020.01079.

（編輯 賈裙平）