基于YOLOv4改進(jìn)算法的乒乓球識(shí)別

談小峰 王直杰

摘? 要：傳統(tǒng)的基于顏色分割的乒乓球識(shí)別方法易受光線、清晰度影響，魯棒性較低。為解決這一問題，對(duì)YOLOv4進(jìn)行改進(jìn)，用K-means聚類設(shè)計(jì)先驗(yàn)框，增強(qiáng)尺度適應(yīng)性。針對(duì)乒乓球尺寸，裁剪網(wǎng)絡(luò)分支并壓縮卷積層，加快特征提取速度。針對(duì)采集數(shù)據(jù)正負(fù)樣本不均衡，改進(jìn)損失函數(shù)，提高預(yù)測框邊界準(zhǔn)確度。使用快速NMS算法加速預(yù)測過程，提高模型的計(jì)算速度。實(shí)驗(yàn)結(jié)果表明，基于YOLOv4的改進(jìn)模型在乒乓球識(shí)別任務(wù)中精度達(dá)到94.12%，幀處理速率達(dá)到39.34fps。

關(guān)鍵詞：YOLOv4;乒乓球識(shí)別;K-means聚類;快速NMS算法

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）27-0074-03

Abstract： The traditional table tennis recognition method based on color segmentation is easily affected by light and clarity， and its robustness is low. In order to solve this problem， YOLOv4 is improved and a priori frame is designed by K-means clustering to enhance the scale adaptability. Aiming at the size of table tennis， the network branches are cut and the convolution layer is compressed to speed up the speed of feature extraction. In view of the imbalance between positive and negative samples of collected data， the loss function is improved to enhance the accuracy of the boundary of the prediction box. The fast NMS algorithm is used to accelerate the prediction process and increase the calculation speed of the model. The experimental results show that the accuracy of the improved model based on YOLOv4 in table tennis recognition task is 94.12%， and the frame processing rate is up to 39.34fps.

Keywords： YOLOv4; table tennis recognition; K-means clustering; fast NMS algorithm

1 概述

乒乓球識(shí)別技術(shù)屬于目標(biāo)檢測范疇，傳統(tǒng)的基于顏色分割的方法容易受到光線、球的清晰度以及復(fù)雜背景影響，識(shí)別魯棒性差。深度卷積神經(jīng)網(wǎng)絡(luò)由于能夠自主完成對(duì)目標(biāo)特征的學(xué)習(xí)，提取關(guān)鍵信息，因而具有較強(qiáng)的魯棒性。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法主要依托兩種思路，一種是基于目標(biāo)候選框思想的two-stage，另一種是基于回歸思想的one-stage。Two-stage先提取目標(biāo)候選框，再在其基礎(chǔ)上訓(xùn)練檢測模型，如Fast R-CNN， Faster R-CNN等[1-2]。而one-stage則沒有了目標(biāo)候選框提取操作，直接利用檢測網(wǎng)絡(luò)產(chǎn)生目標(biāo)的類別和位置信息，擁有了更高的檢測速度，如SSD，YOLOv3，YOLOv4等[3-4]。

針對(duì)乒乓球的尺寸特點(diǎn)和運(yùn)動(dòng)特性，本文對(duì)YOLOv4算法進(jìn)行改進(jìn)，在結(jié)構(gòu)上精簡網(wǎng)絡(luò)，在方法上引入一些調(diào)優(yōu)手段，實(shí)現(xiàn)算法的精度速度最優(yōu)平衡。首先對(duì)多尺度分支圖上的先驗(yàn)框進(jìn)行K-means聚類，根據(jù)聚類結(jié)果恰當(dāng)?shù)丶舻粼季W(wǎng)絡(luò)中的大尺度分支。剩下的兩個(gè)尺度分支在經(jīng)過降采樣之后分別與高層語義信息融合，構(gòu)建兩個(gè)尺度的目標(biāo)檢測層。由于乒乓球的輪廓細(xì)節(jié)并不如其他目標(biāo)復(fù)雜，為避免隨著網(wǎng)絡(luò)加深導(dǎo)致特征消失問題出現(xiàn)，分別在剩下的兩個(gè)目標(biāo)檢測分支中減少兩層卷積層，簡化特征提取步驟，以獲得表征目標(biāo)信息的不變特征。其次，在訓(xùn)練過程中，由于采集的數(shù)據(jù)存在正負(fù)樣本不均衡的問題，對(duì)損失函數(shù)做了一些改進(jìn)，同時(shí)利用高斯分布特性增加對(duì)邊界框可靠性的判斷。最后，使用NMS算法[5]加速預(yù)測過程，提高模型的計(jì)算速度。實(shí)驗(yàn)結(jié)果表明，基于YOLOv4的改進(jìn)模型在乒乓球識(shí)別中有很好的效果。

2 YOLOv4目標(biāo)檢測框架

2.1 YoLOv4算法原理

YOLOv4算法在原有YOLOv3目標(biāo)檢測架構(gòu)基礎(chǔ)上，從數(shù)據(jù)處理、主干網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練、激活函數(shù)、損失函數(shù)等各個(gè)方面引入一些優(yōu)化方法，使得模型在檢測速度和精度上達(dá)到了目前為止的最優(yōu)匹配[4]。YOLOv4首先通過特征提取網(wǎng)絡(luò)（也稱主干網(wǎng)絡(luò)）提取輸入圖像的特征，然后將輸入圖像劃分成S*S的網(wǎng)格，目標(biāo)中心所在的網(wǎng)格負(fù)責(zé)完成對(duì)目標(biāo)的檢測。為了完成對(duì)C類目標(biāo)的檢測，每個(gè)網(wǎng)格需要預(yù)測B個(gè)邊界框以及分別屬于C個(gè)類別的條件概率，并輸出表征邊界框中是否包含目標(biāo)及輸出邊界框準(zhǔn)確度的置信度信息Conf（Object）。

Pr（Object）用來表示是否有目標(biāo)物落入該候選網(wǎng)格中，如果有則為1，沒有則為0。IoU代表預(yù)測框與真實(shí)框之間的交并比，其中box（Pred）代表預(yù)測框，box（Truth）代表真實(shí)框。每個(gè)預(yù)測邊界框包含五個(gè)參數(shù)，分別是x，y，w，h，Conf（Object），其中（x，y）代表預(yù)測框中心與真實(shí)框中心的偏移，（w，h）代表預(yù)測框的寬和高。根據(jù)每個(gè)網(wǎng)格的輸出，模型最終輸出的參數(shù)為S×S×（5×5×B+C）。

2.2 YOLOv4算法核心

YOLOv4的主干網(wǎng)絡(luò)CSPDarknet53是算法的核心，用來提取目標(biāo)特征。借鑒CSPNet能夠在輕量化的同時(shí)保持準(zhǔn)確性、降低計(jì)算瓶頸、降低內(nèi)存成本[6]的經(jīng)驗(yàn)，YOLOv4在Darknet53的每個(gè)大殘差塊上加上CSP，將基礎(chǔ)層的特征映射劃分為兩部分，再通過跨階段層次結(jié)構(gòu)合并，在減少計(jì)算量的同時(shí)保證準(zhǔn)確率。CSPDarknet53的激活函數(shù)使用的是Mish激活函數(shù)，后面網(wǎng)絡(luò)沿用leaky_relu函數(shù)，實(shí)驗(yàn)證明這樣設(shè)置在目標(biāo)檢測中準(zhǔn)確率更高。

與YOLOv3算法采用FPN進(jìn)行上采樣不同，YOLOv4借鑒PANet網(wǎng)絡(luò)中信息流通思想，先通過上采樣方式將高層特征的語義信息傳播到低層網(wǎng)絡(luò)然后與底層特征的高分辨率信息相融合，提高小目標(biāo)檢測物的檢測效果。再增加從最底層到最上層的信息傳輸路徑，通過下采樣加強(qiáng)特征金字塔。最后用不同層的特征圖融合來做預(yù)測。

3 改進(jìn)的YOLOv4算法

3.1 K-means聚類

先驗(yàn)框的引入將目標(biāo)檢測問題轉(zhuǎn)化為固定格子內(nèi)是否有目標(biāo)物的問題以及預(yù)測框與真實(shí)框距離的問題，而且還摒棄了以往的多尺度滑動(dòng)窗口遍歷環(huán)節(jié)，使得目標(biāo)檢測的速度和精確度大大提升。YOLOv4的先驗(yàn)框是在VOC數(shù)據(jù)集的標(biāo)注上進(jìn)行聚類得到的。由于VOC數(shù)據(jù)集包含的物種多樣，物體長寬比例差別很大，所以先驗(yàn)框的差別也很大。然而在乒乓球識(shí)別任務(wù)中，乒乓球的形狀基本在不同幀中呈現(xiàn)的基本一致，因而直接使用原模型的先驗(yàn)框獲取方式顯然是行不通的。鑒于K-means算法對(duì)于數(shù)據(jù)集標(biāo)注框聚類效果頗佳，本文用它來獲取與乒乓球尺寸及比例相匹配的基準(zhǔn)框。對(duì)數(shù)據(jù)集中的標(biāo)簽分布情況進(jìn)行統(tǒng)計(jì)，從1開始不斷增加聚類中心的個(gè)數(shù)，經(jīng)過迭代，分別獲得聚類中心。由于使用歐式距離衡量標(biāo)簽相似性會(huì)導(dǎo)致大尺寸標(biāo)簽產(chǎn)生更大的誤差，影響聚類結(jié)果，所以將聚類中心與標(biāo)簽的交并比（IoU（1，c））作為K-means聚類的相似度參數(shù)。聚類距離計(jì)算公式如下所示[3-4]：

3.2 面向小尺寸乒乓球的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

通常卷積神經(jīng)網(wǎng)絡(luò)層數(shù)越深，模型提取到的目標(biāo)語義信息就越豐富。然而隨著卷積層的加深，一方面會(huì)使得計(jì)算量大大增加，推理速度變緩，另一方面會(huì)導(dǎo)致特征消失問題出現(xiàn)。尤其如乒乓球這類語義信息本就不是很豐富的目標(biāo)。因此本文根據(jù)K-means聚類分析的結(jié)果，簡化網(wǎng)絡(luò)的特征提取過程。YOLOv4模型的原三個(gè)分支分別用來識(shí)別圖像中的大中小三類目標(biāo)。為了適合乒乓球尺寸特性，本文減去其用來識(shí)別大目標(biāo)的分支，保留剩下兩個(gè)分支，并分別將8倍降采樣層、16倍降采樣層與高層語義信息層進(jìn)行融合，在兩個(gè)尺度上建立乒乓球特征檢測層。同時(shí)對(duì)于每個(gè)目標(biāo)檢測層的深度進(jìn)行逐步壓縮，以充分利用低層特征圖提取的細(xì)節(jié)信息?？紤]到網(wǎng)絡(luò)的輸入分辨率對(duì)模型的檢測精度和速度影響，首先將數(shù)據(jù)集圖像統(tǒng)一縮放到3通道分辨率為608×608像素的形式，輸入到CSPDarknet53，經(jīng)過卷積層提取目標(biāo)特征，交替使用3×3和1×1大小的卷積核進(jìn)行運(yùn)算，基于改進(jìn)的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)，融合中等特征圖的細(xì)節(jié)信息和小特征圖的語義信息，在剩余兩個(gè)尺度上訓(xùn)練出最終的乒乓球識(shí)別模型。

3.3 損失函數(shù)改進(jìn)

YOLOv4的提出者認(rèn)為損失函數(shù)的設(shè)計(jì)是能夠提高精度而不增加推斷時(shí)間的優(yōu)化技術(shù)之一。傳統(tǒng)的目標(biāo)檢測器通常使用均方誤差直接對(duì)邊界框的中心點(diǎn)坐標(biāo)和高度、寬度進(jìn)行回歸，而基于anchor的方法是估計(jì)相應(yīng)的偏移量，這都沒有考慮對(duì)象本身的完整。原模型損失函數(shù)設(shè)計(jì)時(shí)就已經(jīng)考慮了邊界框坐標(biāo)預(yù)測誤差、邊界框的置信度誤差以及識(shí)別物體所屬類別預(yù)測誤差。為解決采集數(shù)據(jù)樣本不均衡的問題，本文借鑒Focal Loss[7]的思路，給交叉熵函數(shù)添加一個(gè)調(diào)制系數(shù)？琢，變成

同時(shí)受Gaussian YOLOv3[8]的啟發(fā)，為了提高乒乓球檢測精度，利用高斯分布特性來改進(jìn)損失函數(shù)，增加對(duì)乒乓球識(shí)別的邊界框可靠性判斷，以邊界框中心點(diǎn)x方向坐標(biāo)為例，修改后的邊界框x坐標(biāo)預(yù)測誤差計(jì)算方法如下公式所示：

式中tx表示邊界框的中心坐標(biāo)相對(duì)于網(wǎng)格左上角x坐標(biāo)的偏移量。？滋■為邊框的坐標(biāo)，？撞為各坐標(biāo)的不確定性。

3.4 快速NMS算法

傳統(tǒng)NMS算法按照檢測出來的目標(biāo)框的置信分?jǐn)?shù)進(jìn)行降序排列，并設(shè)置一個(gè)IoU閾值，去除大于該閾值的邊界框，直到遍歷完所有的預(yù)測框，剩下的邊界框即作為最終目標(biāo)檢測結(jié)果。由于是順序遍歷需要對(duì)每一個(gè)類別進(jìn)行排序篩選，會(huì)導(dǎo)致算法速度上的損失。本文采用并行處理方式，并行地對(duì)每個(gè)邊界框進(jìn)行篩選和保留。首先輸入所有未經(jīng)過篩選的網(wǎng)絡(luò)預(yù)測框，按照置信分?jǐn)?shù)降序排列，每個(gè)類別僅選取前N個(gè)檢測結(jié)果，然后對(duì)每一類的結(jié)果計(jì)算兩兩交并比，得到IoU矩陣。其對(duì)角線元素和下三角為自交并比和重復(fù)計(jì)算，將其置為0。計(jì)算IoU矩陣最大值，濾除閾值界限外的框，最后剩余的篩選結(jié)果便是最終的識(shí)別結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)預(yù)處理

本文訓(xùn)練和測試用數(shù)據(jù)一部分通過雙目相機(jī)在實(shí)驗(yàn)室拍攝采集，另一部分來源于網(wǎng)絡(luò)乒乓球比賽視頻，共組成5102張圖片。為獲得更好的訓(xùn)練效果，本文借鑒YOLOv4作者的觀點(diǎn)，采用Mosaic數(shù)據(jù)增強(qiáng)的方式，對(duì)數(shù)據(jù)集隨機(jī)選取四張圖片，隨機(jī)縮放，再隨機(jī)分布進(jìn)行拼接。這樣不僅大大擴(kuò)充了原始采集的數(shù)據(jù)集，而且還豐富了圖片的背景。當(dāng)進(jìn)行隨機(jī)裁剪的時(shí)候，如果裁剪了樣本當(dāng)中的標(biāo)簽框的部分區(qū)域，則將其舍棄，保留裁剪之后還完整的標(biāo)簽框。因?yàn)樵陔S機(jī)縮放過程中增加了很多小目標(biāo)，平衡了原始數(shù)據(jù)集目標(biāo)尺度問題，網(wǎng)絡(luò)的魯棒性更好。Mosaic數(shù)據(jù)增強(qiáng)還有一個(gè)好處是在訓(xùn)練時(shí)可以直接計(jì)算4張圖片的數(shù)據(jù)，變相提高batch-size，使得訓(xùn)練設(shè)置的Mini-batch大小并不需要很大，降低模型訓(xùn)練難度。

4.2 評(píng)價(jià)指標(biāo)

在目標(biāo)檢測領(lǐng)域，為了準(zhǔn)確評(píng)估模型檢測效果，往往需要計(jì)算被檢目標(biāo)的精準(zhǔn)率P（Precision）和召回率R（Recall）。

式中，TP代表模型正確檢測出來的目標(biāo)數(shù)量;FP代表模型誤檢的目標(biāo)數(shù)量;FN代表模型漏檢的目標(biāo)數(shù)量。PR曲線是一條分別以P和R為橫縱坐標(biāo)的曲線。平均精準(zhǔn)度指標(biāo)（Average Precision，AP）反映的是PR曲線下的面積，綜合了精確率和召回率的結(jié)果，用于評(píng)估模型在單個(gè)檢測類別上的表現(xiàn)。

4.3 實(shí)驗(yàn)設(shè)置

使用具有8G內(nèi)存、1050TI獨(dú)立顯卡并且cuda10.1加速框架的計(jì)算機(jī)，在Ubuntu18.04操作系統(tǒng)下對(duì)原始YOLOv4網(wǎng)絡(luò)和本文改進(jìn)YOLOv4網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練。訓(xùn)練開始階段，衰減系數(shù)設(shè)置為0.0005，學(xué)習(xí)率設(shè)置為 0.001，并且選擇step模式更新學(xué)習(xí)率，在訓(xùn)練迭代次數(shù)達(dá)到15000和20000次時(shí)，將學(xué)習(xí)率分別降低至初始學(xué)習(xí)率的10%和1%。

4.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)發(fā)現(xiàn)，隨著聚類中心的個(gè)數(shù)k逐漸增加，聚類距離d越小。但當(dāng)k大于4時(shí)，d減小的程度非常緩慢。為了避免冗余，選擇k=4時(shí)的四個(gè)聚類中心（15，11），（30，25）（48，35），（58，47）。考慮到Mosaic數(shù)據(jù)增強(qiáng)過程中，不排除有一些乒乓球尺寸被放大，所以加入一組稍大的（62，70）來匹配。

針對(duì)采集數(shù)據(jù)集數(shù)量有限的問題，先用目標(biāo)檢測通用數(shù)據(jù)集VOC2007在同等環(huán)境下分別對(duì)YOLOv4網(wǎng)絡(luò)和本文改進(jìn)的YOLOv4網(wǎng)絡(luò)預(yù)訓(xùn)練，將預(yù)訓(xùn)練參數(shù)作為模型初始參數(shù)。實(shí)驗(yàn)發(fā)現(xiàn)，模型在經(jīng)過較少迭代次數(shù)之后，訓(xùn)練損失快速下降并且最終達(dá)到一個(gè)較低值水平，迭代次數(shù)達(dá)到30000次基本可以停止迭代，過程中每100次迭代進(jìn)行依次驗(yàn)證。本文改進(jìn)的YOLOv4模型和原始YOLOv4網(wǎng)絡(luò)在乒乓球識(shí)別任務(wù)中的檢測結(jié)果對(duì)比如表1所示。

5 結(jié)束語

本文基于目標(biāo)檢測模型YOLOv4進(jìn)行改進(jìn)，用于對(duì)運(yùn)動(dòng)過程中的乒乓球識(shí)別。針對(duì)采集數(shù)據(jù)集特點(diǎn)，采用K-means方法對(duì)數(shù)據(jù)標(biāo)簽聚類。面向小尺寸乒乓球優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，減去大目標(biāo)分支并壓縮特征提取層。通過改進(jìn)損失函數(shù)提高了位置定位能力，使用快速 NMS 算法提高網(wǎng)絡(luò)實(shí)時(shí)性。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法比原始YOLOv4在精度和速度性能方面都有一定的提升，可以應(yīng)用于乒乓球機(jī)器人視覺系統(tǒng)，對(duì)球進(jìn)行位置跟蹤和軌跡預(yù)測，也可以應(yīng)用于其他涉及目標(biāo)檢測、目標(biāo)跟蹤和軌跡預(yù)測的球類運(yùn)動(dòng)場景中。

參考文獻(xiàn)：

[1]Jun M R， Luo H B， Wang Z B， et al. Improved yolov3 algorithm and its application in small target detection[J]. Acta Optica Sinica， 2019， 39（12）：1210002.

[2]Zhi Tian， Chunhua Shen， Hao Chen， Tong He. FCOS： fully convolutional one-stage object detection[EB/OL]：https：//arxiv.org/abs/1904.01355，[2019-04-02].

[3]Redmon J， Farhadi A. YOLOv3： An Incremental Improvement[J].2018.arXiv preprint arXiv：1804.02767，20.

[4]Bochkovskiy A， Wang C Y， Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J]. 2020.

[5]Neubeck A， Van Gool L. Efficient Non-Maximum Suppression[C]. international conference on pattern recognition， 2006： 850-855.

[6]Wang C， Liao H M， Yeh I， et al. CSPNet： A New Backbone that can Enhance Learning Capability of CNN[J]. arXiv： Computer Vision and Pattern Recognition， 2019.

[7]Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection[J]. Transactions on Pattern Analysis & Machine Intelligence， IEEE， 2017， 99： 2999-3007.

[8]Jiwoong Choi， Dayoung Chun， Hyun Kim， et al. Gaussian YOLOv3： An Accurate and Fast Object Detector Using Localization Uncertainty[EB/OL].（2019-04-09）[2019-08-12].