基于YOLOv5的香煙目標(biāo)檢測算法

李丹妮，欒 靜，穆金慶

（新疆師范大學(xué) 計算機科學(xué)技術(shù)學(xué)院，新疆 烏魯木齊 830054）

0 引言

在計算機視覺領(lǐng)域，目標(biāo)檢測是計算機視覺中的關(guān)鍵課題之一，其目標(biāo)是尋找目標(biāo)的邊界框并對圖像進(jìn)行分類。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，目標(biāo)檢測主流算法的精度和速度都有了很大提升，針對大目標(biāo)和中目標(biāo)的檢測，檢測效果取得了不錯的結(jié)果，但是在小目標(biāo)上（通常定義像素32x32 以下的目標(biāo)）的檢測性能仍然不盡人意。由于目標(biāo)的低分辨率和有限的像素，小目標(biāo)檢測是困難的。其主要原因在于小目標(biāo)通常缺乏充足的外觀信息，無法將它們與背景或相似的目標(biāo)區(qū)分開來。同時，小目標(biāo)檢測還存在著數(shù)據(jù)集缺乏的問題，PASCAL VOC［1］中包含的目標(biāo)都是通常大小的目標(biāo)；COCO［2］中的小目標(biāo)數(shù)量太少且分布不均勻；WIDER FACE、FDDB 小人臉數(shù)據(jù)集和DOTA、UCAS-AOD 航拍數(shù)據(jù)集，不具有目標(biāo)檢測通用性［3］。由此可見，小目標(biāo)檢測任務(wù)任重而道遠(yuǎn)。

近年來，深度卷積網(wǎng)絡(luò)在目標(biāo)檢測領(lǐng)域占據(jù)主導(dǎo)地位，如two-stage 方法中的Faster R-CNN［4］，one-stage 方法中的SSD［5］、YOLOv3［6］、YOLOv4［7］等。Faster R-CNN 由region proposal network（RPN）組成，首先選擇對象的候選邊界框，然后利用Fast R-CNN［8］進(jìn)一步生成準(zhǔn)確的對象區(qū)域和類別標(biāo)簽，在VOC2012 數(shù)據(jù)集上達(dá)到最高的精度34.9%AP，對于小、中、大目標(biāo)的精度分別為15.6%AP、38.7%AP 和50.9%AP。SSD 基于一組預(yù)設(shè)的錨框直接預(yù)測不同尺度特征圖的目標(biāo)位置和尺度，以VGG-16 作為主干網(wǎng)絡(luò)在COCO 數(shù)據(jù)集上的達(dá)到的最高精度為28.8%AP，對于小、中、大目標(biāo)的精度分別為10.9%AP、31.8%AP 和43.5%AP。YOLOv3 通過對YOLOv2［9］進(jìn)行了一系列設(shè)計更改，例如設(shè)計跨尺度預(yù)測和使用Darknet-53 作為主干網(wǎng)絡(luò)進(jìn)行特征提取，在COCO 數(shù)據(jù)集上達(dá)到33%AP，對于小、中、大目標(biāo)的精度分別為18.3%AP、35.4%AP 和41.9%AP。YOLOv4 使用CSPDarknet-53 作為主干網(wǎng)絡(luò)，利用SPP［10］和PANnet［11］結(jié)構(gòu)加強特征提取，使模型的檢測精度達(dá)到43.5%AP，對小、中、大目標(biāo)的檢測精度分別為26.7%AP、46.7%AP 和53.3%AP。上述幾種目標(biāo)檢測算法在大目標(biāo)、中目標(biāo)檢測中表現(xiàn)出明顯的優(yōu)勢，但對于小目標(biāo)檢測，效果卻不盡人意。

吸煙現(xiàn)在普遍存在于日常生活中，其不僅影響吸煙者的健康與生命，而且對他人及空氣質(zhì)量的危害也不容小覷。盡管我國在公共場所、公共交通工具等地明令禁止吸煙，采取張貼禁煙指示牌等措施，但防控效果差強人意。針對這一現(xiàn)象，將本文要檢測的目標(biāo)的小目標(biāo)定為香煙目標(biāo)。

目前國內(nèi)對香煙目標(biāo)檢測的文獻(xiàn)微乎其微，普遍是對吸煙行為的檢測，主要是基于煙霧動態(tài)特征、行為識別等。張洋等［12］提出一種基于弱監(jiān)督細(xì)粒度結(jié)構(gòu)與EfficientDet 網(wǎng)絡(luò)的吸煙行為識別算法。該算法使用弱監(jiān)督細(xì)粒度兩級注意力模型框架形成候選區(qū)域塊，再通過融合選擇相關(guān)塊形成特定物體的物體級篩選器以及定位判別性部件的局部級篩選器結(jié)果，對吸煙行為進(jìn)行有效的識別，算法準(zhǔn)確率達(dá)到93.10%；徐婉晴等［13］提出一種利用人體骨骼關(guān)鍵點和吸煙行為之間的關(guān)系來進(jìn)行吸煙行為檢測的算法，該算法通過檢測人體骨骼關(guān)鍵點和臉部關(guān)鍵點計算手腕到嘴角中點和同側(cè)眼睛的距離比，從而判斷該比值是否屬于吸煙動作的黃金比例來區(qū)分是否為吸煙行為，算法準(zhǔn)確率達(dá)到92%；陳睿龍等［14］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像特征提取和特征融合的吸煙行為檢測方法，該方法通過定位煙頭的位置判斷是否為吸煙行為。

上述提到的目標(biāo)檢測主流算法及吸煙行為檢測相關(guān)文獻(xiàn)，反映出現(xiàn)階段小目標(biāo)檢測發(fā)展緩慢、檢測困難和檢測效果不佳等問題。為了改進(jìn)這些問題，本文提出一種基于YOLOv5 的香煙目標(biāo)檢測算法，融合SENet［15］注意力機制模塊，提升復(fù)雜場景中香煙目標(biāo)的檢測精度，通過訓(xùn)練數(shù)據(jù)增強、改變損失函數(shù)提高了模型的魯棒性。

1 YOLOv5目標(biāo)檢測模型

1.1 模型框架

YOLOv5 是一種單階段目標(biāo)檢測算法，與YOLOv4 相比較，具有均值權(quán)重更小、訓(xùn)練時間更短、檢測速度更快的特點。YOLOv5 的檢測策略為：將輸入的圖像分為若干網(wǎng)格，包含檢測目標(biāo)的網(wǎng)格負(fù)責(zé)預(yù)測目標(biāo)位置，最終輸出與真實框契合度最高的預(yù)測框。YOLOv5 模型包括輸入端、Backbone、Neck、Head 四部分。輸入端包括Mosaic 數(shù)據(jù)增強，將4 張圖像隨機縮放、隨機裁剪、隨機排布。Backbone 為特征提取部分，包括卷積層、C3 和SPPF結(jié)構(gòu)：卷積層中封裝了分組卷積、BN 層以及SiLU 激活函數(shù)三個功能；C3 模塊簡化了之前的BottleneckCSP 結(jié)構(gòu)，使得模型捕獲特征的能力增強；SPPF 結(jié)構(gòu)替換了SPP［10］（空間金字塔池化）結(jié)構(gòu)，使模型的前向計算和反向計算速度提升了約1.5 倍。Neck 中采用了特征金字塔FPN 與路徑聚合網(wǎng)絡(luò)PAN 結(jié)合的結(jié)構(gòu)，將常規(guī)的FPN 層與自底向上的特征金字塔進(jìn)行結(jié)合，將所提取的語義特征與位置特征進(jìn)行融合，同時將主干層與檢測層進(jìn)行特征融合，使模型獲取更加豐富的特征信息。Head 輸出預(yù)測結(jié)果。

YOLOv5 結(jié)構(gòu)可以抽象理解為采用FPN+PAN 結(jié)構(gòu)的組合，采用了大量的卷積和C3 結(jié)構(gòu)。卷積層結(jié)構(gòu)包括普通卷積conv、BN 層和SiLU［16］激活函數(shù)。C3 結(jié)構(gòu)是BottleneckCSP 結(jié)構(gòu)減少一個卷積層得到。BottleneckCSP 與CSP結(jié)構(gòu)相似，CSP 結(jié)構(gòu)由Chien-yao Wang 等［17］提出的，在denseNet 特征融合結(jié)構(gòu)的基礎(chǔ)上對輸入特征圖像進(jìn)行分割，目的是為了減少梯度重復(fù)計算，提升模型的速度。YOLOv5模型結(jié)構(gòu)如圖1所示。

1.2 YOLOv5在香煙目標(biāo)檢測中的缺陷

YOLOv5 模型現(xiàn)階段已有了良好的目標(biāo)檢測性能和預(yù)測速度，但應(yīng)用于香煙目標(biāo)的識別檢測，仍然存在以下缺陷：

（1）主干網(wǎng)絡(luò)有較多的C3 結(jié)構(gòu)和卷積層，其卷積操作中的卷積核包含大量參數(shù)，導(dǎo)致模型中含有大量參數(shù)，降低了模型的計算速度。因為香煙目標(biāo)較小，所以在特征提取過程中通過大量的卷積運算之后，香煙目標(biāo)的特征信息在圖片較為全面的特征信息中無法凸顯，使模型對類似于香煙等小目標(biāo)檢測速度下降。

（2）當(dāng)預(yù)測框在真實框內(nèi)部且兩者大小恒定時，GIoU［18］函數(shù)的值即為并交比，無法實現(xiàn)高精度的定位。GIoU 是一種距離函數(shù)，由式（1）所示，其中C 為預(yù)測框和真實框的最小外接框面積，B 為預(yù)測框，Bgt 為真實框（groud truth）。

Fig.1 YOLOv5 model structure圖1 YOLOv5模型結(jié)構(gòu)

其中IoU（交并比）為預(yù)測框與真實框交集與并集的比值，由式（2）所示。兩個框相離時，并交比為0；當(dāng)預(yù)測框位于真實框內(nèi)部但兩者不等時，并交比的值恒定為B/Bgt；最理想情況為預(yù)測框和真實框完全重疊，并交比的值為1。

定位損失函數(shù)LGIoU 公式由式（3）所示：

在GIoU 函數(shù)中，真實框與預(yù)測框距離越遠(yuǎn)，C值越大，GIoU 無限趨近于-1，定位損失函數(shù)LGIoU(B，Bgt)無限趨近于2。顯而易見，應(yīng)用GIoU 函數(shù)存在一個問題：當(dāng)真實框包含預(yù)測框且兩者大小固定時，其并交比恒定為預(yù)測框與真實框面積的比值，無論預(yù)測框在真實框的任何位置，損失值都不變。

2 改進(jìn)的YOLOv5模型

2.1 主干網(wǎng)絡(luò)引入注意力機制

注意力機制（Attention Mechanism）源于對人類視覺的研究，其目標(biāo)是從眾多信息中挑選出對當(dāng)前任務(wù)目標(biāo)更為關(guān)鍵的信息。本文在對香煙目標(biāo)識別中引入注意力機制，賦予香煙目標(biāo)更大的權(quán)重，讓模型更關(guān)注與香煙目標(biāo)有關(guān)的重要區(qū)域。在多數(shù)實驗中，在模型中引入注意力機制會顯著提高模型性能，但引入位置并沒有固定的要求，只要對模型性能有改進(jìn)即可。

本文在通道維度引入Squeeze-and-Excitation Networks（SENet）網(wǎng)絡(luò)結(jié)構(gòu)，將其插入到現(xiàn)有的多種網(wǎng)絡(luò)結(jié)構(gòu)中，都取得了較好的實驗效果。SENet 采用了一種全新的特征重標(biāo)定策略，通過自學(xué)習(xí)方式自動獲取每個特征通道的權(quán)重，并按照此權(quán)重來提升有用的特征，抑制對當(dāng)前檢測任務(wù)作用不大的特征［15］。其結(jié)構(gòu)如圖2所示。

Fig.2 Squeeze-and-Excitation network structure圖2 Squeeze-and-Excitation 網(wǎng)絡(luò)結(jié)構(gòu)

該結(jié)構(gòu)中的兩個關(guān)鍵操作為Squeeze 操作和Excitation操作。給定一個輸入X，其特征通道數(shù)為C'，寬為W'，高為H'，經(jīng)過Backbone 中的卷積操作后得到特征通道數(shù)為C、寬高為W、H的特征U。此后的操作與傳統(tǒng)的CNN 不同：首先是Squeeze 操作，它通過全局池化的方式，將H×W二維向量變成一個實數(shù)，且輸出的維度和輸入的特征通道數(shù)相匹配；其次是Excitation 操作，該操作使用兩個全連接層，組成一個Bottleneck 結(jié)構(gòu)來建模通道間的相關(guān)性，為每個通道生成一個權(quán)重值；最后為Reweight 重標(biāo)定操作，即通過scale 乘法，將Excitation 操作輸出的權(quán)重值，即每個特征通道的重要性，逐通道加權(quán)到之前的特征U上，完成在通道維度上對原始特征的重標(biāo)定［19］。

本文將SEnet 應(yīng)用于Backbone 中，即在Backbone 的每一個C3 之后插入一個SEnet 結(jié)構(gòu)，具體結(jié)構(gòu)如圖3 所示。原始特征圖X 輸入到Backbone 結(jié)構(gòu)中，每經(jīng)過一次C3 卷積操作，就進(jìn)入到SEnet 結(jié)構(gòu)中。使用全局平均池化作為Squeeze 操作。Excitation 操作包含兩個全連接層FC、ReLU激活函數(shù)和Sigmoid［16］函數(shù)。第一個全連接層FC 對通道數(shù)進(jìn)行降維，衰減因子為r，此目的是為了降低后續(xù)的計算量；第二個全連接層將通道數(shù)恢復(fù)到原來的維度。使用兩個全連接層可以更好的擬合通道間復(fù)雜的相關(guān)性，具有更多的非線性，并且減少了計算量和參數(shù)量。Sigmoid 函數(shù)將參數(shù)值轉(zhuǎn)化為一個0～1 間的歸一化權(quán)重值。最后通過scale 乘法操作將歸一化的權(quán)重值逐通道加權(quán)到之前的特征上［20］。

Fig.3 SE-YOLOv5 structure圖3 SE-YOLOv5結(jié)構(gòu)

2.2 改進(jìn)邊界框定位損失函數(shù)GIoU

為解決上述GIoU 存在的問題，即當(dāng)真實框包含預(yù)測框且兩者大小固定時，其并交比恒定為預(yù)測框與真實框面積的比值，無論預(yù)測框在真實框的任何位置，損失值都不變。本文采用CIoU［21］（Complete-IOU），由式（4）所示。與GIoU 相同的是，CIoU 還是需要找到最小外接框，與 GIoU不同的是，CIoU 進(jìn)一步強調(diào)了距離的重要性和預(yù)測框與真實框長寬比例問題。

其中，ρ2為預(yù)測框和真實框中心點距離的平方，c2為最小外接框?qū)蔷€的平方，ν為預(yù)測框和真實框長寬比例差值的歸一化；α 為平衡長寬比例造成的損失和IoU 造成的損失的平衡因子。

CIoU 中歸一化中心點距離的最小化導(dǎo)致快速收斂，重疊區(qū)域和縱橫比的一致性有助于更好地匹配兩個框。

3 實驗及結(jié)果分析

本文采用的圖像處理單元（GPU）為TESLA K80，依賴pytorch1.7.0、python3.7，框架為改進(jìn)的YOLOv5。共設(shè)計4組實驗，分別在自制香煙數(shù)據(jù)集下測試傳統(tǒng)YOLOv5 和兩個改進(jìn)部分對香煙目標(biāo)檢測性能的影響。在COCO test 數(shù)據(jù)集下與小目標(biāo)檢測經(jīng)典模型SSD 和DSSD［22］進(jìn)行比較，綜合判斷改進(jìn)模型的性能。

3.1 數(shù)據(jù)集

現(xiàn)有的香煙目標(biāo)檢測數(shù)據(jù)集較少且數(shù)據(jù)量不大，本文數(shù)據(jù)集均來源于互聯(lián)網(wǎng)，來源不一，通過網(wǎng)絡(luò)爬蟲技術(shù)，爬取百度和谷歌網(wǎng)站上的香煙、吸煙行為圖片，截取網(wǎng)絡(luò)視頻及影視作品中的香煙和吸煙動作，完成了實驗數(shù)據(jù)集的制作。數(shù)據(jù)量共6 808 張，訓(xùn)練集（驗證集）和測試集按照4：1 的比例劃分，其中訓(xùn)練集（驗證集）包含圖片5 447 張，驗證集包含圖片1 361 張。為保證數(shù)據(jù)與實際場景相符，以保證檢測模型的適用性，數(shù)據(jù)集包含各個場景的真實圖像，如工作、生活、街頭等，其中包括香煙數(shù)據(jù)、手拿香煙或香煙相似物數(shù)據(jù)、無香煙數(shù)據(jù)，數(shù)據(jù)豐富，具有科研價值。數(shù)據(jù)集示例如圖4所示（彩圖掃OSID 碼可見，下同）。

使用Github 上的開源標(biāo)注工具YOLO Mark 進(jìn)行香煙目標(biāo)數(shù)據(jù)標(biāo)注。標(biāo)注參數(shù)為五元組(class，x，y，w，h)，其中class表示檢測目標(biāo)類別；(x，y)表示真實框的中心點坐標(biāo)；w，h表示真實框的寬度和長度。x，y，w，h需先經(jīng)過歸一化處理成0～1之間的數(shù)值。香煙目標(biāo)標(biāo)注如圖5所示。

3.2 評價指標(biāo)

Fig.4 Dataset example圖4 數(shù)據(jù)集示例

Fig.5 Cigarette target annotation圖5 香煙目標(biāo)標(biāo)注

本文使用F1值和mAP作為改進(jìn)模型的評價指標(biāo)［20］。F1值是精準(zhǔn)率和召回率的調(diào)和平均，用于綜合反映整體指標(biāo)，F(xiàn)1較高時表明實驗所用方法有效，由式（5）所示。mAP值越高，表明模型的檢測效果越好，由式（6）所示，

其中，Precision為查準(zhǔn)率，Recall為查全率；AveragePrecision(c)為一個類c的平均精度，它表示在驗證集上所有圖像對于類c的Precision之和與所有包含類c目標(biāo)的圖像數(shù)量的比值；N(classes)表示所有目標(biāo)類別數(shù)量。

3.3 香煙目標(biāo)檢測實驗設(shè)計與檢測結(jié)果分析

3.3.1 改進(jìn)部分對模型檢測性能的影響

改進(jìn)模型的訓(xùn)練結(jié)果如圖6 所示。可以看出，訓(xùn)練前期損失值下降速度較快，隨著訓(xùn)練次數(shù)的增加，損失曲線降幅變緩，最終趨于平穩(wěn)。

圖7 采用可視化方式顯示出數(shù)據(jù)集中目標(biāo)的寬高比?？梢钥闯?，歸一化后，香煙目標(biāo)的寬高比普遍在0.1左右，說明數(shù)據(jù)確實很小，也會面臨模糊問題，導(dǎo)致數(shù)據(jù)質(zhì)量降低。

Fig.6 Model training results圖6 模型訓(xùn)練結(jié)果

Fig.7 Visualization of target aspect ratio distribution of cigarettes圖7 香煙目標(biāo)寬高比分布可視化

為了驗證改進(jìn)方法對傳統(tǒng)YOLOv5 的性能影響，本文對比了引入注意力機制和改進(jìn)損失函數(shù)的模型與傳統(tǒng)YOLOv5 模型的實驗效果，每組實驗的訓(xùn)練參數(shù)相同，比較結(jié)果如表1。由表1 可知，SEnet 注意力機制的引入能夠在通道維度對特征圖的每個通道進(jìn)行特征壓縮與自學(xué)習(xí)，實現(xiàn)對原始香煙特征的重標(biāo)定，加大重要特征的權(quán)重值；改進(jìn)損失函數(shù)GIoU 為CIoU 作為定位框損失函數(shù)，解決了GIoU 函數(shù)在預(yù)測框位于真實框內(nèi)部的情況下退化為IoU的問題，提高了模型定位的精確度。改進(jìn)后模型的mAP 值為0.81，比傳統(tǒng)YOLOv5 的mAP 值提高0.104；F1 為0.797，比傳統(tǒng)YOLOv5 模型提高0.103，且改進(jìn)模型在訓(xùn)練中需要更少的顯存。

Table 1 Detection performance of the improved model表1 改進(jìn)模型的檢測性能

圖8 為改進(jìn)前后檢測性能對比。傳統(tǒng)YOLOv5 模型對香煙目標(biāo)的檢測效果如圖8（a）所示，改進(jìn)模型對香煙的檢測效果如圖8（b）所示，改進(jìn)后模型的識別效果有了明顯提高。

Fig.8 Comparison of improved model and YOLOv5 detection results圖8 改進(jìn)模型與YOLOv5檢測結(jié)果比較

3.3.2 改進(jìn)模型與主流目標(biāo)檢測模型的性能比較

目前小目標(biāo)檢測領(lǐng)域主流的檢測模型有R-FCN、SSD、DSSD、RetinaNet［23］等，采用mAP 指標(biāo)作為每種檢測模型的評估指標(biāo)，在COCO-test 數(shù)據(jù)集上做對比實驗，實驗結(jié)果如圖9 所示，與其他小目標(biāo)檢測模型的效果對比如表2 所示。由表2 可知，本文提出的改進(jìn)模型相比于SSD、DSSD 等主流的小目標(biāo)檢測模型具有更好的檢測性能。在保證檢測速度的同時，精確度有了一定的提高，與主流模型相比具有一定優(yōu)勢。

4 結(jié)語

本文針對公共場所中吸煙行為防控效果差的問題，提出了一種基于傳統(tǒng)YOLOv5 的改進(jìn)的香煙目標(biāo)檢測模型。該模型提高了模型的識別速度，降低了卷積計算量。一方面，為了解決由于香煙目標(biāo)較小，在特征提取過程中通過大量卷積運算之后特征信息不突出的問題，在主干網(wǎng)絡(luò)Backbone 結(jié)尾加入SEnet 注意力機制，實現(xiàn)在通道維度上原始特征的重標(biāo)定，通過自學(xué)習(xí)的方式增大了香煙目標(biāo)重要特征通道的權(quán)重值。另一方面，為了解決當(dāng)預(yù)測框在真實框內(nèi)部且兩者大小恒定時，GIoU 函數(shù)的值退化為并交比，無法實現(xiàn)高精度定位的問題，本文使用CIoU 作為定位框回歸損失函數(shù)，進(jìn)一步強調(diào)了距離的重要性以及預(yù)測框與真實框長寬比例問題，其中歸一化中心點距離的最小化處理方法使檢測速度快速收斂，重疊區(qū)域和縱橫比的一致性有助于更好地匹配真實框和預(yù)測框。

Table 2 Performance comparison with main target detection models表2 與主流小目標(biāo)檢測模型性能對比

Fig.9 Detection accuracy of SE-YOLOv5 in COCO-test dataset圖9 SE-YOLOv5在COCO-test數(shù)據(jù)集的檢測精度

通過對比實驗，驗證了本文提出的改進(jìn)模型能夠準(zhǔn)確、快速地檢測出生活、工作等場景圖像中的香煙目標(biāo)。本文方法的mAP 達(dá)到0.81，比YOLOv5 的mAP 值提高0.104，F(xiàn)1 值達(dá)到0.797，比YOLOv5 模型提高0.103；在COCO test 數(shù)據(jù)集上達(dá)到62.1%mAP，比RetinaNet 等小目標(biāo)檢測網(wǎng)絡(luò)提升了3 個百分點。實現(xiàn)了檢測效果的高準(zhǔn)確性和高速率，檢測性能在自制數(shù)據(jù)集上高于目標(biāo)檢測領(lǐng)域主流的目標(biāo)檢測模型，可為吸煙行為管控提供有益的幫助。未來將進(jìn)一步提高模型的檢測速度，擴大數(shù)據(jù)量，進(jìn)一步降低誤檢率，提升模型在實際生活應(yīng)用中的檢測效果。