改進(jìn)多尺度網(wǎng)絡(luò)的行人目標(biāo)檢測(cè)算法

羅舜, 于娟

(福州大學(xué)經(jīng)濟(jì)與管理學(xué)院，福建 福州 350108)

0 引言

基于深度卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺技術(shù)已取得了令人矚目的成就，這些成就推動(dòng)了自動(dòng)駕駛技術(shù)的發(fā)展.行車過程中的行人目標(biāo)檢測(cè)是自動(dòng)駕駛技術(shù)中的一項(xiàng)重要研究?jī)?nèi)容，也是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，是保障行人和駕駛員安全的重要技術(shù).基于計(jì)算機(jī)視覺的行人目標(biāo)檢測(cè)方法通常使用車載拍攝設(shè)備來獲取行車中的圖像，以此從序列或圖像中判斷行人的存在并得到準(zhǔn)確的位置信息.目前，常用的行人檢測(cè)方法主要分為基于人工設(shè)計(jì)特征的淺層機(jī)器學(xué)習(xí)模型的傳統(tǒng)方法和基于深層機(jī)器學(xué)習(xí)模型的方法[1].

傳統(tǒng)的行人檢測(cè)方法主要使用人工設(shè)計(jì)的提取規(guī)則，并采用淺層機(jī)器學(xué)習(xí)模型反映圖像局部的變化實(shí)現(xiàn)行人檢測(cè).但是傳統(tǒng)方法的檢測(cè)速度慢、 對(duì)復(fù)雜的行人目標(biāo)適應(yīng)性差并且泛化能力不足，難以滿足實(shí)際應(yīng)用需求[2].

隨著深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)任務(wù)中的發(fā)展，以及大規(guī)模行人檢測(cè)公共數(shù)據(jù)集的出現(xiàn)，基于深度神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)算法已在實(shí)際問題中得到應(yīng)用.2012年Krizhevsky等[3]提出的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)結(jié)構(gòu)AlexNet, 使用激活函數(shù)ReLu[4]與Dropout[5]方法并在減少過擬合方面取得了顯著的效果后，基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法分為了二階段目標(biāo)檢測(cè)算法和一階段目標(biāo)檢測(cè)算法.二階段目標(biāo)檢測(cè)算法為基于候選區(qū)域的深層卷積網(wǎng)絡(luò)，首先生成可能包含檢測(cè)目標(biāo)的候選區(qū)塊，再使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)塊進(jìn)行分類和位置回歸并得到檢測(cè)框，其代表算法有R-CNN (region CNN)[6]、 Fast R-CNN (fast region-based CNN)[7]和Faster R-CNN (faster region-based CNN)[8]等.一階段目標(biāo)檢測(cè)算法為基于回歸計(jì)算的深層卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè).這類方法將目標(biāo)定位整合在單一CNN網(wǎng)絡(luò)中，只需進(jìn)行向前運(yùn)算就能預(yù)測(cè)不同目標(biāo)的位置與類別，其標(biāo)志性算法有YOLO (you only look once)[9]、 SSD (single shot multibox detector)[10]和YOLOv4 (YOLO version 4)[11]等.目前已有許多研究人員使用這兩類算法解決行人檢測(cè)問題并取得了一系列的研究成果.例如，陳澤等[12]提出一種基于改進(jìn)Faster R-CNN的目標(biāo)檢測(cè)方法，通過引入基于雙線性插值的對(duì)齊池化層，并設(shè)計(jì)基于級(jí)聯(lián)的多層特征融合策略，較好地解決小尺度行人在深層特征圖中特征信息缺乏的問題.舒壯壯等[13]提出基于YOLOv3的改進(jìn)行人檢測(cè)算法，優(yōu)化生成先驗(yàn)框算法為K-means++算法，并且改進(jìn)主干特征提取網(wǎng)絡(luò)和損失函數(shù)，在MSCOCO數(shù)據(jù)集上的檢測(cè)精度指標(biāo)達(dá)到了48.3，檢測(cè)速度達(dá)到了19.73 f·s-1.

雖然現(xiàn)有的兩類目標(biāo)檢測(cè)算法在行人檢測(cè)方面已取得了一些研究進(jìn)展，但仍存在許多重疊和被遮擋的行人目標(biāo)被誤檢、 漏檢的問題.此外，在自動(dòng)駕駛應(yīng)用場(chǎng)景下，行人目標(biāo)檢測(cè)算法應(yīng)當(dāng)同時(shí)具備準(zhǔn)確性和實(shí)時(shí)性，對(duì)于復(fù)雜場(chǎng)景和多目標(biāo)都能及時(shí)做出準(zhǔn)確的響應(yīng)[14].Faster R-CNN等二階段方法由于實(shí)時(shí)性難以得到保證而較難實(shí)現(xiàn)應(yīng)用，而YOLOv3、 YOLOv4等一階段算法在經(jīng)過不斷的改進(jìn)后，在檢測(cè)的實(shí)時(shí)性方面性能達(dá)到了要求，但在檢測(cè)精度方面依然存在一定的不足.針對(duì)上述問題，提出一種基于多尺度網(wǎng)絡(luò)YOLOv5的卷積神經(jīng)網(wǎng)絡(luò)模型，構(gòu)建同時(shí)考慮通道間關(guān)系和特征空間位置信息的多重協(xié)調(diào)注意力模塊，然后將原損失函數(shù)改進(jìn)為具有雙重懲罰項(xiàng)的切比雪夫距離交并比損失函數(shù)，最后設(shè)計(jì)瓶頸狀DSP1_X和DSP2_X模塊，減少重疊和遮擋的行人目標(biāo)的漏檢情況發(fā)生.

1 YOLOv5目標(biāo)檢測(cè)算法

在YOLO系列目標(biāo)檢測(cè)網(wǎng)絡(luò)中，YOLOv5屬于最新的改進(jìn)版本，是集合之前各版本YOLO算法后檢測(cè)能力較好的單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)[15].在目標(biāo)檢測(cè)任務(wù)中，其整合了之前版本及其他網(wǎng)絡(luò)的優(yōu)點(diǎn)，在檢測(cè)準(zhǔn)確度和實(shí)時(shí)性上都有所提高.YOLOv5按照模型規(guī)模從大到小排序分為4個(gè)版本，依次是YOLOv5x、 YOLOv5l、 YOLOv5m、 YOLOv5s，其中YOLOv5s因其輕巧性和可部署性被廣泛使用.

2 改進(jìn)的YOLOv5目標(biāo)檢測(cè)算法

2.1 多重協(xié)調(diào)注意力模塊

原算法在面對(duì)具有復(fù)雜背景的圖像檢測(cè)任務(wù)時(shí)，檢測(cè)精度和實(shí)時(shí)性都大幅減低.為了提高算法在圖像具有大量特征信息的情況下提取目標(biāo)任務(wù)關(guān)鍵信息的能力，引入注意力機(jī)制.深度學(xué)習(xí)中的注意力機(jī)制通過快速瀏覽整個(gè)圖像，對(duì)關(guān)鍵目標(biāo)領(lǐng)域投入注意力資源，從而高效地篩選出所需信息，抑制其他無效信息.借鑒壓縮和激勵(lì)網(wǎng)絡(luò)(squeeze-and-excitation networks, SENet)思想[16]，引入一種同時(shí)考慮通道間關(guān)系和特征空間位置信息的多重協(xié)調(diào)注意力模塊并置于YOLOv5的主干網(wǎng)絡(luò)backbone部分，將位置信息嵌入到通道注意力中，旨在增強(qiáng)網(wǎng)絡(luò)特征的表達(dá)能力.

以往的注意力機(jī)制模塊SENet先對(duì)卷積得到的特征圖進(jìn)行壓縮，然后再進(jìn)行激活操作，得到更佳的特征表示.然而SENet只考慮通過建立通道關(guān)系來重新衡量每個(gè)通道的重要性，忽視了對(duì)于生成空間選擇性十分重要的位置信息.因此引入一種多重協(xié)調(diào)注意力模塊，如圖1所示，不僅僅考慮了通道間的關(guān)系，還考慮了特征空間的位置信息.

給定輸入的特征圖X∈RC×H×W，首先使用尺寸為(H, 1)或(1,W)的池化核分別沿著水平坐標(biāo)和垂直坐標(biāo)對(duì)每個(gè)通道進(jìn)行編碼.因此，高度為h的第c個(gè)通道的輸出可以表示為:

(1)

同理，寬度為w的第c個(gè)通道的輸出可以寫成：

(2)

上述2種變換分別沿兩個(gè)空間方向聚合特征，得到一對(duì)方向感知的特征圖.這2種轉(zhuǎn)換也允許注意力模塊捕捉到沿著一個(gè)空間方向的長(zhǎng)期依賴關(guān)系，并保存沿著另一個(gè)空間方向的精確位置信息，這有助于網(wǎng)絡(luò)更準(zhǔn)確地定位感興趣的目標(biāo).然后對(duì)上面的變換進(jìn)行拼接操作，使用1×1卷積變換函數(shù)對(duì)其進(jìn)行變換操作：

(3)

式中： [,]為沿空間維數(shù)的拼接操作；δ為非線性激活函數(shù)，將其定義為Relu激活函數(shù)；f∈RC/r×1×(H+W)為對(duì)空間信息在水平方向和垂直方向進(jìn)行編碼的中間特征映射，r是用來控制通道數(shù)量的縮減率.

沿著空間維數(shù)將f分解為2個(gè)單獨(dú)的張量和，并利用另外2個(gè)卷積變換和分別將和變換為具有相同通道數(shù)的張量到輸入X，得到:

gh=σ(Fh(fh))

(4)

gw=σ(Fw(fw))

(5)

式中:σ為Sigmoid激活函數(shù).

為了降低模型計(jì)算參數(shù)，這里使用縮減比r來減少f的通道數(shù), 并對(duì)輸出gh和gw進(jìn)行擴(kuò)展，分別作為注意力權(quán)重.最后得到協(xié)調(diào)注意力的輸出：

(6)

2.2 損失函數(shù)改進(jìn)

由于原模型中的邊界框損失函數(shù)GIOU_Loss嚴(yán)重依賴IOU項(xiàng)[17]，需要多次的迭代才能收斂，使得模型表現(xiàn)下降，并且沒有考慮到水平和垂直邊界框比例變化對(duì)損失的影響，導(dǎo)致預(yù)測(cè)框準(zhǔn)確度降低.因此，提出切比雪夫距離交并比 (Chebyshev distance IOU, CDIOU)來解決上述問題[18].GIOU損失函數(shù)如下式所示：

(7)

式中：A和B分別為預(yù)測(cè)框和真實(shí)框；C為覆蓋檢測(cè)框和真實(shí)框的最小框.雖然相比IOU損失函數(shù)來說GIOU損失函數(shù)考慮到了檢測(cè)框與真實(shí)框重疊部分缺失的情況并加上了懲罰項(xiàng)，但是其懲罰項(xiàng)事實(shí)上僅與檢測(cè)框和真實(shí)框的空間位置有關(guān)聯(lián)，忽略了檢測(cè)框與真實(shí)框之間的距離，導(dǎo)致梯度下降速度比較緩慢.因此，將GIOU損失函數(shù)的懲罰項(xiàng)刪除，添加新的懲罰項(xiàng), 而新的懲罰項(xiàng)可以使得兩個(gè)檢測(cè)框中心點(diǎn)的距離最小化.同時(shí)，CDIOU考慮到檢測(cè)框與真實(shí)框的長(zhǎng)寬比之間的關(guān)聯(lián)，再添加一個(gè)懲罰項(xiàng)，增加網(wǎng)絡(luò)損失的收斂速度.CDIOU損失函數(shù)的公式如式(8)所示：

(8)

式中：xi、yi是預(yù)測(cè)框A=(xi,yi)中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；xj、yj是真實(shí)框B=(xj、yj)中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；C為預(yù)測(cè)框A和真實(shí)框B的最小包圍框的對(duì)角線長(zhǎng)度；L表示檢測(cè)框與真實(shí)框中心點(diǎn)之間的切比雪夫距離；wi、hi、wj、hj分別表示預(yù)測(cè)框和真實(shí)框的長(zhǎng)和寬.CDIOU損失函數(shù)的示意圖如圖2所示.

從圖2可以看出，預(yù)測(cè)框與真實(shí)框之間的距離越遠(yuǎn)，LossDMIOU的值就越大，距離越近，則LossDMIOU的值就越小并且趨近于0.改進(jìn)懲罰項(xiàng)之后的損失函數(shù)對(duì)于預(yù)測(cè)檢測(cè)框和真實(shí)檢測(cè)框更加敏感，增加了尺度不變性，提高了檢測(cè)框精度并使得網(wǎng)絡(luò)收斂速度加快.

2.3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

原多尺度網(wǎng)絡(luò)中的CSPnet結(jié)構(gòu)使用跨階段層次結(jié)構(gòu)拼接基礎(chǔ)層的特征層，導(dǎo)致梯度混淆更易發(fā)生.因此，借鑒mobilenetv3網(wǎng)絡(luò)[19]的思想，將網(wǎng)絡(luò)backbone部分的CSP1_X和CSP2_X模塊分別改進(jìn)為瓶頸狀DSP1_X和DSP2_X模塊.改進(jìn)后兩個(gè)模塊結(jié)構(gòu)如圖3所示，不同于普通的卷積方式，DSP1_X和DSP2_X在去掉拼接操作的同時(shí)，先將3 px×3 px大小的深度空間卷積層Dwise移動(dòng)到多維殘差模塊的左端，再把兩個(gè)1 px×1 px卷積核置于深度空間卷積層和殘差模塊的兩端.兩次逐點(diǎn)卷積和一次深度空間卷積減少了參數(shù)量，降低了梯度混淆的幾率，從而提高網(wǎng)絡(luò)的整體運(yùn)算速率.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

搭建OpenCV深度學(xué)習(xí)平臺(tái)，具體測(cè)試環(huán)境： 顯卡為Nvidia Tesla K80，顯存為12 GB，編譯語(yǔ)言為Python3.7，共訓(xùn)練200個(gè)epochs； 主要參數(shù)設(shè)置： 輸入圖像大小為608 px×608 px，batch_size為64，學(xué)習(xí)率learning_rate為0.001.輸入圖像統(tǒng)一固定為608 px×608 px方便模型運(yùn)行.本研究旨在構(gòu)建一個(gè)在自動(dòng)駕駛過程中魯棒的行人目標(biāo)檢測(cè)算法，因此采用Wider Person數(shù)據(jù)集中行車記錄儀拍下的包含行人的子集進(jìn)行訓(xùn)練，包括單目標(biāo)圖像、 多目標(biāo)圖像和有遮擋與重疊目標(biāo)圖像.由于原圖片數(shù)據(jù)集樣本數(shù)量較少，使用對(duì)稱、 裁剪和對(duì)比度變換等方式將數(shù)據(jù)集擴(kuò)充.圖4為幾種典型的行人目標(biāo)示例圖，其中圖4 (b)為經(jīng)過對(duì)比度變換后的圖像，圖4(c)為經(jīng)過對(duì)稱變換后所得圖像.

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

在目標(biāo)檢測(cè)領(lǐng)域中通常使用精準(zhǔn)率(precision)、 召回率(recall)和平均精度 (mean average precision，mAP)對(duì)圖像目標(biāo)檢測(cè)方法的性能進(jìn)行評(píng)價(jià)[20].精準(zhǔn)率針對(duì)最后的預(yù)測(cè)結(jié)果，用于描述所有正例中預(yù)測(cè)出來的正例的所占比率，計(jì)算公式如下：

(9)

式(9)中:P表示精準(zhǔn)率; FP表示將樣本中負(fù)例預(yù)測(cè)為正例的個(gè)體數(shù)量，即檢測(cè)錯(cuò)誤的目標(biāo).召回率針對(duì)正類樣本，計(jì)算公式如下：

(10)

式(10)中:R表示召回率; TP表示方法將樣本正類檢測(cè)為正類的個(gè)數(shù)； FN表示將樣本正類檢測(cè)為負(fù)類的個(gè)數(shù)，即遺漏檢測(cè)的個(gè)數(shù).一般情況下召回率和精準(zhǔn)率相互制約，同時(shí)維持在高水平的情況較少出現(xiàn)，因此使用綜合檢測(cè)指標(biāo)mAP值來衡量檢測(cè)網(wǎng)絡(luò)的算法性能，計(jì)算公式如下：

(11)

式(11)中:N表示test集中的樣本個(gè)數(shù);P(k)是精準(zhǔn)率P在同時(shí)檢測(cè)k個(gè)樣本時(shí)的大小; ΔR(k)表示召回率R在檢測(cè)樣本個(gè)數(shù)從k-1個(gè)變?yōu)閗個(gè)時(shí)的變化情況;C為多分類檢測(cè)任務(wù)重類別的個(gè)數(shù).

3.3 結(jié)果分析

首先對(duì)改進(jìn)后網(wǎng)絡(luò)整體訓(xùn)練的收斂性進(jìn)行分析，對(duì)YOLOv5和改進(jìn)后的YOLOv5進(jìn)行相同epoch數(shù)量的訓(xùn)練，同時(shí)，在相同實(shí)驗(yàn)環(huán)境下使用YOLOv4網(wǎng)絡(luò)訓(xùn)練做多元對(duì)比.為了方便比對(duì)，將改進(jìn)后的模型命名為YOLOv5-walking.首先對(duì)比各模型之間損失下降的情況，圖5為3種模型的損失曲線圖，橫坐標(biāo)為epoch個(gè)數(shù)，縱坐標(biāo)為損失值，虛線、 實(shí)線和點(diǎn)線分別代表3種不同的模型.可以看出，YOLOv5-walking的loss下降速度比YOLOv5和YOLOv4的損失下降速度更快，表明改進(jìn)后的算法損失收斂更快，并且其收斂后損失值更趨近于0且更為平滑.

為了比較YOLOv5和經(jīng)本研究改進(jìn)后的YOLOv5模型的檢測(cè)精度和實(shí)時(shí)性，對(duì)其進(jìn)行相同epoch數(shù)量的訓(xùn)練[20]，同時(shí)，加入PP-YOLO檢測(cè)網(wǎng)絡(luò)[21]、 PP-YOLOv2[22]和雙階段檢測(cè)網(wǎng)絡(luò)Faster RCNN的測(cè)試結(jié)果進(jìn)行多元分析，結(jié)果如表1所示.

表1中，檢測(cè)速度單位f·s-1(frame per second)表示每秒鐘內(nèi)檢測(cè)圖像的數(shù)量.對(duì)比表中的數(shù)據(jù)可以看出，YOLOv5-walking在檢測(cè)速度方面總體優(yōu)于其他算法，并且YOLOv5-walking的檢測(cè)精度指標(biāo)相較于之前的網(wǎng)絡(luò)有所提高，mAP提高了5.57%，說明改進(jìn)后的網(wǎng)絡(luò)在檢測(cè)行人目標(biāo)的能力上有比較顯著的提升[23]，并且檢測(cè)速度也有較大提升，提高了2.44 f·s-1.Faster RCNN使用雙階段檢測(cè)機(jī)制微調(diào)錨框區(qū)域，其mAP較其他模型只超過了YOLOv3，但檢測(cè)速度與遠(yuǎn)不如其他算法.

表1 不同目標(biāo)檢測(cè)算法對(duì)比

接著對(duì)本研究提出的改進(jìn)YOLO模型進(jìn)行消融實(shí)驗(yàn)以驗(yàn)證各模塊功能，對(duì)部分網(wǎng)絡(luò)模塊進(jìn)行更換，并組合部分模塊進(jìn)行實(shí)驗(yàn)[24]，實(shí)驗(yàn)結(jié)果如表2所示.由表中數(shù)據(jù)可知，CDIOU模塊和DSP1_X模塊的應(yīng)用對(duì)于檢測(cè)的精度與速度的提升較為明顯，而MCAM模塊雖然提高了檢測(cè)精度，但檢測(cè)速度有所下滑.MCAM模塊對(duì)于檢測(cè)精度的提升最為明顯，mAP提高了2.04%，但也導(dǎo)致檢測(cè)速度降低； CDIOU模塊提高了檢測(cè)框的精確度并且減少了損失下降的迭代次數(shù)，使得檢測(cè)精度和速度有了較大提升，分別提高了1.35%和1.74 f·s-1； DSP1_X和DSP2_X模塊減少梯度混淆，降低了參數(shù)計(jì)算量，對(duì)于檢測(cè)速度有一定的提升.接著將模塊MCAM分別和DSP1/2_X、 CDIOU模塊結(jié)合在原模型上，兩種測(cè)試的檢測(cè)精度均較前模型有所提高，但檢測(cè)速度幾乎與原模型持平甚至低于原模型.再單獨(dú)將CDIOU與DSP1/2_X模塊結(jié)合在原模型上，結(jié)果表明檢測(cè)速度較之前提高較多，但檢測(cè)精度提高幅度不大，這也側(cè)面說明3種模塊結(jié)合對(duì)于檢測(cè)速度和精度同時(shí)提高的必要性.

表2 消融實(shí)驗(yàn)結(jié)果[24]

此外，改進(jìn)后的算法減少了漏檢情況的發(fā)生，并且在檢測(cè)被遮擋的行人目標(biāo)方面表現(xiàn)良好，檢測(cè)結(jié)果如圖6所示.由于車載攝像頭拍攝角度等問題，原圖中有部分行人重疊和被遮擋目標(biāo)，而改進(jìn)后的算法在檢測(cè)被遮擋和未被遮擋的行人目標(biāo)時(shí)均有良好表現(xiàn)，沒有出現(xiàn)誤檢和漏檢的情況，說明改進(jìn)后的網(wǎng)絡(luò)能夠更好地對(duì)行人目標(biāo)特征進(jìn)行提取，提高了有效信息完整性，減少了重疊目標(biāo)與被遮擋目標(biāo)漏檢現(xiàn)象的發(fā)生.

4 結(jié)論

針對(duì)自動(dòng)駕駛中行人目標(biāo)因重疊與遮擋所導(dǎo)致的檢測(cè)精度低、 實(shí)時(shí)性差的問題，提出一種改進(jìn)多尺度網(wǎng)絡(luò)的行人圖像檢測(cè)算法.本研究使用Wider Person數(shù)據(jù)集中行車記錄儀拍下包含行人的圖像作為數(shù)據(jù)集，在YOLOv5網(wǎng)絡(luò)中構(gòu)建多重協(xié)調(diào)注意力模塊MCAM，并將原損失函數(shù)改進(jìn)為切比雪夫距離交并比損失函數(shù)，最后分別設(shè)計(jì)瓶頸狀DSP1_X和DSP2_X模塊替換網(wǎng)絡(luò)中的CSP1_X與CSP2_X模塊.實(shí)驗(yàn)分析結(jié)果表明，改進(jìn)后的算法損失收斂速度更快，對(duì)于行人特征的提取能力更強(qiáng)，并且與原YOLOv5相比mAP提高了5.57%，達(dá)到94.41%； 檢測(cè)速度提高了3.29 f·s-1，達(dá)到42.63 f·s-1，說明本研究提出的模型檢測(cè)精度高且具有實(shí)時(shí)性，可以應(yīng)用于自動(dòng)駕駛中的行人目標(biāo)檢測(cè).未來的工作將在訓(xùn)練過程中采集更多環(huán)境下的行人數(shù)據(jù)集，提高模型的泛化能力，進(jìn)一步增強(qiáng)行人目標(biāo)的檢測(cè)精度和速度.