基于改進(jìn)型YoloV5s 的熱紅外道路車(chē)輛及行人檢測(cè)方法

李 陽(yáng)，趙 娟，嚴(yán)運(yùn)兵

（1 武漢科技大學(xué) 汽車(chē)與交通工程學(xué)院，武漢 430065；2 中國(guó)科學(xué)院 深圳先進(jìn)技術(shù)研究院集成所，廣東 深圳 518055）

0 引言

近十年來(lái)，汽車(chē)夜視輔助駕駛系統(tǒng)的研究取得了快速發(fā)展，相關(guān)研究表明車(chē)載紅外夜視儀在減少夜間行車(chē)事故中有很好的效果。

與傳統(tǒng)的激光雷達(dá)成像以及可見(jiàn)光成像等探測(cè)技術(shù)相比，紅外探測(cè)技術(shù)具有其獨(dú)特優(yōu)勢(shì)。對(duì)此可分述如下：

（1）被動(dòng)式紅外熱成像傳感器接收前方熱輻射信號(hào)并輸出為圖像幀，能夠捕捉更清晰的目標(biāo)輪廓信息，輸出圖像梯度更大，有利于特征提取。

（2）紅外熱成像技術(shù)能夠?qū)崿F(xiàn)全天候工作?？梢?jiàn)光探測(cè)器多數(shù)只能夠在白天或光源充足的情況下進(jìn)行探測(cè)工作，而紅外熱成像探測(cè)器能夠不受白天、夜晚的限制，實(shí)現(xiàn)晝夜工作。

（3）熱紅外成像探測(cè)技術(shù)抗干擾能力強(qiáng)。主動(dòng)雷達(dá)成像探測(cè)的效率容易受到目標(biāo)表面材料吸波性能的影響；可見(jiàn)光成像探測(cè)容易受到雨天、霧霾、風(fēng)沙等對(duì)自然光有強(qiáng)干擾的天氣的影響。由于紅外熱成像探測(cè)屬于被動(dòng)探測(cè)，不需要向外界發(fā)送信號(hào)，故不會(huì)受到各種雷達(dá)吸波材料的影響；紅外熱成像對(duì)自然光、燈光等依賴(lài)程度低，幾乎不會(huì)受到自然界光學(xué)效應(yīng)的影響。

由于熱紅外圖像的特性，傳統(tǒng)基于RGB 可見(jiàn)光圖像的目標(biāo)檢測(cè)算法，在熱紅外環(huán)境下并不能達(dá)到理想的效果，原因在于：

（1）熱紅外圖像的性質(zhì)更接近單通道灰度圖，通道信息更弱，針對(duì)RGB 圖像的三通道空間信息進(jìn)行特征提取的主干特征提取網(wǎng)絡(luò)在紅外圖像上存在計(jì)算量冗余。

（2）熱紅外圖的梯度信息更強(qiáng)，目標(biāo)邊緣特征更明顯，但是目標(biāo)局部信息相對(duì)于三通道RGB 信息更弱，故在遮擋或重疊等情況下，針對(duì)三通道RGB圖像優(yōu)化的目標(biāo)檢測(cè)算法極容易發(fā)生誤檢與漏檢情況。

本文基于熱紅外圖像的特性，針對(duì)原版YoloV5s 的Focus Layer、Upsample Layer、Weighted＿NMS 進(jìn)行針對(duì)性的優(yōu)化，通過(guò)在PAN 結(jié)構(gòu)的上采樣中使用轉(zhuǎn)置卷積保留19?19、38?38 特征圖的語(yǔ)義信息的漸變關(guān)系，加強(qiáng)參數(shù)學(xué)習(xí)，以提高在熱紅外條件下的識(shí)別準(zhǔn)確率，加快推理速度，改善傳統(tǒng)基于可見(jiàn)光成像的目標(biāo)檢測(cè)算法在熱紅外環(huán)境下應(yīng)用的實(shí)時(shí)性、魯棒性。

1 YoloV5 算法結(jié)構(gòu)分析及改進(jìn)

YoloV5s 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。由圖1 可知，YoloV5s 的Neck 網(wǎng)絡(luò)結(jié)構(gòu)借鑒了圖像分割領(lǐng)域中PANet的設(shè)計(jì)思路，在FPN 特征金字塔自頂向下傳達(dá)強(qiáng)語(yǔ)義特征后，在Neck 網(wǎng)絡(luò)中再借由PAN結(jié)構(gòu)自底向上傳達(dá)強(qiáng)定位特征，二者相結(jié)合，從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行參數(shù)聚合，有效地提高了網(wǎng)絡(luò)的特征提取能力。

圖1 YoloV5s 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YoloV5s network structure

YoloV5s 中CSP 模塊如圖2 所示。由圖2 可知，在主干特征提取網(wǎng)絡(luò)中，YoloV5s 借鑒了CSPNet的設(shè)計(jì)思路，在網(wǎng)絡(luò)中添加了CSP 結(jié)構(gòu)，與CSPNet 的不同點(diǎn)在于YoloV5 中設(shè)計(jì)了2 種不同的CSP 模塊，其中CSP1 模塊位于主干特征提取網(wǎng)絡(luò)中，而CSP2 模塊位于FPN 結(jié)構(gòu)中。二者相結(jié)合，用以提高網(wǎng)絡(luò)寬度，從而增強(qiáng)CNN 的學(xué)習(xí)能力，實(shí)驗(yàn)結(jié)果表明該方法能夠有效降低計(jì)算瓶頸，減少計(jì)算成本。

圖2 YoloV5s 中CSP 模塊Fig.2 CSP module in YoloV5s

1.1 Focus 機(jī)制

原版YoloV5s 的圖像輸入端會(huì)經(jīng)過(guò)Focus 層處理，具體操作是每隔一個(gè)像素取得一個(gè)值，類(lèi)似于臨近下采樣，這樣便可取得4 張互補(bǔ)的圖片，但是信息由平面空間轉(zhuǎn)化為通道空間，Concat 拼接后由原先的RGB 三通道變成4×3 通道。其方式是將輸入為（，，3）圖像經(jīng)過(guò)操作后得到（2，2，12）的特征圖。Focus 層原理示意如圖3 所示。

圖3 Focus 層原理示意圖Fig.3 Schematic diagram of the Focus layer

相比于傳統(tǒng)的Conv 下采樣，F(xiàn)ocus 層的優(yōu)勢(shì)在于不丟失信息，而是將原有的空間信息轉(zhuǎn)化為深度信息。反面觀之，相比于傳統(tǒng)的Conv 下采樣，F(xiàn)ocus層的計(jì)算量大幅度增加，得到的效果相比于傳統(tǒng)的Conv 下采樣提升并不大，又由于熱紅外圖像本身代表的是熱量梯度，輸出與單通道灰度圖類(lèi)似，在三通道輸出時(shí)，每個(gè)通道的圖像矩陣元素相等，其空間信息在三通道上表現(xiàn)并不明顯，通過(guò)Focus 層將三通道圖像的特征轉(zhuǎn)化為12 通道圖像特征時(shí)，對(duì)特征信息的提取效果不佳，反而占用了計(jì)算資源，減慢了推理速度，見(jiàn)表1。

表1 Focus 層對(duì)算法的影響Tab.1 The impact of the Focus layer on the algorithm

1.2 上采樣層優(yōu)化

在原版Yolov5 的neck 結(jié)構(gòu)中采用的上采樣方式為最近鄰插值上采樣法，如圖4 所示。

圖4 最近鄰插值算法Fig.4 Nearest neighbor interpolation algorithm

算法原理為計(jì)算新特征圖的坐標(biāo)點(diǎn)像素值對(duì)應(yīng)原圖坐標(biāo)點(diǎn)的像素值，其對(duì)應(yīng)關(guān)系如式（1）：

其中，原特征圖坐標(biāo)定義為（，），新特征圖坐標(biāo)定義為（，），長(zhǎng)寬同理。

當(dāng)帶入新特征圖像素點(diǎn)坐標(biāo)（，），求出原特征圖像素點(diǎn)坐標(biāo)（，）不為整數(shù)時(shí)，最近鄰插值法采用的方法為四舍五入選取最接近的整數(shù)。

最近鄰插值上采樣法的優(yōu)點(diǎn)是不需要計(jì)算，只需要尋找，所以速度最快，但缺點(diǎn)是生成的新特征圖破壞了原特征圖像素點(diǎn)之間的漸變關(guān)系。

針對(duì)此問(wèn)題，基于熱紅外圖像的特性，本文提出轉(zhuǎn)置卷積上采樣方法替代傳統(tǒng)最近鄰插值算法。

對(duì)于正向卷積下采樣操作，假設(shè)圖像矩陣為：

假設(shè)卷積核為：

可得輸出矩陣大小為2×2。假設(shè)輸出矩陣為：

將矩陣與矩陣按行展開(kāi)為列向量可得：

故卷積下采樣運(yùn)算可表示為：

推導(dǎo)可得稀疏矩陣為：

故轉(zhuǎn)置卷積上采樣操作可近似表示為：

由上式可得，轉(zhuǎn)置卷積操作可將矩陣特征的尺寸信息恢復(fù)到下采樣前矩陣的尺寸信息，但無(wú)法恢復(fù)矩陣的每個(gè)元素值?；赮oloV5s 的Neck 結(jié)構(gòu)中PANet 的結(jié)構(gòu)特性，低維度特征上采樣后與高維度特征結(jié)合，且在前向推理的過(guò)程中，轉(zhuǎn)置卷積上采樣卷積核參數(shù)為可訓(xùn)練參數(shù)，相比于傳統(tǒng)最近鄰插值上采樣，轉(zhuǎn)置卷積上采樣在一定程度上增強(qiáng)了網(wǎng)絡(luò)推理能力。

最近鄰插值上采樣層與轉(zhuǎn)置卷積層的對(duì)比見(jiàn)表2。由表2 分析可知，相對(duì)于最近鄰插值上采樣方法，轉(zhuǎn)置卷積上采樣能夠有效提高網(wǎng)絡(luò)識(shí)別準(zhǔn)確率，消除移去Focus 層帶來(lái)的影響。

表2 最近鄰插值上采樣層與轉(zhuǎn)置卷積層的對(duì)比Tab.2 Comparison of nearest neighbor interpolation upsampling layer and transposed convolutional layer

1.3 NMS 非極大值抑制方法優(yōu)化

在Yolov5s 的后處理中，使用加權(quán)NMS算法來(lái)進(jìn)行檢測(cè)框的非極大值抑制。YoloV5 加權(quán)NMS原理如下式：

十分搶眼的是，在每一頁(yè)外面均多出一個(gè)長(zhǎng)2厘米、寬1厘米的不同顏色的紙片，上面清晰地標(biāo)注著該風(fēng)險(xiǎn)的初始評(píng)分。其中，評(píng)分≤5分為低風(fēng)險(xiǎn)項(xiàng)，用藍(lán)色紙片；6～15分為中等風(fēng)險(xiǎn)，用黃色紙片；評(píng)分>15分為高風(fēng)險(xiǎn)，用紅色紙片。

其中，表示每個(gè)候選框經(jīng)過(guò)加權(quán)平均后的候選框；w表示權(quán)重；C表示每個(gè)候選框的置信度；（·）表示第個(gè)候選框和最大置信度候選框進(jìn)行計(jì)算。

加權(quán)NMS 的算法在通常情況下，相對(duì)于傳統(tǒng)NMS 算法通常能夠獲得更高的值以及值，但其缺點(diǎn)也很明顯，就是加權(quán)因子取決于候選框的與得分。在YoloV5s 中，候選框的只考慮2 個(gè)框的重疊面積，對(duì)于候選框的重疊關(guān)系表示并不全面，而每個(gè)候選框的得分又會(huì)有定位與得分不一致的問(wèn)題，進(jìn)而導(dǎo)致在使用加權(quán)NMS 算法作為后處理方法時(shí)出現(xiàn)對(duì)遮擋、重疊目標(biāo)識(shí)別精度不佳的情況。

為此，提出以DIOU＿NMS方法來(lái)優(yōu)化候選框后處理方法。相比于傳統(tǒng)方法以及加入權(quán)重項(xiàng)的＿方法，DIoU-NMS 方法加入了以候選框與最大置信度候選框的中心距為懲罰項(xiàng)的懲罰機(jī)制，原理如圖5 所示。

圖5 DIoU＿NMS 原理Fig.5 Principle of DIoU＿NMS method

研究推得的數(shù)學(xué)表達(dá)式為：

其中，為B、中心點(diǎn)的歐式距離；為B、的最小外接矩形的對(duì)角線長(zhǎng)度；用于控制懲罰幅度。

在實(shí)際應(yīng)用時(shí)，使用DIoU＿NMS 算法表示為：

其中，s為B的分類(lèi)置信度。

由公式可得出，當(dāng)→∞時(shí)，DIoU 退化為IoU，此時(shí)DIoU＿NMS 與傳統(tǒng)NMS 效果相當(dāng)。當(dāng)→0時(shí)，幾乎所有中心點(diǎn)不與重合的框都被保留。

經(jīng)試驗(yàn)得到，在不增加計(jì)算成本的情況下，相對(duì)于傳統(tǒng)IoU＿NMS 與加權(quán)IoU＿NMS，DIoU＿NMS 方法可以使得相關(guān)性能得到提升，其實(shí)驗(yàn)結(jié)果如圖6 所示。修改NMS 方法對(duì)算法的影響見(jiàn)表3。

表3 修改NMS 方法對(duì)算法的影響Tab.3 The influence of different NMS methods on the algorithm

同時(shí)，由圖6 可知，對(duì)于遮擋、重疊目標(biāo)的檢測(cè)效果，DIoU＿NMS 方法要優(yōu)于傳統(tǒng)IoU＿NMS 與加權(quán)IoU＿NMS。

圖6 加權(quán)NMS 與DIoU＿NMSFig.6 Weighted NMS and DIoU＿NMS

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集為FLIR Thermal Dataset，數(shù)據(jù)集采集參數(shù)見(jiàn)表4。

表4 FLIR 熱紅外道路信息數(shù)據(jù)集參數(shù)Tab.4 FLIR thermal infrared road dataset information

2.2 訓(xùn)練系統(tǒng)及訓(xùn)練參數(shù)

訓(xùn)練平臺(tái)參數(shù)見(jiàn)表5。

表5 訓(xùn)練平臺(tái)參數(shù)Tab.5 Parameters of training platform

模型訓(xùn)練參數(shù)見(jiàn)表6。

表6 模型訓(xùn)練參數(shù)Tab.6 Training parameters of the model

2.3 測(cè)試平臺(tái)

Hi3519AV100 開(kāi)發(fā)平臺(tái)是一顆面向監(jiān)控IP 攝像機(jī)、運(yùn)動(dòng)相機(jī)、全景相機(jī)、ADAS 系統(tǒng)、航拍等多個(gè)領(lǐng)域推出的高性能、低功耗的SoC 開(kāi)發(fā)平臺(tái)。該芯片平臺(tái)集成了神經(jīng)網(wǎng)絡(luò)硬件加速引擎（Neural Network Inference Engine，NNIE），是海思媒體SoC中專(zhuān)門(mén)針對(duì)神經(jīng)網(wǎng)絡(luò)、特別是深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行加速處理的硬件單元，并在計(jì)算能力達(dá)到1.7 TFLOPS的同時(shí)，支持現(xiàn)有大部分的公開(kāi)網(wǎng)絡(luò)結(jié)構(gòu)，如 AlexNet、VGG16、GoogleNet、ResNet18、ResNet50 等分類(lèi)網(wǎng)絡(luò)，F(xiàn)aster R-CNN、YOLO、SSD、RFCN 等檢測(cè)網(wǎng)絡(luò)以及SegNet、FCN 等場(chǎng)景分割網(wǎng)絡(luò)。該芯片集成了海思第四代ISP，支持WDR、多級(jí)降噪、六軸防抖及多種圖像增強(qiáng)和矯正算法。

綜上可知，該研究基于12 nm 制程的高性能、低功耗架構(gòu)設(shè)計(jì)，相比于同類(lèi)型產(chǎn)品大大降低了散熱需求，有利于應(yīng)用部署在車(chē)載系統(tǒng)常見(jiàn)的狹小、密閉環(huán)境中。

因此，本文以Hi3519AV100 為基礎(chǔ)搭建實(shí)驗(yàn)平臺(tái)，進(jìn)行對(duì)照組實(shí)驗(yàn)以及多模型對(duì)照實(shí)驗(yàn)。

2.4 實(shí)驗(yàn)結(jié)果分析

表7 為不同檢測(cè)算法在FLIR 數(shù)據(jù)集中進(jìn)行對(duì)照實(shí)驗(yàn)后得到的檢測(cè)精度結(jié)果。

從表7 可以看出，本文的優(yōu)化方法針對(duì)熱紅外圖像數(shù)據(jù)集，相比于原版YoloV5 在推理幀數(shù)相接近的情況下，運(yùn)行后在上得到了5.7%的提高，召回率上得到了4.1%的提高。相對(duì)于常應(yīng)用在嵌入式開(kāi)發(fā)平臺(tái)上的Tiny-YoloV3、Tiny-YoloV4算法而言，本文算法在上獲得了壓倒性的優(yōu)勢(shì)，大幅提高了識(shí)別精度。相對(duì)于工業(yè)領(lǐng)域得到廣泛應(yīng)用的YoloV3、YoloV4 算法，在指標(biāo)接近的情況下，大幅降低了所需計(jì)算量，提高了幀數(shù)的處理能力。

表7 主流檢測(cè)算法對(duì)照實(shí)驗(yàn)Tab.7 Comparison experiments of mainstream detection algorithms

由上述實(shí)驗(yàn)結(jié)果可以看出，本文方法針對(duì)熱紅外條件下的圖像進(jìn)行優(yōu)化，相對(duì)于傳統(tǒng)的算法，性能指標(biāo)得到較大提高。

3 結(jié)束語(yǔ)

本文基于YoloV5s，探討了傳統(tǒng)基于可見(jiàn)光成像的圖像算法在熱紅外圖像上的檢測(cè)性能不佳的問(wèn)題，并結(jié)合熱紅外圖像的特性，進(jìn)行針對(duì)性?xún)?yōu)化，在FLIR 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)后達(dá)到93.4%、達(dá)到79.9%的同時(shí)，達(dá)到213幀，不僅提高了檢測(cè)精度，而且也保證了ADAS 系統(tǒng)要求的實(shí)時(shí)性。

雖然本方法達(dá)到基本預(yù)期，但本文方法仍存在以下幾點(diǎn)問(wèn)題：

（1）本文檢測(cè)方法的head 部分仍是基于傳統(tǒng)的Anchor Based 方法，在優(yōu)化潛力與前向推理效率方面與新興的Anchor Free 模型相比存在一定差距。

（2）本文方法所針對(duì)的任務(wù)較為單一，且在不同的檢測(cè)任務(wù)，如全景分割、實(shí)例分割、目標(biāo)跟蹤等任務(wù)中的表現(xiàn)欠佳。

后續(xù)工作將圍繞如下2 方面進(jìn)行改進(jìn)：在網(wǎng)絡(luò)結(jié)構(gòu)方面，參考Anchor Based 思想對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行后續(xù)改進(jìn)。在任務(wù)方面，針對(duì)熱紅外圖像的實(shí)例分割、全景分割等視覺(jué)任務(wù)進(jìn)行更深入的優(yōu)化。