基于改進(jìn)MobileNet的公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別

趙樹恩,龔志坤,劉 偉

(重慶交通大學(xué) 機(jī)電與車輛工程學(xué)院 重慶 400074)

0 引 言

隨著我國公路里程和路網(wǎng)密度的持續(xù)增加[1],交通在給人們帶來出行便捷的同時(shí),安全問題也成為不容忽視的主要問題之一。因此,探索一種便捷、高效、安全的公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別方法,對(duì)公路交通安全設(shè)施的合理設(shè)置及道路動(dòng)態(tài)智能化管控,有效預(yù)防和減少交通事故發(fā)生具有重要的理論和實(shí)際意義。

目前,關(guān)于交通安全的研究主要集中于交通安全影響因素分析和交通安全評(píng)價(jià)。蔡曉禹等[2]構(gòu)建了以異常駕駛行為率為基礎(chǔ)的交通安全評(píng)價(jià)指標(biāo)體系,采用改進(jìn)熵權(quán)法計(jì)算出道路交通安全熵,并通過兩步聚類方法劃分出道路安全風(fēng)險(xiǎn)等級(jí);戴劍勇等[3]采用HFACS分析交通事故發(fā)生原因,確定交通安全風(fēng)險(xiǎn)源,并通過改進(jìn)TOPSIS方法對(duì)交通安全風(fēng)險(xiǎn)源重要性進(jìn)行排序;陸建等[4]指出,由于道路交通風(fēng)險(xiǎn)源信息采集覆蓋面低,交通態(tài)勢(shì)預(yù)估在廣域時(shí)間尺度受到極大的限制。而基于機(jī)器視覺的道路、交通環(huán)境安全風(fēng)險(xiǎn)源識(shí)別作為交通安全信息的重要來源之一,可為實(shí)現(xiàn)實(shí)時(shí)交通安全評(píng)價(jià)提供可靠依據(jù)。

現(xiàn)階段,深度卷積神經(jīng)網(wǎng)絡(luò)在自動(dòng)駕駛、產(chǎn)品表面缺陷檢測(cè)等方面得到了廣泛的應(yīng)用。沙愛民等[5]針對(duì)探地雷達(dá)圖像的路基病害識(shí)別問題,建立了級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò),可完成探地雷達(dá)圖像路基病害自動(dòng)識(shí)別,減少了當(dāng)前公路路基病害人工檢測(cè)的誤差;向華榮等[6]分別利用以InceptionV2和ResNet101為特征提取網(wǎng)絡(luò)的Faster-RCNN檢測(cè)算法,實(shí)現(xiàn)了陰天、低像素?cái)z像頭下對(duì)高速、慢速移動(dòng)物體的實(shí)時(shí)識(shí)別。由此可知,采用深度卷積神經(jīng)網(wǎng)絡(luò)在路面病害、物體識(shí)別等目標(biāo)檢測(cè)問題中具有實(shí)現(xiàn)簡單、準(zhǔn)確率高等優(yōu)勢(shì)。

Google公司從2017年起陸續(xù)推出了適用于移動(dòng)端的輕量型神經(jīng)網(wǎng)絡(luò)MobileNet網(wǎng)絡(luò)[7]。劉洋等[8]開發(fā)了一款基于MobileNet的植物病害識(shí)別手機(jī)端程序;王韋祥等[9]對(duì)MobileNet中的深度可分離卷積層進(jìn)行改進(jìn),解決了深度卷積層丟失信息的問題,實(shí)現(xiàn)了實(shí)時(shí)識(shí)別人臉表情,且保證了一定的準(zhǔn)確率。MobileNet網(wǎng)絡(luò)作為輕量級(jí)深度卷積神經(jīng)網(wǎng)絡(luò)具有特征提取能力強(qiáng)、參數(shù)量小、可在移動(dòng)端實(shí)現(xiàn)實(shí)時(shí)檢測(cè)等優(yōu)點(diǎn)。

上述研究中,圖像分類技術(shù)的研究只針對(duì)圖像中存在一個(gè)目標(biāo),而在實(shí)際行車過程中,圖像中往往包含多個(gè)風(fēng)險(xiǎn)源目標(biāo),對(duì)包含多個(gè)目標(biāo)的圖像進(jìn)行準(zhǔn)確分類更具有現(xiàn)實(shí)意義。目前研究中,多標(biāo)簽分類多采用兩種方法:一是問題轉(zhuǎn)換法(problem transformation, PT),該方法將多標(biāo)簽分類問題轉(zhuǎn)化為其他學(xué)習(xí)任務(wù),其中最具有代表性的是二值相關(guān)(binary relevance, BR)算法和分類器鏈(classifier chains)算法;二是算法適應(yīng)法(algorithm adaption,AA),該方法通過改進(jìn)算法適應(yīng)多標(biāo)簽分類問題,如基于k近鄰的(knearest neighbor,k-NN)多標(biāo)簽算法和多標(biāo)簽決策樹算法。陳綿書等[10]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽圖像分類算法,并將算法應(yīng)用于Fast R-CNN上進(jìn)行驗(yàn)證,有效提高了分類準(zhǔn)確率;陳智[11]利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征,然后使用邏輯回歸來分類,實(shí)現(xiàn)了對(duì)場景的多標(biāo)簽分類。綜上所述,利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力能夠有效實(shí)現(xiàn)多標(biāo)簽圖像分類,且提升了分類性能。

結(jié)合以上技術(shù),筆者提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別方法。首先將MobileNetV3的網(wǎng)絡(luò)輸出層激活函數(shù)Softmax改進(jìn)為Sigmoid,并使用其對(duì)應(yīng)的二元交叉熵?fù)p失函數(shù),使網(wǎng)絡(luò)能夠同時(shí)輸出多個(gè)風(fēng)險(xiǎn)源類別;通過引入空間注意力機(jī)制,融合了1×1卷積、最大池化和平均池化3種操作提取的風(fēng)險(xiǎn)源特征信息,加強(qiáng)了網(wǎng)絡(luò)特征提取能力;同時(shí),以網(wǎng)絡(luò)BN(botch normalization, BN)層中的γ為標(biāo)準(zhǔn),對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行通道剪枝,去除冗余特征通道,得到一個(gè)緊湊而有效的風(fēng)險(xiǎn)源識(shí)別模型。

1 風(fēng)險(xiǎn)源及識(shí)別思路

交通安全涉及人、車、道路及交通環(huán)境等諸多因素。長期以來,由于各種原因使得對(duì)于交通安全的研究主要集中在駕駛?cè)撕蛙囕v上面,忽視了道路條件和交通環(huán)境的影響。事實(shí)上,在車輛及自然因素作用下,公路行車環(huán)境不可避免地會(huì)出現(xiàn)行車安全風(fēng)險(xiǎn)源,如圖1。

圖1 道路、交通環(huán)境安全風(fēng)險(xiǎn)源Fig. 1 Safety risk sources of road and traffic environment

針對(duì)公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別問題,筆者研究了基于深度卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別算法,其基本識(shí)別過程如圖2。識(shí)別模型以圖像數(shù)據(jù)為輸入形式,利用多個(gè)改進(jìn)MobileNetV3中的B-neck結(jié)構(gòu)提取輸入圖像風(fēng)險(xiǎn)源特征信息,并采用全連接層組合提取的風(fēng)險(xiǎn)源特征信息,通過設(shè)定多標(biāo)簽激活函數(shù)將組合的風(fēng)險(xiǎn)源特征信息映射為風(fēng)險(xiǎn)源標(biāo)簽類別的預(yù)測(cè)概率值,并與固定閾值比較,確定該輸入圖像中的風(fēng)險(xiǎn)源標(biāo)簽類別,完成公路行車環(huán)境安全風(fēng)險(xiǎn)源的識(shí)別。

圖2 公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別過程Fig. 2 Identification process of safety risk sources of highway driving environment

2 改進(jìn)MobileNetV3的風(fēng)險(xiǎn)源識(shí)別算法

MobileNetV3網(wǎng)絡(luò)由多個(gè)包含深度可分離卷積和通道注意力機(jī)制的B-neck結(jié)構(gòu)構(gòu)成,是一個(gè)單標(biāo)簽分類算法。而在日常行車過程中,常出現(xiàn)兩種或多種安全風(fēng)險(xiǎn)源,且風(fēng)險(xiǎn)源表征形式多樣、各自特征完全不同。為此,筆者提出一種基于改進(jìn)MobileNetV3的公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別算法。該算法主要做出以下4個(gè)方面的改進(jìn):①將MobileNetV3中的通道注意力機(jī)制替換為空間注意力機(jī)制[12],加強(qiáng)特征提取能力,提升識(shí)別準(zhǔn)確率;②對(duì)B-neck結(jié)構(gòu)中的擴(kuò)張通道進(jìn)行裁剪,降低B-neck結(jié)構(gòu)中擴(kuò)張通道數(shù)過大而導(dǎo)致風(fēng)險(xiǎn)源特征信息過于稀疏對(duì)風(fēng)險(xiǎn)源分類結(jié)果的影響,且減少了網(wǎng)絡(luò)參數(shù)量,提升識(shí)別速度;③對(duì)輸出層激活函數(shù)進(jìn)行改進(jìn),通過設(shè)定多標(biāo)簽激活函數(shù),并采用固定閾值的方式輸出標(biāo)簽類別,完成多標(biāo)簽輸出任務(wù);④改進(jìn)MobileNetV3采用的損失函數(shù),實(shí)現(xiàn)針對(duì)多標(biāo)簽分類算法的損失值計(jì)算及反向傳播,完成多標(biāo)簽分類算法的訓(xùn)練。改進(jìn)MobileNetV3風(fēng)險(xiǎn)源識(shí)別算法框架如圖3。

圖3 改進(jìn)MobileNetV3風(fēng)險(xiǎn)源識(shí)別算法框架Fig. 3 Improved MobileNetv3 risk source identification algorithm framework

改進(jìn)MobileNetV3風(fēng)險(xiǎn)源識(shí)別算法以224×224尺寸大小的圖片為輸入,對(duì)輸入圖片進(jìn)行下采樣后連接15個(gè)B-neck結(jié)構(gòu)提取風(fēng)險(xiǎn)源特征。B-neck結(jié)構(gòu)經(jīng)過通道裁剪方法降低擴(kuò)張通道數(shù)量,其中第4、5、6、11、12、13、14、15層B-neck結(jié)構(gòu)中使用空間注意力模塊,然后通過平均池化、1×1卷積將各通道風(fēng)險(xiǎn)源特征信息進(jìn)行組合,采用Sigmoid激活函數(shù)將組合信息映射為一個(gè)0到1之間的向量。最后通過設(shè)定固定閾值的方式,比較向量中的值與固定閾值的大小,輸出向量中大于固定閾值的值對(duì)應(yīng)的標(biāo)簽類別。

2.1 注意力機(jī)制改進(jìn)

MobileNetV3的核心架構(gòu)是基于深度可分離卷積和通道注意力機(jī)制的B-neck結(jié)構(gòu),通過堆疊B-neck結(jié)構(gòu)達(dá)到特征提取的效果,且B-neck結(jié)構(gòu)中采用深度卷積,相對(duì)普通卷積其可以極大地減少網(wǎng)絡(luò)模型的參數(shù)量。B-neck結(jié)構(gòu)如圖4。

圖4 B-neck結(jié)構(gòu)Fig. 4 B-neck structure

B-neck結(jié)構(gòu)的通道注意力機(jī)制是采用全局平均池化將所有通道的值壓縮成一個(gè)權(quán)重矩陣,權(quán)重矩陣通過降維、升維操作后分別與每個(gè)通道中的像素點(diǎn)值相乘。然而,通道注意力機(jī)制只是在每個(gè)通道之間調(diào)整權(quán)重,同一個(gè)通道的權(quán)重是相同的,不能突出通道內(nèi)部的主要風(fēng)險(xiǎn)源特征信息。為了更有效地傳遞風(fēng)險(xiǎn)源特征信息,針對(duì)B-neck結(jié)構(gòu)的通道注意力機(jī)制無法確定通道內(nèi)部特征信息權(quán)重問題,采用空間注意力機(jī)制[12]替換B-neck結(jié)構(gòu)的通道注意力機(jī)制,加強(qiáng)特征提取能力?？臻g注意力模塊如圖5。

圖5 空間注意力模塊Fig. 5 Spatial attention module

空間注意力模塊對(duì)輸入特征層同時(shí)進(jìn)行1×1卷積、最大池化和平均池化3種操作,提取出風(fēng)險(xiǎn)源特征信息,將3種操作得到的特征層通道堆疊在一起后使用3×3深度可分離卷積進(jìn)行特征融合,并采用Mish激活函數(shù)對(duì)該融合特征進(jìn)行非線性變換,得到權(quán)重矩陣。

Mish激活函數(shù)[13]作為一種非線性傳遞函數(shù)有著無上界、無窮階連續(xù)性和光滑性等眾多優(yōu)點(diǎn),相比tanh、relu等激活函數(shù)有更好的信息傳遞效果。其中無上界特性可以避免導(dǎo)致訓(xùn)練速度急劇下降的梯度飽和問題,無窮階連續(xù)性可以有效提高泛化能力,光滑性則使得梯度下降效果更好。Mish激活函數(shù)定義見式(1):

MMish=x×tanh[ln(1+ex)]

(1)

最后,將權(quán)重矩陣與輸入特征層逐點(diǎn)相乘,關(guān)注每個(gè)特征通道內(nèi)部的風(fēng)險(xiǎn)源特征信息,同時(shí)抑制冗余信息,提升風(fēng)險(xiǎn)源識(shí)別效率。

2.2 擴(kuò)張通道剪枝

在公路行車安全風(fēng)險(xiǎn)源識(shí)別問題中,多數(shù)行車安全風(fēng)險(xiǎn)源如團(tuán)霧、大雪、邊坡塌方等,主要依靠全局特征信息如顏色特征、形狀特征等進(jìn)行分類。在傳統(tǒng)MobileNetV3中的B-neck結(jié)構(gòu)中存在一個(gè)通道數(shù)從低到高、再從高到低的數(shù)量變換,擴(kuò)張通道數(shù)量過高會(huì)使得通道中風(fēng)險(xiǎn)源全局特征信息稀疏化,影響分類效果。且擴(kuò)張通道數(shù)量過高不但會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)量的浪費(fèi),在訓(xùn)練過程中也會(huì)使網(wǎng)絡(luò)更容易出現(xiàn)過擬合的現(xiàn)象。故對(duì)B-neck結(jié)構(gòu)中的擴(kuò)張通道進(jìn)行裁剪,壓縮模型。

批標(biāo)準(zhǔn)化(batch normalization, BN)作為一個(gè)改善深度神經(jīng)網(wǎng)絡(luò)穩(wěn)定性的操作,通過固定每層輸入信號(hào)的均值和方差來規(guī)范化每層的輸入,一般用于激活函數(shù)前,能夠加快梯度下降速度和網(wǎng)絡(luò)訓(xùn)練的收斂速度,且能有效解決深度神經(jīng)網(wǎng)絡(luò)中梯度彌散的問題,從而使得訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型更加容易和穩(wěn)定,過程如式(2)、式(3):

(2)

zout=γz+β

(3)

式中:zin、zout為輸入、輸出值;μ為批處理數(shù)據(jù)均值;σ2為批處理數(shù)據(jù)方差;ε為保證分母不為0的常數(shù);γ為縮放因子;β為平移因子。

BN層中的γ作為縮放因子,與每個(gè)通道的輸出相乘,所以γ值的大小會(huì)直接影響到BN層輸出的大小。當(dāng)γ值趨近于0,通道的輸出值也趨近于0,在往后的網(wǎng)絡(luò)參數(shù)中均趨近于0,則此通道在整體網(wǎng)絡(luò)結(jié)構(gòu)中沒有發(fā)揮作用。因此,可將縮放因子γ近視作為該通道對(duì)整體網(wǎng)絡(luò)的貢獻(xiàn)值[14]。

在已訓(xùn)練好的改進(jìn)MobileNetV3模型參數(shù)中,獲取B-neck結(jié)構(gòu)中1×1卷積降維操作部分BN層的所有縮放因子。對(duì)縮放因子絕對(duì)值進(jìn)行降序排列,取從小到大50%位置處的縮放因子值為閾值,去除縮放因子小于閾值的B-neck結(jié)構(gòu)中的對(duì)應(yīng)通道,實(shí)現(xiàn)網(wǎng)絡(luò)模型的通道剪枝,減少網(wǎng)絡(luò)參數(shù)量,提升模型預(yù)測(cè)速度。改進(jìn)MobileNetV3除第1個(gè)B-neck結(jié)構(gòu)外,對(duì)其余的B-neck結(jié)構(gòu)均進(jìn)行了比例為50%的擴(kuò)張通道裁剪,模型通道剪枝后擴(kuò)張通道數(shù)如表1。

表1 改進(jìn)MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 1 Structural parameters of the improved MobileNetv3

表1中Conv2d為二維卷積操作;B-neck為瓶頸結(jié)構(gòu);AvgPool為平均池化操作。

2.3 多標(biāo)簽激活函數(shù)設(shè)定

為滿足同時(shí)對(duì)同一圖像中多種行車安全風(fēng)險(xiǎn)源進(jìn)行識(shí)別,即多標(biāo)簽輸出,對(duì)MobileNetV3網(wǎng)絡(luò)的輸出層激活函數(shù)進(jìn)行修改,使其能夠?qū)崿F(xiàn)同時(shí)輸出多種行車安全風(fēng)險(xiǎn)源標(biāo)簽類別。

傳統(tǒng)MobileNetV3網(wǎng)絡(luò)作為一個(gè)單標(biāo)簽分類算法,在網(wǎng)絡(luò)最后的輸出層利用SoftMax函數(shù)將分類結(jié)果映射到一個(gè)向量中,向量中的最大值對(duì)應(yīng)了輸出的類別,其計(jì)算如式(4):

(4)

式中:Hi為SoftMax函數(shù)第i個(gè)標(biāo)簽的輸出概率值;ai、aj為網(wǎng)絡(luò)輸出層向量的第i個(gè)和第j個(gè)值;n為標(biāo)簽類別數(shù)量。

Sigmoid常用于二元分類模型中,其特性就是將輸出轉(zhuǎn)化為一個(gè)向量,向量中的每個(gè)值均為獨(dú)立的概率分布,且均在[0,1]范圍內(nèi)。Sigmoid表達(dá)形式見式(5):

(5)

改進(jìn)MobileNetV3算法設(shè)置Sigmoid函數(shù)作為輸出層的激活函數(shù),將網(wǎng)絡(luò)輸出層的值轉(zhuǎn)化為每個(gè)標(biāo)簽的概率值;其設(shè)定固定閾值,當(dāng)標(biāo)簽的概率值大于固定閾值時(shí),則認(rèn)為該輸入圖像中含有該標(biāo)簽類別的風(fēng)險(xiǎn)源。

2.4 損失函數(shù)改進(jìn)

在傳統(tǒng)MobileNetV3網(wǎng)絡(luò)中,在訓(xùn)練過程中采用多類別交叉熵?fù)p失(categorical cross entropy)函數(shù)計(jì)算真實(shí)標(biāo)簽值和預(yù)測(cè)值之間的損失值,從而進(jìn)行梯度的反向傳播。交叉熵?fù)p失函數(shù)如式(6):

(6)

式中:pi為第i個(gè)標(biāo)簽的真實(shí)標(biāo)簽值;qi為網(wǎng)絡(luò)輸出層的第i個(gè)標(biāo)簽預(yù)測(cè)值;C為總標(biāo)簽數(shù)量。

多分類任務(wù)中,需要預(yù)測(cè)出每一類標(biāo)簽的概率值,即一個(gè)向量,才能進(jìn)行最大概率值的輸出,但如果只進(jìn)行二分類任務(wù)的話,因?yàn)橹挥姓拓?fù)例,且兩者的概率和為1,所以不需要預(yù)測(cè)一個(gè)向量,只需預(yù)測(cè)一個(gè)概率。

在改進(jìn)MobileNetV3網(wǎng)絡(luò)中,將多標(biāo)簽風(fēng)險(xiǎn)源分類問題轉(zhuǎn)化為每個(gè)風(fēng)險(xiǎn)源標(biāo)簽類別的二分類問題,采用二元交叉熵?fù)p失(binary cross entropy)函數(shù)計(jì)算訓(xùn)練過程中真實(shí)標(biāo)簽值與預(yù)測(cè)標(biāo)簽值之間的損失值。二元交叉熵?fù)p失函數(shù)如式(7):

(7)

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境配置采用win 10操作系統(tǒng),python編程語言版本為3.7,深度學(xué)習(xí)框架為pytorch1.9.0,cuda版本為11.3,計(jì)算機(jī)硬件配置為AMD Ryzen 7 5800X 8-Core Processor 3.8 GHz處理器,機(jī)帶16 GB內(nèi)存,GPU為NVIDIA Quadro RTX 4000。

3.1 風(fēng)險(xiǎn)源圖像數(shù)據(jù)集構(gòu)建

筆者綜合考慮交通運(yùn)行安全條件、典型道路及路側(cè)環(huán)境、自然災(zāi)害及路面病害和氣候條件4個(gè)方面對(duì)交通安全的影響,收集了9類日常行車過程中典型、常見的公路行車環(huán)境安全風(fēng)險(xiǎn)源場景圖像,包括大雪環(huán)境、大雨環(huán)境、團(tuán)霧環(huán)境、邊坡塌方、陡坡公路、交通事故、交通擁堵、路面沉陷、隧道出入口,共15 357張風(fēng)險(xiǎn)源圖像,其中1 904張圖像中含有兩類風(fēng)險(xiǎn)源,343張圖像中含有3類風(fēng)險(xiǎn)源。訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分比例為7∶1∶2。圖像數(shù)據(jù)來源于國內(nèi)外相關(guān)數(shù)據(jù)庫[15]和重慶市部分公路實(shí)車采集數(shù)據(jù)。數(shù)據(jù)集圖像樣本如圖6。

圖6 公路行車環(huán)境安全風(fēng)險(xiǎn)源圖像樣本Fig. 6 Image sample of safety risk source of highway driving environment

對(duì)風(fēng)險(xiǎn)源數(shù)據(jù)集進(jìn)行多標(biāo)簽圖像分類的標(biāo)注處理,標(biāo)注格式詳細(xì)情況如表2。

表2 數(shù)據(jù)集標(biāo)注格式Table 2 Dataset annotation format

標(biāo)注文件中包括訓(xùn)練原圖的位置及風(fēng)險(xiǎn)源標(biāo)簽信息,風(fēng)險(xiǎn)源標(biāo)簽信息為一個(gè)1×n矩陣,n為風(fēng)險(xiǎn)源標(biāo)簽類別數(shù)量。訓(xùn)練圖像中包含某一類或多類風(fēng)險(xiǎn)源,在矩陣相對(duì)應(yīng)的位置為1,其余為0。風(fēng)險(xiǎn)源標(biāo)簽數(shù)量統(tǒng)計(jì)信息如圖7。

圖7 風(fēng)險(xiǎn)源標(biāo)簽數(shù)量Fig. 7 Number of risk source labels

3.2 評(píng)價(jià)指標(biāo)

改進(jìn)MobileNetV3網(wǎng)絡(luò)為一個(gè)多標(biāo)簽分類算法,故采用檢測(cè)率和分類準(zhǔn)確率同時(shí)作為網(wǎng)絡(luò)訓(xùn)練的評(píng)價(jià)指標(biāo),其中檢測(cè)率計(jì)算過程如式(8):

(8)

式中:U為圖像總數(shù)量;Gi為第i張圖像檢測(cè)正確的標(biāo)簽數(shù)量;Ni為第i張圖片中的真實(shí)標(biāo)簽數(shù)量。

單個(gè)標(biāo)簽分類準(zhǔn)確率和平均分類準(zhǔn)確率計(jì)算過程如式(9)、式(10):

(9)

(10)

式中:Mc為單個(gè)標(biāo)簽類別的正確檢測(cè)結(jié)果;ZT為單個(gè)標(biāo)簽類別樣本總數(shù);N為標(biāo)簽類別總數(shù);Acc為單個(gè)標(biāo)簽類別分類準(zhǔn)確率;AA為平均分類準(zhǔn)確率。

3.3 結(jié)果分析

試驗(yàn)首先對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化,采用Adam優(yōu)化算法,批次大小為64,迭代次數(shù)為200。輸出層固定閾值設(shè)置為0.5,預(yù)測(cè)值大于固定閾值時(shí),則認(rèn)為該圖像中含有該類標(biāo)簽風(fēng)險(xiǎn)源。模型訓(xùn)練結(jié)果如圖8。圖8中,方法1為只將MobileNetV3改進(jìn)為多標(biāo)簽圖像分類算法進(jìn)行訓(xùn)練,方法2將MobileNetV3改進(jìn)為多標(biāo)簽圖像分類算法的同時(shí)引入了空間注意力模塊,固定閾值取0.5。

圖8 訓(xùn)練結(jié)果Fig. 8 Training results

由圖8可知,將MobileNetV3改進(jìn)為多標(biāo)簽圖像分類算法后,方法1驗(yàn)證損失曲線可以得到很好的收斂。通過引入空間注意力機(jī)制,方法2驗(yàn)證損失曲線收斂速度略慢于方法1,最終損失值低于方法1。對(duì)比2種算法的檢測(cè)率可得,通過引入空間注意力機(jī)制可在網(wǎng)絡(luò)良好收斂的同時(shí)有效提升識(shí)別檢測(cè)率。

在已訓(xùn)練好的方法2模型上,對(duì)其進(jìn)行通道剪枝,壓縮模型。在測(cè)試集中,對(duì)比3種模型,詳細(xì)數(shù)據(jù)如表3。

表3 模型測(cè)試結(jié)果Table 3 Test results of model

由表3可知,在實(shí)驗(yàn)平臺(tái)上輸入同樣大小圖像時(shí),方法2由于使用了空間注意力機(jī)制,參數(shù)量高于方法1,但有效提高了行車安全風(fēng)險(xiǎn)源的識(shí)別檢測(cè)率。通過對(duì)方法2模型進(jìn)行通道剪枝操作,在保證識(shí)別檢測(cè)率提升的前提下,極大地壓縮了模型的參數(shù)量,模型參數(shù)量減小了65.5%,預(yù)測(cè)時(shí)間縮短了18.3%,FPS達(dá)到38 幀/s,具有良好的實(shí)時(shí)性。具體風(fēng)險(xiǎn)源識(shí)別分類準(zhǔn)確率如表4。

表4 風(fēng)險(xiǎn)源識(shí)別分類準(zhǔn)確率Table 4 Classification accuracy rate of risk source identification

對(duì)比表4中3種方法在測(cè)試集中風(fēng)險(xiǎn)源類別的分類準(zhǔn)確率可知,通過引入空間注意力機(jī)制,最大提升識(shí)別準(zhǔn)確率為7.8%(交通事故類),平均提升準(zhǔn)確率為6.3%。在對(duì)方法2模型進(jìn)行通道剪枝后,可得到一個(gè)相對(duì)緊湊而小的輕量化網(wǎng)絡(luò)模型,且?guī)缀鯖]有精度損失。部分識(shí)別結(jié)果如圖9,其中,Label表示預(yù)測(cè)標(biāo)簽,Pre表示預(yù)測(cè)結(jié)果。

4 結(jié) 語

通過設(shè)定MobileNetV3的輸出層激活函數(shù)和修改損失函數(shù),使MobileNetV3能夠完成多標(biāo)簽圖像分類任務(wù),實(shí)現(xiàn)了同時(shí)對(duì)同一圖像中多種行車安全風(fēng)險(xiǎn)源的識(shí)別。在此基礎(chǔ)上,通過引入空間注意力機(jī)制和裁剪擴(kuò)張通道,提升識(shí)別效果。對(duì)比實(shí)驗(yàn)結(jié)果表明,筆者所提算法在保證實(shí)時(shí)性檢測(cè)的同時(shí)有效地提升了公路行車環(huán)境安全風(fēng)險(xiǎn)源識(shí)別的檢測(cè)率和準(zhǔn)確率。由于公路行車環(huán)境安全風(fēng)險(xiǎn)源之間存在一定影響關(guān)系,后續(xù)將進(jìn)一步研究構(gòu)建風(fēng)險(xiǎn)源關(guān)系模型的方法,提升識(shí)別效果。