基于正則化ResNet50殘差網(wǎng)絡(luò)模型的路面凝冰識(shí)別與預(yù)警系統(tǒng)

摘 要：濕冷環(huán)境下的路面凝冰問題是我國季節(jié)性冰凍地區(qū)常見的公路氣象災(zāi)害，路面凝冰會(huì)極大降低路面抗滑能力，可能造成車輛追尾、側(cè)翻、橫滑和翻車等事故，是冬季城市道路和高速公路交通安全的巨大隱患。本文基于ResNet50殘差網(wǎng)絡(luò)模型，對路面凝冰識(shí)別與預(yù)警系統(tǒng)進(jìn)行了設(shè)計(jì)，進(jìn)而有效提高冬季公路交通安全水平，進(jìn)一步減少由于交通事故造成的人員傷亡與財(cái)產(chǎn)損失。

關(guān)鍵詞：道路凝冰；神經(jīng)網(wǎng)絡(luò)模型；圖像識(shí)別；預(yù)警系統(tǒng)

一、引言

路面凝冰檢測有人工檢測和自動(dòng)檢測兩種。由于檢測區(qū)域太廣，傳統(tǒng)人工檢測方法只能對幾處重要路段進(jìn)行巡檢，費(fèi)時(shí)費(fèi)力且效率低。在自動(dòng)檢測方案中，通常將攝像頭采集到的路面圖像與各類傳感器的檢測數(shù)據(jù)相結(jié)合，依靠人工或基于不同分析邏輯的系統(tǒng)判斷出檢測區(qū)域內(nèi)是否有凝冰。據(jù)統(tǒng)計(jì)，全國由于不良天氣狀況導(dǎo)致的交通阻斷占總的三分之一[1]，盡管目前市場上已經(jīng)出現(xiàn)埋入式傳感器等傳感器技術(shù)，在我國關(guān)于此項(xiàng)技術(shù)的研究仍然處于初步階段，由于路面環(huán)境的開放性以及結(jié)冰的不均勻性，埋入式結(jié)冰傳感器存在可靠性差、成本高且安裝困難的問題?；趫D像處理的道路凝冰檢測技術(shù)的優(yōu)勢在于其功能強(qiáng)大，圖像直觀，由軟件控制，便于升級，成本較低；安裝維修時(shí)不破壞路面，不封閉車道，可以根據(jù)不同要求重新設(shè)定位置。

本文基于深度學(xué)習(xí)殘差神經(jīng)網(wǎng)絡(luò)（ResNet50）算法對路面試件的凝冰圖像進(jìn)行圖像預(yù)處理以及訓(xùn)練分析，根據(jù)訓(xùn)練出的識(shí)別算法設(shè)計(jì)一個(gè)高效、準(zhǔn)確的路面凝冰識(shí)別與預(yù)警計(jì)算機(jī)系統(tǒng)，輸入一張路面圖像可以分析出路面是否凝冰，并根據(jù)分析的結(jié)果及時(shí)進(jìn)行信息反饋與預(yù)警。

二、研究內(nèi)容

（一）道路圖像的采集

由于自然環(huán)境多變，為高效、準(zhǔn)確地獲得多種不同自然環(huán)境下路面積水、積雪、凝冰的圖像數(shù)據(jù)，需設(shè)計(jì)一個(gè)高低溫環(huán)境試驗(yàn)箱模擬多樣化環(huán)境下路面試件的凝冰情況，為后續(xù)研究提供圖像數(shù)據(jù)。首先需要對圖像進(jìn)行分組，其中訓(xùn)練組圖像數(shù)量約占總數(shù)70%，測試組占15%，預(yù)測組占15%。需要利用OpenCV對圖像進(jìn)行預(yù)處理，預(yù)處理內(nèi)容主要包括：利用cvtColor函數(shù)進(jìn)行灰度化操作，將彩圖轉(zhuǎn)換為黑白圖像，提高數(shù)據(jù)處理速度；其次對道路圖像進(jìn)行分割，由于綠化帶的位置是固定的，可通過設(shè)定感興趣區(qū)域?qū)⒕G化帶與道路圖像分離以減小計(jì)算量，在道路圖像的分割中，車輛具有較多的邊緣信息，所以可以通過邊緣檢測的方法將車輛與道路圖像來進(jìn)行分割，通過對比了Canny、Sobel、Prewitt、Robert、Laplace這五種邊緣檢測方法的效果之后發(fā)現(xiàn)，Canny算子在檢測車輛邊緣連接最清晰，所以選用Canny算子進(jìn)行車輛邊緣檢測再進(jìn)目標(biāo)填充、形態(tài)學(xué)處理以及分割，加快了圖像特征提取的速度；字符分割是圖像預(yù)處理極為重要的一步，需要利用OpenCV中的合適的函數(shù)有效地將每一個(gè)字符分開，并且從圖片中切割下來，然后才可以導(dǎo)入訓(xùn)練好的模型進(jìn)行字符識(shí)別；最后還需要進(jìn)行均一化處理用于后續(xù)加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練收斂以保證程序運(yùn)行時(shí)收斂加快。

（二）深度學(xué)習(xí)算法用于凝冰特征識(shí)別

隨著卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，對于深層特征的獲取，一味地增加卷積網(wǎng)絡(luò)的層數(shù)并不總是可行的。網(wǎng)絡(luò)超過一定的層數(shù)，再繼續(xù)增加層數(shù)就會(huì)出現(xiàn)網(wǎng)絡(luò)退化的現(xiàn)象。ResNet[2-3] （深度殘差網(wǎng)絡(luò)）引入了跨層連接，將輸入直接跨層傳遞，進(jìn)行同等映射，再將輸入與卷積之后的結(jié)果進(jìn)行相加。堆疊層不再符合底層映射，轉(zhuǎn)而全部符合殘差的映射，這種結(jié)構(gòu)一定程度上解決了網(wǎng)絡(luò)退化的問題。殘差網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程得以加快，它不僅有效地解決了網(wǎng)絡(luò)退化的現(xiàn)象，還實(shí)現(xiàn)了在模型大小與參數(shù)不變的情況下，模型識(shí)別精度與速度的提升，其結(jié)構(gòu)如圖1所示。ResNet50包含有49個(gè)卷積層和1個(gè)全連接層，整體結(jié)構(gòu)由Conv卷積層，Batch Norm歸一化層，ReLU激活函數(shù)等基礎(chǔ)結(jié)構(gòu)構(gòu)成。

圖1 殘差單元結(jié)構(gòu)圖

（三）SE注意力機(jī)制

由于ResNet50模型在道路凝冰圖像數(shù)據(jù)集上，訓(xùn)練速度較慢、效率低，本研究將SE注意力模塊增加到ResNet50網(wǎng)絡(luò)結(jié)構(gòu)中，在模型每個(gè)殘差模塊中引入SE注意力機(jī)制，從而對特征圖像進(jìn)行加權(quán)處理，提高模型的特征提取能力，進(jìn)而加快模型收斂速度。首先進(jìn)行全局池化層生成特征分布，完成提取信息編碼，然后通過激活函數(shù)ReLU以及Sigmiod控制機(jī)制，得到各個(gè)通道之間的相關(guān)性，其中ReLU兩端依舊是1×1的全連接層[4]，SE－ResNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

為了進(jìn)一步增強(qiáng)模型對于道路凝冰圖像的特征提取能力，本文將標(biāo)簽平滑引入到模型訓(xùn)練中，以對真實(shí)標(biāo)簽進(jìn)行平滑處理防止模型過擬合，來進(jìn)一步提升原模型的泛化能力。Label Smooth標(biāo)簽平滑是由Szegedy等提出，針對one－h(huán)ot可能帶來的過擬合問題，傳統(tǒng)的分類損失多使用softmax loss，對全連接進(jìn)行計(jì)算softmax，再利用交叉熵進(jìn)行計(jì)算［5］。Label Smooth標(biāo)簽平滑引入了隨機(jī)噪聲，將目標(biāo)變?yōu)榉莖ne－h(huán)ot形式，其中ε代表超參數(shù)，n為分類的類別個(gè)數(shù)。公式如下：

（1）

標(biāo)簽平滑中，損失的概率不再是1或0，這一定程度上增強(qiáng)了模型的泛化能力，且彌補(bǔ)了模型可能出現(xiàn)的過擬合問題，產(chǎn)生更好的校準(zhǔn)網(wǎng)絡(luò)。因此，將SE注意力機(jī)制與Label Smooth標(biāo)簽平滑綜合起來加入到模型訓(xùn)練的過程中，可以進(jìn)一步增加模型訓(xùn)練的收斂速度、提高模型的泛化能力。

三、系統(tǒng)構(gòu)架設(shè)計(jì)

（一）系統(tǒng)的技術(shù)特點(diǎn)

本系統(tǒng)軟件基于Matlab R2021b開發(fā)，首先根據(jù)MATLAB深度學(xué)習(xí)庫建立ResNet50殘差網(wǎng)絡(luò)layers模型即*.mlx文件，運(yùn)用*.mlx文件將收集到的圖像數(shù)據(jù)進(jìn)行分組，進(jìn)而通過網(wǎng)絡(luò)模型實(shí)現(xiàn)訓(xùn)練與識(shí)別。訓(xùn)練過程中，通過調(diào)整MiniBatchSize、MaxEpochs、正則化參數(shù)、學(xué)習(xí)率等參數(shù)獲得最優(yōu)識(shí)別網(wǎng)絡(luò)模型CNNtest.mat文件，作為識(shí)別系統(tǒng)的核心部分。隨后基于Matlab R2021b的APP Designer平臺(tái)設(shè)計(jì)出軟件操作界面，生成原始的*.mlapp文件，在此基礎(chǔ)上運(yùn)用Matlab自帶的Matlab Compiler編譯器對文件進(jìn)行編譯，編譯成可脫離Matlab環(huán)境的能夠獨(dú)立執(zhí)行的*.exe文件，只要在安裝Matlab Compiler（可獨(dú)立安裝，且安裝文件很?。┑碾娔X上都可以運(yùn)行本軟件，提高可移植性。

（二）軟件的主要功能

1.對道路監(jiān)控系統(tǒng)中獲得的圖像數(shù)據(jù)進(jìn)行預(yù)處理（灰度化、二值化、均一化、目標(biāo)標(biāo)記等）突出所需識(shí)別的凝冰區(qū)域，進(jìn)而將凝冰特征進(jìn)行標(biāo)記；

2.將特征標(biāo)記后的路面圖像數(shù)據(jù)進(jìn)行正則化ResNet50殘差網(wǎng)絡(luò)圖像識(shí)別，預(yù)測路面是否處于結(jié)冰狀態(tài)；

3.及時(shí)輸出道路是否凝冰的信息，對道路凝冰狀況進(jìn)行預(yù)警；

4.快速清除用戶輸入的圖像數(shù)據(jù)和計(jì)算結(jié)果，快速進(jìn)入下一批圖像數(shù)據(jù)的輸入計(jì)算和圖形繪制。

四、結(jié)語

目前在人工智能算法的支持下，圖像識(shí)別技術(shù)逐漸應(yīng)用到了各行各業(yè)，但當(dāng)前社會(huì)很少有團(tuán)隊(duì)利用圖像識(shí)別技術(shù)進(jìn)行道路結(jié)冰分析的研究，主要原因有兩點(diǎn)，一是該研究屬于學(xué)科交叉型研究，需要交通、道路與計(jì)算機(jī)等專業(yè)的交互知識(shí)作為研究基礎(chǔ)；二是道路凝冰圖像識(shí)別需要多種自然環(huán)境條件下的巨量路面圖片，這些圖像數(shù)據(jù)獲取難度大、周期久，進(jìn)而相關(guān)研究無法很快取得進(jìn)展。因此，本項(xiàng)目開展路面凝冰圖像識(shí)別的研究，主要解決以上兩個(gè)問題，首先設(shè)計(jì)一個(gè)高低溫環(huán)境試驗(yàn)箱模擬多樣化環(huán)境下路面試件的凝冰情況，為后續(xù)圖片識(shí)別研究提供充足的圖像數(shù)據(jù)；其次尋求高效的神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)對路面凝冰圖像的準(zhǔn)確識(shí)別與信息反饋。

參考文獻(xiàn)：

[1]婁國青，任俊偉.不良天氣下的高速公路交通流特性及引導(dǎo)控制研究[J].黑龍江科技信息，2017（4）：206.

[2]He K M，Zhang X Y，Ren S Q，et al． Deep residual learning for image recognition[C] //2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）．Las Vegas，NV，USA.IEEE，2016：770－778.

[3]熊夢園，詹 煒，桂連友，等.基于ResNet模型的玉米葉片病害檢測與識(shí)別[J].江蘇農(nóng)業(yè)科學(xué)，2023，51（8）：164－170．

[4]陳雪敏.基于SE－ResNet模型的多角度人臉識(shí)別系統(tǒng)設(shè)計(jì)[J].貴陽學(xué)院學(xué)報(bào)（自然科學(xué)版），2020，15（4）：10－13．

[5]Szegedy C，Vanhoucke V，Ioffe S，et al.Rethinking the inception architecture for computer vision[C]/ /2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas，NV，USA.IEEE，2016：2818－2826．