基于視覺注意力和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知

陳克瓊，安加喜，布天瑞，劉 偉

(合肥學(xué)院 先進(jìn)制造工程學(xué)院，安徽 合肥 230601)

高速公路發(fā)生團(tuán)霧氣象時，團(tuán)霧內(nèi)部能見度低，且團(tuán)霧位置極易隨大氣的漂移發(fā)生移動，從而造成車輛行駛區(qū)域能見度的突變而對道路行車安全產(chǎn)生嚴(yán)重威脅[1]。隨著信息技術(shù)的迅速發(fā)展，采用光譜分析、圖像處理、神經(jīng)網(wǎng)絡(luò)等技術(shù)方法實現(xiàn)雨霧氣象監(jiān)測受到了廣泛關(guān)注[2-6]。文獻(xiàn)[2]建立了一維參數(shù)化霧模型(Parameterized Fog Model, PAFOG)并且與三維的天氣研究和預(yù)報建模系統(tǒng)相融合，實現(xiàn)了對霧的識別，并建立了有效的道路交通大霧預(yù)警系統(tǒng)；文獻(xiàn)[3]基于霧圖像多特征分析，提出了一種反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò)分類方法以實現(xiàn)水面霧氣象現(xiàn)象監(jiān)測；文獻(xiàn)[4]集成全球移動通信系統(tǒng)、全球定位系統(tǒng)和地理信息服務(wù)等技術(shù)，建立了高速公路雨霧檢測預(yù)警系統(tǒng)；文獻(xiàn)[5]給出了團(tuán)霧信息檢測、傳輸與保存的云計算模型；文獻(xiàn)[6]基于團(tuán)霧中水凝物的散射特性分析，給出了基于水凝物激光散射性的團(tuán)霧檢測系統(tǒng)。然而，我國高速公路位置、地形多樣復(fù)雜，團(tuán)霧現(xiàn)象的發(fā)生與大氣、海拔、地形等環(huán)境因素密切相關(guān)，傳統(tǒng)的雨霧氣象分析方法難以對瞬息萬變的高速公路團(tuán)霧現(xiàn)象實現(xiàn)實時精準(zhǔn)檢測，以至于無法為在高速公路中高速行駛的往來車輛提供實時有效的預(yù)警與引導(dǎo)信息，因此，對高速公路團(tuán)霧實時精準(zhǔn)檢測具有十分重要的理論與實踐應(yīng)用價值。

近年來，深度學(xué)習(xí)在環(huán)境科學(xué)中得到了廣泛的應(yīng)用[7-9]。文獻(xiàn)[7]使用空間卷積神經(jīng)網(wǎng)絡(luò)(Spatial Convolutional Neural Networks, SCNNs)網(wǎng)絡(luò)對不同濃度的霧圖像FoggyCULane數(shù)據(jù)集進(jìn)行訓(xùn)練，有效提高霧天車道線檢測識別率；文獻(xiàn)[8]模仿人類認(rèn)知方式，結(jié)合遷移學(xué)習(xí)和閉環(huán)控制的思想，給出了一種基于動態(tài)交錯組卷積的霧氣等級智能認(rèn)知方法。文獻(xiàn)[9]基于遺傳算法和反向傳播神經(jīng)網(wǎng)絡(luò)(BP)人工神經(jīng)網(wǎng)絡(luò)，構(gòu)建霧氣象預(yù)測模型。在傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中，伴隨著網(wǎng)絡(luò)結(jié)構(gòu)的深入和分支的增加，能夠由淺入深提取圖像特征信息，但其在各特征層次中對于圖像信息的提取廣度是不變的，因而對于圖像局部信息處理不盡如人意。人腦在識別事物時，往往將注意力聚焦于關(guān)鍵局部信息，從而實現(xiàn)快速準(zhǔn)確的認(rèn)知。視覺注意力機(jī)制能夠基于問題域在特定特征層次中突出表征特定關(guān)鍵信息，從而擴(kuò)充普通卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力[10-12]。因而，在高速公路團(tuán)霧認(rèn)知模型的特征表征過程中加入視覺注意力機(jī)制，能夠提高圖像特征的表征能力，提高認(rèn)知模型性能。

深度隨機(jī)配置網(wǎng)絡(luò)(Deep Stochastic configuration networks，DeepSCN)在相關(guān)約束條件下選取網(wǎng)絡(luò)權(quán)值和閾值，以實現(xiàn)遞增式學(xué)習(xí)機(jī)制，在模型實時性、有效性要求高的應(yīng)用中具有優(yōu)越性能[13-17]。針對團(tuán)霧生成時復(fù)雜的氣象環(huán)境造成的團(tuán)霧檢測效率和精度難以滿足要求等問題，結(jié)合認(rèn)知科學(xué)中人腦對于視覺區(qū)域中特定部分的集中關(guān)注機(jī)制，本文提出了一種基于視覺注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知方法。首先，采用圖像通道轉(zhuǎn)換和高斯模糊濾波方法對輸入的路面圖像進(jìn)行預(yù)處理，獲得歸一化的高速路面樣本圖像集合。其次，提出了基于視覺注意力機(jī)制的團(tuán)霧圖像深度特征空間構(gòu)建方法，以構(gòu)建多層次差異化團(tuán)霧氣象特征空間表征模型。最后，構(gòu)造了基于深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧等級分類器，以獲取具有強(qiáng)泛化能力的快速高準(zhǔn)確率分類機(jī)制。最后，基于上述方法，開展了大量實驗，通過數(shù)據(jù)與結(jié)果分析，驗證了本文方法對于實時性、穩(wěn)定性要求較高的高速公路團(tuán)霧氣象等級認(rèn)知的可行性與優(yōu)越性。

1 基于視覺注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知模型

為有效實現(xiàn)高速公路團(tuán)霧氣象的快速準(zhǔn)確認(rèn)知，本文提出的基于視覺注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知模型如圖1所示。模型由訓(xùn)練層和認(rèn)知層兩層結(jié)構(gòu)構(gòu)成，各層的結(jié)構(gòu)與功能為：

1.1 訓(xùn)練層

圖1 基于視覺注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧等級快速認(rèn)知模型

訓(xùn)練層包括團(tuán)霧圖像預(yù)處理、基于視覺注意力機(jī)制的團(tuán)霧圖像深度特征空間構(gòu)建、基于深度隨機(jī)配置網(wǎng)絡(luò)的團(tuán)霧等級分類器構(gòu)造。對于輸入的原始訓(xùn)練團(tuán)霧圖像樣本集合，采用顏色空間轉(zhuǎn)換與高斯模糊濾波預(yù)處理，構(gòu)造高質(zhì)量、歸一化的訓(xùn)練團(tuán)霧圖像樣本空間；通過在CNNs中融入視覺注意力機(jī)制，以構(gòu)建具有可區(qū)分細(xì)節(jié)信息的團(tuán)霧圖像的深度特征空間；構(gòu)造深度隨機(jī)配置網(wǎng)絡(luò)分類器，以獲取全局逼近的訓(xùn)練樣本圖像的團(tuán)霧等級認(rèn)知結(jié)果，為認(rèn)知層測試團(tuán)霧圖像的團(tuán)霧氣象等級提供分類認(rèn)知匹配準(zhǔn)則。

1.2 認(rèn)知層

認(rèn)知層包括待認(rèn)知樣本深度特征空間獲取和團(tuán)霧等級分類認(rèn)知?；谟?xùn)練層給出的團(tuán)霧圖像深度特征數(shù)據(jù)結(jié)構(gòu)，獲取測試團(tuán)霧圖像樣本空間的同維度特征表征模型；基于訓(xùn)練層給出的團(tuán)霧氣象等級分類匹配準(zhǔn)則，獲取測試樣本的團(tuán)霧等級實時認(rèn)知結(jié)果。

2 基于視覺注意力機(jī)制和深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知算法

2.1 高速公路團(tuán)霧圖像預(yù)處理

高質(zhì)量的輸入圖像樣本集合能夠有效提高后續(xù)高速公路團(tuán)霧分類認(rèn)知模型的準(zhǔn)確性。本文采用圖像通道轉(zhuǎn)換和高斯模糊濾波方法[18-19]，對采集的高速公路團(tuán)霧圖像樣本進(jìn)行預(yù)處理。

首先，將采集的高速公路團(tuán)霧原始圖像由RGB域轉(zhuǎn)換至HSV域表征，以獲取更為直觀的HSV空間圖像F(x,y)={H(x,y),S(x,y),V(x,y)}以增強(qiáng)得團(tuán)霧顏色的通道對比度。其次，通過高斯模糊濾波計算構(gòu)造歸一化的輸入圖像樣本空間，以降低噪聲干擾。

由此，由上述方法對輸入的原始高速路面圖像進(jìn)行變換、濾波預(yù)處理，可分別構(gòu)造高質(zhì)量、歸一化的高速路面訓(xùn)練團(tuán)霧圖像樣本集合U={U1,…,UN}和測試團(tuán)霧圖像樣本集合Y={Y1,…,Yn}.

2.2 基于視覺注意力機(jī)制的團(tuán)霧圖像深度特征空間構(gòu)建

圖2 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

CNNs在團(tuán)霧檢測方面具有很好的自學(xué)習(xí)能力，但傳統(tǒng)網(wǎng)絡(luò)在特定層次中提取圖像信息時往往是一次性無差別全部獲取，這與人類利用一系列部分瞥見并選擇性地關(guān)注顯著部分從而更好地捕捉視覺結(jié)構(gòu)的視覺機(jī)理有一定差距。視覺注意力機(jī)制可以有效關(guān)注關(guān)鍵信息，同時抑制非必要特征，從而增加特征空間表達(dá)能力[10]。本文采用卷積注意力模塊(Convolutional Block Attention Module，CBAM)并融合于CNNs網(wǎng)絡(luò)中，以增強(qiáng)高速公路團(tuán)霧圖像可區(qū)分性?；跉埐罹W(wǎng)絡(luò)(Residual Network，ResNet)模型，本文的基于視覺注意力機(jī)制的團(tuán)霧圖像深度特征提取模型輸入為經(jīng)由濾波變換預(yù)處理后的高速路面訓(xùn)練團(tuán)霧圖像樣本，在不改變網(wǎng)絡(luò)基本結(jié)構(gòu)的前提下，在每兩個卷積塊之間添加一個CBAM模塊，將一副圖像分解成通道和空間兩個維度，并分別從兩個獨(dú)立維度依次加入注意力權(quán)重，并獲得優(yōu)化的特征空間輸出到下一個卷積塊作為輸入，其模塊結(jié)構(gòu)如圖2所示。

基于文獻(xiàn)[10]，采用先通道模塊后空間模塊串行連接方式，以實現(xiàn)更高的特征覆蓋度。假設(shè)已知由上一殘差模塊獲取的輸入特征圖空間T∈RC×H×W，則經(jīng)由CBAM模塊提取的具有注意力權(quán)重的輸出特征圖空間可基于式(1)獲得。

(1)

其中，F(xiàn)c(T)∈RC×1×1是1維通道注意力特征函數(shù)，F(xiàn)S(T′)∈R1×H×W是2維空間注意力特征函數(shù)，T′是通道注意力輸出特征圖空間，T″是最終優(yōu)化輸出的團(tuán)霧特征圖空間，?是逐元素乘積運(yùn)算。

這里，通道注意力特征圖空間由共享網(wǎng)絡(luò)聚合輸入特征空間的最大池化和平均池化空間獲得，空間注意力特征空間由兩個池化運(yùn)算聚合特征圖的通道信息并經(jīng)由標(biāo)準(zhǔn)卷積運(yùn)算獲得，如式(2)所示。

(2)

由此，對于分別輸入的訓(xùn)練和測試團(tuán)霧圖像樣本集合U、Y，經(jīng)過相同的基于注意力機(jī)制的可分別獲得高速路面圖像團(tuán)霧氣象信息的優(yōu)化表征C=[C1,…,CZ,Ud]和K=[K1,…,KZ]，其中，Ci和Ki分別為對訓(xùn)練樣本和測試樣本構(gòu)建的Z維具有注意力顯著表征的優(yōu)化特征向量之一，Ud為訓(xùn)練樣本真實決策屬性向量，即大霧的等級標(biāo)簽。

2.3 基于DeepSCN的團(tuán)霧等級分類器構(gòu)造

為改善Softmax分類對于高速公路團(tuán)霧認(rèn)知網(wǎng)絡(luò)分類不精確、泛化能力差且處理速度慢的不足，本文采用DeepSCN網(wǎng)絡(luò)構(gòu)造團(tuán)霧等級分類器[20]，通過在約束條件下自適應(yīng)選取網(wǎng)絡(luò)權(quán)值和偏移量參數(shù)實現(xiàn)全局逼近，從而增強(qiáng)分類模型的泛化性能。

基于所構(gòu)建的高速路面團(tuán)霧氣象特征空間C作為輸入，可基于式(3)構(gòu)建DeepSCN網(wǎng)絡(luò)作為團(tuán)霧等級分類器獲得訓(xùn)練模型參數(shù)。

(3)

在隨機(jī)配置網(wǎng)絡(luò)中，網(wǎng)絡(luò)參數(shù)會自適應(yīng)變化從而優(yōu)化權(quán)重和偏移量，SCN分類器具有極強(qiáng)的適應(yīng)能力。對第λ個基函數(shù)wλ和aλ進(jìn)行取值時，需要通過如下約束條件：

(4)

(5)

由此，在具有最大隱含層節(jié)點數(shù)Lmax和可容忍誤差ε的約束條件下，基于式(3)(4)(5)可在訓(xùn)練中通過逐步增加網(wǎng)絡(luò)節(jié)點數(shù)，直至滿足學(xué)習(xí)誤差條件時停止訓(xùn)練，并獲得最終的團(tuán)霧等級分類器模型和訓(xùn)練樣本類別標(biāo)簽。繼而，對于輸入的測試樣本的Z維優(yōu)化高速路面圖像團(tuán)霧氣象特征空間K=[K1,…,KZ]，與分類器模型進(jìn)行分類匹配，則可獲得測試樣本最終的團(tuán)霧等級輸出向量On。

3 實驗與結(jié)果分析

為了驗證本文模型的可行性與有效性，從行車記錄儀上讀取6000張不同高速公路路面的圖像構(gòu)建不同濃度等級的輸入團(tuán)霧圖像樣本庫，依據(jù)團(tuán)霧對交通行車的影響程度，構(gòu)建樣本庫包括無霧(能見度大于一千米)、輕霧(能見度二百米到一千米之間)、濃霧(能見度低于二百米)三種不同濃度的團(tuán)霧等級。部分團(tuán)霧原始圖像如圖3所示，原始圖片尺寸為309×169，通道數(shù)為3。文中進(jìn)行的對比實驗均為從6000張高速路面圖像樣本中采用隨機(jī)抽樣的方式，以75%：25%的比例，分別構(gòu)造訓(xùn)練集和測試集，以保證實驗樣本的隨機(jī)性和實驗數(shù)據(jù)的可靠性。

圖3 部分原始圖像樣本

本文模型所選深度神經(jīng)網(wǎng)絡(luò)模型為ResNet50結(jié)構(gòu)，學(xué)習(xí)率lr=0.002，迭代次數(shù)Epoch=2900，批大小Batch_size=32，sigmoid激活函數(shù)，DeepSCN網(wǎng)絡(luò)隱含層節(jié)點數(shù)Lmax=1000，容忍誤差ε=0.01且η基于[1,5,10,20,30,40,50]自適應(yīng)選取最優(yōu)值。所有實驗與仿真結(jié)果均來自飛漿paddlepaddle2.0.2, GPU V100, python3.7, 16G顯存的深度學(xué)習(xí)平臺和Windows10系統(tǒng)平臺。

圖4所示為部分不同等級團(tuán)霧輸入圖像的預(yù)處理結(jié)果。由圖4可知，與原始圖像比較，HSV空間可以非常直接的表現(xiàn)色彩的亮度、顏色以及明亮程度，從而便于實現(xiàn)色彩間的比較。另外，高斯模糊濾波也在一定程度上降低了噪聲對圖像質(zhì)量的干擾，預(yù)處理后的樣本圖像尺寸為224×224。

圖5所示為2900次迭代過程中，基于相同的輸入圖像樣本和相同的分類器，在ResNet50網(wǎng)絡(luò)中加入CBAM模塊對于系統(tǒng)性能的影響。由圖5可知，在本次實驗中，隨著迭代次數(shù)的增加，ResNet50和ResNet50+CBAM網(wǎng)絡(luò)對團(tuán)霧等級的認(rèn)知精度不斷增加，最后趨于穩(wěn)定，這說明兩種網(wǎng)絡(luò)模型都具有較好的分類性能。加入CBAM模塊的ResNet50對高速公路團(tuán)霧圖像的認(rèn)知精度遠(yuǎn)遠(yuǎn)大于ResNet50本身的認(rèn)知精度，其中ResNet50_CBAM最高認(rèn)知精度達(dá)到94.91%，而ResNet50對高速公路團(tuán)霧圖像的最高精度在90%，可見加入注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)對高速公路團(tuán)霧圖像的認(rèn)知精度有明顯的提升，這是由于注意力機(jī)制的加入有效提高了特征覆蓋面，在層次化特征碎片獲取的時候增加了特定的關(guān)注部位，同時抑制了一些無關(guān)冗余的信息。

圖4 部分不同等級輸入圖像預(yù)處理結(jié)果

圖5 不同深度神經(jīng)網(wǎng)絡(luò)模型的識別率對比圖

圖6所示為2900次迭代過程中，基于相同的輸入圖像樣本和相同的ResNet50+CBAM網(wǎng)絡(luò)，分別采用本文的DeepSCN和傳統(tǒng)的softmax兩種分類機(jī)制時，對高速公路團(tuán)霧等級認(rèn)知的迭代次數(shù)與方差的關(guān)系對比。樣本方差描述了不同迭代次數(shù)模型預(yù)測值與均值間的離散程度，由圖6可知，隨著迭代次數(shù)的增加，采用兩種分類機(jī)制的系統(tǒng)方差均逐漸減小，最后趨于穩(wěn)定。同時，DeepSCN分類器的迭代方差遠(yuǎn)小于softmax分類器的迭代方差，這說明基于DeepSCN的網(wǎng)絡(luò)分類器對于高速公路團(tuán)霧等級分類效果的穩(wěn)定性更具有優(yōu)勢。

圖6 不同模式分類器的方差對比圖

為了表明本文方法的優(yōu)越性，本文以相同的訓(xùn)練樣本和測試樣本為輸入進(jìn)行對比實驗，比較了本文方法與本文的ResNet50+CBAM深度神經(jīng)網(wǎng)絡(luò)與softmax分類、ResNet50深度神經(jīng)網(wǎng)絡(luò)與本文的DeepSCN、ResNet50深度神經(jīng)網(wǎng)絡(luò)與softmax分類模型對于高速公路團(tuán)霧等級認(rèn)知的系統(tǒng)性能，所有實驗均以相同的訓(xùn)練樣本和測試樣本空間進(jìn)行，所有實驗結(jié)果均以平均識別率和標(biāo)準(zhǔn)差的形式表達(dá)。對比實驗結(jié)果如表1所示。

表1 不同算法性能對比

從表1可以發(fā)現(xiàn)，本文所提出的基于視覺注意力機(jī)制和深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧等級認(rèn)知方法相較于其他方法具有更優(yōu)的性能，平均認(rèn)知精度達(dá)到97.60%，且算法結(jié)果的隨機(jī)性也更低。與傳統(tǒng)的感知系統(tǒng)比較，具有注意力機(jī)制的認(rèn)知算法普遍提升3%～7%。視覺注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)能迅速對不同濃度團(tuán)霧的提取特征空間，并壓縮特征內(nèi)部的冗余信號，從而構(gòu)建具備多層次差異性的特征空間。與此同時，還構(gòu)造了快速識別的隨機(jī)配置網(wǎng)絡(luò)分類器映射輸入單一特征空間到輸出高速公路團(tuán)霧濃度等級，實現(xiàn)對高速公路團(tuán)霧圖像快速認(rèn)知識別。

4 結(jié)論

本文提出了一種基于視覺注意力機(jī)制和深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧等級認(rèn)知方法，該檢測方法只需要普通攝像機(jī)采集的高速公路團(tuán)霧圖像，可以是本文中的行車記錄儀采集的圖像，也可以是公路兩邊的固定攝像頭采集到的圖片，能夠滿足系統(tǒng)實時性、準(zhǔn)確性的要求。本文方法的主要優(yōu)勢是通過在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制，以能夠在較低的特征層次中獲取更深層次的團(tuán)霧圖像表征結(jié)果，從而有利于后續(xù)的團(tuán)霧等級分類機(jī)制構(gòu)建。另外，DeepSCN的運(yùn)用在較大程度上降低了神經(jīng)網(wǎng)絡(luò)由于隨機(jī)選取初始權(quán)值和偏置所導(dǎo)致的結(jié)果隨機(jī)性，使系統(tǒng)具有更高的穩(wěn)定性與泛化性能。本文主要討論了本文模型對于高速路面圖像中團(tuán)霧等級的認(rèn)知，對于其他具有實時性預(yù)警要求的氣象現(xiàn)象，如沙塵暴、浮塵、揚(yáng)沙等的有效認(rèn)知，具有較高的推廣價值。