基于語義分割的高速公路天氣識(shí)別算法

劉 電 張秀杰

（廣州國交潤萬交通信息有限公司,廣東 廣州 510640）

隨著高速公路的發(fā)展，公路行駛安全問題越來越受到關(guān)注。統(tǒng)計(jì)數(shù)據(jù)表明，由惡劣天氣，如雨天、雪天、霧天等導(dǎo)致的高速公路事故占比約20%，且惡劣天氣發(fā)生重大交通事故的概率比晴天高出5倍[1]。因此，實(shí)時(shí)準(zhǔn)確地識(shí)別天氣、發(fā)現(xiàn)惡劣天氣是預(yù)防交通事故的重要任務(wù)。傳統(tǒng)的基于圖像的天氣識(shí)別方法以先驗(yàn)知識(shí)為基礎(chǔ)，基于圖像本身的淺層表征特征[2]，如色彩飽和度、邊緣和形狀特征等進(jìn)行識(shí)別。為了更完整地表達(dá)出圖像中的天氣特征，侯慧蓉（2017）采用多種圖像表征特征提取方法，包括LBP、HSV、HOG等提取圖像特征，融合這些特征后輸入分類器識(shí)別天氣圖像[3]。但高速公路圖像中，道路普遍占據(jù)圖像面積一半以上，天氣表征不明顯，圖像的天氣特征更多地表現(xiàn)在路面上，如晴天路面陰影、雨天路面反光等。因此，基于高速公路圖像的天氣識(shí)別研究需要著重關(guān)注道路區(qū)域天氣特征。目前的道路分割算法大多是基于深度學(xué)習(xí)，如ENet[4]是借鑒U-Net[5]提出的一種基于編碼器-解碼器結(jié)構(gòu)的語義分割模型，在公開數(shù)據(jù)集Cityscapes[6]中取得了較好的道路分割效果，XU等人在BiSeNetV2的基礎(chǔ)上提出了一種更快的雙邊分割網(wǎng)絡(luò)Faster BiSeNet，以更緊湊的結(jié)構(gòu)促進(jìn)空間和語義分支的特征融合，從而提高實(shí)時(shí)性[7]。

上述現(xiàn)有的道路分割模型在高速公路道路分割中表現(xiàn)較差，因此本文針對(duì)高速公路場(chǎng)景構(gòu)建了高速公路天氣圖像數(shù)據(jù)集，搭建了基于語義分割模型的天氣識(shí)別網(wǎng)絡(luò)，使用道路分割模型分割出道路區(qū)域，并設(shè)計(jì)了提取天氣特征的卷積網(wǎng)絡(luò)WFCN（Weather Feature-Extraction Convolution Network）分別對(duì)原始圖像和道路區(qū)域進(jìn)行特征提取，在關(guān)注全局天氣特征的同時(shí)，重點(diǎn)關(guān)注道路區(qū)域天氣特征，實(shí)現(xiàn)了基于道路分割的高速公路天氣識(shí)別算法。

1 算法框架

針對(duì)高速公路圖像天氣識(shí)別任務(wù)，本文提出一種基于語義分割的天氣識(shí)別算法，算法流程如圖1所示。原始圖像首先會(huì)進(jìn)入道路提取階段，道路分割模型負(fù)責(zé)對(duì)原始圖像進(jìn)行像素分類，輸出圖像的道路區(qū)域，隨后道路區(qū)域?qū)⒈凰腿隬FCN網(wǎng)絡(luò)，經(jīng)過特征提取得到道路區(qū)域天氣特征。同時(shí)原始圖像將直接輸入WFCN網(wǎng)絡(luò)進(jìn)行全局天氣特征提取。然后將全局天氣特征和道路天氣特征融合輸入分類層進(jìn)行分類。

圖1 基于語義分割的天氣識(shí)別算法流程圖

2 道路提取

針對(duì)語義分割精度不高、高速公路場(chǎng)景的道路分割研究較少的問題，本文提出一種結(jié)合DeepLabv3+和DASPP的高速公路道路分割算法，并在本文構(gòu)建的高速公路語義分割數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，為基于高速公路圖像的天氣識(shí)別算法打下基礎(chǔ)。

2.1 算法設(shè)計(jì)

道路分割模型流程如圖2所示，原始圖像輸入語義分割模型后，先經(jīng)過編碼器中的深度卷積神經(jīng)網(wǎng)絡(luò)完成深層語義信息提取，然后提取多尺度特征輸入解碼器，解碼器將不同尺度的特征進(jìn)行上采樣，并進(jìn)行拼接，最后將拼接得到的特征送入像素分類模塊輸出語義分割結(jié)果。

圖2 道路分割模型流程圖

2.2 基于語義分割的道路提取網(wǎng)絡(luò)

2.2.1 DeepLabv3+模型簡(jiǎn)介

DeepLabv3+首次將編碼器-解碼器的結(jié)構(gòu)引入到了DeepLab系列中，并將DeepLabv3模型中的ResNet50[8]替換為層數(shù)更多、感受野更大的Xception[9]，在不影響模型分割精度的同時(shí)，減少了模型的運(yùn)算量。

2.2.2 DASPP

為進(jìn)一步減少在下采樣過程中各層次的局部特征丟失，并提取到更具表征力的多尺度特征，本文將對(duì)DeepLabv3+中的多尺度特征提取模塊進(jìn)行優(yōu)化，使用DASPP（DenseASPP，密集空洞空間金字塔池化模塊）替代ASPP完成多尺度特征提取和融合。

ASPP由Chen等于2016年在DeepLabv2[10]模型中提出，空洞卷積的引入使ASPP能夠在多尺度特征提取過程中擁有范圍更廣的感受野的同時(shí)，特征圖分辨率不會(huì)降低。DASPP[11]由Yang等在DenseNet的啟發(fā)之下于2018年提出，旨在增大ASPP在尺度軸上的特征分辨率密集程度，加大特征圖在不同維度的感受野。受DenseNet[12]啟發(fā)，DASPP采用級(jí)聯(lián)融合的方式將不同膨脹率的空洞卷積層的輸出融合在一起，如圖3所示，DASPP從左到右每一層的空洞卷積層膨脹率依次增大，每一層空洞卷積層都會(huì)將輸入和上一層的輸出進(jìn)行級(jí)聯(lián)操作，然后將結(jié)果輸入本層，從原始圖像中提取到的特征圖經(jīng)過DASPP之后會(huì)得到包含更加豐富的和更大范圍感受野的多尺度特征圖。

圖3 DASPP網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 對(duì)比試驗(yàn)

2.3.1 高速公路語義分割數(shù)據(jù)集的構(gòu)建

本文構(gòu)建的高速公路語義分割數(shù)據(jù)集共包含2 562張來自廣東、江西、山西和遼寧4個(gè)省內(nèi)多條高速公路的道路監(jiān)控?cái)z像頭數(shù)據(jù)，獲取攝像頭實(shí)時(shí)視頻流通過腳本程序獲取固定的時(shí)間間隔視頻幀，對(duì)每張圖像中的車輛、車道和車道線進(jìn)行標(biāo)注，圖4為高速公路語義分割數(shù)據(jù)集的分割示例圖。

圖4 高速公路語義分割數(shù)據(jù)集分割示例

2.3.2 試驗(yàn)結(jié)果分析

將本文提出的結(jié)合DASPP的道路分割算法與其他經(jīng)典語義分割模型在本文構(gòu)建的高速公路語義分割數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表1所示。從表1中可以看出，本文的語義分割算法的mIOU和mPA分別高達(dá)85.13%和90.63%，說明了道路分割算法的有效性。

表1 不同語義分割模型對(duì)比實(shí)驗(yàn)結(jié)果

3 特征提取

本文基于語義分割進(jìn)行天氣識(shí)別，特征提取階段包含兩個(gè)部分：重點(diǎn)關(guān)注道路區(qū)域天氣特征和全局天氣特征，結(jié)合深度可分離卷積和Xception設(shè)計(jì)天氣識(shí)別網(wǎng)絡(luò)，并對(duì)提取的特征進(jìn)行融合。

3.1 深度可分離卷積

2017年提出的Xception輕量型網(wǎng)絡(luò)對(duì)Inceptionv3[14]進(jìn)一步改進(jìn)，通過引入深度可分離卷積替換原先的常規(guī)卷積，在不影響Inceptionv3模型精度的同時(shí)極大地提高了網(wǎng)絡(luò)的性能，在圖像分類公開數(shù)據(jù)集ImageNet驗(yàn)證集上取得了Top1上79%的準(zhǔn)確率。Xception網(wǎng)絡(luò)的核心在于深度可分離卷積模塊（Depthwise Separable Convolution），其操作示意圖如圖5所示。深度可分離卷積操作將不同通道相關(guān)性的學(xué)習(xí)與單個(gè)通道不同維度的相關(guān)性學(xué)習(xí)分開進(jìn)行，相較于常規(guī)的卷積操作，深度可分離卷積操作極大地減少了參數(shù)量和運(yùn)算量。

圖5 深度可分離卷積操作示意圖

3.2 天氣特征提取網(wǎng)絡(luò)WFCN

Xception網(wǎng)絡(luò)分為Entry Flow、Middle Flow、Exit Flow三個(gè)模塊，共有36個(gè)卷積層，分為14個(gè)特征提取模塊，不同特征提取模塊之間通過線性殘差連接方式連接。高速公路圖像中的天氣特征比較抽象，為更好地提取圖像中隱含的天氣特征，本文基于Xception網(wǎng)絡(luò)和深度可分離卷積模塊設(shè)計(jì)了新的網(wǎng)絡(luò)WFCN：第一，增加網(wǎng)絡(luò)的層數(shù)，在Middle Flow中，將原先重復(fù)8次的迭代學(xué)習(xí)增至16次，使用更深層的網(wǎng)絡(luò)能夠獲得更加高級(jí)的特征；第二，將所有的最大池化層替換成步長為2的深度可分離卷積層（Depthwise Separable Convolutional Layer），顯著降低模型參數(shù)量和運(yùn)算量，提高模型的性能。WFCN網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 WFCN網(wǎng)絡(luò)結(jié)構(gòu)圖

在天氣特征提取階段，原始圖像通過語義分割提取出道路區(qū)域，然后將原始圖像和道路區(qū)域圖像輸入天氣特征提取網(wǎng)絡(luò)WFCN，依次經(jīng)過WFCN中的Entry Flow、Middle Flow和Exit Flow模塊，提取出全局天氣特征和相應(yīng)的道路天氣特征，再將兩者融合輸入分類層?？傮w來說，在天氣特征提取階段，通過改進(jìn)Xception網(wǎng)絡(luò)中一系列卷積操作，將原始圖像全局和道路區(qū)域的像素特征映射到深層隱含特征空間。

4 分類階段

分類階段包含全連接層和邏輯回歸層。首先將提取的全局天氣特征和道路天氣特征進(jìn)行融合，受U-Net啟發(fā)，本文采用逐點(diǎn)相加融合的方式進(jìn)行特征融合，將得到的綜合特征輸入分類層。分類層主要負(fù)責(zé)將融合之后的天氣特征進(jìn)行整理和匯總，并將匯總后的特征通過全連接層進(jìn)行表達(dá)，最終通過邏輯回歸層輸出模型預(yù)測(cè)的天氣類別。

在天氣特征提取階段得到的由全局天氣特征和道路天氣特征融合而來的綜合特征為維度為2048的特征向量，分類層收到特征向量之后，首先會(huì)將其輸入全連接層，全連接層負(fù)責(zé)將前面天氣提取階段學(xué)習(xí)到的深層隱含特征空間的綜合特征映射到樣本標(biāo)記空間，即將維度為2048的綜合特征降維至5，也就是本文天氣樣本標(biāo)記的類別數(shù)。經(jīng)過全連接層之后，得到維度為5的預(yù)測(cè)分?jǐn)?shù)向量，預(yù)測(cè)分?jǐn)?shù)向量中的每一個(gè)元素對(duì)應(yīng)著原始圖像在一種天氣類別上的得分。邏輯回歸層將使用分類函數(shù)softmax將預(yù)測(cè)分?jǐn)?shù)向量轉(zhuǎn)換成預(yù)測(cè)概率向量，預(yù)測(cè)概率向量中的每一個(gè)元素代表原始圖像屬于這個(gè)類別的概率，預(yù)測(cè)概率向量k的計(jì)算過程如公式（1）所示，分類函數(shù)softmax的表達(dá)式為公式（2）。

式（2）中，ki為預(yù)測(cè)概率向量k中的第i個(gè)分量，zi為預(yù)測(cè)分?jǐn)?shù)向量z中的第i個(gè)分量，e為自然常數(shù)，n為類別總數(shù)，j為類別索引；最終分類層將根據(jù)預(yù)測(cè)概率向量輸出原始圖像對(duì)應(yīng)的天氣類別標(biāo)簽L(k)，如公式（3）所示。

5 實(shí)驗(yàn)結(jié)果

5.1 高速公路天氣數(shù)據(jù)集的構(gòu)建

經(jīng)過數(shù)據(jù)采集、篩選與標(biāo)注之后，本文高速公路天氣圖像數(shù)據(jù)集包含來自多個(gè)省份不同高速公路路段的36 381張?zhí)鞖鈭D像，并分為晴天、陰天、雨天、雪天、霧天五種天氣類別，各天氣類別圖像數(shù)量統(tǒng)計(jì)如表2所示。

表2 高速公路天氣數(shù)據(jù)集圖像數(shù)據(jù)統(tǒng)計(jì)

5.2 實(shí)驗(yàn)配置詳情

實(shí)驗(yàn)硬件配置和軟件環(huán)境如表3所示。

表3 軟/硬件配置詳情

5.3 消融實(shí)驗(yàn)

為驗(yàn)證本文WFCN網(wǎng)絡(luò)在天氣識(shí)別任務(wù)中的有效性，在構(gòu)建的高速公路天氣數(shù)據(jù)集上設(shè)置多組對(duì)照實(shí)驗(yàn)。對(duì)照實(shí)驗(yàn)的模型設(shè)置和實(shí)驗(yàn)結(jié)果如表4所示。通過調(diào)整Middle Flow特征提取模塊重復(fù)次數(shù)和Separable Conv替換池化操作，本文設(shè)計(jì)的WFCN模型在取得較高準(zhǔn)確率的同時(shí)具有更少的參數(shù)量和運(yùn)算量，模型性能是綜合最強(qiáng)的，證明了本文設(shè)計(jì)的天氣特征提取網(wǎng)絡(luò)的有效性。

表4 不同網(wǎng)絡(luò)結(jié)構(gòu)的Xception模型性能對(duì)比

5.4 對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文基于道路分割的天氣識(shí)別算法的優(yōu)越性，本文在構(gòu)建的高速公路天氣數(shù)據(jù)集上設(shè)置了多組對(duì)比實(shí)驗(yàn)，選擇VGG16、ResNet50和GoogLeNet分別進(jìn)行訓(xùn)練，與本文提出的基于道路分割的天氣識(shí)別算法進(jìn)行對(duì)比，對(duì)比實(shí)驗(yàn)結(jié)果如表5所示。由表5可知，本文提出的基于道路分割模型的天氣識(shí)別算法的天氣識(shí)別準(zhǔn)確率最高，且參數(shù)量和運(yùn)算量較少，驗(yàn)證了本文基于道路分割模型的天氣識(shí)別算法的優(yōu)越性。

表5 不同模型天氣識(shí)別效果對(duì)比

6 結(jié)語

本文基于高速公路圖像天氣特征分布設(shè)計(jì)了一種基于道路分割的天氣識(shí)別算法，并在構(gòu)建的高速公路天氣識(shí)別數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)，取得較高的準(zhǔn)確率，并具有性能優(yōu)越性和魯棒性。但仍有一定的改進(jìn)空間，首先在道路天氣特征和全局天氣特征的融合上可以考慮采用注意力機(jī)制，提升不同特征的融合效果；其次在網(wǎng)絡(luò)結(jié)構(gòu)上可以結(jié)合其他輕量級(jí)的網(wǎng)絡(luò)例如ShuffleNet進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，進(jìn)一步提升算法的性能和準(zhǔn)確率。