基于計算機(jī)視覺的高速路面狀態(tài)檢測方法

陳善繼,劉鵬宇,白巖冰,王 濤,袁 靜

(1.青海民族大學(xué) 物理與電子信息工程學(xué)院,青海 西寧 810007; 2.北京工業(yè)大學(xué) 信息學(xué)部,北京 100124;3.先進(jìn)信息網(wǎng)絡(luò)北京實驗室,北京 100124; 4.計算智能與智能系統(tǒng)北京市重點實驗室,北京 100124)

在路面狀態(tài)監(jiān)測任務(wù)中,對路面狀態(tài)的檢測方法主要有基于埋入式的路面狀態(tài)傳感器、車載路面狀態(tài)檢測車和基于視覺信息的路面狀態(tài)檢測。相對于前兩者,基于視覺信息的路面狀態(tài)檢測具有快速、準(zhǔn)確、成本低、覆蓋面積廣等優(yōu)勢。隨著計算機(jī)硬件計算能力的不斷發(fā)展,應(yīng)用智能分析模型代替?zhèn)鹘y(tǒng)路面檢測方法識別路面狀態(tài)、對危險路面做出判斷并發(fā)出預(yù)警是交通監(jiān)管行業(yè)響應(yīng)“智慧交通”發(fā)展趨勢的迫切需求。

基于視覺信息進(jìn)行高速公路路面狀態(tài)檢測的技術(shù)研究仍處于起步階段,其本質(zhì)是以構(gòu)建圖片分類器的方式對不同的路面狀態(tài)圖片進(jìn)行分類。如何基于監(jiān)測設(shè)備的回傳視頻流來實現(xiàn)路面區(qū)域的分割、利用圖片狀態(tài)分類器對不同路面狀態(tài)進(jìn)行準(zhǔn)確分類是當(dāng)前首先要解決的技術(shù)問題。同時,由于公路兩側(cè)的樹木、燈桿等干擾物常常會在路面上形成陰影,因此消除陰影對路面狀態(tài)檢測結(jié)果的影響是提高路面狀態(tài)識別準(zhǔn)確率的前提。

本文根據(jù)交通監(jiān)管部門的實際需求,結(jié)合我國《公路交通氣象觀測站網(wǎng)建設(shè)暫行技術(shù)要求》[1],提出了一種基于計算機(jī)視覺的高速公路路面狀態(tài)檢測方法,實現(xiàn)對不同狀態(tài)路面的分類。以下主要從基于學(xué)習(xí)的路面區(qū)域分割、路面陰影消除、路面狀態(tài)分類3部分闡述本文提出的路面狀態(tài)檢測算法。

1 相關(guān)研究

1.1 基于學(xué)習(xí)的路面區(qū)域分割

可用于路面區(qū)域分割任務(wù)的圖像分割技術(shù)可以分為語義分割技術(shù)和實例分割技術(shù)。文獻(xiàn)[2]提出的全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)結(jié)構(gòu)不同,FCN的網(wǎng)絡(luò)結(jié)構(gòu)不采用全連接層,而是以卷積層代替全連接層來實現(xiàn)像素的逐點預(yù)測,且對輸入圖像的大小無限制,因此該網(wǎng)絡(luò)結(jié)構(gòu)具有更強(qiáng)的泛化性能和較高的分割精度,能夠為后續(xù)各種語義分割網(wǎng)絡(luò)的構(gòu)建提供新的思路。文獻(xiàn)[3]提出的U-Net網(wǎng)絡(luò)在醫(yī)學(xué)圖像的分割任務(wù)上取得了良好的表現(xiàn)。該網(wǎng)絡(luò)結(jié)構(gòu)在編碼器和解碼器之間使用了跳躍連接的網(wǎng)絡(luò)構(gòu)建思想,使得網(wǎng)絡(luò)訓(xùn)練所需的訓(xùn)練樣本更少,同時能夠?qū)崿F(xiàn)更加精準(zhǔn)的分割。文獻(xiàn)[4]提出了第一個無卷積模型的實例分割方法(ReSTR),其利用Transformer Encoder[5]獨立地提取視覺和語言特征,并分別將特征平行輸入到多模融合編碼器,以捕捉這兩種模態(tài)之間的細(xì)微關(guān)系,最后利用從粗到細(xì)分割的高效解碼器提升預(yù)測圖的分辨率,實現(xiàn)對目標(biāo)物體的精確分割。文獻(xiàn)[6]提出了一種基于端到端輪廓的實例分割方法(E2EC)。其首先生成一個熱圖來定位實例中心,然后通過基于中心點特征回歸初始偏移量來學(xué)習(xí)初始輪廓。初始輪廓首先由一個全局變形模塊進(jìn)行變形,然后演化為粗輪廓,最后變形模塊將粗輪廓變形到最終輪廓。

考慮到本文所述的路面圖像分割任務(wù)要盡量減少路面以外的無關(guān)信息,降低對后續(xù)陰影消除任務(wù)的影響,因此提取路面圖像后采用語義分割即可實現(xiàn)路面分割任務(wù),無須采用實例分割進(jìn)行同類間的劃分。

1.2 路面陰影消除

目前,路面陰影消除方法主要分為非生成式對抗網(wǎng)絡(luò)方法和生成式對抗網(wǎng)絡(luò)方法。非生成式對抗網(wǎng)絡(luò)以文獻(xiàn)[7]～文獻(xiàn)[9]為代表。文獻(xiàn)[7]提出了一種基于配對區(qū)域的新方法,基于數(shù)據(jù)的方法通過訓(xùn)練數(shù)據(jù)來進(jìn)行分類器學(xué)習(xí),根據(jù)分類結(jié)果創(chuàng)建分割曲線,并利用此曲線來進(jìn)行陰影區(qū)域和非陰影區(qū)域的劃分標(biāo)記。文獻(xiàn)[8]構(gòu)建了一種用于陰影去除的內(nèi)容嵌入式深度網(wǎng)絡(luò)模型結(jié)構(gòu),此網(wǎng)絡(luò)結(jié)構(gòu)通過3個提取特征的子網(wǎng)絡(luò)來進(jìn)行圖像的高級語義信息、中級外觀信息和局部圖像細(xì)節(jié)信息的提取與融合,從而完成陰影遮罩的層預(yù)測,實現(xiàn)全自動端對端的圖像陰影去除。文獻(xiàn)[9]通過預(yù)測陰影圖片的曝光參數(shù),并對預(yù)測后的圖片進(jìn)行抖動,再將其輸入一個融合網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),網(wǎng)絡(luò)對抖動后的圖片進(jìn)行參數(shù)自動融合,得到無陰影的圖片。生成式對抗網(wǎng)絡(luò)以文獻(xiàn)[10]和文獻(xiàn)[11]為代表。文獻(xiàn)[10]提出了一種疊加條件生成對抗網(wǎng)絡(luò)(Stacked Conditional Generative Adversarial Network,ST-CGAN)模型,此網(wǎng)絡(luò)模型利用信息聯(lián)合學(xué)習(xí)的方法來實現(xiàn)陰影的檢測與去除。ST-CGAN包含兩個生成器:生成器G1基于輸入的陰影圖像生成相應(yīng)的陰影遮罩圖;生成器G2對輸入的陰影圖像和G1生成的陰影遮罩圖進(jìn)行疊加操作,實現(xiàn)陰影去除,輸出去除陰影后的圖像。文獻(xiàn)[11]提出了一種利用條件生成對抗網(wǎng)絡(luò)的方法進(jìn)行圖像的陰影消除。該方法首先利用背景估計網(wǎng)絡(luò)來提取含陰影圖像的背景顏色,再將含陰影圖像和提取的背景顏色輸入一個條件生成對抗網(wǎng)絡(luò)中,來完成對圖像陰影的消除。

本文所述的待消除的高速公路路面陰影在混合路面狀態(tài)下,利用非生成式對抗網(wǎng)絡(luò)的方法極易造成陰影消除不徹底的情況,并且難以實現(xiàn)陰影的實時消除。而生成式對抗網(wǎng)絡(luò)則可以彌補(bǔ)以上不足,有利于本文所述路面陰影消除任務(wù)的實現(xiàn)。

1.3 路面狀態(tài)分類

路面狀態(tài)分類的方法主要分為傳統(tǒng)方法和卷積神經(jīng)網(wǎng)絡(luò)方法。傳統(tǒng)方法以文獻(xiàn)[12]～文獻(xiàn)[14]為代表。文獻(xiàn)[12]對不同路面狀態(tài)樣本提取RGB、YUV和HIS三種色彩空間下的特征值組成特征向量,基于改進(jìn)的BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)對路面狀態(tài)分類器進(jìn)行訓(xùn)練,統(tǒng)計分類準(zhǔn)確率達(dá)到85%以上。文獻(xiàn)[13]提出了一種對不同路面樣本分別提取顏色、紋理特征訓(xùn)練SVM(Support Vector Machine,支持向量機(jī))分類器進(jìn)行路面狀態(tài)判別的方法。文獻(xiàn)[14]通過提取路面圖像顏色與紋理特征,基于樸素貝葉斯模型設(shè)計了路面狀態(tài)識別分類器,由于手工提取特征的方式對路面狀態(tài)描述的局限性且其數(shù)據(jù)集規(guī)模較小,因此識別準(zhǔn)確率不能滿足實際需求。卷積神經(jīng)網(wǎng)絡(luò)方法以文獻(xiàn)[15]～文獻(xiàn)[17]為代表。文獻(xiàn)[15]基于圖神經(jīng)網(wǎng)絡(luò)的圖分類方法,通過卷積的方式對這些圖進(jìn)行多次特征變換,然后在此基礎(chǔ)上進(jìn)行池化操作,將圖的規(guī)模縮小,多次重復(fù)這個過程,最終得到整個圖的表示,從而進(jìn)行分類。文獻(xiàn)[16]提出了一種在EfficientNet[17]模型的深層結(jié)構(gòu)中引入雙注意力機(jī)制的辦法,實現(xiàn)了對干燥、微濕、潮濕、積水和積雪這5種不同路面的分類。

總體而言,基于傳統(tǒng)方法提取路面特征訓(xùn)練路面狀態(tài)分類器的方法受算法原理限制,準(zhǔn)確率往往難以滿足實際需求。卷積神經(jīng)網(wǎng)絡(luò)方法因全面的特征提取方式與高精度的分類性能較傳統(tǒng)方法性能更優(yōu)。但現(xiàn)有方法對于復(fù)雜高速公路路況和路面分類實際需求而言,其準(zhǔn)確性仍有待提升。

2 整體架構(gòu)

根據(jù)上述研究,本文第一步自主構(gòu)建了干燥、積雪、積水、結(jié)冰4種狀態(tài)的路面狀態(tài)數(shù)據(jù)集;第二步通過利用U-Net網(wǎng)絡(luò)結(jié)合Attention模塊,對路面區(qū)域進(jìn)行分割提取;第三步采用基于循環(huán)生成對抗網(wǎng)絡(luò)的路面陰影消除算法,對提取的路面區(qū)域進(jìn)行陰影消除;第四步構(gòu)建基于殘差結(jié)構(gòu)的路面狀態(tài)分類器,實現(xiàn)了對干燥、積雪、積水和結(jié)冰4種不同路面的準(zhǔn)確分類。本文的整體框架如圖1所示。

圖1 高速公路路面狀態(tài)檢測算法整體框架

3 模型設(shè)計

3.1 U-Net網(wǎng)絡(luò)結(jié)合Attention模塊的圖像分割提取算法

鑒于注意力機(jī)制在目標(biāo)分類、語義理解等領(lǐng)域展現(xiàn)出了優(yōu)異的性能,因此,科學(xué)地利用注意力機(jī)制的優(yōu)勢并與語義分割網(wǎng)絡(luò)相結(jié)合為提升高速公路路面區(qū)域的分割精度提供了很好的思路。

對路面區(qū)域做普通的卷積運算是將空間、通道特征混合在一起的提取路面特征的方式,這樣提取的特征相對混亂,引入注意力機(jī)制能夠關(guān)注于某個維度進(jìn)而在提取路面區(qū)域的特征時更有針對性。本文引用文獻(xiàn)[18]提出的具有雙通道殘差結(jié)構(gòu)的卷積塊注意力機(jī)制模塊(Convolutional Block Attention Module,CBAM),構(gòu)建了如圖2所示的殘差雙注意力機(jī)制模塊。

圖2 殘差雙注意力機(jī)制模塊

殘差雙注意力機(jī)制模塊首先將輸入的特征圖在通道注意力機(jī)制中分別進(jìn)行一個空間的全局平均池化和最大池化,將結(jié)果分別送入一個共享的兩層神經(jīng)網(wǎng)絡(luò)。將得到的2個特征相加后經(jīng)過Sigmoid激活函數(shù)得到通道注意力機(jī)制的權(quán)重系數(shù),將權(quán)重系數(shù)與原始輸入的特征相乘即可得到縮放后的新特征。然后在空間注意力機(jī)制中,將特征圖依次進(jìn)行最大池化與平均池化,把結(jié)果拼接后進(jìn)行卷積運算,經(jīng)過Sigmoid激活函數(shù)得到空間注意力機(jī)制的權(quán)重系數(shù),將權(quán)重系數(shù)與輸入的特征相乘即可得到經(jīng)過CBAM后的特征。接著在通道注意力機(jī)制中依據(jù)特征圖中每個通道的貢獻(xiàn)進(jìn)行特征重組,在空間注意力機(jī)制中依據(jù)特征圖中不同像素位置的貢獻(xiàn)進(jìn)行特征重組,結(jié)合殘差模塊的設(shè)計思想將輸出的結(jié)果與輸入的特征圖進(jìn)行連接。并且殘差雙注意力機(jī)制模塊的注意力機(jī)制可對空間、通道的特征進(jìn)行更有針對性的表達(dá),同時其內(nèi)置的殘差機(jī)制可以對路面的特征重復(fù)利用,具備更加關(guān)注目標(biāo)區(qū)域的特點。最后將語義分割網(wǎng)絡(luò)中在路面區(qū)域分割任務(wù)中表現(xiàn)最好的U-Net網(wǎng)絡(luò)與殘差雙注意力機(jī)制模塊融合,形成本文提出的U-Net結(jié)合Attention模塊的算法,該算法整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 U-Net網(wǎng)絡(luò)結(jié)合Attention模塊的圖像分割提取算法結(jié)構(gòu)圖

3.2 基于循環(huán)生成對抗網(wǎng)絡(luò)的路面陰影消除

隨著生成對抗網(wǎng)絡(luò)的不斷發(fā)展,為了對生成樣本的內(nèi)容進(jìn)行更加有目的性的約束,不斷有學(xué)者提出生成效果更真實的網(wǎng)絡(luò)結(jié)構(gòu)CycleGAN[19],相比原始的生成對抗網(wǎng)絡(luò),這種巧妙的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計在多項圖像生成任務(wù)上都取得了令人滿意的效果。

本文基于循環(huán)生成對抗網(wǎng)絡(luò)所構(gòu)建的陰影消除網(wǎng)絡(luò)結(jié)構(gòu)包含A、B兩個子網(wǎng)絡(luò)模塊,首先將含有陰影的路面圖片經(jīng)過模塊A處理,生成消除陰影覆蓋的路面圖片,將此圖片經(jīng)由模塊B處理,生成含有指定位置的路面陰影圖片,使得兩部分結(jié)構(gòu)形成閉環(huán)回路,整體架構(gòu)如圖4所示。

圖4 網(wǎng)絡(luò)整體架構(gòu)圖

整個模型由兩個生成對抗網(wǎng)絡(luò)構(gòu)成,其中模塊A實現(xiàn)從含有陰影覆蓋的路面圖片到無陰影路面圖片的轉(zhuǎn)換,它由生成器Gs、生成器Gf和判別器Df構(gòu)成,其模型結(jié)構(gòu)如圖5(a)所示;模塊B實現(xiàn)從無陰影的路面圖片到有陰影路面圖片的轉(zhuǎn)換,它由生成器Gs、生成器Gf和判別器Ds構(gòu)成,其模型結(jié)構(gòu)如圖5(b)所示。

圖5 模塊結(jié)構(gòu)圖

由陰影—無陰影—陰影方向的正向循環(huán)和無陰影—陰影—無陰影方向的反向循環(huán)組合構(gòu)成了模型的整個訓(xùn)練過程。在正向循環(huán)中一張含有陰影的路面圖片Is與標(biāo)記出陰影區(qū)域的二值化圖M一起經(jīng)過生成器Gf得到一張重建的無陰影路面圖片Ifg,再與同樣的陰影標(biāo)記圖片M一起經(jīng)過生成器Gs得到重建的路面陰影圖片Isg。在反向循環(huán)中一張無陰影的正常路面圖片If與標(biāo)記出陰影區(qū)域的二值化圖M一起經(jīng)過生成器Gs得到一張重建的含指定陰影區(qū)域的路面圖片Isg,再與同樣的陰影標(biāo)記圖片M一起經(jīng)過生成器Gf得到重建的去除掉陰影的路面圖片Ifg。本文通過循環(huán)一致性約束Is與Isg、If與Ifg盡量接近來間接使得原始圖片與生成器生成的圖片風(fēng)格保持一致。這樣,就基于非成對陰影路面數(shù)據(jù)實現(xiàn)了網(wǎng)絡(luò)中部分內(nèi)容損失的計算,該項損失函數(shù)稱為循環(huán)一致性損失(路面數(shù)據(jù)經(jīng)由正向循環(huán)和反向循環(huán)后與輸入的初始值相比產(chǎn)生的損失值)。循環(huán)一致性損失可以對路面無陰影圖片重建質(zhì)量產(chǎn)生良好的約束作用。

3.3 基于殘差結(jié)構(gòu)的路面狀態(tài)分類器構(gòu)建

傳統(tǒng)卷積網(wǎng)絡(luò)為了不斷提升網(wǎng)絡(luò)的分類精度,不斷增加卷積層中的濾波器數(shù)目提升輸出通道數(shù)、不斷加深網(wǎng)絡(luò)的層數(shù),網(wǎng)絡(luò)擬合能力越來越強(qiáng),但網(wǎng)絡(luò)訓(xùn)練誤差卻也伴隨著通道的加深而變大。實際上,以增加輸出通道數(shù)、堆疊網(wǎng)絡(luò)層深度為手段去提升分類精度是無法起到實質(zhì)作用的,相反,隨著網(wǎng)絡(luò)深度的加深會在梯度的反向傳播中引起梯度復(fù)乘,導(dǎo)致梯度越來越小,直至消失,最后,網(wǎng)絡(luò)的訓(xùn)練誤差也就越來越大。

殘差結(jié)構(gòu)以前饋神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),增加一個跳躍式的連接從而繞過原始結(jié)構(gòu)中的一部分。CNN中殘差模塊的引入改變了網(wǎng)絡(luò)整體的學(xué)習(xí)內(nèi)容,使以往學(xué)習(xí)一個完整的網(wǎng)絡(luò)輸出的情況改為學(xué)習(xí)網(wǎng)絡(luò)輸入與輸出之間的殘差。使用殘差函數(shù)將兩條路徑向整合再交由激活函數(shù)做非線性處理,最后形成一個完整的殘差網(wǎng)絡(luò)模塊。由于殘差結(jié)構(gòu)是輸出減去輸入,因此要求輸出與輸入部分的維度相同。殘差網(wǎng)絡(luò)中定義輸入端引出支線將上一層網(wǎng)絡(luò)的輸出連接到下層網(wǎng)絡(luò)中的連接方式為跳躍連接[20]。在一個殘差網(wǎng)絡(luò)模塊中,為了增加網(wǎng)絡(luò)的非線性表達(dá)能力會使得這種跳躍結(jié)構(gòu)跳躍兩層甚至更多層,借此擬合更加復(fù)雜的輸出函數(shù)。本文構(gòu)建的路面狀態(tài)分類器所用的殘差結(jié)構(gòu)如圖6所示,由兩個輸出通道數(shù)一致的3×3卷積網(wǎng)絡(luò)堆疊而成。

圖6 殘差結(jié)構(gòu)

由殘差神經(jīng)網(wǎng)絡(luò)構(gòu)成的路面狀態(tài)分類器,識別不同路面狀態(tài)的輸出類別由其最后的全連接層來完成。全連接層處于網(wǎng)絡(luò)整體的尾部,與人工神經(jīng)網(wǎng)絡(luò)中的全連接方式相似,這樣可以使得參數(shù)量和總體的計算量相比人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元減少了許多。全連接層中的神經(jīng)元與其前一層的全部神經(jīng)元相連,全連接層中的神經(jīng)元不同于卷積層中神經(jīng)元權(quán)值相互共享的機(jī)制,相互間權(quán)值不等。在殘差結(jié)構(gòu)尾部接入全連接層時會采用點積的方式進(jìn)行權(quán)值轉(zhuǎn)換并將前面殘差結(jié)構(gòu)輸出的多維向量矩陣轉(zhuǎn)化為單列向量,向量的維度即待分類的路面4種狀態(tài)。通過引入Softmax算法將特征圖像向量轉(zhuǎn)化為不同類別的概率數(shù)值向量。Softmax算法計算的結(jié)果為4種路面狀態(tài)中的最大概率值所對應(yīng)的類別,也即該路面經(jīng)過分類器所得分類結(jié)果。其計算過程為

(1)

式中:P(y=i|x|)為輸入的待檢測路面x在分類器中判定屬于第i類路面狀態(tài)的概率;k=4,為本文待檢測的4種路面狀態(tài)。最后構(gòu)建的用于訓(xùn)練路面狀態(tài)數(shù)據(jù)集進(jìn)行不同狀態(tài)識別的分類器結(jié)構(gòu)如表1所示。

表1 分類器結(jié)構(gòu)

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集

由于目前并沒有統(tǒng)一公開的應(yīng)用于不同路面狀態(tài)識別研究的路面數(shù)據(jù)集,針對文獻(xiàn)[1]中所要求的路面狀態(tài)中的干燥、積雪、積水和結(jié)冰4種狀態(tài),構(gòu)建了一套包含上述4種狀態(tài)的路面狀態(tài)數(shù)據(jù)集,樣本圖分別對應(yīng)圖7(a)干燥路面、圖7(b)積雪路面、圖7(c)積水路面、圖7(d)結(jié)冰路面。參考高清視頻技術(shù)在高速公路監(jiān)控系統(tǒng)中的應(yīng)用探討標(biāo)準(zhǔn)[21]中監(jiān)控圖像1080P的像素點尺寸,通過在不同路面狀態(tài)下的高速交通監(jiān)控視頻,采取截圖劃分路面小塊及手持相機(jī)等方式采集4種路面狀態(tài)樣本共1 876幅、大小為不同路面狀態(tài)下的120像素×120像素的路面區(qū)域小塊,包含不同天氣情況和不同角度下的干燥、積雪、積水和結(jié)冰4種路面。為克服各類別間數(shù)據(jù)不均衡、容易發(fā)生過擬合的問題,利用數(shù)據(jù)增強(qiáng)技術(shù)對原始數(shù)據(jù)集進(jìn)行擴(kuò)增。本實驗采取水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、固定角度旋轉(zhuǎn)、平移和隨機(jī)高斯噪聲處理5種方式對不同類別的路面狀態(tài)數(shù)據(jù)進(jìn)行了不定向的數(shù)據(jù)增強(qiáng)處理,增強(qiáng)后的數(shù)據(jù)集的數(shù)據(jù)量為原數(shù)據(jù)集的2倍。經(jīng)過數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集構(gòu)成如表2所示。

表2 增強(qiáng)后的路面數(shù)據(jù)集

圖7 4種路面狀態(tài)樣本

4.2 實驗結(jié)果與分析

本實驗在Ubuntu18.04操作系統(tǒng)下以PyCharm為操作平臺,基于PyTorch深度學(xué)習(xí)框架,結(jié)合OpenCV2.4.9進(jìn)行,編程語言為Python3.6.6。

4.2.1 路面分割結(jié)果與分析

本文通過采用U-Net結(jié)合Attention模塊的圖像分割提取算法進(jìn)行路面的分割,可以準(zhǔn)確地將高速公路路面分割出來,遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)的語義分割算法。對高速公路監(jiān)控視頻靜態(tài)背景進(jìn)行路面區(qū)域分割,結(jié)果如圖8所示,其中圖8(a)、圖8(c)分別為單一路面狀態(tài)、混合路面狀態(tài)的待分割原圖,圖8(b)、圖8(d)依次為應(yīng)用本文所述方法對其進(jìn)行分割的結(jié)果。

圖8 基于本文所提方法的路面分割結(jié)果

本文采用像素準(zhǔn)確率(Pixel Accuracy,PA)、平均交并比(Mean Intersection over Union,MIoU)作為模型的評價方法和準(zhǔn)則,計算公式如式(2)和式(3)所示。利用這兩個準(zhǔn)則對本文構(gòu)建的基于注意力機(jī)制的語義分割網(wǎng)絡(luò)以及其他語義分割網(wǎng)絡(luò)的分割效果算法進(jìn)行評價,分割效果對比如表3所示。

表3 語義分割網(wǎng)絡(luò)效果對比

(2)

(3)

在PPA中定義有k+1個類(包括一個空類),pij表示本屬于類i但被預(yù)測為類j的像素數(shù)量,pji表示本屬于類j但被預(yù)測為類i的像素數(shù)量,pii表示真正的類i的像素數(shù)量。

MIoU為語義分割的標(biāo)準(zhǔn)度量,主要以真實值與預(yù)測值兩類集合的交集與并集之比作為衡量數(shù)據(jù)。對每一類預(yù)測的結(jié)果的預(yù)測值和真實值進(jìn)行交集和并集計算,再計算交集和并集的比值即交并比,最后根據(jù)類別數(shù)求交并比的平均值。將數(shù)據(jù)集分別通過FCN、原始U-Net和U-Net結(jié)合Attention共3種語義分割網(wǎng)絡(luò)經(jīng)上述評價方式進(jìn)行計算,最后PA與MIoU的統(tǒng)計結(jié)果如表3所示。

對實驗結(jié)果進(jìn)行分析可知,在U-Net語義分割網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計加入的殘差注意力機(jī)制對實驗結(jié)果有一定的積極作用,與原始U-Net語義分割網(wǎng)絡(luò)分割效果相比,PA和MIoU均有所提升,可以實現(xiàn)從高速公路監(jiān)控視頻靜態(tài)背景中對路面區(qū)域的分割,證明了本文所述方法在高速公路路面狀態(tài)檢測任務(wù)中具有實際意義。

4.2.2 路面陰影消除結(jié)果與分析

對比應(yīng)用深度學(xué)習(xí)進(jìn)行陰影消除的方法,本文采用均方根誤差(Root Mean Squared Error,RMSE)來對消除陰影后的路面進(jìn)行評價,其定義為

(4)

式中:SMSE為均方誤差(Mean Squared Error,MSE),計算式為

(5)

式中:I(i,j)與k(i,j)分別為標(biāo)準(zhǔn)圖像的像素點與待評價的陰影消除圖像的像素點;mn為圖像的像素點總和。RMSE值越小,消除陰影的效果越好。

將本文構(gòu)建的陰影消除模型作用于公開數(shù)據(jù)集(主要包括SRD[22]、ISTD[23]),并與其他陰影消除算法進(jìn)行對比,通過上述評價方式進(jìn)行計算,統(tǒng)計結(jié)果如表4所示。

表4 不同陰影消除算法對比

本文提出的陰影消除算法對比傳統(tǒng)的陰影消除算法有明顯的優(yōu)勢,圖像質(zhì)量上綜合表現(xiàn)更佳,同時對比基于生成對抗網(wǎng)絡(luò)消除陰影的其他陰影消除模型,將本文生成的模型應(yīng)用于公開的數(shù)據(jù)集,從統(tǒng)計結(jié)果中可知本文基于循環(huán)生成對抗網(wǎng)絡(luò)實現(xiàn)的陰影消除方法可以對路面陰影進(jìn)行有效消除。不同狀態(tài)路面下的實驗結(jié)果如圖9所示。

4.2.3 分類器結(jié)果與分析

在進(jìn)行訓(xùn)練參數(shù)設(shè)置時,設(shè)定每批數(shù)據(jù)量大小為4,學(xué)習(xí)率為0.001,迭代次數(shù)默認(rèn)為100次,在訓(xùn)練過程中加入了Early Stop機(jī)制,使得驗證損失在連續(xù)迭代5次后都沒有減小時就停止訓(xùn)練。在進(jìn)行網(wǎng)絡(luò)層權(quán)重凍結(jié)時,將除最后的用于輸出一層以外所有層的參數(shù)都進(jìn)行凍結(jié) (即設(shè)置參數(shù)不可更新),然后再逐步向前一層解凍,對每次訓(xùn)練結(jié)果中的最佳準(zhǔn)確率進(jìn)行保存,參照訓(xùn)練集和測試集的分類準(zhǔn)確率作為評估指標(biāo),同時將這種部分參數(shù)凍結(jié)的訓(xùn)練方法應(yīng)用于不同的卷積神經(jīng)網(wǎng)絡(luò)分類模型對分類效果同步進(jìn)行評估。單類的準(zhǔn)確率P和總體準(zhǔn)確率Pmacro的計算式為

(6)

(7)

式中:TP(True Positive,真正)為被模型正確分類的正樣本;FP(False Positive,假正)被模型錯誤分類的負(fù)樣本;n為4種路面狀態(tài)數(shù)目。在訓(xùn)練過程中,每迭代1次訓(xùn)練樣本會檢測1次準(zhǔn)確率,并根據(jù)準(zhǔn)確率的變化趨勢決定是否進(jìn)行下次迭代。最終利用新模型在驗證集中檢測準(zhǔn)確率。對比實驗分為兩組,第一組對當(dāng)前學(xué)者針對路面狀態(tài)分類問題所用的方法與本文方法進(jìn)行對比,檢測結(jié)果如表5所示;第二組對本文搭建的殘差神經(jīng)網(wǎng)絡(luò)與基于不同的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分別進(jìn)行不同層數(shù)的權(quán)重凍結(jié),保留最佳準(zhǔn)確率的參數(shù)進(jìn)行訓(xùn)練效果對比,主要與分類檢測任務(wù)中最流行且效果較好的Inception 3、Vgg19和Vgg16這3個網(wǎng)絡(luò)進(jìn)行檢測效果的對比,檢測結(jié)果如表6所示?？梢姳疚幕跉埐罹W(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練的路面狀態(tài)分類器分類準(zhǔn)確率最高,模型體量最小,并能將最優(yōu)的參數(shù)模型進(jìn)行保存。

表5 相關(guān)論文所提方法分類準(zhǔn)確率

表6 不同卷積神經(jīng)網(wǎng)絡(luò)分類準(zhǔn)確率

采用本文所訓(xùn)練的路面狀態(tài)分類器對甘肅省某高速公路路段、吉林省某高速公路路段下的不同路面狀態(tài)進(jìn)行識別,在經(jīng)由視頻背景提取、路面區(qū)域分割后,依據(jù)模型訓(xùn)練集中的像素尺寸(120像素×120像素)對路面進(jìn)行劃分,首先對所劃分不同路面狀態(tài)的小塊數(shù)目進(jìn)行分類別統(tǒng)計,然后加載模型進(jìn)行分類,以式(6)所定義的準(zhǔn)確率對測試視頻小塊下的分類結(jié)果進(jìn)行計算,結(jié)果如表7所示。

表7 路面狀態(tài)分類結(jié)果

注:甘肅省某高速路段監(jiān)控視頻,共21段視頻,每段視頻平均時長6 min,分別包含了不同地點的高速公路路面(夏季積水、干燥為主);吉林省某高速路段監(jiān)控視頻,共35段,每段視頻平均時長4 min,分別包含不同地點的高速公路路面(冬季積雪、冰面為主)。

5 結(jié)束語

本文提出的路面區(qū)域分割算法將融合空間注意力機(jī)制與通道注意力機(jī)制的Attention模塊與U-Net網(wǎng)絡(luò)相結(jié)合,增強(qiáng)了應(yīng)用語義分割模型對路面區(qū)域進(jìn)行分割的準(zhǔn)確性。陰影消除方法在路面陰影檢測的基礎(chǔ)上,將檢測到的陰影二值圖與待消除陰影的路面一起輸入預(yù)先訓(xùn)練好的陰影消除模型,對路面中被陰影覆蓋的區(qū)域進(jìn)行重建與恢復(fù)。路面狀態(tài)分類器基于殘差結(jié)構(gòu)組建,對所構(gòu)建的數(shù)據(jù)集進(jìn)行訓(xùn)練以得到最優(yōu)的分類模型,證明了基于殘差結(jié)構(gòu)訓(xùn)練所得路面狀態(tài)分類器相比其他分類方法而言,分類效果更佳,并使用多種數(shù)據(jù)集和實際高速公路監(jiān)控視頻予以驗證。