輔助駕駛系統(tǒng)中濃霧天識別方法分析

楊 蓉, 楊曉虎, 玉雄侯

(廣西大學(xué)機(jī)械工程學(xué)院，南寧 530004)

濃霧天氣是對道路交通安全影響最大的天氣因素之一。據(jù)統(tǒng)計，中國發(fā)生的交通事故中有將近30%是由惡劣天氣引起的[1]，其中濃霧天占約3/4[2]。近年來，隨著計算機(jī)視覺技術(shù)的進(jìn)步和行車記錄儀的普及，基于圖像處理的天氣識別技術(shù)正逐漸被應(yīng)用于輔助駕駛系統(tǒng)的研究中，期望以主動或被動的手段提高汽車駕駛安全性，如降低車速、開啟霧燈和除霧燈等。而針對濃霧天環(huán)境的行車安全問題，輔助駕駛系統(tǒng)的首要任務(wù)即是對濃霧天氣進(jìn)行識別與判斷。

李易潤[3]以Koschmieder模型為基礎(chǔ)，結(jié)合Canny-Deriche濾波器、Nagao濾波器、區(qū)域生長法等視頻分析技術(shù)設(shè)計了車載團(tuán)霧預(yù)警系統(tǒng)。該系統(tǒng)能夠?qū)崟r檢測車輛前方的能見度信息，并結(jié)合車速情況發(fā)出語音預(yù)警，以提醒駕駛員做出相應(yīng)的處理。金月等[4]基于暗通道先驗設(shè)計了一種可用于輔助駕駛系統(tǒng)的低能見度檢測方法。上述兩種系統(tǒng)均需要依賴車道線和水平線對能見度進(jìn)行計算，只適用于道路寬闊且車流量少的道路環(huán)境中。為減少分析過程對車道線和水平線的依賴，玉雄侯等[5]設(shè)計了一套基于DM642的車載濃霧天識別系統(tǒng)，該系統(tǒng)采用支持向量機(jī)對濃霧天、晴朗天等兩種道路圖像進(jìn)行處理和識別，準(zhǔn)確率達(dá)95.0%。該方法需要人工提取相關(guān)圖像特征，而人工提取特征多為淺層特征，當(dāng)面對多種復(fù)雜天氣類別時難以保證識別準(zhǔn)確率。

隨著圖像識別技術(shù)的不斷發(fā)展，現(xiàn)有的機(jī)器學(xué)習(xí)方法已經(jīng)可以對圖像的深層特征進(jìn)行表征學(xué)習(xí)。楊文佳[6]采用集成學(xué)習(xí)的方式，選用4種DensNet、GoogLeNet、AlexNet、VGGNet卷積神經(jīng)網(wǎng)絡(luò)模型對晴天、陰天、雨天和雪天進(jìn)行識別，并通過ER-Relu算法將4種識別結(jié)果融合，進(jìn)而獲取最終識別結(jié)果。李鵬程等[7]將天氣圖像進(jìn)行分割處理，識別出天空區(qū)域和地面區(qū)域并提取出不同區(qū)域的形狀、顏色和紋理特征，最后利用隨機(jī)森林分類器對晴天、多云、陰天和雨天進(jìn)行識別，準(zhǔn)確率達(dá)92.7%。陳思瑋等[8]采用基于DensNet密集深度網(wǎng)絡(luò)的遷移學(xué)習(xí)方法識別霧霾、沙塵、雨、雪、霜、露6種天氣現(xiàn)象，識別準(zhǔn)確率達(dá)97.51%。然而，目前基于機(jī)器學(xué)習(xí)的天氣識別方法多應(yīng)用于固定場景的天氣識別，針對行車輔助駕駛系統(tǒng)的研究較少。

為此，利用機(jī)器學(xué)習(xí)的方法設(shè)計了一種適用于行車輔助駕駛系統(tǒng)的濃霧天識別算法，以此來識別不同的天氣情況。

1 建立訓(xùn)練數(shù)據(jù)集

為提高汽車在濃霧天中的駕駛安全性，輔助駕駛系統(tǒng)的首要任務(wù)是正確地區(qū)分濃霧天氣和非濃霧天氣，并根據(jù)識別結(jié)果發(fā)出必要的預(yù)警，或代替駕駛員進(jìn)行相應(yīng)的安全操作。因此輔助駕駛系統(tǒng)中濃霧天識別算法是一個二分類問題，即輸出結(jié)果只有濃霧天和非濃霧天。

二分類問題在訓(xùn)練算法模型時需要正例和反例兩類訓(xùn)練數(shù)據(jù)，通常以最關(guān)注的為正例，其他為反例[9]。從駕駛安全的角度出發(fā)，輔助駕駛系統(tǒng)更關(guān)注濃霧天氣的識別，且一般認(rèn)為能見度低于 200 m 的濃霧天會嚴(yán)重威脅交通安全[10]。因此，研究中應(yīng)選擇能見度低于200 m的濃霧天圖像作為訓(xùn)練數(shù)據(jù)的正例，與濃霧天具有較大反差的晴朗天圖像作為反例。同時，為使輔助系統(tǒng)適應(yīng)道路環(huán)境，圖像內(nèi)容應(yīng)為行車過程中出現(xiàn)的道路交通場景。圖1為訓(xùn)練數(shù)據(jù)集的部分樣本。圖像來源于行車記錄儀視頻，取視頻的每秒作為訓(xùn)練圖像數(shù)據(jù)，整個訓(xùn)練數(shù)據(jù)集總共有3 200張圖像，其中正、反例圖像分別為1 600張。

圖1 訓(xùn)練數(shù)據(jù)集部分樣本

2 濃霧天識別算法的設(shè)計

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)是圖像識別領(lǐng)域中最熱門的一種深度學(xué)習(xí)模型[11-13]，通過多層網(wǎng)絡(luò)從海量原始數(shù)據(jù)中自主學(xué)習(xí)深層特征，具備表征學(xué)習(xí)的能力。當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)在天氣識別上取得了一定的研究進(jìn)展[14-16]。

2.1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

相較于多分類任務(wù)而言，二分類圖像識別任務(wù)并不需要十分復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。設(shè)計一個具有10層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，每個卷積層之后插入一個池化層，最后通過兩個全連接層輸出識別結(jié)果。為便于區(qū)分，將該網(wǎng)絡(luò)結(jié)構(gòu)命名為CNN-DFR10(CNN-dense fog recognition 10)，其中數(shù)字10表示層數(shù)。表1為CNN-DFR10結(jié)構(gòu)參數(shù)。

表1 CNN-DFR10的結(jié)構(gòu)參數(shù)

2.1.2 模型的訓(xùn)練

模型的訓(xùn)練依賴于深度學(xué)習(xí)開發(fā)工具，選擇具有高度靈活性、可移植性的Tensorflow學(xué)習(xí)框架對CNN-DFR10進(jìn)行訓(xùn)練。為了便于在訓(xùn)練中對模型進(jìn)行調(diào)參與評估，從訓(xùn)練數(shù)據(jù)中劃出一部分作為驗證集，即訓(xùn)練集2 400張圖像，驗證集800張圖像，其中正、反例圖像比例為1∶1。

在CNN-DFR10的訓(xùn)練階段，將訓(xùn)練輪數(shù)Epoch=50作為停止訓(xùn)練的條件，同時繪制訓(xùn)練集和驗證集兩者的正確率及損失函數(shù)值的變化曲線。圖2為CNN-DFR10的學(xué)習(xí)曲線，訓(xùn)練結(jié)果表明CNN-DFR10很好地擬合了訓(xùn)練數(shù)據(jù)。

圖2 CNN-DFR10的學(xué)習(xí)曲線

2.2 膠囊網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)存在一定的局限性，即標(biāo)量神經(jīng)元僅能表示特征存在的概率，而不能表征特征的空間信息。換句話說，卷積神經(jīng)網(wǎng)絡(luò)只關(guān)心特征的存在與否，并不關(guān)心特征具有何種屬性信息(相對位置、色相或紋理等)。為此，Sabour等[17]提出了膠囊網(wǎng)絡(luò)(capsule networks, CapsNet)架構(gòu)。“膠囊”就是一個將若干個神經(jīng)元“封裝”起來的集合，該集合用向量來進(jìn)行表示。向量的大小、方向可以分別表征實(shí)例特征存在的概率及屬性信息，因而相比于標(biāo)量神經(jīng)元，向量膠囊能夠保留更多的特征信息，網(wǎng)絡(luò)對實(shí)例特征的表征能力更強(qiáng)。近年來，膠囊網(wǎng)絡(luò)在雷達(dá)圖像分類[18]、漢字筆跡鑒定[19]及人臉表情特征識別[20]等研究領(lǐng)域取得了一定的成果。

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

膠囊網(wǎng)絡(luò)的發(fā)展仍處在起步階段，網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)設(shè)計并不像卷積神經(jīng)網(wǎng)絡(luò)那樣成熟，可參考的架構(gòu)比較少。為此，CapsNet結(jié)構(gòu)的基礎(chǔ)上設(shè)計了名為膠囊網(wǎng)絡(luò)-濃霧識別(capsule networks-dense fog recognition,CN-DFR5)的網(wǎng)絡(luò)結(jié)構(gòu)，如表2所示，其中數(shù)字5表示層數(shù)。與卷積神經(jīng)網(wǎng)絡(luò)不同的是，膠囊網(wǎng)絡(luò)增加了初級膠囊層(primary capsules)和數(shù)字膠囊層(digit capsules)。

表2 CN-DFR5的基本結(jié)構(gòu)及參數(shù)

初級膠囊層是膠囊網(wǎng)絡(luò)的核心，其作用是將所有神經(jīng)元按一定的數(shù)量“封裝”在若干個初級膠囊中，完成標(biāo)量神經(jīng)元向向量神經(jīng)元的轉(zhuǎn)換。在初級膠囊層中，層內(nèi)操作可分為兩個部分：第一個部分與常規(guī)卷積層無異，通過使用256個步長為2的5×5卷積核對16×16×256的特征圖像進(jìn)行卷積操作，得到5×5×256的特征圖像；第二部分是“封裝”膠囊，首先將5×5×256的特征圖像分成8組，每組圖像維度為6×6×32(即共有1 152個神經(jīng)元)；接著將8組神經(jīng)元依次排成一列，得到1 152行8列的神經(jīng)元矩陣；最后，神經(jīng)元矩陣中的每一行均被“封裝”成一個初級膠囊，共得到1 152個初級膠囊(每個膠囊由8個神經(jīng)元組成)。

數(shù)字膠囊層則替代了全連接層作為輸出層，作用是將所有初級膠囊轉(zhuǎn)換成數(shù)字膠囊，每個數(shù)字膠囊輸出向量的大小表示了相應(yīng)實(shí)例特征存在的概率。由于所研究的輔助駕駛系統(tǒng)的濃霧天識別算法是一個二分類問題，因此在數(shù)字膠囊層的輸出端設(shè)置了2個數(shù)字膠囊(每個膠囊由16個神經(jīng)元組成)，分別用于輸出“濃霧天”和“非濃霧天”兩種識別結(jié)果。數(shù)字膠囊層中權(quán)重矩陣w和耦合系數(shù)c的維度分別為8×16×1 152×10(1 152×10個8×16的權(quán)重矩陣w)、1 152×10×16(1 152×10個1×16的系數(shù)c)。

2.2.2 模型的訓(xùn)練

CN-DFR5的訓(xùn)練采用Tensorflow學(xué)習(xí)框架，訓(xùn)練數(shù)據(jù)不變。圖3為CN-DFR5訓(xùn)練過程中的學(xué)習(xí)曲線，結(jié)果表明CNN-DFR10很好地擬合了訓(xùn)練數(shù)據(jù)。

圖3 CN-DFR5的學(xué)習(xí)曲線

3 算法模型的測試與對比

3.1 測試圖像集的建立

輔助駕駛系統(tǒng)中的濃霧天識別算法要面對的是復(fù)雜多變的交通天氣環(huán)境，以濃霧天和晴朗天為代表的正、反例天氣類別并不足以表達(dá)實(shí)際道路環(huán)境的復(fù)雜性。為此，又建立了濃霧天、雨天、陰天和晴朗天4種駕駛場景的測試圖像集，以測試CNN-DFR10和CN-DFR5算法模型的泛化能力。圖4為晴陰雨霧天氣圖像數(shù)據(jù)集的部分樣本圖像，整個數(shù)據(jù)集中共包含1 600張圖像，每種天氣類別的圖像數(shù)量均為400張。

圖4 晴陰雨霧天氣圖像集的部分樣本圖像

3.2 測試方法及流程

算法模型的測試采用圖5所示的測試流程。由于某些天氣類別中可能會同時存在濃霧天特征和晴朗天特征，若僅由濃霧天概率值作為最終識別結(jié)果的判斷依據(jù)不夠全面。為此引入了綜合概率p，其表達(dá)式為

圖5 算法模型的測試流程

(1)

式(1)中：p+和p-分別表示輸出濃霧天(正例)和晴朗天(反例)的概率；綜合概率p的幾何意義是正例占所有預(yù)測概率值總和的比值，p越高說明濃霧天特征存在的可能性越大。采用綜合概率p來區(qū)分濃霧天及非濃霧天圖像。

3.3 測試結(jié)果分析

為了更好地分析綜合概率p對濃霧天、雨天、陰天和晴朗天測試圖像上的區(qū)分效果，計算了每種天氣類型中400幅圖像的綜合概率值平均數(shù)，并繪制圖6所示的CNN-DFR10和CN-DFR5綜合概率平均數(shù)的變化曲線。

由圖6可知，隨著濃霧天向晴朗天進(jìn)行過渡，CNN-DFR10和CN-DFR5的綜合概率平均值都在逐漸減小，濃霧天和非濃霧天的區(qū)分界線也比較明顯，即縱坐標(biāo)約0.8位置。由于綜合概率的平均數(shù)僅反映了一組數(shù)據(jù)中的平均水平，并不能反映出數(shù)據(jù)的分布情況。為進(jìn)一步分析CNN-DFR10和CN-DFR5算法模型的不同，選取綜合概率值的中位數(shù)來進(jìn)一步觀察。中位數(shù)是按順序排列的一組數(shù)據(jù)中處于中間位置的數(shù)，常用它來反映數(shù)據(jù)的集中趨勢。

圖7為綜合概率中位數(shù)變化曲線，CNN-DFR10和CN-DFR5的中位數(shù)變化程度不同。CN-DFR5的中位數(shù)呈平穩(wěn)下降的變化趨勢，濃霧天和非濃霧天的區(qū)分界線也比較明顯，即縱坐標(biāo)約0.8處。相比之下，CNN-DFR10則趨于向兩端極值靠攏，濃霧天和非濃霧天的區(qū)分界線不明顯。綜合分析圖6、圖7發(fā)現(xiàn)，隨著濃霧天向晴朗天進(jìn)行過渡，CNN-DFR10的兩條曲線變化差異較大，而CN-DFR5的曲線變化差異小。不管是綜合概率平均數(shù)還是中位數(shù)，CN-DFR5輸出的綜合概率值比CNN-DFR10更加穩(wěn)定，更有利于區(qū)分濃霧天和非濃霧天圖像。

根據(jù)圖6、圖7的變化曲線，設(shè)概率閾值等于0.9，當(dāng)算法模型輸出的綜合概率p高于0.9時識別為“濃霧天”，否則為“非濃霧天”。在CNN-DFR10測試結(jié)果中，有210張雨天圖像被錯誤地識別為濃霧天，其余天氣類型的測試圖像均被正確識別，識別準(zhǔn)確率為86.9%。而在CN-DFR5識別結(jié)果中，僅有40張雨天圖像被錯誤地識別為濃霧天，整體識別準(zhǔn)確率為97.5%。表3為CNN-DFR10和CN-DFR5的測試結(jié)果，結(jié)果表明CN-DFR5的識別準(zhǔn)確率更高。

圖6 CNN-DFR10和CN-DFR5綜合概率平均值變化曲線

圖7 CNN-DFR10和CN-DFR5綜合概率中位數(shù)變化曲線

表3 CNN-DFR10和CN-DFR5的測試結(jié)果

對算法運(yùn)行時間也進(jìn)行了測試對比。初期在中央處理器(central processing unit，CPU)i7的電腦上對1 600張測試集圖像進(jìn)行識別，CN-DFR5算法的運(yùn)行速度比CNN-DFR10算法慢2 s左右，平均至單張圖片為每張圖片運(yùn)算速度慢0.001 25 s左右。后續(xù)將算法移植至人工智能開發(fā)板上，使用深度學(xué)習(xí)專用的圖形處理器(graphics processing unit，GPU)運(yùn)行計算，實(shí)測兩種算法的運(yùn)算速度沒有太大差異。

4 結(jié)論

采用卷積神經(jīng)網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)技術(shù)分別設(shè)計了可用于行車輔助駕駛系統(tǒng)的CNN-DFR10 和CN-DFR5濃霧天識別算法模型，根據(jù)輸出概率值高低來判斷不同的天氣狀況，從而對濃霧天和非濃霧天進(jìn)行區(qū)分。得出如下結(jié)論。

(1)采用向量方式將信息進(jìn)行傳播的CN-DFR5比采用標(biāo)量方式的CNN-DFR10在區(qū)分不同的天氣類別上更具優(yōu)勢。在識別“濃霧天”和“非濃霧天”的圖像類別中，CN-DFR5比CNN-DFR10具有更高的識別準(zhǔn)確率。

(2)采用機(jī)器學(xué)習(xí)方法對霧天進(jìn)行識別，可以有效地避免對車道線和水平線的計算，使得輔助駕駛系統(tǒng)能夠在復(fù)雜多變的道路環(huán)境中區(qū)分霧天。

(3)研究中未能將算法嵌入車輛輔助行駛系統(tǒng)開展實(shí)車測試，后續(xù)研究可針對兩種算法模型進(jìn)行車輛輔助駕駛系統(tǒng)的終端部署開發(fā)。