基于卷積神經(jīng)網(wǎng)絡的路面濕滑狀態(tài)檢測系統(tǒng)

黃立紅，暢宏達，崔康柬，高俊英，李 瑾

（長安大學 汽車學院，陜西 西安 710064）

在對車輛控制算法進行穩(wěn)定性或軌跡控制進行參數(shù)化時，路面摩擦系數(shù)是影響控制性能的一個重要模型參數(shù)，影響摩擦系數(shù)的一個主要因素是路面濕滑狀態(tài)。車輛行駛在濕滑道路上時，輪胎與路面間附著系數(shù)下降，導致車輛操縱穩(wěn)定性和行駛安全性下降，易引發(fā)道路交通事故。此外，對路面濕滑狀態(tài)進行檢測是高級駕駛輔助系統(tǒng)和無人駕駛車輛完成道路環(huán)境感知的一項重要任務。因此，研究路面濕滑狀態(tài)對保障駕駛人安全，減少道路交通安全事故，推動駕駛輔助系統(tǒng)和無人駕駛的發(fā)展具有重要意義。

傳統(tǒng)圖像處理技術面臨的一個嚴峻問題是人工分析和提取特征導致模型泛化能力弱。深度學習較傳統(tǒng)圖像處理技術有較高的檢測準確率和較好的模型泛化能力，在圖像處理領域得到了廣泛應用，為路面濕滑狀態(tài)檢測提供了新的解決方案。

鑒于此，本文從高級駕駛輔助系統(tǒng)和無人駕駛車輛對路面濕滑狀態(tài)檢測的實際需求出發(fā)，研究干燥、潮濕、積水和積水淹沒 4種瀝青路面識別技術和路面積水區(qū)域分割技術。針對路面濕滑狀態(tài)識別和積水區(qū)域分割問題，結合遷移學習的路面濕滑狀態(tài)識別方法和全分辨率殘差網(wǎng)絡（Full-Resolution Residual Network, FRRN）的路面積水區(qū)域分割方法，設計一種路面濕滑狀態(tài)檢測系統(tǒng)。

1 路面濕滑狀態(tài)識別與分割網(wǎng)絡

1.1 路面濕滑狀態(tài)識別模型

2015年，Christian團隊基于Google Inception Net結構設計出第三代分類器 Inception V3。Inception V3是Google Inception Net系列網(wǎng)絡的典型代表，能夠較好地平衡網(wǎng)絡寬度和深度，擬合更復雜的特征輸入，提高網(wǎng)絡識別準確率。鑒于此，本文采用Inception V3創(chuàng)建路面濕滑狀態(tài)識別模型。

本文建立一個基于 Inception V3的遷移學習模型進行路面濕滑狀態(tài)識別。具體過程如圖 1所示。首先，通過遷移學習方法將基于ImageNet數(shù)據(jù)集訓練的 Inception V3網(wǎng)絡權重參數(shù)作為新建網(wǎng)絡的初始權重，將Inception V3在ImageNet數(shù)據(jù)集上學習到的特征層遷移到目標數(shù)據(jù)集，提取不同狀態(tài)路面的顏色、紋理和邊緣特征。然后，連接新建的頂層網(wǎng)絡（全連接層和 Softmax分類器），建立基于遷移學習的路面濕滑狀態(tài)識別模型。最后，在路面數(shù)據(jù)集上進行訓練，使頂層網(wǎng)絡適用于干燥、潮濕、積水和積水淹沒狀態(tài)路面的識別任務。

圖1 基于Inception V3的路面濕滑狀態(tài)識別流程

1.2 路面積水區(qū)域分割模型

本文采用FRRN創(chuàng)建路面積水區(qū)域分割模型。FRRN使用殘差流和池化流獲取多尺度的特征信息和高精度的位置信息，在保持出色識別性能的基礎上提高定位精度。殘差流保持完整的圖像分辨率，以全分辨率處理特征圖實現(xiàn)精準邊界分割；池化流由一系列池化和上采樣操作組成，獲取上下文細節(jié)信息實現(xiàn)出色的識別效果。全分辨率殘差單元組（Full-Resolution Residual Units, FRRUs）將以上殘差流和池化流相連接，使網(wǎng)絡能夠同時獲得低層和高層特征。FRRN在沒有預訓練模型權重的情況下也能在場景分割中顯示較強的邊界分割優(yōu)勢。

2 基于嵌入式的路面濕滑狀態(tài)檢測系統(tǒng)開發(fā)

2.1 檢測系統(tǒng)總體設計

路面濕滑狀態(tài)檢測系統(tǒng)的功能主要包含路面濕滑狀態(tài)識別和積水區(qū)域分割，系統(tǒng)設計方案如圖2所示。通過USB相機采集路面圖像作為系統(tǒng)的輸入，通過由基于遷移學習的Inception V3積水狀態(tài)識別模型組成的路面濕滑狀態(tài)識別模塊，識別路面狀態(tài)，包括：干燥、潮濕、積水和積水淹沒。當系統(tǒng)檢測到干燥或潮濕路面時，不進行預警；當檢測結果為積水路面時，進一步通過由基于 FRRN的積水區(qū)域分割模型組成的積水區(qū)域分割模塊，獲取路面積水分布信息；當系統(tǒng)檢測到淹沒路面時，不進行積水分割，只進行系統(tǒng)預警，報告此時路面狀態(tài)為積水淹沒。路面濕滑狀態(tài)與積水分布區(qū)域顯示在顯示器上。系統(tǒng)檢測的積水區(qū)域位置信息和積水淹沒道路的狀態(tài)信息可被發(fā)送給車輛和駕駛員，作為駕駛參考依據(jù)。

圖2 路面濕滑狀態(tài)檢測系統(tǒng)總體設計

2.2 硬件系統(tǒng)

本文以ARM+GPU的嵌入式處理器為基礎，搭建用于路面濕滑狀態(tài)檢測的嵌入式系統(tǒng)。系統(tǒng)硬件架構如圖3所示，包含移動蓄電池、逆變器、電源適配器、采集路面圖像數(shù)據(jù)的USB相機、處理圖像信息的Jetson TX2嵌入式開發(fā)板、顯示檢測結果的顯示器。Jetson TX2通過逆變器和電源適配器與移動蓄電池連接獲取電源。USB相機采集視頻流數(shù)據(jù)，通過相機內(nèi)置的視頻編碼組件將視頻流處理成合適的數(shù)據(jù)傳輸?shù)絁etson TX2。Jetson TX2通過CPU對輸入數(shù)據(jù)進行簡單處理，然后采用GPU模塊加速圖像處理過程，包括圖像識別和分割。顯示器通過HDMI接口與Jetson TX2連接，顯示系統(tǒng)的檢測結果。通過與開發(fā)板連接的外置鍵盤和鼠標完成系統(tǒng)操控。

圖3 路面濕滑狀態(tài)檢測硬件系統(tǒng)

2.3 軟件系統(tǒng)

軟件系統(tǒng)框架如圖 4所示，包含參數(shù)初始化與模型加載、路面濕滑狀態(tài)識別、路面積水區(qū)域分割、檢測結果顯示與保存四部分。首先，進行參數(shù)初始化，包括TensorFlow、Keras等依賴包的導入，路面濕滑狀態(tài)識別模型權重文件和積水區(qū)域分割模型權重文件的加載。然后，對圖像進行預處理并識別路面濕滑狀態(tài)，當且僅當檢測到積水路面時，啟動積水區(qū)域分割模塊對路面積水區(qū)域進行分割。最后，將檢測結果顯示在顯示器上，并完成保存。

圖4 路面濕滑狀態(tài)檢測軟件系統(tǒng)

2.4 系統(tǒng)搭建

為了驗證路面濕滑狀態(tài)檢測系統(tǒng)在實際應用中的有效性和可靠性，搭建檢測設備，進行多種天氣條件下路面濕滑狀態(tài)檢測試驗。試驗設備搭建如圖5所示。蓄電池通過連接逆變器和電源適配器為Jetson TX2開發(fā)板提供電源。Jetson TX2分別與USB相機以及顯示器連接。其中，USB相機通過三腳架固定，相機高度為1 400 mm～1 480 mm，拍攝角度與水平方向成 37°～45°，通過調整相機高度以及拍攝角度使成像區(qū)域僅覆蓋道路。

圖5 路面濕滑狀態(tài)檢測試驗場景

3 路面濕滑狀態(tài)檢測系統(tǒng)試驗結果

3.1 路面濕滑狀態(tài)識別結果

表1以混淆矩陣的形式，給出了路面濕滑狀態(tài)檢測系統(tǒng)對 4種路面濕滑狀態(tài)的分類結果。如表1所示，檢測的路面圖像樣本總數(shù)為1 816張，分類正確的樣本數(shù)為 1 617張，故分類準確率為89.04%。

表1 路面濕滑狀態(tài)分類混淆矩陣

3.2 路面積水區(qū)域分割結果

路面濕滑狀態(tài)檢測系統(tǒng)對積水路面的檢測試驗分為三個場景：晴好天氣，陰天，雨天。將USB相機采集到的圖像尺寸裁剪為320×320，經(jīng)識別模型確定當前輸入圖像為積水路面圖像，經(jīng)分割模型得到積水區(qū)域分割圖像。部分路面積水區(qū)域分割結果如圖6所示，第1列圖像是積水狀態(tài)識別結果，第2、3列圖像分別是積水區(qū)域分割結果和積水區(qū)域真實標簽。圖 6(a)、6(b)、6(c)分別表示在晴好天氣、陰天、雨天條件下，路面濕滑狀態(tài)檢測系統(tǒng)對積水路面的識別和對其積水區(qū)域的分割結果。

圖6 路面積水區(qū)域分割結果

4 結論

本文從高級駕駛輔助系統(tǒng)和無人駕駛車輛對路面濕滑狀態(tài)檢測的實際需求出發(fā)，研究干燥、潮濕、積水和積水淹沒 4種瀝青路面識別技術和路面積水區(qū)域分割技術。針對不同氣候環(huán)境下瀝青路面濕滑狀態(tài)識別問題，提出一種基于遷移學習的路面積水狀態(tài)識別方法。針對路面積水區(qū)域分割問題，基于 FRRN卷積神經(jīng)網(wǎng)絡，完成對路面積水區(qū)域的分割。此外，設計了一種基于Jetson TX2嵌入式平臺的路面濕滑狀態(tài)檢測系統(tǒng)，在實際場景中系統(tǒng)對路面濕滑狀態(tài)識別準確率達到了89.04%，且能有效分割出路面積水區(qū)域，驗證了系統(tǒng)識別準確性、分割精度和時效性。