基于深度學(xué)習(xí)的車道線與綠植分割算法

劉艷洋 張沛綱

（1.智慧互通科技有限公司 河北省張家口市 075000 2.張家口鐵建交通有限公司 河北省張家口市 075000）

近年來，關(guān)于車道線檢測的研究逐步在發(fā)展，檢測出車道線的位置，對之后識別違停車輛有著重要作用。實際道路場景中路面狀況較復(fù)雜性，車道線線型多樣，使得車道線檢測問題較難解決。當(dāng)前，基于圖像的傳統(tǒng)車道線檢測方法通過利用車道線的顏色、亮度、形狀等信息，設(shè)定圖像中的感興趣區(qū)域，可以實現(xiàn)簡單背景下對車道線的粗略檢測[1]。但是，這類方法并不適用于復(fù)雜道路環(huán)境下的車道線定位與識別，尤其是針對受到車輛或者陰影遮擋，或者是因綠植存在對攝像頭造成遮擋的情況。隨著深度學(xué)習(xí)的快速發(fā)展，尤其是圖像語義分割技術(shù)逐步成熟，使得車道線檢測中的遇到的難題有望得到解決。

基于深度學(xué)習(xí)的檢測方法，在訓(xùn)練過程中需要先對樣本進行標注，再通過訓(xùn)練標注過的樣本進行深度自學(xué)習(xí)，來得到車道線的深度特征。經(jīng)過深度學(xué)習(xí)訓(xùn)練好的模型對于復(fù)雜路況下的車道線和綠植的識別與定位是較為精準的。宋揚[2]等人為提高基于深度學(xué)習(xí)的車道線檢測方法在夜間低曝光場景下的車道線檢測的查全率，提出了一種深度圖像增強網(wǎng)絡(luò)和車道線檢測網(wǎng)絡(luò)( Lane Net) 相結(jié)合的車道線檢測方法，實驗結(jié)果表明，該方法有著良好的檢測車道線的能力。li[3]提出了一種將卷積神經(jīng)網(wǎng)絡(luò)( Convolutional Neural Network，CNN) 和循環(huán)神經(jīng)網(wǎng)絡(luò)( Recurrent Neural Network，RNN) 相結(jié)合的車道線檢測網(wǎng)絡(luò)，其中卷積神經(jīng)網(wǎng)絡(luò)用于確定車道線的位置，循環(huán)神經(jīng)網(wǎng)絡(luò)則用于獲取待檢測車道線的整體結(jié)構(gòu)特征，實驗結(jié)果表明該方法有著良好的檢測車道線的能力。LEE[4]等人提出了一種集車道線檢測、車道線位置預(yù)測、路面標志檢測識別于一體的多任務(wù)網(wǎng)絡(luò)VPGNet( Vanishing Point Guided Network),該網(wǎng)絡(luò)在光照條件下都有著良好的檢測能力，在惡劣天氣狀況下仍能保持較高的車道線檢測精度。

基于深度學(xué)習(xí)的車道線檢測方法能夠提取到復(fù)雜路況中的車道線特征，在特征提取上具有很大的優(yōu)勢。以往的車道線檢測方法只探討了檢測車道線的位置和方向，沒有考慮綠植會遮擋攝像頭。本文針對車道線檢測中因圖片質(zhì)量不高存在的車道線模糊，或因行人機動車遮擋，以及綠植遮擋導(dǎo)致車道線檢測精度不高的問題，提出了一種將增強后的圖像與實例分割網(wǎng)絡(luò)Deeplabv3 相結(jié)合的車道線和綠植檢測方法。首先，使用圖像增強網(wǎng)絡(luò)對待檢測圖像進行圖像增強，提高圖像對比度和清晰度，然后，使用一個基于編碼器、解碼器架構(gòu)的實例分割網(wǎng)絡(luò)Deeplabv3 進行車道線和綠植檢測并進行實例分割。實驗結(jié)果表明，該算法提出的方法在道路環(huán)境多變和夜晚中能很好的將車道線和綠植的分割。

圖1：圖像增強網(wǎng)絡(luò)

1 圖像增強網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

用生成對抗網(wǎng)絡(luò)[5]做圖像增強網(wǎng)絡(luò)主要包含兩部分：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。訓(xùn)練時同時使用生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，而在圖像增強時只使用生成網(wǎng)絡(luò)。增強網(wǎng)絡(luò)經(jīng)過自主學(xué)習(xí)，可以通過白天的圖像信息來生成晚上的圖像信息，通過夏天的圖像信息生成冬天的圖像信息，通過晴天的圖像信息生成霧霾的圖像信息。因此，原始的圖像信息在經(jīng)過圖像增強網(wǎng)絡(luò)后，訓(xùn)練數(shù)據(jù)量得以大大增加。生成網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示。

輸入的原始圖片首先經(jīng)過卷積核為9×9 的卷積層，接著著4 個殘差塊與之前的卷積層同樣結(jié)構(gòu)，每個殘差塊包括 兩個卷積核為3×3 的卷積層和 1 個批量歸一化層。值得注意的是，該生成網(wǎng)絡(luò)中所有卷積層的深度都是64。在激活函數(shù)的選取上，中間層的激活函數(shù)為線性激活函數(shù)，而輸出層的為激活函數(shù)為tanh。

1.2 損失函數(shù)

損失函數(shù)由四部分組成：顏色損失、紋理損失、內(nèi)容損失和總變差損失。顏色損失的原理公式如式（1）：

其中：Xb和 Yb分別為圖像 X 和 Y 經(jīng)過高斯濾波后的圖像。

紋理損失的形式如式（2）：

其中：Fw和D 分別表示生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，Is和 It分別表示輸入圖像和目標圖像( 均為灰度圖）。

內(nèi)容損失通過輸入圖像和目標圖像之間的特征差異描述，該特征通過卷積網(wǎng)絡(luò)提取，損失函數(shù)的形式如式（3）：

總變差損失的形式如（4）：

其中：C、H、W 表示增強圖像的維度。通過最小化增強圖像的梯度，總變差損失可以在不影響增強圖像的高頻成分同時減少椒鹽噪聲。最終的損失由上述 4 個損失加權(quán)而成，即：

2 車道線和綠植分割網(wǎng)絡(luò)

2.1 分割網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的算法是將原始包含車道線和綠植的圖片增強后，再將增強后的圖像輸入到分割網(wǎng)絡(luò)Deeplabv3[6]，是一種相結(jié)合的車道線和綠植檢測方法。首先，使用圖像增強網(wǎng)絡(luò)對待檢測圖像進行圖像增強，提高圖像對比度和清晰度，然后，使用一個基于編碼器、解碼器架構(gòu)的實例分割網(wǎng)絡(luò)Deeplabv3 進行車道線和綠植檢測并進行實例分割。DeeplabV3 采用空洞卷積的上采樣濾波器提取稠密特征映射和去捕獲大范圍的上下文信息，引入語義分割常用的編碼器和解碼器架構(gòu)。在編碼器和解碼器的架構(gòu)中，通過空洞卷積平衡精度和耗時。圖3 為本文方法分割的整體流程。

2.2 實驗環(huán)境與數(shù)據(jù)集

為了驗證本文所提出的車道線和綠植的分割網(wǎng)絡(luò)的有效性，分別在白天和夜晚場景下對其進行了驗證，其中四種場景下的驗證使用了自建數(shù)據(jù)集，所有的圖像數(shù)據(jù)由智慧互通科技有限公司于2019年6月~11月在北京市昌平區(qū)拍攝。該數(shù)據(jù)集涵蓋了四種類型場景的圖像：白天無綠植、夜晚無綠植、白天有綠植、夜晚有綠植四種類型的數(shù)據(jù)集。共拍攝照片14400 張，其中四種場景的圖片各有3600 張。其中訓(xùn)練集和測試集按3：1 的比例劃分，故每種場景包含10800 張訓(xùn)練集圖片、3600 張測試集圖片。

數(shù)據(jù)集中的部分圖片如圖4 所示，實驗在PC 上進行，PC 的硬件配置如下：CPU Core-i7，GeForce RTX2080，內(nèi)存16 GB。環(huán)境配置為：Tеnsorflow1.10.0，python 3.5，Linux Ubuntu 18。

3 實驗結(jié)果對比

圖2：綠植和車道線分割的總體流程圖

圖3：Deeplabv3 網(wǎng)絡(luò)結(jié)構(gòu)圖

為驗證本文提出的方法的有效性，評測車道線和綠植的分割網(wǎng)絡(luò)性能，將本方法分別與直接使用U-Net 網(wǎng)絡(luò)的車道線分割方法和直接使用DeeplabV3 的車道線的分割方法相對比，從圖 5 中可以看出，無論在白天光照較好的條件下，或者是夜間照明不良的情況下，后兩種方法分割出的車道線邊緣不完整，甚至在夜間條件下只能檢出車道線的一小部分，而本文提出的方法則能夠有效地檢出所有車道線，而在低曝光的夜晚條件下，U-Net[7]和DeeplabV3 網(wǎng)絡(luò)均出現(xiàn)了不同程度的漏檢和誤檢現(xiàn)象現(xiàn)象，U-Net 網(wǎng)絡(luò)不能檢測全局特征，全局特征包含高層次的信息，如場景分類、主題類型、全局亮度等，本文方法因在分割前引入了圖像增強網(wǎng)絡(luò)，故在各種復(fù)雜環(huán)境下依然能夠有效地分割出車道線和綠植，各方法車道線和綠植的檢測結(jié)果對比如表2 所示。為了判斷是否能成功分割出車道線和綠植，計算出車道線真值（T）與預(yù)測值（H）之間的重疊部分占真值的百分比（IoU）。IoU 大于某個閾值的預(yù)測，被視為準確檢測到了車道線。本文以 IoU 大于或等于0.5 作為檢測標準。

表1：測試集中四種場景下車道線和綠植的數(shù)量

表2：三種類型算法測試集上的檢測精度對比

圖5：車道線和綠植部分的分割結(jié)果

IoU 的計算如式（5）所示。

各類型算法的檢測精度對比如表2 所示。其中，車道線總數(shù)=數(shù)據(jù)集總幀數(shù)×每幀圖片中的車道線數(shù)，正確檢出數(shù)為被檢測出車道線與車道線實際位置相符的車道線數(shù)。綠植數(shù)同理。從表2 中可以看出，在四種場景下，3 種方法均存在不同程度的漏檢數(shù)，這是由于不同光照環(huán)境下的車道線模糊不清，特征難以提取。但是本文所提出的方法較另外兩種方法檢測率有所提升。

圖5 為不同方法分割出的車道線和綠植的結(jié)果。

4 結(jié)論與展望

本文針對夜間場景下車道線模糊不清、燈光干擾嚴重的問題，提出了一種將增強后的圖像與實例分割網(wǎng)絡(luò)Deeplabv3 相結(jié)合的車道線和綠植檢測方法，并在白天和夜晚條件下的多個數(shù)據(jù)集上進行了驗證，實驗結(jié)果表明，在使用相同數(shù)據(jù)集時，本文提出的方法用于車道線檢測時，正檢率大大高于直接采用U-Net 網(wǎng)絡(luò)和Deeplabv3 網(wǎng)絡(luò)的檢測方法，同時綠植正檢率也比另外兩種方法高，該方法在夜間場景下表現(xiàn)穩(wěn)定，具有較高的魯棒性。在未來的研究過程中，本研究將對增強網(wǎng)絡(luò)結(jié)合分割網(wǎng)絡(luò)的方法進一步的進行改進，以降低漏檢數(shù)，提高檢測的精準度。