基于改進沙漏模塊的車道線檢測研究

李煒釗 桑海峰

摘要：目前很多車道線檢測方法采用語義分割的方式，但這些方法仍存在一定的缺陷，例如可檢測的車道數(shù)量有限以及檢測效率較低。因此，我們提出了一種新穎的，通過關鍵點檢測并進行實例分割的方法可以對任意數(shù)量的車道線進行檢測。整個框架在Tusimple數(shù)據(jù)集上進行測試并與其他前沿算法進行對比，在整體性能上為最佳算法之一。

關鍵詞：關鍵點檢測;沙漏模塊;深度學習;卷積神經(jīng)網(wǎng)絡

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）33-0108-03

開放科學（資源服務）標識碼（OSID）：

無人駕駛技術是當今計算機視覺研究的主要問題之一。最具挑戰(zhàn)性的任務之一是對復雜交通場景信息的理解，其中就包括車道線檢測。車道線檢測作為無人駕駛的輔助技術，可以幫助引導車輛行駛在正確的區(qū)域。而基于攝像頭的計算機視覺檢測是目前車道檢測最主要方法。

1車道線檢測技術現(xiàn)狀

通常，傳統(tǒng)的車道線檢測算法主要通過邊緣檢測、顏色、形狀等信息來對車道特征進行提取，還需要人工調(diào)節(jié)算子，導致工作量大，魯棒性差。

車道線檢測是自動駕駛技術中的重要組成部分[1]。相比于傳統(tǒng)人工提取特征方法，利用卷積神經(jīng)網(wǎng)絡檢測效果較好。但是面對車道線檢測，普通卷積神經(jīng)網(wǎng)絡仍然不能較好地提取車道特征信息，針對該問題，Xingang Pan [2]等人提出Spatial As Deep： Spatial CNN for Traffic Scene Understanding（SCNN）利用增強空間信息來推斷結構化對象，特別適用于車道線等長距離連續(xù)形狀結構的目標檢測。此外，受限于語義分割只能應用于固定數(shù)量的車道線檢測，Davy Neven[3]等人提出 LaneNet+Hnet的網(wǎng)絡模型在語義分割的基礎上進一步采用實例分割的方法將車道線進行聚類后區(qū)分為各個實例進行檢測。盡管語義分割作為車道線檢測的主要方法，但仍存在兩個關鍵問題，語義分割是對圖像中每一個像素進行逐一分類的，降低了網(wǎng)絡的訓練效率，導致車道線檢測速度較慢。另一個問題就是感受野問題。由于我們關注的問題是車道線的檢測，在面臨車輛遮擋，車道線磨損等許多問題時需要對全局信息有較好的感知才能實現(xiàn)車道精確的定位。針對以上問題，本文提出一種基于改進沙漏模塊的車道線關鍵點檢測算法，該算法網(wǎng)絡參數(shù)更少，計算量更小，并且可以對任意數(shù)量的車道線進行檢測和準確定位。

2 Stacked Hourglass Network的改進和優(yōu)化

2.1 網(wǎng)絡流程

本文采用的神經(jīng)網(wǎng)絡模型建立在堆疊沙漏模型（Stacked Hourglass Network）之上。圖1所示為網(wǎng)絡的整體流程。輸入圖片經(jīng)過圖像調(diào)整層，將原始圖片大小進行壓縮，在本次研究中，我們對輸入數(shù)據(jù)大小為512x256的圖像通過卷積層和最大池化層壓縮為64x32，節(jié)省內(nèi)存和計算時間。然后傳遞到沙漏模塊進行特征提取，其在關鍵點檢測上取得了出色的表現(xiàn)。每個沙漏模塊具有三個輸出分支，輸出網(wǎng)格的大小與調(diào)整后的輸入大小相同。沙漏模塊結構如圖2所示，實質(zhì)上也是一種編碼-解碼的結構，目的是獲取圖像的多尺度信息。本文選取堆疊兩個相同的沙漏模塊進行訓練。

表1展示了網(wǎng)絡每層的細節(jié)，由于車道線像素在圖像中所占比重很少且經(jīng)過多次下采樣容易造成邊界信息缺失，因此采用短接層在多次下采樣提取深層信息的同時保留了原始圖像中的車道信息。

因此，為了能更好地捕捉多尺度信息且不損失過多車道邊界信息，本文參考Inception模塊提出了一種如圖3所示的模塊對短接層進行改進和優(yōu)化。在圖2中，由虛線框部分表示。

2.2 損失函數(shù)

網(wǎng)絡最后輸出3個分支分別為置信度分支，偏移量分支，特征分支，通過3個分支對車道上的點進行回歸和準確定位。

置信度分支：用來預測圖像經(jīng)過卷積層和最大池化層壓縮后的每個網(wǎng)格的置信值。式（1）表示置信分支的損失函數(shù)。

[Lconfidence=1Neγeg?Ge（g*c-gc）2+1Nnγng?Gn（g*c-gc）2]? （1）

[Ne]表示包括關鍵點的網(wǎng)格數(shù)量、[Nn]表示不包括關鍵點的網(wǎng)格數(shù)量，[gc]表示網(wǎng)格的可信度輸出，[g*c]為地面真值。如果輸出的置信值大于給定的閾值，則認為所處網(wǎng)格存在一個關鍵點。

偏移量分支：從偏移分支中，我們可以找到每個點的確切位置。偏移分支的輸出值在0到1之間，輸出值表示與網(wǎng)格相關的位置。

[Loffset=1Neγxg?Ge（g*x-gx）2+1Nnγyg?Gn（g*y-gy）2] （2）

特征分支：該分支參考了SPGN網(wǎng)絡（一種3D點云實例分割方法），通過訓練該分支可以使屬于同一實例的車道上的點更加接近，不同實例的點更加分離，最后形成不同的實例。式（3）表示特征分支的損失函數(shù)。[Lfeature=1N2eiNejNel（i，j）]? ? ?（3）

[l（i，j）=Fi-Fj2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?if? ?Cij=1 max（0，K - Fi-Fj2 ）? ? ? ? ? ? ? ? ? ? ? ? ? if? ?Cij=0]

[Cij]表明點i和j點是否相同的實例，[F]表示網(wǎng)絡對生成車道點的預測，K為一個常數(shù)。如果 [Cij=1]他們是相同的實例，如果[Cij=0]，這些點則屬于不同的車道。因此可以將網(wǎng)絡生成的車道的點分為不同的實例。

總的損失函數(shù)為三條分支的和，式（4）為整個網(wǎng)絡總的損失函數(shù)。

[Ltotal=aLconfidence+bLoffset+cLfeature]? ? ? ? ? ? ? （4）

在訓練中，我們先將所有系數(shù)設定為1.0，在最后50epochs將[a]設為1.5。損失函數(shù)適用于每個沙漏模塊，有助于整個網(wǎng)絡訓練的穩(wěn)定。

3 實驗結果及分析

3.1 數(shù)據(jù)集及評價標準

本文在主流的Tusimple數(shù)據(jù)集上驗證了模型速度和精度并比較所提出的網(wǎng)絡的性能。Tusimple數(shù)據(jù)集采集高速不同時段多種路況，且如表2所示包含較多車道。

本文在顯卡為GTX2080的硬件設備下訓練改進后的神經(jīng)網(wǎng)絡模型，并遵循Tusimple數(shù)據(jù)集的原始評估方案，表達式如下。

[accuracy=clipCclipSclip]? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

其中，[Cclip]表示網(wǎng)絡模型對給定圖像正確預測的點的個數(shù)，[Sclip]表示與其對應的真值點的個數(shù)。假陰性和假陽性也由下式給出。

[FP=FpredNpred]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

[FN=MpredNgt]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

[Fpred]為預測錯誤車道數(shù)，[Npred]表示預測車道數(shù)，[Mpred]表示缺失車道數(shù)，[Ngt]為真實車道。

3.2 實驗結果分析

從表3中可以看出，本文的模型相比于其他模型具有較高的檢測精度，高于之前的分割模型，并且具有更低的誤檢率。

圖4顯示了在不同場景下本文所提出的模型的檢測結果。從圖中可以看出，本文提出的模型可以準確地提取并檢測出不同駕駛場景下的車道線信息，同時也能很好地適應實際駕駛情況中不同的路面環(huán)境，在路面曲率過大、車道線被車輛遮擋等復雜因素影響下仍然能準確地提取當前環(huán)境下車道相關信息并進行準確定位。

4 結語

本文提出了一種基于改進沙漏模塊的關鍵點檢測網(wǎng)絡結合實例分割方法的可適用于復雜場景下車道線檢測方法。并通過實驗驗證，本文提出的網(wǎng)絡能夠更好地適應實際生活中的各種復雜道路場景，并且具有更高的檢測精度和更快的檢測速度。

參考文獻：

[1] 田錦，張弛，王永森，等.基于mask R-CNN的地面標識檢測[C]//中國計算機用戶協(xié)會網(wǎng)絡應用分會2018年第二十二屆網(wǎng)絡新技術與應用年會論文集.蘇州，2018：59-62，86.

[2] PanXingang.Spatial as deep： Spatial cnn for traffic scene understanding[C]. Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

[3] Neven D，de Brabandere B，Georgoulis S，et al.Towards end-to-end lane detection：an instance segmentation approach[EB/OL].2018：arXiv：1802.05591[cs.CV].https：//arxiv.org/abs/1802.05591.

[4] 劉軍，馮榮達，趙吉賓，等.基于機器視覺的車道線檢測研究[J].電子世界，2019，（21）：89-90.

[5] 溫云燕，楊偉俊，聶永怡，等.自動駕駛中車道線檢測研究[J].工業(yè)控制計算機，2020，33（10）：80-81，84.

【通聯(lián)編輯：唐一東】