基于特征提取與邊緣點投票的實時車道線識別*

【摘要】針對低算力車載計算平臺的車道線檢測需求，提出了一種低算力依賴的實時車道線識別方法?？紤]車輛行駛過程中的光照變化，提出一種自適應光照的顏色分離方法實現(xiàn)車道特征提?。换诮?jīng)典的邊緣檢測與霍夫變換算法，定義有效邊緣點形式，通過邊緣點投票確定車道直線；利用車道直線對邊緣點進行篩選與補充，應用隨機抽樣一致性算法獲取車道曲線方程。試驗驗證結果表明，所提出方法在低算力處理器上的識別精度高于98%，計算速度為38 幀/s，并在多種應用場景下具備穩(wěn)定性與魯棒性。

關鍵詞：智能駕駛 車道線識別 邊緣檢測 隨機抽樣一致性 自適應光照

中圖分類號：TP391.4" "文獻標志碼：A" "DOI： 10.20104/j.cnki.1674-6546.20240149

Real-Time Lane Recognition Based on Feature Extraction and Edge Point Voting

Yang Da1， Wei Changhe1， Jia Chengyu1， Ye Siqin2

（1. Sany Heavy Industry Co.， Ltd.， Changsha 410199; 2. Changsha University of Science amp; Technology， Changsha 410114）

【Abstract】To satisfy the requirement of low power consumption vehicle computing platform for lane detection， this paper proposes a low computing power dependent real-time lane recognition method. Considering the variation of illumination during vehicle driving， a color separation method based on adaptive illumination to extract lane characteristics is proposed. The effective edge point form is defined and the lane lines are determined by edge point voting based on the classical edge detection and Hough transform algorithm. The lane lines are used to filter and supplement the edge points and the lane curve equation is obtained by using the random sample consensus algorithm. The results show that the proposed method achieves a recognition accuracy of over 98% and computation speed of 38 frames per second on a low power processor. Furthermore， the method has proven to be stable and robust in a variety of scenarios.

Key words： Intelligent driving， Lane recognition， Edge detection， Random sample consensus， Adaptive illumination

【引用格式】 楊達， 魏長河， 賈成禹， 等 基于特征提取與邊緣點投票的實時車道線識別[J]. 汽車工程師， 2024（8）： 29-35.

YANG D， WEI C H， JIA C Y. Real-Time Lane Recognition Based on Feature Extraction and Edge Point Voting[J]. Automotive Engineer， 2024（8）： 29-35.

1 前言

車道線識別是智能駕駛系統(tǒng)的關鍵技術之一，是實現(xiàn)車道偏離預警與車道居中保持等高級輔助駕駛功能的先決條件。在車輛行駛過程中，通過感知傳感器準確且實時地識別車道線，對于提升車輛主動安全性與維護道路交通運輸安全具有重要的研究意義與應用價值[1]。現(xiàn)有的車道線識別方法主要分為兩類，即基于深度學習的方法和基于圖像處理技術的方法。

基于深度學習的識別方法利用語義分割、參數(shù)回歸以及行錨檢測等方式提取圖像中的車道線特征[2-6]。這類方法無需人工設置車道特征參數(shù)，經(jīng)過大量數(shù)據(jù)集的訓練與學習后，具有良好的識別魯棒性。然而，由于存在多層神經(jīng)網(wǎng)絡，計算資源開銷大，對硬件平臺的算力依賴強。為了保證實時性，通常需要高算力的圖形處理單元（Graphics Processing Unit，GPU）或專用的神經(jīng)網(wǎng)絡處理單元（Neural Processing Unit，NPU）進行模型的部署、訓練與推理。

對于低算力、低功耗的嵌入式計算設備，如僅具有嵌入式中央處理器（Central Processing Unit，CPU）的嵌入式開發(fā)板，常采用基于圖像處理技術的方法進行車道線檢測。這種方法的首要目標是將潛在的車道線特征與道路背景分離，胡勝等[7]采用大津法和二次閾值分割算法提取道路圖像的候選車道線特征。考慮到車道線一般為白色或黃色標線，黃艷國等[8]在亮、暗兩種狀態(tài)下分別采用HLS格式的S通道與RGB格式的R通道將原彩色圖像進行灰度化。在提取車道線方面，存在霍夫變換與滑動窗口搜索兩種主要形式。執(zhí)行霍夫變換操作后，Noman等[9]直接選擇左、右最近的兩條直線作為車道線，Sultana等[10]限制候選車道線的角度范圍，并選取最大長度的直線作為車道線?；瑒哟翱谒阉鞣ㄍㄟ^滑動一個固定大小的窗口，逐行掃描預處理后的二值圖像，通過窗口內直方圖的峰值位置確定車道線[11-12]?；舴蜃儞Q僅能獲取車道直線，滑動窗口搜索法通過對搜索到的像素點作多項式擬合可獲得車道線的曲線方程[13]。然而，滑動窗口搜索法的擬合精度易受二值圖像中的非車道線像素的影響。陳無畏等[14]提出一種邊緣點投影算法，將圖像篩選的邊緣投影到消失線上檢測出消失點位置，并由消失點反向搜索檢測出車道線。劉悅等[15]基于改進蟻群算法提高邊緣點投影算法在復雜光照環(huán)境中的準確率。該類方法計算效率較高，但穩(wěn)定性與抗干擾能力有待進一步加強。

鑒于上述原因，本文提出一種低算力依賴的實時車道線識別方法。首先，通過自適應光照算法提取車道顏色特征；然后，基于邊緣點投票獲得車道直線，并篩選與補充有效的車道邊緣點；最后，利用隨機抽樣一致性（RANdom SAmple Consensus，RANSAC）算法擬合車道曲線，從而提高車道線識別的準確度與穩(wěn)定性，適應不同工況場景，以滿足低算力計算設備的車道線檢測需求。

2 車道線識別算法

本文提出的車道線識別算法包含圖像預處理、車道特征提取、車道直線提取、車道曲線擬合4個主要環(huán)節(jié)，流程如圖1所示。

2.1 圖像預處理

在圖像預處理階段，對車載攝像頭采集到的原始圖像依次進行圖像縮放與圖像裁剪等操作。圖像縮放是為了縮小原始圖像的尺寸。當前車載攝像頭通常具有較高的分辨率，可以根據(jù)縮放比例，將圖像縮小到原始分辨率的1/2、1/4或1/8等。原始圖像中，車道線存在于圖像的下半部分，因此將圖像的上半部分裁去，僅保留下半部分用于后續(xù)操作。原始圖像經(jīng)過圖像縮放與裁剪不會改變圖像中的車道特征，但可以大幅提高后續(xù)特征提取等操作的計算效率。圖像縮放與裁剪后的結果如圖2所示。

2.2 自適應光照的車道特征提取

車道線為道路上黃白兩色的顯著標志線，利用車道線本身的顏色與亮度特征可以將車道線與背景分離。相比于RGB顏色空間，由色相（Hue）、飽和度（Saturation）與亮度（Value）表示的HSV顏色空間更易于從圖像中分離出黃色和白色[11]。通過對圖像各像素的色相、飽和度與亮度分別設置高、低兩個閾值，提取所需顏色的二值圖像，低閾值為（Hmin，Smin，Vmin），高閾值為（Hmax，Smax，Vmax）。根據(jù)HSV空間內的顏色分布，黃色與白色的高、低閾值設置表如1所示。

需要注意的是，在不同光照條件下，色相與飽和度不會發(fā)生較大變化，而圖像中各顏色的亮度會受到光照變化的強烈影響。在光照較強時，道路背景顏色與車道線顏色的亮度都會增大；反之，在光照較弱時，各顏色的亮度也會減小。因此，在晴天、陰天以及夜間等不同場景下，需要對亮度設置不同的低閾值。本文提出一種自適應光照的亮度低閾值動態(tài)設置算法，算法流程如圖3所示。

首先將RGB圖像轉換為HSV圖像，在HSV圖像的居中位置確定一個61像素×61像素的區(qū)域，如圖4所示的亮度統(tǒng)計區(qū)域，將該區(qū)域中每個像素的亮度存入數(shù)組中，并將數(shù)組中的亮度由高到低排序，計算前1/5亮度值的平均數(shù)，記作Vavg，亮度的低閾值確定為：

Vmin=[（Vavg-10）/90+1]·Vavg （1）

為防止亮度低閾值過大，若Vmingt;220，則將Vmin設置為220。

獲取車道顏色特征的二值圖像后，需要在二值圖像中設置一個梯形感興趣區(qū)域（Region of Interest，ROI），見圖4。ROI是利用圖像消失點信息構造的梯形掩模，使得圖像中僅包含左、右車道線所在的前方道路。ROI的設置通過對車載攝像頭的安裝位置進行人工標定實現(xiàn)。根據(jù)車載攝像頭獲得的實際道路的圖像，人工選擇如圖4的梯形區(qū)域，確定梯形區(qū)域4個頂點的圖像坐標即可確定ROI參數(shù)。同一型號且具有同一安裝位置的車輛可采用同一ROI參數(shù)，避免重復標定。圖5顯示了晴天、陰影覆蓋以及夜間場景下的車道特征提取結果，表明本文方法具備光照變化適應性。

2.3 基于邊緣點投票的車道直線提取

提取車道特征二值圖像后，本文采用經(jīng)典的坎尼（Canny）算法進行邊緣檢測，并以邊緣檢測結果作為輸入，執(zhí)行概率霍夫變換，從而提取到車道特征中的候選直線。

所有候選直線根據(jù)其中點位置分為左、右候選直線。根據(jù)文獻[10]的角度與長度約束思想，可對左、右候選直線進行角度與長度范圍限制。角度為候選直線與圖像x軸的夾角大小。其中，左候選直線角度范圍為π/4-c～π/4+c，右側候選直線角度范圍為3π/4-c～3π/4+c，其中c為根據(jù)攝像頭的安裝位置確定的常數(shù)項。直線長度為候選直線在圖像中的像素長度，最小長度設置為20像素。不在設定角度與長度范圍的直線將被濾除，可以排除一定干擾項，并縮短邊緣點投票選擇候選直線的時間?；舴蜃儞Q提取到的直線如圖6a所示，左、右分類及利用長度與角度約束濾除后的直線如圖6b所示。

邊緣點投票的過程為，遍歷邊緣檢測得到二值圖像的每一行，提取有效邊緣點，計算每個邊緣點到每條候選直線的垂直距離，距離最小的直線獲得該邊緣點的一次投票，最終獲得票數(shù)最多的候選直線即為所尋找的車道直線。對于左、右候選直線，由圖像中軸位置，分別沿x軸向左與向右提取有效邊緣點構成。有效邊緣點是根據(jù)車道形狀特征確定的。車道具有一定的寬度，其邊緣特征如圖7所示。以確定左車道線為例，在邊緣二值圖像中，每一行由中心位置向左搜索白點，若某個白點間隔若干黑點后，仍存在一個白點，表明該白點為有效邊緣點。間隔范圍可以設置為2～20像素，因為遠端的車道線在圖像中的寬度較小，近端的較大。保存所有的有效邊緣點，對左側候選直線進行距離投票。根據(jù)距離進行邊緣點投票需要設置距離閾值，邊緣點與候選直線的距離最小且小于該距離閾值時，方可對該候選直線投票。本文距離閾值設置為5像素。設置有效邊緣點與最小距離，能夠使投票結果更加穩(wěn)定。3種應用場景下，有效邊緣點的分布及最終投票提取的左、右車道直線如圖8所示，可以看出，車道直線提取準確，均處于車道線的內部邊緣。

在確定左、右車道直線時可采用并行計算提高整個算法的計算速度。

2.4 基于RANSAC的車道曲線擬合

車道曲線擬合由邊緣點篩選、邊緣點補充與RANSAC算法3個部分組成，見圖1。邊緣點篩選是利用2.3節(jié)中提取的左、右車道線，對有效邊緣點進行離群點刪除。計算每個邊緣點到車道直線的距離，若該點靠近車道直線，則認為該點為一個“好點”。為能擬合曲線，“好點”到直線的距離可以設置得比投票時的距離閾值稍大，本文設置為10像素。

對于虛線車道線，在靠近車頭的區(qū)域可能不存在邊緣點。為防止車道曲線欠擬合，對于這類情況，利用2.3節(jié)中提取的車道直線方程，在缺乏邊緣點的車頭區(qū)域進行邊緣點補充。初始檢測到的邊緣點如圖9a所示，補充后的邊緣點如圖9b所示。

經(jīng)過篩選與補充后的邊緣點仍可能存在噪聲，應用RANSAC算法從邊緣點的坐標數(shù)據(jù)中估計車道線曲線方程。車道線曲線方程采用Bezier三次曲線表達，其矩陣形式為：

[y=1xx2x31000-33003-630-13-31a0a1a2a3] （2）

式中：a0、a1、a2、a3為三次曲線方程的系數(shù)，（x，y）為邊緣點在圖像中的像素坐標。

RANSAC曲線擬合的流程為：將所有邊緣點隨機分為10組，每組包含20個邊緣點；每組求解一次曲線方程，并計算所有邊緣點到曲線的距離和；最小距離和對應的曲線方程即為所求曲線方程。

在每組擬合曲線方程時，采用最小二乘法求解三次曲線方程的4個系數(shù)。經(jīng)過2.3節(jié)提取到的左、右車道直線與本節(jié)方法提取到的車道曲線如圖10所示，顯然，車道曲線更加貼合真實車道線。

2.3節(jié)提取到的右車道直線

3 試驗驗證與結果分析

試驗設備采用本單位自研的低功耗車載計算平臺，如圖11所示，該計算平臺搭載嵌入式CPU型號為ARM Cortex-A55，運行內存2 GB。本文提出的方法采用C++語言實現(xiàn)，程序全程運行在CPU上，不采用任何GPU或NPU進行加速計算。設計了2組驗證試驗，分別利用2個開源數(shù)據(jù)集驗證所提出方法的精度與效率，以及在不同應用場景下的穩(wěn)定性，同時與文獻[9]、文獻[10]和文獻[13]提出的方法進行對比分析。車道線識別方法的精度采用正確識別幀數(shù)與圖像總幀數(shù)之比進行量化，速度采用每秒可處理圖像幀數(shù)作為評價指標。

3.1 精度與速度的對比分析

試驗采用的數(shù)據(jù)集為一段高速公路視頻，共1 260幀圖像，圖像分辨率為1 280像素×720像素，晴天工況下，多數(shù)路段車道線清晰，部分路段道路有路邊樹木陰影遮擋與亮暗變化，如圖12所示。測試結果如表2所示，本文方法在每個階段的平均運行時間如表3所示。

由表2可以看出，本文方法的識別精度顯著優(yōu)于文獻[9]、文獻[10]與文獻[13]。文獻[9]僅從霍夫變換結果中選擇最靠近車側的兩條直線作為車道線，在陰影覆蓋與亮暗變化路段誤檢較多。文獻[10]采取的長度與角度約束一定程度上提高了算法在復雜路段的識別精度，但在車道線受磨損路段識別精度較低。文獻[13]采用的滑動窗口搜索法同樣具有較高的檢測精度，但計算速度在本文計算平臺上表現(xiàn)不佳。從計算速度來看，本文方法最優(yōu)，在低算力車載計算平臺上具有實時計算性能。由表3可知，本文方法的主要耗時操作為RANSAC曲線擬合，若實際應用中不需要曲線方程，如文獻[9]與文獻[10]，則可以進一步優(yōu)化車道線識別算法的計算速度。

3.2 不同應用場景的對比分析

采用iROADS數(shù)據(jù)集驗證本文方法在不同應用場景下的穩(wěn)定性與魯棒性。應用場景分為晴天、雨天與夜間3種工況，晴天環(huán)境下的圖像數(shù)據(jù)為903幀，雨天的圖像數(shù)量為1 049幀，夜間包含1 050幀圖像。圖像分辨率均為640像素×360像素。各工況下的道路環(huán)境如圖13所示。4種方法在上述場景中的測試精度與計算速度分別如表4、表5所示。

由表4可以看出，本文方法在晴天、雨天以及夜間3種應用場景中均具有最佳的識別精度。與3.1節(jié)試驗結果相似，文獻[9]、文獻[10]與文獻[13]提出的方法易受虛線車道線的影響，若圖像中包含較短的車道線，容易出現(xiàn)誤檢的現(xiàn)象。本文基于邊緣點投票的方法受虛線車道線干擾較小，只有虛線車道線非常模糊或消失等極端情況下會導致本文方法失效。從試驗結果來看，本文方法更具備環(huán)境適應性。由表5可以看出，在3種應用場景中，本文方法均具有最高的計算效率，且表現(xiàn)出實時計算性能。

4 結束語

本文提出了一種適用于低算力車載計算平臺的車道線識別方法。通過圖像縮放、圖像裁剪與左、右車道線的并行計算等技術手段提高算法效率，提出了一種自適應光照的車道特征提取方法，增強算法在光照變化條件下的穩(wěn)定性，并設計了一種邊緣點投票方法，有效提取車道直線，最后利用RANSAC算法與Bezier三次曲線擬合確定了車道曲線方程。

試驗結果表明，本文方法在對比試驗中具有最優(yōu)的識別精度與計算效率，在低算力的車載計算平臺上具有實時性能，且具備環(huán)境適應性，在晴天、雨天以及夜間場景下的識別精度均高于98%，計算速度不低于39 幀/s。

參考文獻

[1]" PANDA L， MOHANTY B P. Recent Developments in Departure Warning System： An Analysis[J]. Ethics and Information Technology， 2020， 2（2）： 151-153.

[2]" NEVEN D， BRABANDERE B D， GEORGOULIS S， et al. Towards End-to-End Lane Detection： An Instance Segmentation Approach[C]// Proceedings of 2018 IEEE Intelligent Vehicles Symposium （IV）. Changshu， China： IEEE， 2018： 286-291.

[3]" "TABELINI L， BERRIEL R， PAIXAO T M， et al. Keep Your Eyes on the Lane： Real-Time Attention-Guided Lane Detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville， TN， USA： IEEE， 2021： 294-302.

[4] QIN Z Q， ZHANG P Y， LI X. Ultra Fast Deep Lane Detection with Hybrid Anchor Driven Ordinal Classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（5）： 2555-2568.

[5]" "杜黎， 呂毅斌， 武德安， 等. 復雜場景中的快速車道線檢測方法[J]. 計算機工程與應用， 2023， 59（13）： 178-185.

DU L， Lü Y B， WU D A， et al. Fast Lane Detection Method in Complex Scenarios[J]. Computer Engineering and Applications， 2023， 59（13）： 178-185.

[6]" "李守彪， 武志斐. 基于多尺寸分解卷積的車道線檢測[J]. 汽車技術， 2022（8）： 32-37.

LI S B， WU Z F. Lane Detection Based on Multi-Size Factorized Convolution[J]. Automobile Technology， 2022（8）： 32-37.

[7]" "胡勝， 黃妙華， 陳毅. 基于二次閾值分割和車道寬度匹配的車道線檢測算法[J]. 汽車技術， 2019（4）： 1-6.

HU S， HUANG M H， CHEN Y. Lane Marking Detection Algorithm Based on Double Threshold Segmentation and Lane Width[J]. Automobile Technology， 2019（4）： 1-6.

[8]" "黃艷國， 鐘勇， 夏金龍. 基于自適應透視變換與特征融合的車道線檢測方法[J]. 科學技術與工程， 2022， 22（32）： 14298-14305.

HUANG Y G， ZHONG Y， XIA J L. Lane Detection Method Based on Adaptive Perspective Transformation and Feature Fusion[J]. Science Technology and Engineering， 2022， 22（32）： 14298-14305.

[9]" "NOMAN M A A， RAHAMAN M F， LI Z， et al. A Computer Vision-Based Lane Detection Approach for an Autonomous Vehicle Using the Image Hough Transformation and the Edge Features[M]// GOAR V， KURI M， KUMAR R， et al. Advances in Information Communication Technology and Computing. Singapore： Springer， 2023： 53-66.

[10] SULTANA S， AHMED B， PAUL M， et al. Vision-Based Robust Lane Detection and Tracking in Challenging Conditions[J]. IEEE Access， 2023， 11： 67938-67955.

[11] 蔡創(chuàng)新， 鄒宇， 潘志庚， 等. 基于多特征融合和窗口搜索的新型車道線檢測算法[J]. 江蘇大學學報（自然科學版）， 2023， 44（4）： 386-391.

CAI C X， ZOU Y， PAN Z G， et al. Novel Lane Detection Algorithm Based on Multi-Feature Fusion and Windows Searching[J]. Journal of Jiangsu University （Natural Science Edition）， 2023， 44（4）： 386-391.

[12] 黃艷國， 鐘勇， 饒澤浩. 基于優(yōu)化最大類間方差法閾值分割與滑動窗口法的車道偏離預警[J]. 汽車技術， 2023（6）： 9-16.

HUANG Y G， ZHONG Y， RAO Z H. Lane Departure Warning Based on Optimized Threshold Segmentation of Maximum Inter-Class Variance and Sliding Window Method[J]. Automobile Technology， 2023（6）： 9-16.

[13] 王梓楠， 何東， 趙茂杰. 基于滑動窗口搜索的車道線檢測與車道偏離預警算法[J]. 汽車工程師， 2023（9）： 15-20+28.

WANG Z N， HE D， ZHAO M J. Lane Line Detection and Lane Departure Warning Algorithm Based on Sliding Window Searching[J]. Automotive Engineer， 2023（9）： 15-20+28.

[14] 陳無畏， 蔣玉亭， 談東奎. 一種基于邊緣點投影的車道線快速識別算法[J]. 汽車工程， 2017， 39（3）： 357-363.

CHEN W W， JIANG Y T， TAN D K. A Fast Lane Marking Recognition Algorithm Based on Edge Projection[J]. Automotive Engineering， 2017， 39（3）： 357-363.

[15] 劉悅， 楊樺， 王青正. 面向復雜光照環(huán)境的車道線檢測方法[J/OL]. 激光雜志（2023-09-01）[2024-05-29]. http：//kns.cnki.net/kcms/detail/50.1085.TN.20230901.1047.008.html.

LIU Y， YANG H， WANG Q Z. Lane Detection Method for Complex Lighting Environment[J/OL]. Laser Journal（2023-09-01）[2024-05-29]. http：//kns.cnki.net/kcms/detail/50.1085.TN.20230901.1047.008.html.

（責任編輯 斛 畔）

修改稿收到日期為2024年5月29日。