基于圖像行數(shù)據(jù)處理的車道偏離預警系統(tǒng)

易世春，李克強，李防震，張 強

(1．清華大學，汽車安全與節(jié)能國家重點實驗室，北京 100084;2．亞德諾半導體技術(上海)有限公司深圳分公司，深圳 518048;3．重慶長安汽車股份有限公司，重慶 400021)

前言

隨著汽車保有量上升，由于車輛交通事故導致的人員傷亡和財產(chǎn)損失也隨之增加。統(tǒng)計研究表明，90%以上的交通事故源于駕駛員錯誤判斷和決策［1］，駕駛員已成為人-車-路系統(tǒng)中的薄弱環(huán)節(jié)。據(jù)NHTSA統(tǒng)計，2008年美國導致乘員傷亡的交通事故中由于偏離車道導致碰撞的比例為23.8%。而在這些事故中，超過90%是由駕駛員疲勞、走神或不良駕駛習慣導致。開展用于輔助駕駛員保持在車道內(nèi)行駛的車道偏離預警系統(tǒng)(lane departure warning system，LDWS)研究及開發(fā)對于提高交通安全具有重要意義。

車道偏離預警系統(tǒng)的產(chǎn)品化研究已經(jīng)取得了階段性成果，已安裝在部分中高端車型上。由于圖像處理數(shù)據(jù)量大，計算復雜，這些系統(tǒng)大多由一個CCD或者CMOS攝像頭加上高性能DSP芯片及其外圍器件，如拓展的RAM和ROM存儲器而構成。文獻［2］中選用CCD芯片的模擬攝像頭和600MHz主頻的DSP芯片，使用一片視頻解碼芯片將模擬視頻信號轉(zhuǎn)化為數(shù)字信號以便DSP處理，一片SDRAM用來擴展系統(tǒng)內(nèi)存以滿足算法需要。文獻［3］和文獻［4］中提出的系統(tǒng)方案選用的處理芯片主頻最高可達720MHz，文獻［5］中則提出了一種基于并行視頻處理器的車道線識別系統(tǒng)及其FPGA實現(xiàn)。這些系統(tǒng)由于處理芯片價格昂貴，外圍器件復雜，往往成本較高，難以在低端車型上應用。

針對這一問題，本文中提出一種基于圖像行數(shù)據(jù)處理的車道線識別方法，通過逐行特征提取和特征歸類處理，提高運行效率，降低內(nèi)存消耗。由此設計的低成本車道偏離預警系統(tǒng)選用數(shù)字攝像頭和具有400MHz主頻的DSP芯片，無需視頻解碼電路和拓展存儲器，在保證車道線識別率的同時降低硬件復雜度，削減系統(tǒng)成本。為量化評估系統(tǒng)車道線識別性能，提出一種適用于嵌入式系統(tǒng)的車道線識別測試和驗證方案，通過離線制作的樣本數(shù)據(jù)實現(xiàn)車道偏離預警系統(tǒng)硬件在環(huán)的識別性能測試。

1 系統(tǒng)總體設計

1．1 系統(tǒng)組成

該系統(tǒng)通過一個安裝于汽車前擋風玻璃內(nèi)側(cè)的數(shù)字攝像頭采集車輛前方道路圖像。數(shù)字圖像數(shù)據(jù)逐行輸出，由DSP芯片采集存儲后檢測車道線。同時，系統(tǒng)可通過CAN總線或I/O通道獲取車速、轉(zhuǎn)向燈和制動等車輛信號。綜合車道線信息和車輛信號判斷車輛是否存在偏離車道的風險，若存在風險，則控制蜂鳴器和LED指示燈進行警示。

1．2 硬件方案

本系統(tǒng)采用的低端DSP芯片主頻為400MHz，有32kB的片內(nèi)數(shù)據(jù)SRAM和1路視頻接口。本系統(tǒng)將該路視頻接口配置為數(shù)字相機輸入，用于采集圖像數(shù)據(jù)。由于該DSP芯片未集成CAN模塊，因此在硬件電路中增加了一個CAN控制器，用于將SPI信息轉(zhuǎn)換為滿足CAN 2.0標準的CAN信號輸出，從而實現(xiàn)與車輛CAN網(wǎng)絡的通信。滿足系統(tǒng)結構和上述需求的硬件設計方案如圖1所示。

1．3 軟件流程

數(shù)字攝像頭被配置成逐行輸出，NTSC制式，傳輸頻率為30幀。將圖像分為兩個區(qū)域，如圖2所示。區(qū)域Ⅰ為圖像感興趣區(qū)域，對平直路面通常設置為地平線以下區(qū)域，在該區(qū)域中將進行車道線識別。反之，對區(qū)域Ⅱ中的圖像不做處理。

圖3為系統(tǒng)的軟件流程示意圖。系統(tǒng)通電后首先進行系統(tǒng)初始化，設置算法所需數(shù)據(jù)，配置DSP和外設。對每幀圖像，當數(shù)字攝像頭傳輸?shù)臄?shù)據(jù)位于區(qū)域Ⅰ時，逐行提取車道線特征點并作歸類處理。為減少內(nèi)存消耗，系統(tǒng)僅保存最新的3行圖像數(shù)據(jù)和車道線特征參數(shù)。在圖像區(qū)域Ⅱ，不做圖像處理，而是利用識別到的車道線特征擬合車道線，并根據(jù)擬合結果更新感興趣區(qū)域。最后執(zhí)行偏離預警決策，判讀是否對駕駛員進行提示。

本文中選用的數(shù)字攝像機輸出圖像尺寸為640×480，在30幀的更新頻率下，每行數(shù)據(jù)的傳輸時間為69.5μs，這也是行處理算法的最大運行時間。

2 基于行處理的車道線識別

本文中提出的車道線識別算法主要由兩部分組成。在區(qū)域Ⅰ，逐行提取車道線特征，并將新檢測的車道線特征點歸到已歸類的特征類中。每個特征類代表一組在圖像縱軸上連續(xù)的車道線特征集。在區(qū)域Ⅱ，利用直線方程擬合檢測到的有效特征類，并根據(jù)擬合結果更新下一幀圖像的感興趣區(qū)域。

2.1 局部閾值法提取車道線特征

由于車道線的灰度值大于路面灰度，在車道線與地面的交界處存在明顯灰度突變，利用1階或2階微分邊緣檢測算子提取車道線邊緣是最常用的方法［6－7］。文獻［8］和文獻［9］中通過實驗說明基于局部灰度閾值的車道線特征提取算法性能優(yōu)于邊緣算子。該方法可以描述為

記縱坐標為y的一行圖像中車道線寬度范圍為{wmin(y)， wmax(y)}，由于透視效應，近視場的車道線寬度要大于遠視場，即y越大，wmax(y)也越大。為達到平滑車道線灰度的效果，濾波窗口的寬度應設置得越大越好。但是隨著濾波窗口的增大，圖像中不同區(qū)域的耦合影響越嚴重，在道路灰度不均勻，如存在陰影或路面較臟時，會產(chǎn)生大量的虛假特征。取最大車道線寬度的5倍作為濾波窗口寬度，即

為減少算法對數(shù)據(jù)存儲的要求，僅有最新的3行圖像數(shù)據(jù)被緩存，故將濾波窗口的高度Mh(y)設置為3，取TG為40，二值化效果見圖4。

圖4(a)是原始圖像，圖4(b)是利用可變窗口均值濾波后的圖像，原始圖像與均值濾波圖像的差值圖像即為圖4(c)，最后經(jīng)灰度閾值二值化后得到圖4(d)。對二值化圖像加以車道線寬度約束，消除局部噪聲干擾并做細化后得到圖5所示的車道線特征圖像。

2．2 車道線特征歸類處理

基于行的車道特征提取算法僅考慮到車道線在橫向上的分布特性，難以排除陰影、前方車輛和路側(cè)物體等干擾。事實上，在圖像中路面區(qū)域，車道線在不同行之間是具有連續(xù)性的。特征歸類處理便是利用這一特性，將特征點按照車道線連續(xù)性進行分組，按類來描述車道線特征。每個特征類代表一段連續(xù)的車道線，用直線方程描述［10］。若車道線是實線，那么一條車道線可能僅包含一個特征類。而在車道線有破損，或車道線是虛線時，通常會包含幾個特征類。利用特征類來描述一組連續(xù)的車道線特征，不但可以降低算法數(shù)據(jù)存儲需求，排除不連續(xù)干擾，還能獲取車道線方向與位置，提高車道線特征提取和車道線擬合的準確性。

從特征一致性來看，同一特征類的車道線特征屬于同一車道線，應具有相似的特征寬度。從特征連續(xù)性來看，同一特征類相鄰兩個特征之間的縱向間隔較小，受透視效應影響，隨著距離增加，該間隔會逐漸減小;相鄰兩行車道線特征在寬度上存在一定重疊，且在直線假設下，特征點成線性分布。綜合以上4個約束條件，令Bk(w)代表第k個特征類的平均特征寬度，Bk(c)代表該特征類的特征數(shù)量，Bk(x0)和Bk(y0)代表特征類的起始位置，Bk(x1)和Bk(y1)代表特征類的終止位置。f(w)、f(x)和f(y)表示車道線特征的寬度和位置，若特征點與第k個特征類滿足式(3)～式(6)，則認為該特征點屬于第k個特征類。

車道線一致性約束:

式中:c1和c2為車道線寬度縮放系數(shù)，本文中設置c1=0.5，c2=1.3。

車道線縱向連續(xù)性約束:

式中:Sy表示特征類最大縱向間隔，受透視影響，該值隨y增加而增加，最大值為5，最小值為2。

車道線橫向連續(xù)性約束:

Sx表示最大橫向偏差，Sx=4。

基于上述車道線特征提取和特征歸類方法的行處理流程如下:(1)更新一行圖像數(shù)據(jù);(2)運行特征提取算法，檢測到一個候選車道線特征點;(3)將該特征點與活動的特征類進行匹配，若沒有符合約束的特征類，則生成一個新的特征類;(4)跳轉(zhuǎn)至(2)，若本行數(shù)據(jù)處理結束，則執(zhí)行(5);(5)特征類有效性處理，若活動特征類與當前行的距離小于Sy，不做處理;若活動特征類與當前處理行距離大于Sy且特征數(shù)量大于3，則認為該特征類有效，反之，刪除該特征類。

歸類處理后的車道線檢測結果如圖6所示。

圖6中，矩形框表示由特征類起點坐標和終點坐標所定義的外接矩形。不難看出，大部分干擾點由于不滿足特征一致性和連續(xù)性約束而被排除。同一車道線上的特征類具有相似的方向和偏移。

2．3 基于特征類組合的快速車道線擬合

特征類中的特征數(shù)量在某種程度上反映了特征類屬于車道線的可能性，特征數(shù)量越多，該特征類屬于車道線的可能性越大。將左右車道線感興趣區(qū)域中的特征類按照特征數(shù)量降序排列，從第1個特征類開始，以未配對的最大特征類為基準類，依次與其他未配對特征類比較，基于車道線模型分析各個特征類之間分布特性，將屬于同一車道線的特征類組合在一起，便可描述相應的車道線參數(shù)。本文中采用的直線模型為

若某一特征類與基準類屬于同一車道線，則這兩個特征類在縱向上不會發(fā)生重疊，且兩個特征類的斜率和偏移量差值不大，即

式中:kb和bb為基準類的直線參數(shù);yb0和yb1表示待配對特征類的起始行和終止行;k和b為待配對特征類的直線參數(shù);y0和y1表示待配對特征類的起始行和終止行;d(y)表示第y行的有效范圍。

若有兩個或以上特征類在縱向上有重疊，且都滿足式(8)，則利用式(9)中的相似準則進行挑選:

式中:σ表示車道線偏差指標;sk和sb表示斜率和偏移量的權重。從直觀理解，σ越小，特征類與基準類的匹配程度越高，取匹配程度最高的特征類配對。若多個特征類符合配對條件，則按照式(10)將其車道線參數(shù)做加權平均，作為匹配車道線參數(shù)。

最終識別結果如圖7所示。

3 系統(tǒng)測試及驗證

3．1 嵌入式系統(tǒng)測試方案

對LDW系統(tǒng)而言，車道線識別率和系統(tǒng)實時性是最重要的兩項指標。針對嵌入式系統(tǒng)的車道線識別率和實時性測試要求，設計了圖8所示的測試方法。首先采集實際道路視頻并挑選出用于測試的樣本，這些樣本覆蓋了大部分天氣和道路類型;然后手動標記樣本中每幀圖像的車道線位置，保存為標準數(shù)據(jù);最后將這些樣本視頻輸出至嵌入式系統(tǒng)進行處理，并由CAN總線讀取識別結果。將識別結果與標準數(shù)據(jù)對比，即可計算出識別率等參數(shù)。

由于系統(tǒng)沒有視頻輸出接口，不能直接顯示識別結果，在上述測試方法的基礎上，具體實施方案如圖9所示。計算機通過視頻輸出卡將測試視頻發(fā)送到視頻轉(zhuǎn)換控制器，該控制器將模擬視頻信號轉(zhuǎn)換為與數(shù)字攝像頭輸出一致的數(shù)字信號。系統(tǒng)控制器采集該數(shù)字視頻，進行車道線識別并把識別結果通過CAN發(fā)送至計算機。計算機將識別結果疊加到視頻中送顯以便觀測。由于系統(tǒng)實際運行時也可能存在由于圖像的采集和處理而引起的延遲，即用于處理的圖像滯后于實際道路狀況，此時即使車道線識別結果準確無誤，測量得到的車道線位置也并非與實際位置一致。在本節(jié)所提出的測試方案中，電腦播放的視頻即為模擬的實際道路狀況，當系統(tǒng)處理速度慢時，其輸出的識別結果相對于電腦端的圖像存在延遲，識別結果與標定數(shù)據(jù)不一致，故可用于評價系統(tǒng)實際運行時的延遲誤差。

3．2 識別率評價指標

測試樣本標記得到的車道線參數(shù)是測試對比的標準，識別得到的車道線與標記車道線的相似程度直接反應了車道線識別結果的準確性。受汽車前擋風玻璃角度的限制和汽車發(fā)動機蓋的遮擋，攝像頭通常僅能捕捉其前方5m之外的路面。本文中采用5～40m范圍內(nèi)的車道線重合度來計算識別率，評價指標為

式中:p為匹配率;n0和n1代表匹配區(qū)域起始和結束行;r(y)代表第y行的匹配結果;ks和bs為標記的車道線參數(shù);k和b為識別的車道線參數(shù);h(y)表示第y行的有效范圍。h(y)越大，匹配限制越低，識別的車道線參數(shù)與標記參數(shù)存在較大誤差時也滿足約束。此處取h(y)為路面寬度25cm時在第y行的圖像距離。在這種匹配限制下，識別車道線與標記車道線最大橫向偏移小于25cm，最大角度差為arctan(2×0.25/(40－5))，約為0.82°。若計算所得的匹配率p＞98%，則認為識別結果有效。

圖10即為以上設置時的車道線有效區(qū)域。其中黑色實線代表標記的車道線，兩側(cè)黑色虛線之間則是有效區(qū)域。

3．3 試驗結果

在將車道線識別算法移植到嵌入式系統(tǒng)后，對算法運行時間進行測試，結果如表1所示。

表1 算法運行時間

從表1可以看出，行處理最長時間小于圖像行數(shù)據(jù)傳輸時間，可以保證系統(tǒng)實時性。在存儲需求方面，由于算法逐行處理，只須保留3行數(shù)據(jù)，減少了內(nèi)存開銷;另外，通過特征歸類處理后，使用特征類來描述一組滿足類約束的車道線特征點并逐行校驗，及時丟棄無效特征類，從而進一步降低了內(nèi)存需求。最終系統(tǒng)的內(nèi)存開銷小于25kB。由于DSP芯片有32kB的片內(nèi)SRAM，因此無需外擴SDRAM便能滿足系統(tǒng)要求。

根據(jù)3.1節(jié)描述的測試方法，采用多種工況下的道路視頻對嵌入式系統(tǒng)進行測試，結果見圖11。

從圖中可以看出，本方法在多種工況下都可識別車道線，包括路面文字，強光照射、陰影遮擋干擾下都可以正確識別車道線，具有很強的適應性。采用不同工況下的實際道路視頻進行測試，本系統(tǒng)在典型工況下的識別率大于98%，平均識別率大于90%。由于車道偏離系統(tǒng)主要適用于高速工況，道路曲率半徑通常大于250m，基于直線模型的車道偏離預警系統(tǒng)可以滿足系統(tǒng)需求，故本文中提出的基于圖像行處理的車道偏離預警系統(tǒng)滿足產(chǎn)品需求，具有較高的實用價值。

4 結論

本文中提出的基于圖像行數(shù)據(jù)處理的車道線識別方法，通過逐行特征提取和特征歸類處理，提高運行效率，降低內(nèi)存消耗。由此設計的低成本車道偏離預警系統(tǒng)選用數(shù)字攝像頭和具有400MHz主頻的DSP芯片，無需視頻解碼電路和拓展存儲器，在保證車道線識別率的同時有效降低硬件復雜程度。通過系統(tǒng)硬件在環(huán)試驗，得出如下結論:

(1)基于行處理的車道線識別算法滿足處理時間和識別率的要求，運行效率高，內(nèi)存消耗低;

(2)該算法移植于DSP芯片后運行正常，具有很好的穩(wěn)定性和實時性;

(3)設計的車道偏離預警系統(tǒng)結構簡單，能有效降低系統(tǒng)成本，具有較高的應用價值。

［1］ Aufrère1 R，Gowdy J，Mertz C，et al．Perception for Collision A-voidance and Autonomous Driving［J］．Mechatronics，2003，13(10):1149－1161．

［2］ Stephen P Tseng，Liao Yungsheng，Chih Hsie Yeh，et al．A DSPBased Lane Recognition Method for the Lane Departure Warning System of Smart Vehicles［C］．Proceedings of the 2009 IEEE International Conference on Networking，Sensing and Control，Okayama，Japan，2009:823－828．

［3］ Yu Bing，Zhang Weigong，Cai Yingfeng．A Lane Departure Warning System Based on Machine Vision［C］．2008 IEEE Pacific-Asia Workshop on Computational Intelligence and Industrial Application，Wuhan，China，2008:197－201．

［4］ 閆旭琴．嵌入式車道偏離預警系統(tǒng)關鍵技術研究［C］．中國計量協(xié)會冶金分會2010年會，2010:1015－1018．

［5］ 李元金，張萬成，吳南?。环N基于并行處理器的快速車道線檢測系統(tǒng)及FPGA實現(xiàn)［J］．電子與信息學報，2010，32(12):2901－2906．

［6］ 郭磊，王建強，李克強．存在車輛干擾的車道線識別［J］．汽車工程，2007，29(5):372－376．

［7］ 劉志強，陳彥博，葛如海．基于路面圖像對稱性的車道偏離識別方法研究［J］．汽車工程，2007，29(7):625 －629．

［8］ Thomas Veit，Jean-Philippe Tarel，Philippe Nicolle，et al．Evaluation of Road Marking Feature Extraction［C］．Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems，Beijing，China，2008:174 －181．

［9］ Evangeline Pollard，Dominique Gruyer，Jean-Philippe Tarel，et al．Lane Marking Extraction with Combination Strategy and Comparative Evaluation on Synthetic and Camera Images［C］．2011 14th International IEEE Conference on Intelligent Transportation Systems，Washington，DC，USA，2011:1741－1746．

［10］ Philipp Lindner，Stephan Blokzyl，Gerd Wanielik，et al．Applying Multi Level Processing for Robust Geometric Lane Feature Extraction［C］．2010 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems University of Utah，Salt Lake City，UT，USA，2010:248－254．