基于車牌定位的汽車擋風鏡定位分割方法研究

傅詩　袁穎泉　沈小軍　潘舟

摘要：針對目前智能交通系統(tǒng)中車臉定位識別技術(shù)相對空白的狀況，本文提出了一種車輛擋風鏡區(qū)域定位分割的方法，并用C#進行了系統(tǒng)實現(xiàn)。此方法結(jié)合目前比較成熟的車牌定位技術(shù)，通過縮小目標區(qū)域和圖像掃描統(tǒng)計的方法，對二值化后的車輛圖像進行了擋風鏡區(qū)域的定位與分割。經(jīng)對不同光照、不同車型的車輛圖像測試，該算法具有快速、精確、魯棒性強、自適應性好的優(yōu)點，為進一步車內(nèi)人臉定位與識別提供了一定理論與技術(shù)基礎。本方介紹的識別方法有一定的新穎性，已獲得相關(guān)發(fā)明專利授權(quán)。

關(guān)鍵詞：智能交通系統(tǒng)；車牌定位；擋風鏡區(qū)域；統(tǒng)計掃描；定位分割

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）18-0208-03

在智能交通系統(tǒng)中，車牌識別、車標識別、車色彩識別技術(shù)都日趨完善，其中以車牌識別技術(shù)最為成熟。但在車臉識別技術(shù)上，卻存在很大空白與不完善之處。車臉識別技術(shù)指分析、處理車輛圖像正面及擋風鏡區(qū)域，進而達到車內(nèi)人臉識別、車內(nèi)景象分析的目的。在未來的智能交通系統(tǒng)中有著重要的應用價值。本文提出的方法是基于車牌定位技術(shù)的[1，2]，運用圖像掃描統(tǒng)計的方法，定位分割車輛擋風鏡區(qū)域。圖1為本文方法的處理流程。首先根據(jù)車牌定位的結(jié)果完成擋風鏡區(qū)域的粗定位，再通過掃描圖像特定區(qū)域，統(tǒng)計白點，完成擋風鏡區(qū)域精確定位，最后從原圖像中分割出擋風鏡區(qū)域。

1 車輛圖像預處理

對采集車輛圖片預處理是車臉識別過程一個重要環(huán)節(jié)，預處理效果的好壞會影響車牌及擋風鏡區(qū)域定位的成功率。本文使用均由CCD攝像機采集、以jpg格式存儲的車輛圖像，處理時將jpg圖像封裝在C# Bitmap位圖對象中。預處理包括灰度化、灰度拉伸、圖像平滑、中值濾波[3]、銳化[3]等過程。上述這些過程除灰度化外都不是必需的，僅針對存在缺陷的圖像或某些特定處理效果，才實施其他預處理過程。

圖2為車輛原始圖像，在后續(xù)章節(jié)中，均以該圖片作為示例進行處理。

2 車牌定位

車輛擋風鏡區(qū)域定位方法是基于車牌定位的，通常情況下，車輛的車牌位置都處于擋風鏡區(qū)域的正下方，且車牌兩側(cè)縱向邊緣的延長線穿過擋風鏡區(qū)域，如圖3。通過向兩側(cè)適當擴展這兩條延長線，可以粗略定位擋風鏡區(qū)域的縱向邊界。與車牌定位技術(shù)要求的車牌邊緣高精度定位不同，擋風鏡區(qū)域定位并不必須精確定位車牌邊緣。我們只希望獲取車牌在整張圖片中粗略的位置信息，并在這一基礎上去尋找擋風鏡的位置。

2.1基于Sobel算子的車牌邊緣檢測方法

本文采用目前比較成熟的Sobel算子[4，5，6]對車牌邊緣進行檢測，Sobel算子能根據(jù)像素上下、左右相鄰像素點灰度加權(quán)差在邊緣處達到極值這一特征檢測目標區(qū)域邊緣。Sobel算子對于圖像里的噪聲還具有平滑作用，提供較為精確的邊緣方向信息，在不同環(huán)境的圖像中有著穩(wěn)定的車牌定位成功率。Sobel算子的水平方向算子Sx和垂直方向算子Sy[1，4]定義如下：

，

預處理后的車輛圖像中的每個像素點都要與這兩個核做卷積，Sx對水平邊緣響應最大，Sy對垂直邊緣響應最大。兩個卷積的最大值作為這一個點上的輸出，運算結(jié)果為邊緣幅度圖像。對該圖像進行二值化、去噪處理。通過模板矩陣尋找車牌四邊。每次檢測到車牌的一個邊緣，記錄坐標，并在該位置上添加紅色輔助線，直至標記出車牌的四邊邊緣，如圖3所示。

3 擋風鏡區(qū)域定位與分割

3.1擋風鏡區(qū)域垂直定位

由圖3知，車牌左右邊緣延長線l、r垂直穿過了擋風鏡區(qū)域正中的位置。結(jié)合日常經(jīng)驗不難發(fā)現(xiàn)，小型機動車擋風鏡下延ab寬度約為車牌寬度的3倍。若認為直線l、r將擋風鏡區(qū)域垂直分割成三部分，則中間部分的上下邊緣即線段hg、ef等長，左右兩部分的上邊緣長度約為下邊緣長度的2/3，即dh = 2/3ae、gc = 2/3fb。在實現(xiàn)的軟件系統(tǒng)中進行大量測試后，絕大部分小型轎車和面包車均符合這一特點，大型車則有一定偏差。所以，上述方法可以較好的應用在小型車輛擋風鏡區(qū)域垂直定位上，大型車可以分開另作處理。

通過2.2節(jié)中獲取的車牌邊界坐標yL、yR、xD、xU，可以計算出車牌在水平方向上的長度HD（HorizontalDistance） = yR - yL，車牌在垂直方向上的寬度VD（VerticalDistance） = xD - xU。根據(jù)上述規(guī)律，將擋風鏡下邊緣中部線段L2向水平左、右兩個方向各擴展長度HD，將擋風鏡上沿中部線段L1像兩側(cè)各擴展長度2/3HD，記錄Y方向的4個縱坐標ULM、DLM、URM、DRM，并以綠線進行標記，如圖3。

3.2基于掃描統(tǒng)計方法的擋風鏡區(qū)域水平定位

圖3中車牌垂直邊緣的延長線L1、L2并沒有提供有關(guān)擋風鏡區(qū)域水平方向的信息，所以僅通過車牌定位完成擋風鏡區(qū)域的水平定位有較大困難。本文設計了一種基于掃描圖像局部區(qū)域進行白點統(tǒng)計的水平定位算法。經(jīng)前幾步處理后的車輛圖像已經(jīng)是二值化圖像，只包含白色與黑色信息，其中黑色表示背景顏色，白色表示車輛及其他物體邊緣，擋風鏡上下水平邊緣處聚集了大量白色像素信息，且紅、綠輔助線的顏色均為固定值，可以輕易剔除。所以，對圖像自上向下進行水平掃描，統(tǒng)計圖像中每行白色像素點的數(shù)目，當掃描至擋風鏡上下邊緣區(qū)域時，統(tǒng)計結(jié)果必定會出現(xiàn)白點數(shù)目的峰值，由此即可獲取上下邊緣的坐標。

3.2.1縮小掃描范圍

考慮到圖像中的其他物體（例如散熱柵、車道線、路緣）同樣含有大量白色像素（干擾信息）。與噪聲不同，這些干擾信息通常是大塊連續(xù)的白點，若直接對整張圖像進行掃描，這些干擾信息會對擋風鏡水平邊緣的檢測造成很大干擾。因此，在進行圖像掃描之前需要縮小待掃描區(qū)域，盡可能將這些干擾信息排除在掃描區(qū)域之外。

在垂直方向上，只需在車牌寬度范圍內(nèi)進行掃描操作，即圖3中直線l、r之間的范圍。原因有二，其一是車輛邊緣以及車輛兩側(cè)道路上的物體包含大量白色干擾像素，上述掃描范圍可以在最大程度上排除這些干擾信息；其二是掃描過程統(tǒng)計的是每行白色像素點的數(shù)目，擋風鏡上下邊緣的白色像素點在直線l～r范圍內(nèi)最為連續(xù)和集中。

在水平方向上，一類干擾信息來源于同樣含有大量白色信息的車牌與散熱柵區(qū)域?？紤]到散熱柵通常位于車牌正上方，且與車牌寬度相當，根據(jù)3.1節(jié)計算出的車牌寬度VD，將車牌沿X軸負方向垂直平移3～4個VD距離，使其上邊緣移至圖3中線段的位置，將作為掃描時的水平下邊界。經(jīng)過大量測試，移動這一長度可以將散熱柵、車牌等干擾信息排除在掃描范圍之外。

另一類干擾信息來源于車輛尾部邊緣（如圖3中線段AB上方的白色邊緣），這塊區(qū)域會影響擋風鏡上邊緣的檢測，所以先進行第一次圖像掃描檢測車尾邊緣。掃描的縱向范圍即為前文確定的直線l～r之間，由于圖像上方的噪聲多為離散分布，且預處理時已對主要噪聲進行了抑制，所以在掃描至車尾邊緣之前，不會存在某一行出現(xiàn)連續(xù)大量白點，而車尾處聚集的大量連續(xù)白色信息則會成為掃描結(jié)果中的第一個峰值，稱為突變。

掃描過程算法描述：

10 for （int h = 0； h < 圖像高度； h++） {

20 for（int w = 掃描左邊界； w <= 掃描右邊界； w++）

30 If（該點是白點） statistics[h] ++；

40 If（statistics[h] >= 臨界值） {

50 保存當前行索引；

60 break；

70 }

80 }

以圖3中直線l為左邊界、直線r為右邊界、E為起點向Y軸正方向進行自上向下掃描。設置一個退出掃描臨界值，該值大小可通過實際測試得到。按上述規(guī)則掃描，用數(shù)組statistics記錄每行白點數(shù)目，數(shù)組下標表示當前掃描行索引。當掃描至某一行，其白點數(shù)目第一次超過臨界值時，認為發(fā)生突變，終止掃描并記錄該行索引h，即為車尾邊緣在X方向的坐標。將h適當減小△h，得到一個新的高度，使其在圖3中越過車尾邊緣，即為待掃描區(qū)域的水平上邊界，如圖3中線段AB。本文使用的所有圖片均為尺寸1360×1024的jpg圖片，經(jīng)過大量測試，臨界值選取130較為合適，選取30為宜。

綜上所述，圖3中用綠線標出的矩形區(qū)域ABCD即為擋風鏡水平定位的待掃描區(qū)域。

3.2.2擋風鏡區(qū)域水平定位

在待掃描區(qū)域ABCD中，以線段AD為左邊界、BC為右邊界、AB為上邊界、CD為下邊界、A點為起點、C為終點進行自左向右、自上向下掃描。同樣以數(shù)組statistics記錄每一行白色像素點的數(shù)目。在區(qū)域ABCD內(nèi)，統(tǒng)計結(jié)果中應出現(xiàn)兩個白點數(shù)目的峰值，對應擋風鏡上下邊緣。在實現(xiàn)的軟件系統(tǒng)中，每次橫向定位均取出當次掃描統(tǒng)計結(jié)果中白點最多的一行，故橫向定位至少進行兩次。記上邊緣橫坐標為TM、下邊緣橫坐標為IM，并以水平綠線進行標記，如圖3所示。每次標記水平綠線時將其之上10行與之下10行的像素均設為黑色，因為橫向定位取到的都是當次白點數(shù)目的峰值，峰值附近若干行內(nèi)白點數(shù)目較多，將這些行置為黑色即可保證下次定位到的行不在上一次峰值行附近，從而快速找到還未定位的邊緣。

掃面過程算法描述：

10 for （int h = 掃描上邊界； h <= 掃描下邊界； h++）

20 for （int w = 掃描左邊界； w <= 掃描右邊界； w++）

30 If （該點是白點） statistics[h] ++；

40 獲取數(shù)組statistics中最大值的索引Index，保存Index值；

50 將圖像中第Index行上下10行RGB值設為（0， 0， 0）；

60 if （找到擋風鏡上邊界 && 找到擋風鏡下邊界） 退出；

70 else 轉(zhuǎn)到步驟10， 繼續(xù)；

須注意的是，由于數(shù)組長度n = Length（AD） = Length（BC），當前掃描行在圖像中的坐標h不再等于數(shù)組下標i，正確的坐標應為：h = i + Length（EA）。

3.3提取擋風鏡區(qū)域圖像

根據(jù)3.1和3.2.2我們獲取了擋風鏡區(qū)域EFGH四個頂點的全部坐標：E（TM， ULM）、F（TM， URM）、G（IM， DRM）、H（IM， DLM），如圖4所示。利用C#中Bitmap類的Clone（）函數(shù)復制擋風鏡的矩形區(qū)域，并利用C#中Graphics類的畫圖功能在該矩形區(qū)域上用紅線完成對擋風鏡梯形區(qū)域邊界的分割，如圖5所示。至此，擋風鏡區(qū)域的定位與分割完成。

4 實驗結(jié)果與結(jié)論

在Window7操作系統(tǒng)下，用C#實現(xiàn)了車輛擋風鏡區(qū)域定位分割系統(tǒng)。對采集到的273張不同車型、包含完整車身與車牌的圖像應用本文所述的基于Sobel算子的車牌定位算法進行車牌定位測試，成功率達到了90%左右。對于車牌定位成功的圖像應用本文的擋風鏡定位分割方法進行測試，成功率達到了98%。本文介紹的擋風鏡區(qū)域定位分割方法的優(yōu)點是邏輯性強，無需復雜的數(shù)學計算，完全將圖像作為一個二維矩陣進行處理，充分利用了車牌定位技術(shù)、圖像掃描原理與統(tǒng)計方法。在車牌定位成功的情況下，擋風鏡定位成功率極高?；赟obel算子的車牌定位算法具有適應性強的特點，在復雜環(huán)境下有著穩(wěn)定的車牌定位成功率。因此，基于車牌定位與掃描統(tǒng)計的車輛擋風鏡定位分割方法在智能交通領域具有一定的應用價值。

參考文獻：

[1]Wenjing Jia，Huaifeng Zhang， Xiangjian He.and Massimo Piccardi，“Mean shift for accurate license plate localization”，Intelligent Transportation Systems， 2005：566-571.

[2]S.Kim， D.Kim， Y.Ryu.and G.Kim，“A robust license-plate extraction method under complex image condition”， Pattern Recognition， Proceedings. 16th International Conference on， 2002，l（3）：216-219.

[3] 趙春江.C#數(shù)字圖像處理算法典型實例[M].北京：人民郵電出版社，2009：134-144.

[4] 孫洪淋，廖繼旺.基于Sobel算子的圖像邊緣檢測及其實現(xiàn)[J].人工智能識別技術(shù)，2004， 15（2）： 87-94.

[5] 靳鵬飛.一種改進的Sobel圖像邊緣檢測算法[J].應用光學，2008，7（4）：779-783.

[6] 吳國偉，謝金法，郭志強.基于Sobel算子的車輛輪廓邊緣檢測算法[J].河南科技大學學報.2009，30（6）：38-41.