基于色差的車牌快速定位算法研究

鄭楷鵬 鄭翠環(huán) 郭山紅 陳康宇

(南京理工大學電子工程與光電技術學院 江蘇 南京 210094)

基于色差的車牌快速定位算法研究

鄭楷鵬 鄭翠環(huán) 郭山紅*陳康宇

(南京理工大學電子工程與光電技術學院 江蘇 南京 210094)

針對現(xiàn)有車牌定位算法的抗干擾能力弱和速度較慢問題，提出基于色差的車牌快速定位算法。設計了提取藍色、黃色和白色像素點的色差公式，將車輛RGB圖像轉(zhuǎn)換到色差空間。利用迭代法對色差圖像進行閾值分割得到二值圖像，并利用形態(tài)學處理和標記連通域，最后結(jié)合車牌長寬比特征去除干擾定位車牌。對實際車輛視頻定位處理結(jié)果表明，提出的算法可以實現(xiàn)白天和夜晚藍牌車和黃牌車的車牌準確定位，定位準確率分別達到95.1%和92.5%，定位平均耗時0.026 s，優(yōu)于傳統(tǒng)的基于HSV、HIS和YUV車牌定位算法。處理結(jié)果表明該定位算法可在實際普通道路交通中實現(xiàn)實時準確定位。

車牌定位 色差 閾值分割 形態(tài)學處理 標記連通域

0 引 言

車牌識別LPR(License Plate Recognition)系統(tǒng)是智能交通系統(tǒng)的一個核心子系統(tǒng)，它是在數(shù)字圖像處理的基礎上實現(xiàn)汽車牌照自動定位與識別的一個系統(tǒng)[1-2]。在此核心功能基礎上可以提供大量實用的交通管理服務：車輛信息的獲取與存儲、車輛信息的查詢對比、非法車輛識別與報警、高速公路與道路關卡的監(jiān)控與收費、停車場的具體管理等服務[3-4]。

車牌定位是LPR系統(tǒng)的一個關鍵環(huán)節(jié)，定位的準確性和速度將直接影響LPR系統(tǒng)的整體性能。對于車牌定位算法，國內(nèi)外研究較早也較多并提出了一些有效的定位算法[5-8，11，13]，常用的有基于車牌直觀特征的定位方法，直觀特征包括紋理、顏色、邊緣等特征；基于變換域特征的定位算法以及AdaBoost算法等。以上提到的算法在定位車牌時都有一定的局限性，單獨使用其中一種方法很難達到預期的定位準確性和實時性。本文重點研究基于視頻圖像的車牌定位，提出了基于色差的車牌快速定位算法，該算法可以提高白天和夜晚情況下車牌定位的準確性和實時性。

1 車牌定位方法與難點

1.1 常用車牌定位方法

目前常用的車牌定位方法有以下幾種：

(1) 基于紋理特征的定位方法

車牌的紋理特征是指字符的寬度、高度和筆畫寬度，字符之間的連通性等特征。對車牌部分的灰度圖像進行水平掃描得到灰度變化曲線，車牌區(qū)域與其他區(qū)域的灰度變化曲線不同，根據(jù)這一特征可以簡單快速地定位出車牌[5-7]。

(2) 基于顏色特征的定位方法

該類算法一般就是利用車牌的背景和字符的顏色搭配(例如藍底白字)提取出車牌區(qū)域，再經(jīng)過形態(tài)學的操作來定位出圖像[5-7]。該算法簡單快速。

(3) 基于邊緣特征的定位算法

由于車牌區(qū)域的字符部分和底牌部分的灰度值有較大的對比度，即圖像的灰度值變化較大，即該區(qū)域相對于其他區(qū)域包含了更豐富的邊緣信息，故檢測圖像局部像素點是否變化明顯可以采用邊緣檢測算法[8]。通常用來檢測圖像灰度值變化的算子有Robert、Prewitt、Sobel算子等。

(4) 基于變換域特征的定位算法

該類方法首先將圖像進行某種變換后，例如DFT變換，再綜合其它特征進行車牌定位[13]，比較常見的方法有離散余弦變換法和小波變換法。

1.2 車牌定位的難點

在室外拍攝的普通道路上運動車輛視頻圖像受環(huán)境因素的影響較大，圖像質(zhì)量較難保證，在夜晚光照不足的情況下定位準確率會下降；車牌被污染或者顏色嚴重失真時會導致車牌無法定位到。漏警概率增大；其他字符區(qū)域的干擾會導致車牌定位虛警概率增大[9]。

本文重點研究基于色差的車牌定位方法，該方法具有適應面廣、抗干擾強、速度快、定位準確和虛警低的特點[10，12]。首先從視頻圖像中提取出運動車輛圖像，然后計算車輛色差，并結(jié)合形態(tài)學處理[15，16]和車牌的長寬比特征進行車牌快速定位。

2 車輛圖像預處理

實際拍攝的視頻圖像包含了車輛和背景信息，為了更好地定位車牌，需要從視頻圖像中提取出車輛圖像，其具體過程如圖1所示。

圖1 基于背景差分和虛擬線圈的運動車輛檢測流程圖

事先在視頻圖像上設定虛擬線圈，確定尋找運動車輛的區(qū)域。隨著視頻圖像的輸入，首先對圖像進行灰度化，然后進行背景差分處理。背景圖像是通過對視頻圖像多次平均獲得的動態(tài)背景圖像。接著統(tǒng)計虛擬線圈區(qū)域內(nèi)灰度變化的平均值，若超過閾值則表明有車輛駛?cè)?，則取出虛擬線圈附近的運動車輛圖像。 可以根據(jù)需要在視頻圖像設置多個虛擬線圈，觀測不同車道的情況。

實際的車輛視頻圖像都是在露天情況下采集的，難免受到天氣及光照的影響，因此在車牌定位之前要進行圖像增強預處理。圖像增強有各種方法[10，12]，綜合考慮各種噪聲的影響，這里選取高斯低通濾波器對圖像進行濾波增強處理。

3 基于色差的車牌快速定位算法

根據(jù)車輛的運動方向，選取運動車輛圖像的底部或頂部1/3圖像作為車牌定位研究對象。根據(jù)我國車牌的顏色特征[14]，我們主要要獲取車輛圖像中具有一定長寬比例的藍色、黃色或白色矩形區(qū)域。

3.1 色差計算

(1) 藍色色差

在RGB空間中，針對最常見的藍底白牌的車輛，我們采用式(1)的顏色轉(zhuǎn)換公式來突出藍色的像素點從而抑制其他區(qū)域的像素點[3]。

Cx,y=Bx,y-min{Rx,y,Gx,y}

(1)

式中Cx,y為轉(zhuǎn)換之后坐標點(x,y)的像素值，Rx,y，Gx,y，Bx,y分別為紅，綠，藍三個通道的像素值。這種轉(zhuǎn)換可以增強藍色區(qū)域并且可以很好地抑制非藍色區(qū)域的像素點的值，與原彩色圖像相比，藍色區(qū)域得到了增強，這正是我們需要的。

(2) 黃色色差

對于黃底黑字的車牌，基于在RGB圖像中，黃色區(qū)域的R通道和G通道像素值相差不大且接近255，而B通道的像素值比其他兩個通道的值都要小很多，根據(jù)上述規(guī)律，我們設計了式(2)的黃色轉(zhuǎn)換公式。

(2)

(3) 白色色差

若車輛本身即為藍色，只提取藍色像素點是不夠的，我們知道在RGB空間中白色像素點的值是很特別的，它的R、G、B三個通道的值都接近255且相差無幾，故我們設計了式(3)來判斷白色的像素點。

(3)

所有滿足以下兩個約束條件之一即可認為該像素點是車牌區(qū)域的像素點：

i)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)滿足藍色像素點約束條件；同時f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)滿足白色像素點約束條件。

ii)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)滿足白色像素點約束條件；同時f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)滿足藍色像素點約束條件。

3.2 閾值分割

對于普通藍牌車，原圖在經(jīng)過顏色轉(zhuǎn)換之后，可以很明顯地看到，藍色區(qū)域的亮度明顯比圖像中其他區(qū)域的亮度要高,并且藍色區(qū)域的亮度在整幅圖像中是最高的,而非藍色區(qū)域的像素被很好地抑制了，像素值接近0。根據(jù)上述特征，可以取顏色轉(zhuǎn)換之后的圖像的像素點最大值(Tmax)和最小值(Tmin)的中間值作為閾值T的初始值，采用迭代法求得最終的閾值對圖像進行二值化。迭代法取閾值的方法如下：

(1) 為T選取一個初始值。

(4)

(2) 使用T分割圖像，這將產(chǎn)生兩組像素：像素值≥T的所有像素點組成的G1，像素值

(3) 計算G1和G2范圍內(nèi)的像素的平均像素值μ1和μ2。

(4) 計算一個新的閾值：

(5)

(5) 重復2到步驟4，知道連續(xù)迭代中的T的差比預先指定的參數(shù)T0小為止。

在經(jīng)過顏色轉(zhuǎn)換之后的圖像中，任何滿足f(x,y)>T的點(x,y)置為1，其他的則置為0，得到二值圖像。

3.3 形態(tài)學處理和標記連通域

提取特殊顏色并采用閾值分割后的圖像，常常出現(xiàn)多個空洞，為了便于后續(xù)要根據(jù)形狀來判斷車牌，故需對圖像進行形態(tài)學處理[15-16]。根據(jù)實際視頻圖像大小和車牌相對位置，選擇合適的模板尺寸進行形態(tài)學運算。

在對二值圖像進行形態(tài)學處理之后，為了得到每個區(qū)域形狀特征，必須對每個區(qū)域進行連通域標記，本文采用8鄰域標記法，并獲得連通域的外接矩形。

3.4 去除偽車牌

這里我們根據(jù)車牌的長寬比去除偽車牌，在得到連通區(qū)域的外接矩形之后，獲得矩形框的長和寬，計算長寬比的比值。

(1) 根據(jù)我國中小型車牌的標準[13]，普通車牌的大小為440 mm×140 mm,實際拍攝的車輛圖像中車牌的長寬比例會略微變大，故可取ratiomin=2.5，ratiomax=3.5，根據(jù)上述規(guī)則可以去除一部分偽車牌。

(2) 根據(jù)連通區(qū)域的灰度圖像區(qū)域的紋理一致性去除偽車牌，根據(jù)式(6)計算紋理一致性:

(6)

其中，U為圖像區(qū)域的紋理一致性，L為可能出現(xiàn)的灰度級(一般為0～255)，p(z)為灰度圖像的歸一化灰度直方圖。

4 車牌定位處理結(jié)果及性能比較

4.1 車牌定位處理結(jié)果

圖2為采用3.1節(jié)中式(1)基于藍色色差定位的處理結(jié)果。圖2(a)為晴朗天氣下在天橋上拍攝的行車道上多輛照片，圖2(b)為采用式(1)對車輛圖像進行藍色色差處理結(jié)果，由圖2(b)可以看到，藍色車牌區(qū)域亮度明顯高于其他顏色。取顏色轉(zhuǎn)換之后的圖像的像素點的最大值和最小值的中間值作為閾值T的初始值，采用迭代法求得最終的閾值對圖像進行二值化。

圖2(c)顯示了對色差處理之后的圖像進行閾值分割和形態(tài)學處理效果。本文中采集的視頻圖像的大小為700×900，針對采集到的圖像數(shù)據(jù)庫，選取大量的圖像進行試驗，發(fā)現(xiàn)一般分割得到的孔洞大小不會超過50個像素，而且車牌之間的間距相對孔洞而言則是會大很多，所以我們只需要選取比孔洞大2～3倍的結(jié)構元素對二值圖像進行閉運算即可以填充孔洞。這里我們選取大小為16×8的長方形結(jié)構元素來進行形態(tài)學閉運算處理。

圖2(d)為采用8鄰域標記法獲得標記連通域效果圖。圖2(e)為去除偽車牌后車牌定位結(jié)果圖。通過對大量樣本數(shù)據(jù)分析，最后取U=0.7。當候選區(qū)域中的某塊區(qū)域紋理一致性小于該值的就會被去除，這樣就能更準確地定位車牌區(qū)域。

(a) 原圖(車牌為藍色) (b) 藍色色差圖像

(c) 閾值分割和形態(tài)學處理 (d) 標記連通域

(e) 車牌定位結(jié)果圖2 車牌定位結(jié)果

圖3(a)-(h)分為白天拍攝的藍色車身藍牌出租車、白天拍攝的車后身為大面積藍色的黃牌公交車、夜晚拍攝的藍牌小轎車和白天拍攝的車身覆蓋較厚塵土的污染藍牌車圖像及其對應車牌定位結(jié)果。對于從視頻圖像中獲取的運動車輛圖像，首先判斷車輛的主體顏色，若藍色區(qū)域<1/5，則采用藍色色差進行處理，定位藍牌矩形區(qū)域；若藍色區(qū)域≤1/5，則采用白色色差處理定位白色矩形區(qū)域；若未能定位，則采用黃色色差處理，定位黃牌區(qū)域。

(a) 藍牌藍車(車身顏色為全藍色) (b) 車牌定位結(jié)果

(c) 黃牌藍色公交車(車后身大部分區(qū)域為藍色) (d) 車牌定位結(jié)果

(e) 夜晚藍牌小轎車車輛 (f) 車牌定位結(jié)果

(g) 污染藍牌車輛(車身覆蓋較厚塵土) (h) 車牌定位結(jié)果圖3 不同情況下的車牌定位處理結(jié)果

由圖3定位處理結(jié)果可以看出，采用色差法對藍車藍牌、有藍色干擾的黃牌公交車、夜晚藍牌小轎車和污染嚴重的藍牌小轎車都能準確定位其車牌位置?？梢?，文中提出的基于色差的車牌定位方法對光線昏暗、污染車牌、以及顏色干擾有較好的定位效果。

4.2 車牌定位處理結(jié)果

本文針對在戶外不同天氣狀況下拍攝到的視頻圖像，對白天和夜晚的各種車輛進行了定位測試，表1列出了基于色差的車牌定位算法耗時， 表2統(tǒng)計了不同天氣狀況下各種車牌定位的準確率統(tǒng)計結(jié)果。表3列出了白天晴朗天氣狀況下基于其他算法的車牌定位的準確率統(tǒng)計結(jié)果，可見基于色差的車牌定位算法耗時小，且定位準確率較高，抗干擾能力強，定位性能優(yōu)于傳統(tǒng)的基于HSV、HIS和YUV的車牌定位算法[12,17-19]。處理結(jié)果表明該定位算法可在實際普通道路交通中實現(xiàn)實時準確定位。

表1 基于色差的車牌定位算法的定位耗時統(tǒng)計 s

表2 基于色差的車牌定位算法的結(jié)果統(tǒng)計

表3 基于其他車牌定位算法的結(jié)果統(tǒng)計

5 結(jié) 語

本文針對基于視頻圖像的車牌定位算法進行了深入研究，提出了基于色差的車車牌快速定位算法，提高了車牌在各種情況下的定位準確率和定位速度。文中對白天常規(guī)車輛、藍牌藍車、公交車及污染車牌進行了檢測，結(jié)果發(fā)現(xiàn)采用該方法定位具有很高的準確率，對夜晚車輛也有較高的定位準確率。該車牌定位方法沒有復雜的計算公式，計算量小，可以滿足實時監(jiān)測系統(tǒng)的要求。下一步針對大霧、雪天等惡劣天氣繼續(xù)研究車牌定位算法，使其具有更好的適用性。

[1] Liakou H M. An overview on transports and ITS[C]//Third World Summit on the Knowledge Society, 2010: 343-345.

[2] Gu H, Zhao G, Qi D, et al. Priori embedding and character segmentation for license plate recognition[J]. Journal of Image and Graphics, 2010, 15(5): 749-756.

[3] 王璐. 基于MATLAB的車牌識別系統(tǒng)研究[D]. 上海：上海交通大學, 2009.

[4] 王豐元, 孫壯志, 周一鳴. 計算機視覺技術在交通工程測量中的應用[J]. 中國公路學報, 1999, 12(1): 90-94.

[5] Gonzalez R C, Woods R E. 數(shù)字圖像處理[M]. 阮秋琦, 阮宇智, 譯. 3版. 北京：電子工業(yè)出版社, 2011.

[6] 徐勤燕. 復雜背景中基于紋理和顏色的車牌定位研究[D]. 上海：東華大學, 2013.

[7] 萬燕, 徐勤燕, 黃蒙蒙. 復雜背景中基于紋理和顏色的車牌定位研究[J]. 計算機應用與軟件, 2013, 30(10): 259-262,316.

[8] Zhou Z, Hu X, Tan M. The license plate location method based on the log operator for edge detection[J]. Automation and Instrumentation, 2009(2):90-92.

[9] 劉攀. 復雜光照條件下的通用車牌定位系統(tǒng)的研究與實現(xiàn)[D]. 成都：電子科技大學, 2013.

[10] 張震, 楊曉. 基于OpenCV實現(xiàn)多特征融合的移動車牌定位算法[J]．計算機應用與軟件, 2014, 31(4): 289-292．

[11] 黃澤鋒. 基于Adaboost的車牌定位方法的研究與實現(xiàn)[D]. 廣州：華南理工大學, 2012.

[12] 鄭成勇. 一種RGB顏色空間中的車牌定位新方法[J]. 中國圖象圖形學報, 2010, 15(11): 1623-1628.

[13] 劉雄飛, 龍巧云, 李根, 等. 基于行掃描和小波變換的車牌定位算法[J]．計算機應用與軟件, 2013, 30(5): 279-282.

[14] 中華人民共和國公安部.GA 36-2007 中華人民共和國機動車號牌[S]. 2007-09-28.

[15] Yang F, Ma Z. Vehicle license plate location based on histogrammming and mathematical morphology[C]//Proceedings of the Fourth IEEE Workshop on Automatic Identification Advanced Technologies, 2005: 89-94.

[16] Li W, Zhu L, Kong X, et al. A new fast vehicle license plate location algorithm on mathematical morphology and color feature[J]. Bulletin of Science and Technology, 2009, 25(2): 214-219,242.

[17] Quan S, Xue Z, Wang Q. Implementation and research of vehicle license-plate locating method based on the distributed character of projection image[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2005, 29(6): 879-882.

[18] 程增會, 戴祥, 唐大鵬, 等．一種基于HSI和YUV顏色模型的車牌定位方法[J]．計算機應用與軟件, 2011, 28(12): 132-134,231．

[19] 常巧紅, 高滿屯. 基于HSV色彩空間與數(shù)學形態(tài)學的車牌定位研究[J]. 圖學學報, 2013, 34(4): 159-162.

RESEARCH ON FAST LOCATION ALGORITHM OF LICENSE PLATE BASED ON COLOR DIFFERENCE

Zheng Kaipeng Zheng Cuihuan Guo Shanhong*Chen Kangyu

(SchoolofElectronicEngineeringandOptoelectronicTechnology,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Aiming at the problem of weak anti-interference ability and slow speed of the existing license plate location algorithm, a fast location algorithm of license plate based on color difference is proposed. The color difference formula of the blue, yellow and white pixels is designed to convert the RGB image into the color difference space. The iterative method is used to obtain the binary image by threshold segmentation, and the morphological processing and the mark connected domain are used. Finally, combined with the license plate aspect ratio feature to remove interference and locate the license plate. The results of real vehicle location show that the proposed algorithm can accurately locate the license plates of daytime and night blue and yellow cards with the accuracy of 95.1% and 92.5% respectively, and the average positioning time is 0.026 s, which is superior to the traditional based on the HSV, HIS and YUV license plate location algorithm. The results show that the algorithm can achieve real-time and accurate location in practical road traffic.

License plate location Color difference Threshold segmentation Morphological processing Mark connected domain

2016-04-25。鄭楷鵬，碩士生，主研領域：數(shù)字圖像處理。鄭翠環(huán)，碩士。郭山紅，副研究員。陳康宇，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.05.034