一種基于色彩的車牌圖像定位算法

吳惟希趙 剛

(北京信息科技大學(xué)信息管理學(xué)院信息安全系 北京 100192)(wish0123@163.com)

?

一種基于色彩的車牌圖像定位算法

吳惟希趙 剛

(北京信息科技大學(xué)信息管理學(xué)院信息安全系 北京 100192)(wish0123@163.com)

現(xiàn)今的車牌圖像處理方法一般是先把圖像轉(zhuǎn)為灰度圖像，再基于字符的邊緣紋理來(lái)找尋特征進(jìn)行定位.這類方法對(duì)于圖像內(nèi)車牌附近的干擾不能較好處理，對(duì)不穩(wěn)定的光照條件及浮灰導(dǎo)致的字符邊緣梯度不大的情況處理效果也欠佳，在大霧天更是無(wú)能為力.對(duì)此，提出了一種基于色彩的定位算法，在不同色彩空間根據(jù)像素色彩相似度及基色域來(lái)選出候選區(qū)域，再依據(jù)多種幾何特征篩選出車牌區(qū)域.算法實(shí)現(xiàn)了不同光照條件下及復(fù)雜背景強(qiáng)烈干擾下的定位，以及對(duì)受損車牌的定位，并在處理處于霧霾天氣下極度模糊的圖像也能表現(xiàn)優(yōu)異.

定位；色彩空間；色彩相似度；帶權(quán)值的曼哈頓距離；光照條件；干擾；霧霾

隨著經(jīng)濟(jì)的發(fā)展，人們的物質(zhì)生活需求日益提高，私人擁有機(jī)動(dòng)車輛數(shù)量已呈幾何增長(zhǎng)態(tài)勢(shì)，機(jī)動(dòng)車輛的普及已成為必然趨勢(shì).給人們出行提供便利的同時(shí)，也給整個(gè)交通環(huán)境帶來(lái)許多控制和監(jiān)管上的難題.傳統(tǒng)的人工管理已經(jīng)愈來(lái)愈不能滿足實(shí)際工作的需求.要更高效地解決控制監(jiān)管問(wèn)題，建立完善的道路網(wǎng)絡(luò)，就需要大力發(fā)展智能交通系統(tǒng).在智能交通系統(tǒng)中，車輛檢測(cè)系統(tǒng)無(wú)疑是一個(gè)重要組成部分.

由于機(jī)動(dòng)車牌照是車輛唯一的管理標(biāo)識(shí)符號(hào)，因此車牌照識(shí)別(license plate recognition, LPR)是車輛檢測(cè)系統(tǒng)中的一個(gè)重要環(huán)節(jié)，在交通管理中具有不可替代的作用.隨著模式識(shí)別技術(shù)的發(fā)展，車牌識(shí)別已成為智能交通系統(tǒng)的一個(gè)重要組成部分，它要求能從各種不同情況的背景中準(zhǔn)確地抽取、識(shí)別汽車牌照信息，在交通控制和監(jiān)管中起著很重要的作用，具有廣泛的應(yīng)用前景.所以，車輛牌照的識(shí)別問(wèn)題已經(jīng)成為現(xiàn)代交通工程領(lǐng)域中的研究重點(diǎn)和熱點(diǎn)問(wèn)題之一.

車牌識(shí)別一般包括車牌定位、車牌的字符分割、單個(gè)字符的識(shí)別這3個(gè)部分[1].其中車牌的定位是車牌識(shí)別中最重要的一個(gè)環(huán)節(jié)，其定位準(zhǔn)確率和精度直接影響到后續(xù)的環(huán)節(jié)，甚至決定后續(xù)環(huán)節(jié)能否繼續(xù)執(zhí)行.

目前的方法對(duì)于干擾較小的圖像較為有效，但對(duì)于車身臟污、背景復(fù)雜或車牌受損的情況都容易出現(xiàn)定位錯(cuò)誤，可能將邊緣復(fù)雜的干擾處定位為車牌.另一方面，光照條件的不穩(wěn)定也會(huì)導(dǎo)致定位出現(xiàn)誤差.在霧霾天甚至完全找不到車牌.

本文就車牌識(shí)別中的車牌定位這一環(huán)節(jié)提出了一種基于色彩的圖像定位算法.該算法能克服復(fù)雜背景的干擾，并在不同光照條件下準(zhǔn)確定位車牌.

1 車牌識(shí)別系統(tǒng)

車輛牌照識(shí)別系統(tǒng)應(yīng)具有很高的識(shí)別準(zhǔn)確率，對(duì)環(huán)境光照條件、拍攝背景和車輛行駛速度等諸多因素的影響應(yīng)有較大的容錯(cuò)率，并要求滿足實(shí)時(shí)性.

該系統(tǒng)主要由牌照?qǐng)D像的采集和預(yù)處理、牌照區(qū)域的定位和提取、牌照字符的分割和識(shí)別等幾個(gè)部分組成，如圖1所示.其基本步驟如下[2]：

步驟1. 當(dāng)有行駛車輛經(jīng)過(guò)時(shí)，將觸發(fā)在固定位置處埋設(shè)的傳感器，此時(shí)系統(tǒng)將被喚醒并處于工作狀態(tài)；一旦連接攝像頭快門的光電傳感器被觸發(fā)，安置在車輛前方、后方及側(cè)面的相機(jī)將同時(shí)拍下車輛圖像；

步驟2. 由攝像機(jī)或CCD 攝像頭拍攝下的包含有車輛牌照的圖像通過(guò)視頻卡輸入計(jì)算機(jī)，再進(jìn)行預(yù)處理，圖像預(yù)處理包括圖像轉(zhuǎn)換、圖像增強(qiáng)、濾波和水平較正等；

步驟3. 對(duì)車牌區(qū)域定位；

步驟4. 將牌照字符分割，再對(duì)單個(gè)字符進(jìn)行識(shí)別.

圖1 車輛牌照識(shí)別系統(tǒng)簡(jiǎn)要流程

2 車牌識(shí)別系統(tǒng)中的定位技術(shù)

車牌定位是車牌識(shí)別系統(tǒng)中的重要環(huán)節(jié)，其作用是從包含有車輛的圖像中提取牌照區(qū)域(牌照的坐標(biāo))，以供下一步牌照字符識(shí)別使用，因此車牌定位的準(zhǔn)確度對(duì)車牌識(shí)別結(jié)果有著重要影響.而在實(shí)際工作環(huán)境中，由于受光照條件、待識(shí)別車輛的背景復(fù)雜或車牌位置不固定等因素的影響，給車牌定位的算法選擇帶來(lái)了一定的困難.車身的臟污、車牌的損壞也會(huì)影響定位準(zhǔn)確率.比如由于天氣不好或是路況不佳，使得車輛被泥土、灰塵沾染或貨車車廂因長(zhǎng)時(shí)間風(fēng)吹日曬而受損導(dǎo)致紋理復(fù)雜等.另外還有一些車輛的背景干擾較大的情況，比如車輛附近有餐館、商鋪的廣告牌等.這些干擾極有可能使定位直接出現(xiàn)錯(cuò)誤，導(dǎo)致后續(xù)的環(huán)節(jié)無(wú)法進(jìn)行.

對(duì)于這些不利因素給車牌定位造成影響的情況，選擇合理有效的車牌定位算法將至關(guān)重要.

常見(jiàn)的車牌定位算法有基于黑白二值圖像的車牌定位算法.基于黑白二值圖像的車牌定位算法的原理是先將彩色圖像轉(zhuǎn)換為灰度圖像，經(jīng)過(guò)濾波處理后進(jìn)行二值化處理(如式(1)(2)所示，式中，R,G,B為圖像的紅、綠、藍(lán)分量，Gray為灰度，BW為二值圖像的像素值，threshold為灰度閾值)，并利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)二值圖像進(jìn)行處理, 再根據(jù)車牌自身特征進(jìn)行搜索，最后定位出車牌區(qū)域.

Gray=0.299×R+0.587×G+0.114×B，

(1)

(2)

比如，對(duì)拍攝的汽車圖像轉(zhuǎn)化后的灰度圖像, 利用Sobel算子進(jìn)行邊緣檢測(cè)[3], 得出邊緣二值圖像，對(duì)該二值圖像使用數(shù)學(xué)形態(tài)學(xué)的膨脹算法，可以得到若干個(gè)封閉的區(qū)域，對(duì)這些封閉區(qū)域進(jìn)行區(qū)域填充，然后再進(jìn)行腐蝕，可以得到若干完整的車牌候選區(qū)域, 再對(duì)候選區(qū)域采用由面積、長(zhǎng)寬比以及垂直投影特征等一系列因素組成的規(guī)則來(lái)排除非車牌候選區(qū)，達(dá)到確認(rèn)車牌位置的目的.

這類方法對(duì)于清潔的圖像較為有效，但對(duì)于車身臟污或背景復(fù)雜的情況可能出現(xiàn)定位錯(cuò)誤，會(huì)將邊緣復(fù)雜的臟污處定位為車牌.在光線昏暗且有大霧的情形下則完全無(wú)能為力.

還有一些用彩色邊緣檢測(cè)算子進(jìn)行車牌定位的方法，這類方法相對(duì)比較復(fù)雜[2]，且對(duì)于光線過(guò)暗的情況很難定位.

針對(duì)這些車牌定位算法的不足之處，本文提出一種基于色彩的圖像定位算法.首先將圖像的色彩空間由RGB轉(zhuǎn)為HSL，再跟據(jù)先驗(yàn)知識(shí)選擇基色.然后根據(jù)顏色相似度找出車牌候選區(qū)域，此時(shí)可能會(huì)有許多候選區(qū)域的顏色相似度滿足車牌定位第1層條件，那么再根據(jù)這些候選區(qū)域的外接矩形長(zhǎng)寬比、面積填充率、面積大小、相對(duì)位置等數(shù)學(xué)形態(tài)特征來(lái)排除非車牌區(qū)域，完成定位.

3 車牌區(qū)域的定位

本文提出的車牌區(qū)域的定位算法流程如圖2所示：

圖2 車牌定位算法流程圖

3.1 由RGB轉(zhuǎn)為HSL

HSL色彩空間是美國(guó)色彩學(xué)家孟塞爾(H.A.Munseu)于1915年提出的，它反映了人的視覺(jué)系統(tǒng)感知彩色的方式，以色調(diào)、飽和度和亮度這3種基本特征量來(lái)感知顏色.色調(diào)H(hue)：與光波的波長(zhǎng)有關(guān)，它表示人的感官對(duì)不同顏色的感受，如紅色、綠色、藍(lán)色等，它也可表示一定范圍的顏色，如暖色、冷色等.飽和度S(saturation)：表示顏色的純度，純光譜色是完全飽和的，加入白光會(huì)稀釋飽和度.飽和度越大顏色看起來(lái)就會(huì)越鮮艷，反之亦然.亮度L(lightness)：對(duì)應(yīng)成像亮度和圖像灰度，是顏色的明亮程度.由RGB色彩空間到HSL色彩空間的轉(zhuǎn)換公式如下：

(3)

(4)

(5)

其中，R，G，B分別為圖像的紅色、綠色和藍(lán)色分量.Hmax為R，G，B中的最大值，Hmin為其中的最小值.

3.2 選出候選區(qū)域

由轉(zhuǎn)換公式及專家經(jīng)驗(yàn)可知，把原圖像從RGB轉(zhuǎn)為HSL色彩空間后，在光照條件不良或曝光不穩(wěn)定的情況下，顏色的主要變動(dòng)在亮度L，而色相H變動(dòng)很小，這樣用色相這一特征作為基色標(biāo)準(zhǔn)能有效消除光照條件不同帶來(lái)的限制.

另外，RGB色彩模式也有優(yōu)于HSL色彩模式的方面.比如，車牌上沾有較密集的灰塵的情況，此時(shí)的色相H可能發(fā)生偏離，但選取的高權(quán)值分量則變動(dòng)較少，能將受灰塵影響而變化的顏色也納入選區(qū).所以，最終的候選區(qū)域集合應(yīng)為RGB色彩模式下選出的候選區(qū)域的集合與HSL色彩模式下選出的候選區(qū)域的集合的并集.

因此，也用RGB色彩空間下的色彩相似度來(lái)選擇候選區(qū)域.設(shè)基色的色彩向量為S=[Rs,Gs,Bs]，待比較顏色的向量為c=[R,G,B]，c應(yīng)屬于一個(gè)基色域，該基色域是由R,G,B3個(gè)維度上的3個(gè)閾值及3個(gè)維度的上限255或下限0組成的有限色彩空間.再采用帶權(quán)重的曼哈頓距離(如式(6))作為相似度判斷標(biāo)準(zhǔn):

(6)

其中，w為權(quán)重向量，L為色彩距離，Os為基色域.當(dāng)像素點(diǎn)與基色的色彩距離L低于一個(gè)閾值時(shí)，該像素點(diǎn)就被納入選區(qū).

根據(jù)先驗(yàn)知識(shí)(我國(guó)車牌的底色)確定基色及基色域.將圖像中被納入選區(qū)的像素點(diǎn)標(biāo)記為1，其他標(biāo)記為0，如此形成一個(gè)與原圖像同像素大小的黑白二值圖(如圖3至圖5所示).將二值圖中的白色部分劃分成許多連通區(qū)域.隨后，對(duì)這些連通區(qū)域做外接矩形，這些外接矩形圍成的區(qū)域即是候選區(qū)域.

圖3 原圖示例

圖4 RGB色彩模式下選取的候選區(qū)域

圖5 HSL色彩模式下選取的候選區(qū)域

3.3 篩選候選區(qū)域

經(jīng)過(guò)3.2節(jié)所述初選過(guò)程后，將得到若干個(gè)車牌候選區(qū)域，其中可能包括如車燈、商標(biāo)或一些背景中的干擾區(qū)域.對(duì)各個(gè)候選區(qū)域分別以外接矩形區(qū)域進(jìn)行提取以供進(jìn)一步分析.在諸多車牌候選區(qū)中，通過(guò)某單一的參考特征，難以準(zhǔn)確地確定車牌區(qū)域，所以本文采用多種特征綜合評(píng)價(jià)的方法來(lái)確定車牌區(qū)域.根據(jù)我國(guó)車牌的一些特征(如長(zhǎng)寬比相對(duì)固定等等)，分別采用面積相對(duì)大小、面積填充率、區(qū)域相對(duì)位置與外接矩形長(zhǎng)寬比進(jìn)行綜合加權(quán)來(lái)確定車牌區(qū)域.在實(shí)際處理中，如式(7)所示, 給每個(gè)特征值帶來(lái)的可信度乘上一個(gè)影響權(quán)值, 進(jìn)行加權(quán)得出總的置信度值.

(7)

其中，wi為權(quán)重，A為特征值.C為各個(gè)特征值帶來(lái)的可信度映射.S為外界矩形面積相對(duì)大小.實(shí)際工作中，攝像頭的位置已固定，車輛進(jìn)出被拍時(shí)的位置也固定，那么外接矩形面積占整個(gè)圖像面積的比例也就較為固定，太小或太大都可能不是車牌.R為面積填充率，即連通域內(nèi)的像素占的總面積與此候選區(qū)的外接矩形面積的比.面積填充率越大，該區(qū)域?yàn)檐嚺频目赡苄訡就越大.loc為候選區(qū)域的位置，同樣，實(shí)際工作當(dāng)中攝像頭的位置已固定，車輛進(jìn)出被拍時(shí)的位置也固定，所以車牌區(qū)域在圖像中的位置也相對(duì)固定.那么，如果位置過(guò)高或過(guò)偏則不可能是車牌，lwr為該外界矩形的長(zhǎng)寬比，長(zhǎng)寬比lwr是車牌的一個(gè)明顯特征，雖然車牌反映在圖像中的大小不同，由于我國(guó)車牌長(zhǎng)寬比相對(duì)固定，一般在720，那么該特征lwr應(yīng)接近該比值，因此在圖像中車牌區(qū)域的長(zhǎng)寬比也相對(duì)固定，所以越接近真實(shí)車牌長(zhǎng)寬比的區(qū)域的可能性C就越大.

上述方法中綜合了面積、面積填充率、區(qū)域相對(duì)位置以及長(zhǎng)寬比4個(gè)特征值進(jìn)行綜合分析來(lái)剔除干擾區(qū)域，完成車牌定位，如圖6所示:

圖6 定位結(jié)果

用這樣的多特征綜合方法來(lái)確定選區(qū)，可以消除因僅使用某一參數(shù)進(jìn)行評(píng)價(jià)可能帶來(lái)的誤差.例如，一張掉落在地的廣告?zhèn)鲉?，若其設(shè)計(jì)色調(diào)與車牌底色接近，也有可能成為候選區(qū)域.并且由于拍攝角度的關(guān)系，其長(zhǎng)寬比可能更接近車牌標(biāo)準(zhǔn).但是，廣告?zhèn)鲉蝺?nèi)容豐富，色彩復(fù)雜，故其面積填充率及面積大小這2個(gè)特征值將會(huì)有較低的可信度而把自己排除出候選區(qū).

4 實(shí)驗(yàn)分析

本文的實(shí)驗(yàn)圖片主要來(lái)自各種情況下實(shí)際拍攝，極少量是從互聯(lián)網(wǎng)上搜集的汽車照片，有正常光照、光線較暗(天氣陰沉，或傍晚，或陰影)、車輛臟污、背景干擾較強(qiáng)、霧霾天等情況.在CPU 2.9 GHz的PC機(jī)Win10系統(tǒng)上進(jìn)行實(shí)驗(yàn)，程序代碼以Matlab R2014a版本編寫.

通過(guò)實(shí)驗(yàn)可知，該算法對(duì)于光照條件昏暗(如圖7所示)、過(guò)曝(如圖8所示)、背景干擾較強(qiáng)(如圖9、圖10所示)等情況都能有效處理.車牌受損、附近紋理復(fù)雜干擾較大的情況(如圖11、圖12所示)，仍然能準(zhǔn)確定位.另外，即使是在傍晚霧霾天這樣幾乎無(wú)法看清的嚴(yán)酷的條件下(如圖13所示)，該算法依舊表現(xiàn)優(yōu)異.

但其他算法[3-6]，對(duì)于圖7的光照不良的情況可能難以找出車牌位置而定位在車燈上，或不能定位出整個(gè)車牌出現(xiàn)誤差；圖8的情形也可能定位不出完整車牌，出現(xiàn)誤差；圖9的情況則極有可能將車廂后板上的字符區(qū)域當(dāng)作車牌；對(duì)于圖10的這類情形，餐館的廣告招牌是很強(qiáng)的干擾，會(huì)直接被定位為車牌；對(duì)于圖11、圖12的情形，車牌受損，且車牌的附近紋理較復(fù)雜，有極大概率定位出錯(cuò).而面對(duì)圖13的情形，目前的方法完全無(wú)法定位.

圖7 光線昏暗

圖8 曝光過(guò)度

圖9 車身強(qiáng)干擾

圖10 背景強(qiáng)干擾

圖11 受損車牌

圖12 車牌受損且車牌附近紋理復(fù)雜

圖13 傍晚霧霾天(為保證文檔的可讀性，該組圖已做處理)

本文收集了164幅圖像進(jìn)行實(shí)驗(yàn)，均能準(zhǔn)確定位.在定位過(guò)程完成后即可繼續(xù)進(jìn)行字符識(shí)別.該程序并未將照片轉(zhuǎn)為二值圖像，因此可在定位結(jié)果圖像上直接識(shí)別，這樣就保留了豐富的原始信息，為提高字符識(shí)別準(zhǔn)確率提供了堅(jiān)實(shí)基礎(chǔ).

5 結(jié) 論

車牌定位是車牌識(shí)別流程中非常重要的一個(gè)環(huán)節(jié)，為后續(xù)步驟提供基礎(chǔ).本文從不同色彩空間以色彩相似度來(lái)選出車牌候選區(qū)域，再通過(guò)候選區(qū)的面積相對(duì)大小、面積填充率、長(zhǎng)寬比及相對(duì)位置等幾何特征加權(quán)綜合判定的方式篩選出車牌區(qū)域，完成定位.現(xiàn)實(shí)中遇到的情況不僅有各項(xiàng)條件良好、情景單一的情形，也往往有條件惡劣的狀況.本文提出的算法相對(duì)其他算法更能有利地處理這些惡劣條件下的情形，對(duì)嚴(yán)峻的光照條件、強(qiáng)烈的背景干擾、嚴(yán)重受損的車牌，以及可見(jiàn)度極低的霧霾天均能有效應(yīng)對(duì)，為車牌識(shí)別的后續(xù)環(huán)節(jié)鋪平了道路.

[1]李志強(qiáng), 李永斌. 車牌識(shí)別技術(shù)的發(fā)展及研究現(xiàn)狀[J]. 科技信息, 2012 (5): 110-110

[2]劉慶祥, 蔣天發(fā). 智能車牌識(shí)別系統(tǒng)中圖像獲取技術(shù)的研究[J]. 武漢理工大學(xué)學(xué)報(bào): 交通科學(xué)與工程版, 2003, 21(1): 127-130

[3]李剛, 曾銳利, 林凌, 等. 基于數(shù)學(xué)形態(tài)學(xué)的車牌定位算法[J]. 儀器儀表學(xué)報(bào), 2007, 28(7): 1323-1327

[4]李波, 曾致遠(yuǎn), 周建中. 一種自適應(yīng)車牌圖像定位新方法[J]. 中國(guó)圖形圖像學(xué)報(bào), 2009, 14(10): 1978-1984

[5]吳舟舟, 李樹廣. 基于分級(jí)邊緣間距的實(shí)時(shí)車牌檢測(cè)[J].

中國(guó)圖形圖像學(xué)報(bào), 2007, 12(2): 315-321

[6]劉慶祥, 朱昌平, 冉勇智. 能車牌識(shí)別系統(tǒng)中圖像定位算法[J]. 計(jì)算機(jī)工程, 2003, 29(15): 136-137

吳惟希

碩士研究生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與人工智能.

wish0123@163.com

趙 剛

博士，副教授，主要研究方向?yàn)槿斯ぶ悄芘c信息安全.

zhaogang@bistu.edu.cn

A Colors Based Algorithm for License Plate Location

Wu Weixi and Zhao Gang

(InformationSecurityFaculty,SchoolofInformationManagement,BeijingInformationScienceandTechnologyUniversity,Beijing100192)

Nowadays processing methods for license plate usually convert photos to gray scale images at first, and then find the characteristics based on the character of the edge texture for positioning. These methods do not work well on some conditions that there are the disturbance near the license plate, the instability of the light illumination and character edge gradient caused by floating dust. Then if it is in the fog and haze, these methods are more powerless. For that, in this paper a color based location algorithm is proposed, which is to select the candidate region according to the pixel color similarity and color domain in different color spaces and then based on a variety of geometric features to select the license plate region. This algorithm realizes the location of being at different light conditions, the strong interference of complex background and damaged license plates. Even in the fog and haze, this method performs excellent for those extremely blurred image.

location; color space; color similarity; Manhattan distance with weight; illumination condition; interference; fog and haze

2015-12-30

國(guó)家自然科學(xué)基金項(xiàng)目(61272513)；北京市科委重大項(xiàng)目子課題(D151100004215003)

趙剛(zhaogang@bistu.edu.cn)

TP309