霧霾天氣條件下車牌信息的識別

唐紅梅，申 瑾，周亞同，韓力英，王 霞

(河北工業(yè)大學信息工程學院，天津300401)

汽車牌照識別系統(tǒng)(License Plate Recognition，LPR)［1］是智能交通系統(tǒng)(Intelligent Transportation System，ITS)的重要組成部分，是能夠自動實時檢測車輛經(jīng)過和識別汽車牌照字符的智能系統(tǒng)，涉及機器視覺和模式識別等技術。由于霧霾等天氣狀況和曝光不足造成的圖片失真，因此車牌識別系統(tǒng)中的去霧階段顯得尤為重要，能否很好地對采集的信息進行去霧并使圖像復原［2］，對后期的定位及分割、識別具有很大的影響。

1 改進的車牌圖像去霧方法

在霧霾天氣下，大氣中往往有懸浮顆粒等雜質(zhì)，使得戶外能見度低、對比度差，由于大氣的散射使得采集的車輛信息模糊不清，圖片質(zhì)量不高，例如圖1，對這樣的圖片直接進行識別將大大降低車輛識別系統(tǒng)的性能［3］。因此，對于霧霾等惡劣天氣條件下車輛信息采集的圖像進行去霧等相關的圖像復原處理是一項有重要意義的研究課題。

1.1 暗原色先驗去霧算法

暗原色先驗是根據(jù)戶外大量無霧圖像的統(tǒng)計規(guī)律得出的，之前的去霧方法都是將去霧的核心放在提高圖像的對比度上，而Kaiming He提出的暗原色去霧是通過對大量的無霧的圖像進行對比試驗，發(fā)現(xiàn)了一個事實規(guī)律:在絕大多數(shù)的戶外無霧圖像中，在任意局部區(qū)域內(nèi)，總有一些像素，它們的某個或幾個顏色通道內(nèi)的強度值很低，或接近于零［4］，稱之為暗原色(dark－channel pixel)。利用得到的這一先驗去建立去霧的模型，可以直接估算出霧的濃度，并對圖像進行復原，得到清晰的、高質(zhì)量的去霧圖像。

McCarney大氣散射模型廣泛應用于計算機視覺和圖形學領域中［5］

圖1 采集到的車輛信息圖

式中:I(x)是霧化后的圖像;t(x)是大氣中霧的透射率;A是天空的亮度值;J(x)是去霧后的圖像。因此，去霧的過程就是從上述公式中還原J(x)。而A和t(x)都可以由暗原色圖像得到。

1.2 暗原色算法的改進

雖然暗原色方法在去霧方面取得了一定的成就，但是此算法對車牌信息圖像的去霧過程中仍然會遇到一些問題。車輛信息的圖像中常會出現(xiàn)天空、路面、白色車輛等明亮或灰白的區(qū)域，而暗原色算法對這些物體進行處理時透射率的估計將會出現(xiàn)明顯的偏差［6］。因為在這些區(qū)域內(nèi)，即使無霧的情況下，三個通道的像素值仍然偏高［7］，不存在一個通道的像素值趨于零的情況，這些區(qū)域不符合暗原色先驗去霧的前提。

通過大量的觀察，發(fā)現(xiàn)在這些淺色明亮區(qū)域的周圍，雖然有濃霧的干擾，但是總存在一些區(qū)域有較大的飽和度［8］，其場景的深度和淺色明亮區(qū)域的深度一致，這些區(qū)域的透射率和淺色明亮區(qū)域的透射率是相似的。根據(jù)先驗知識，在同一幅圖像中，場景較深的區(qū)域，由于霧氣的疊加，其像素的對比度往往較前景的對比度有很大的下降［9］，因此，其透射率也有很大的下降。

基于這種事實的情況下，在研究中對暗原色的方法提出了一些改進。首先定義每一個像素的暗點，即每一個像素點R，G，B的最小值，而暗原色即是每一個小區(qū)域內(nèi)暗色的最小值，通過每一個暗原色的點的透射率來進行比較分析，設定一個閾值H，當暗點的透射率與鄰域的透射率相差大于H時，說明兩者景深有所差異，應放棄此鄰域暗點的透射率信息，當暗點的透射率與鄰域的透射率相差小于H時，說明兩者處于同一景深，可用來估計目標區(qū)域的透射率。

在這種思想的前提下，構建了一個由鄰域每一點暗色的透射率組成的3×3的掩膜T:t(xi)，i=1，2，…，9，對每一個暗色的透射率進行分析，從而用獲得的信息來估計淺色明亮區(qū)域的透射率

在計算時，將中心點的透射率和周圍8個點的透射率作比較，得到t(xj)，當t(xj)＞H時，舍棄t(xj)，當t(xj)＜H時，統(tǒng)計t(xj)＜H的個數(shù)為m，即t(xk)，k=1，2，…

接下來，在得到新的圖像的透射率后，將掩膜T依序移動，修正每一點的透射率。經(jīng)過這樣的處理后，當小區(qū)域都成為同一物體中的點時，透射率基本保持不變，而當小區(qū)域內(nèi)含有物體的邊界時，則可以判斷其是否在物體的邊緣，并將其合并到所屬的物體中，取得正確的透射率。

對改進的算法得到的透射率圖用拉普拉斯矩陣進行摳圖處理，得到平滑的透射率圖，整幅圖像的透射率幾乎沒有塊效應，邊緣清晰，且明亮區(qū)域的透射率比較均勻，與周圍的物體能夠很好地吻合，符合真實的透射率，如圖2所示。

圖2 兩種方法透射率圖對比

1.3 去霧的結(jié)果與比較

用式(1)分別對暗原色方法得到的透射率圖和改進后的方法得到的透射率圖中3個通道進行圖像還原，得到圖像去霧后的結(jié)果，可以看出由暗原色方法得到的透射率圖去霧后的圖像在白色明亮區(qū)域由于顏色的過度增強造成了結(jié)果的失真，車牌區(qū)域白色字符與周圍區(qū)域的藍色車牌沒有得到很好的恢復，而由改進后的方法得到的透射率圖進行去霧處理后，白色明亮區(qū)域色彩柔和，保持了車輛原本的顏色特征，車牌區(qū)域的字符得到很好的復原，結(jié)果對比圖如圖3所示。

圖3 暗原色和改進后方法去霧圖對比

2 車牌圖像的處理

汽車牌照的識別系統(tǒng)主要包括圖像去霧、預處理、車牌定位、字符分割、字符識別4個部分，流程圖如圖4所示。

圖4 車牌識別系統(tǒng)流程圖

2.1 去霧模塊

在車牌識別系統(tǒng)中，對于采集的圖像是否需要進入圖像去霧模塊，需要對圖像進行判斷，判斷圖像是否為帶霧圖。若是帶霧圖，進入去霧模塊對圖像進行去霧;若不是帶霧圖，直接跳過去霧模塊的相關處理，進入預處理階段，對圖像進行的灰度處理和二值化處理。

帶霧圖與非帶霧圖的區(qū)別表現(xiàn)在圖像上為圖像呈現(xiàn)灰暗或泛白，對比度通常較低，霧霾嚴重時表現(xiàn)為顏色的偏移與失真，色彩保真度下降，圖像在時域上的表現(xiàn)比較明顯，圖像的直方圖灰度級分布較集中，灰度級趨于均值，導致直方圖的動態(tài)范圍縮小，對應圖像的細節(jié)信息減少。因此，對圖像是否為帶霧圖可以通過其灰度直方圖的動態(tài)范圍來進行判斷。圖5為同一圖像在晴朗天氣下拍攝和霧天拍攝的圖像灰度直方圖。

圖5 帶霧圖與非帶霧圖的灰度直方圖對比

在預處理階段對圖像進行灰度化、灰度拉伸、小波去噪［10］、二值化和邊緣檢測［11］等相關處理，通過灰度處理和基于數(shù)學形態(tài)學的相關邊緣檢測等來達到減少信息存儲容量的問題，并盡可能地去除用戶不感興趣的區(qū)域，即與車牌無關的其他信息，突出車牌區(qū)域的紋理特點，提高視覺效果，為后續(xù)的定位、分割及識別工作做好基礎工作。

2.2 車牌定位

車牌定位是根據(jù)車牌區(qū)域的顏色和紋理特征進行定位［12］，在研究系統(tǒng)的定位階段，首先通過二值化方法消除圖像中的噪聲，并先對車牌區(qū)域用搜索算法進行粗定位，然后根據(jù)字符的邊緣特征進行車牌的精確定位，并對車牌圖像進行灰度變換，最終得到無邊框、灰度對比強的車牌圖像，如圖6所示。

圖6 車牌圖像定位圖

2.3 字符分割

車牌字符分割是把車牌定位階段提取的車牌區(qū)域進行分割，得到單個的漢字、字母和數(shù)字等字符。本研究的字符分割階段首先采用ostu法對車牌區(qū)域的圖像進行二值化分割［13］，然后對分割后的字符進行連通域標記，本研究采用快速連通域標記的方法，標記后并對各個連通域進行后續(xù)的相關處理，最后提出字符的連通域，這種方法可以有效地克服字符的傾斜問題，并提高了連通域提取的速度，獲得較好的分割字符，具有很好的實用性和魯棒性，分割后的車牌字符如圖7所示。

圖7 車輛圖像字符分割圖

2.4 特征提取

特征提取是找到某種變換，將N維的模式識別空間轉(zhuǎn)換到維數(shù)小得多的M維特征空間［14］，并同時保留模式識別所需要的大部分關鍵信息。在系統(tǒng)的特征提取階段，對車牌上的漢字、數(shù)字和字母做分類處理，利用粗網(wǎng)格、邊框和筆畫密度等方法分別進行特征提取。

2.5 基于BP神經(jīng)網(wǎng)絡的車牌識別

BP神經(jīng)網(wǎng)絡具有非線性映射能力、泛化能力、容錯能力等優(yōu)點［15－16］，所以本文選取BP神經(jīng)網(wǎng)絡模型進行字符的識別。

設計了4個單一的分類器，分別是漢字網(wǎng)絡、字母網(wǎng)絡、數(shù)字和字母網(wǎng)絡、數(shù)字網(wǎng)絡，如圖8所示。

圖8 BP神經(jīng)網(wǎng)絡的分類器設計

在研究中，提供了99個數(shù)字樣本、339個字母樣本和20個漢字樣本供神經(jīng)網(wǎng)絡進行學習，測試了60組車牌樣本共420個字符，其中包括60個漢字、130個字母、230個數(shù)字，用MATLAB對識別系統(tǒng)進行了仿真，圖A和圖B的識別結(jié)果如圖9所示。

圖9 車輛圖像的車牌字符識別

3 結(jié)束語

本文對暗原色去霧的方法進行了深入研究，并發(fā)現(xiàn)了其對車輛信息識別系統(tǒng)中白色車輛及天空區(qū)域的圖像進行去霧的效果不理想，并提出了改進的算法，所提出的算法能夠比較精確地獲取明亮物體和白色物體的透射率，經(jīng)過試驗表明，改進的算法能夠很好地消除霧霾天氣情況對攝像機造成的影響，通過去霧處理解決了由于霧霾天氣所致使的車輛信息圖像的對比度及清晰度降低的問題。將還原后的圖像經(jīng)過車牌定位、字符分割，最后送入設計的BP神經(jīng)網(wǎng)絡。

［1］程愛玲.自然環(huán)境下的車牌識別關鍵方法研究［D］.沈陽:東北大學，2008.

［2］趙曉霞，王汝琳，張莉莉.惡劣天氣下降質(zhì)圖像增強算法研究［J］.微計算機信息，2010(8):3－4.

［3］ TAN R T.Visibility in bad weather from a single image［C］//Proc.26th IEEE Conference on Computer Vision and Pattern Recognition.Anchorage.AK，USA:IEEE Press，2008:1956－1963.

［4］ HE Kaiming，SUN Jian，TANG Xiaoou.Single image haze removal using dark channel prior［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Miami，F(xiàn)L，USA:IEEE Press，2009:1956－1963.

［5］嵇曉強，戴明，孫麗娜，等.暗原色先驗圖像去霧算法研究［J］.光電子·激光，2011(6):926－930.

［6］芮義斌，李鵬，孫錦濤.一種圖像去薄霧方法［J］.計算機應用，2006，26(l):154－156.

［7］ CHAVEZ P.An improved dark－object subtraction technique for atmospheric scattering correction ofmultispectral data［J］.Remote Sensing of Environment，1988，24(3):450－479.

［8］郭珈，王孝通，胡程鵬，等.基于鄰域相似性的暗原色先驗圖像去霧方法［J］.計算機應用，2011，31(5):1225－1226.

［9］馮驄，達飛鵬，陳璋雯.一種改進的基于暗原色理論的去霧方法［J］.東南大學學報:自然科學版，2012，42(S1):70－73.

［10］胡欣，張利軍.自適應非線性小波在灰度級圖像去噪中的應用［J］.電視技術，2010，34(9):25－28.

［11］呂金坤，王明泉，蔡文濤.結(jié)合數(shù)學形態(tài)學和圖像融合的邊緣檢測算法［J］.電視技術，2013，37(3):26－28.

［12］李波，曾致遠，付祥勝.基于數(shù)學形態(tài)學和邊緣特征的車牌定位算法［J］.電視技術，2005，29(7):94－96.

［13］王冠，敖志剛，劉永躍，等.基于快速連通域標記的車牌字符分割［J］.計算機與現(xiàn)代化，2007(6):55－57.

［14］譚勇，朱斌.基于改進特征提取的BP神經(jīng)網(wǎng)絡車牌識別［J］.重慶理工學院學報，2009(6):42－45.

［15］孫夢.基于神經(jīng)網(wǎng)絡的車牌牌照識別系統(tǒng)的研究與實現(xiàn)［D］.北京:北京工商大學，2010.

［16］韓力群.人工神經(jīng)網(wǎng)絡教程［M］.北京:北京郵電大學出版社，2006:58－75.