基于LabVIEW IMAQ的移動(dòng)車輛牌照識(shí)別

付思卓，韓文波

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

進(jìn)入二十一世紀(jì)，智能交通系統(tǒng)（ITS）已經(jīng)開始全面應(yīng)用，車牌自動(dòng)識(shí)別技術(shù)LPR作為ITS中的關(guān)鍵組成環(huán)節(jié)，它的任務(wù)是采集并處理汽車實(shí)時(shí)圖像，自動(dòng)識(shí)別車輛車牌信息［1］，并完成相關(guān)智能化數(shù)據(jù)庫整理。車牌自動(dòng)識(shí)別系統(tǒng)應(yīng)用廣泛，例如高速公路收費(fèi)站、停車場收費(fèi)管理、公路道路實(shí)時(shí)監(jiān)控等，其中在各類收費(fèi)管理處實(shí)現(xiàn)不停車收費(fèi)技術(shù)，對(duì)公路車輛流暢性具有重要意義。可見車牌自動(dòng)識(shí)別系統(tǒng)具有不可替代的作用，對(duì)其更加深入的研究具有很大的現(xiàn)實(shí)意義。

1 移動(dòng)車輛車牌識(shí)別系統(tǒng)組成

車輛車牌識(shí)別系統(tǒng)包含圖像采集和圖像處理兩部分，圖像采集主要是完成對(duì)車輛車牌信息的采集，圖像處理包括四個(gè)關(guān)鍵環(huán)節(jié)，分別為圖像預(yù)處理、車牌定位、字符分割和字符識(shí)別［2］，最后完成車輛車牌的智能識(shí)別。系統(tǒng)組成框圖如圖1所示。

高速收費(fèi)站處，當(dāng)移動(dòng)車輛經(jīng)過感應(yīng)器，會(huì)觸發(fā)車輛感應(yīng)器分別給照明工具和圖像采集系統(tǒng)信號(hào)使其工作，對(duì)車輛進(jìn)行圖像采集。由于USB攝像機(jī)較為簡單，如果對(duì)移動(dòng)狀態(tài)下的車輛僅采集單幀圖像，該圖像會(huì)出現(xiàn)虛像問題（虛像程度由車輛移動(dòng)速度決定），故采用USB攝像頭進(jìn)行錄像。該圖像會(huì)直接保存在PC機(jī)中并交予LabVIEW對(duì)圖像進(jìn)行處理，包括圖像預(yù)處理、車牌定位、字符分割、字符識(shí)別，最后輸出識(shí)別出的字符。

圖1 移動(dòng)車輛車牌識(shí)別系統(tǒng)組成框圖

2 車牌識(shí)別圖像處理算法

在PC機(jī)中對(duì)車牌的每一步處理都是在不同的圖像處理算法下完成。目前，在圖像處理時(shí)對(duì)圖像二值化閾值的選擇，車牌定位的準(zhǔn)確度與字符分割技術(shù)都是本課題的關(guān)鍵與技術(shù)難點(diǎn)，在本文中涉及到的關(guān)鍵算法有：圖像預(yù)處理階段對(duì)圖像的格式轉(zhuǎn)換與灰度變換；車牌定位階段的邊緣檢測(cè)；字符識(shí)別階段的字符分割等。

2.1 格式轉(zhuǎn)換與灰度變換

在LabVIEW中對(duì)圖像的處理都是基于BMP格式的圖片，需要對(duì)采集到的圖片做統(tǒng)一個(gè)格式轉(zhuǎn)換處理，算法如下：

圖片格式轉(zhuǎn)換之后需要將彩色圖像灰度化，就是使R、G、B三個(gè)量相等，通常有三種方法：最大值法、平局值法、加權(quán)法。本文采用的就是加權(quán)的方法，具體算法是：

針對(duì)具體的考慮，式子中的a、b、c分別取值0.299、0.587、0.114。

2.2 邊緣提取

經(jīng)過圖片預(yù)處理之后的圖片，需要經(jīng)過邊緣提取才能識(shí)別出字符，常用的邊緣提取算子有三種：Roberts算子、sobel算子和prewitt算子。Roberts算子具有對(duì)圖像定位精度較高，檢測(cè)出的邊緣較細(xì)等優(yōu)點(diǎn)，所以本文選擇了Roberts算子，該算子根據(jù)局部差分算子方法尋找圖像邊緣，設(shè) f(x ),y是具有整數(shù)像素坐標(biāo)的輸入圖像，公式如下：

其中模板R1，R2分別為

Roberts邊緣算子是一個(gè)2×2鄰域模板，采用對(duì)角線方向相鄰兩個(gè)象素之差近似梯度幅值邊緣檢測(cè)。圖像中的每個(gè)點(diǎn)都用這兩個(gè)模板進(jìn)行卷積，運(yùn)算結(jié)果就是一幅邊緣幅度圖像［3］。

2.3 字符分割

對(duì)圖像中的字符進(jìn)行識(shí)別，要求識(shí)別對(duì)象是獨(dú)立的字符，所以需要將車牌區(qū)域的每個(gè)字符獨(dú)立分離出來。通過前文所述Rboerts算子邊緣提取后，車牌上的字符邊緣點(diǎn)在整個(gè)車牌區(qū)域圖像中呈現(xiàn)大致固定的概率分布。取T3滿足式（5）

將邊緣二值圖像進(jìn)行水平方向投影，查找到每個(gè)極小值點(diǎn)，再利用間距大小合并這些極小值點(diǎn)，便可以得到分割的獨(dú)立字符。對(duì)分割后獨(dú)立的字符局部二值化，我們用W表示字體的寬度，取閾值T4滿足式（6）

式中A表示獨(dú)立后每個(gè)字符總像素個(gè)數(shù)。設(shè)Y(x ),y表示(x ,y )的灰度值。引入閾值T5，T6，T7，有

式中

對(duì)字符塊灰度圖像進(jìn)行二值化

3 車牌識(shí)別圖像處理

在對(duì)圖像進(jìn)行預(yù)處理之前，由于硬件USB攝像頭采集的圖像幀率為25fps/s，即在2s內(nèi)采集到50幀不同運(yùn)動(dòng)的車輛圖像，數(shù)據(jù)量過大，需要篩選。基于頻率越高圖像越清晰的特點(diǎn)，在50幀內(nèi)選取頻率最高的單幀圖像作為后期處理的基礎(chǔ)圖像。本文采用NI公司的LabVIEW 2009作為本次設(shè)計(jì)的軟件編程環(huán)境，IMAQ是LabVIEW下的一個(gè)子模塊，主要用于機(jī)器視覺處理以及圖像處理方面的應(yīng)用［4］。

本次設(shè)計(jì)將字符識(shí)別系統(tǒng)劃分為三個(gè)模塊：圖像采集模塊、圖像處理模塊（圖像預(yù)處理、車牌定位、字符分割）和IMAQ OCR字符識(shí)別模塊。

3.1 圖像采集模塊

本次設(shè)計(jì)硬件設(shè)備在2s內(nèi)采集移動(dòng)車輛圖像，并將采集到的圖像傳到采集卡，然后送入計(jì)算機(jī)內(nèi)存，即圖像緩沖區(qū)。所用的硬件設(shè)備是普通的USB攝像頭，圖2所示是用USB攝像頭采集圖像的LabVIEW程序框圖。圖3為采集到的圖像。

圖2 圖像采集程序框圖

圖3 采集圖像

3.2 圖像處理模塊

生成圖樣時(shí)，由攝像頭聚焦精確度問題引發(fā)的圖像模糊、背景與目標(biāo)的對(duì)比度低、顆粒噪聲等因素會(huì)影響圖像質(zhì)量，甚至?xí)?dǎo)致識(shí)別失敗，所以在字符識(shí)別前需要對(duì)圖像進(jìn)行預(yù)處理，改變圖像的質(zhì)量，提高后續(xù)的識(shí)別率。圖像預(yù)處理包括格式轉(zhuǎn)換、灰度轉(zhuǎn)換、二值化三個(gè)基礎(chǔ)步驟，并在所有幀數(shù)圖像二值化后采用固定區(qū)域像素異或運(yùn)算，提取。

3.2.1 格式轉(zhuǎn)換

在上文所述算法的支持下，完成對(duì)圖片的格式轉(zhuǎn)換，其程序框圖如圖4所示。

圖4 格式轉(zhuǎn)換程序框圖

3.2.2 灰度轉(zhuǎn)換

將USB攝像頭采集到的彩色圖像進(jìn)行灰度轉(zhuǎn)換成為單色圖像（灰度圖像），這有利于后續(xù)的處理。圖5和圖6就是灰度變換的程序圖與經(jīng)灰度變化后的圖像。

圖5 灰度變化程序框圖

圖6 灰度變換結(jié)果

3.2.3 二值化

二值化一般在圖像灰度操作之后進(jìn)行，通過搜索產(chǎn)生0和1之間的跳躍變化的位置，快速準(zhǔn)確地提取目標(biāo)區(qū)域邊界像素點(diǎn)，得到僅有0和1兩個(gè)灰度值的黑白圖像。二值化的關(guān)鍵在于找到適合的T（閾值），針對(duì)本文基于高速公路收費(fèi)處采集到的移動(dòng)車輛圖像的角度考慮：車輛行駛經(jīng)過車輛感應(yīng)器，觸發(fā)照明設(shè)備工作，使車輛前臉亮度大于車身與背景，故本次二值轉(zhuǎn)換采用雙向固定閾值方法，選取合適的閾值，將兩閾值之間的像素點(diǎn)歸為255，閾值兩側(cè)的像素點(diǎn)歸為0。這樣可以有效的將車牌區(qū)域與非車牌區(qū)域區(qū)分開，排除背景區(qū)域的干擾。圖7和圖8分別為本文的二值化程序框圖和處理結(jié)果。

圖7 二值化程序框圖

圖8 二值化結(jié)果

3.2.4 車牌定位處理

車牌圖像包含較多的信息內(nèi)容，而背景圖像所包含的信息量可能比車牌部分還要多，所以在一幅含有眾多復(fù)雜背景信息和較多噪聲圖片上，要對(duì)其進(jìn)行車牌的精確定位是一個(gè)比想象中更加困難的事情?？紤]到車牌的一些特征信息的不變性，可以確定車牌的相應(yīng)特征，如中國車牌固定的幾何性特征：車頭部分的牌照皆是440mm×140mm，字符寬45mm，字符高度為90mm，間隔符寬10mm，字符間隔距離是12mm等［5］。由于這些固定信息使得車牌邊緣區(qū)域更加突出且容易檢測(cè)，所以先對(duì)圖像進(jìn)行邊緣檢測(cè)，得到車牌粗定位區(qū)域。如圖9所示。

圖9 邊緣檢測(cè)結(jié)果圖

通過邊緣檢測(cè)提取出車牌邊緣信息，再對(duì)檢測(cè)后的圖像進(jìn)行投影，包括水平與垂直兩個(gè)方向的投影，最后對(duì)兩個(gè)方向上投射的邊緣點(diǎn)個(gè)數(shù)做相加運(yùn)算，以此精確定位車牌的上下、左右邊界。具體程序框圖如圖10所示。

圖10

（1）車牌上下邊界的定位

對(duì)車牌水平投影并統(tǒng)計(jì)投影點(diǎn)個(gè)數(shù)得到下圖10，從圖像中可以明顯看到，車牌所在區(qū)域比非車牌區(qū)域投影之后所得曲線具有較為直觀的線性波動(dòng)變化：投影曲線中具有眾多波峰，但有幾個(gè)連續(xù)的波峰最為突出，這段連續(xù)曲線所代表的區(qū)域就是車牌區(qū)域；上述中連續(xù)的波峰段兩側(cè)會(huì)出現(xiàn)兩個(gè)高度基本相同的波谷，且該波谷在高度上低于連續(xù)波峰段內(nèi)的波谷高度。

精確定位車牌上下邊界的具體分為兩步驟：首先，在圖像水平投影曲線上，查找出一段最大波峰所在區(qū)間，將該區(qū)間判定為車牌區(qū)域；然后，在投影曲線上查找上述的兩個(gè)波谷，并核實(shí)是否為最大波峰區(qū)間段兩側(cè)的波谷，如果是，則取兩個(gè)波谷之間的區(qū)域，判定為精確定位后的車牌區(qū)域。

（2）車牌左右邊界定位

對(duì)原邊緣圖像進(jìn)行垂直投影得到圖11，圖中可以直觀表示出：車牌所在區(qū)域較非車牌區(qū)域的投影曲線具有更高的波峰值，而且該區(qū)域曲線具有明顯的線性均勻變化特征。根據(jù)這個(gè)特點(diǎn)，找出投影曲線中最大波峰值，將該值的1/2設(shè)定為閾值，以垂直投影曲線的兩側(cè)向中間連續(xù)性查看，找出第一個(gè)大于該值的波峰處，對(duì)剛才查找到的左側(cè)波峰處的左側(cè)第一個(gè)波谷處進(jìn)行切割，同時(shí)對(duì)右側(cè)波峰處位于其右側(cè)的第一個(gè)波谷處進(jìn)行切割，取中間所在區(qū)域，判定為車牌區(qū)域。

圖10 水平差分圖像

圖11 車牌垂直投影

3.3 字符識(shí)別

在車牌識(shí)別圖像處理算法中，可以將一幅圖像中的字符分割為獨(dú)立的字符，然后對(duì)獨(dú)立的字符進(jìn)行識(shí)別，字符識(shí)別是模式識(shí)別領(lǐng)域內(nèi)的一個(gè)重要分支，字符識(shí)別的基本思想是特征匹配。特征匹配是指通過分別提取兩個(gè)或多個(gè)圖像的特征，對(duì)特征進(jìn)行參數(shù)描述，然后運(yùn)用所描述的參數(shù)來進(jìn)行匹配的一種算法。通過提取的特征與標(biāo)準(zhǔn)庫進(jìn)行比較就可以識(shí)別出圖像中的字符。

本設(shè)計(jì)采用IMAQ OCR下的子VI來實(shí)現(xiàn)對(duì)字符的識(shí)別，OCR的識(shí)別是通過提取所采集圖像中字符的特征與前邊字符訓(xùn)練所生成的字符特征庫的比對(duì)來識(shí)別的［6］。

圖12 LabVIEW前面板及識(shí)別結(jié)果

IMAQ OCR字符識(shí)別的一般步驟：創(chuàng)建一個(gè)OCR任務(wù)；通過IMAQ OCR Read Character Set File VI讀取經(jīng)過OCR Training訓(xùn)練所生成的*.abc文件；用IMAQ ReadFile打開所要識(shí)別的圖像；IMAQ OCR Read Text 3 VI讀出匹配后的結(jié)果。OCR系統(tǒng)完成識(shí)別后及時(shí)輸出識(shí)別的字符，如圖12所示。

4 實(shí)驗(yàn)結(jié)果

針對(duì)環(huán)境這一特殊因素，分別在晴天、陰雨天、霧霾天三種天氣環(huán)境時(shí)，將系統(tǒng)安裝在高速公路收費(fèi)站入口對(duì)移動(dòng)車輛進(jìn)行測(cè)試，識(shí)別結(jié)果發(fā)現(xiàn)，通過提取單幀圖像的辦法可以有效避免圖像中車輛出現(xiàn)模糊的問題，在晴天時(shí)，車牌字符的識(shí)別率很高，達(dá)到97%左右，在陰雨天和霧霾天時(shí)識(shí)別率在93%左右。對(duì)三種天氣環(huán)境下未識(shí)別的車牌進(jìn)行統(tǒng)計(jì)分析，發(fā)現(xiàn)在晴天發(fā)生未識(shí)別的車牌主要是由于以下兩種情況導(dǎo)致：一是車輛牌照上出現(xiàn)大面積的覆蓋物遮蓋了所要識(shí)別的字符；二是車牌傾斜角度過大，無法完成對(duì)車牌精度定位。在陰雨天和霧霾天氣狀況下，除了以上兩種情況原因，還有一些其他車牌也不能識(shí)別，原因分析應(yīng)該是天氣環(huán)境影響圖片的曝光度且噪聲干擾過大導(dǎo)致。

5 結(jié)論

實(shí)驗(yàn)結(jié)果表明：雖然該系統(tǒng)受天氣、環(huán)境、照明、速度、車輛狀況及拍攝距離等諸多因素變化的影響，所得到的圖像存在著大量的噪聲和變形，影響其識(shí)別率，但同比其他車牌識(shí)別系統(tǒng)的識(shí)別率與識(shí)別速度處于領(lǐng)先地位，且該系統(tǒng)性能穩(wěn)定可靠，對(duì)軟件硬件要求不高，達(dá)到了預(yù)期目的。

［1］Li Wang，Theo Pavlidis.Direct gray-scale extraction of features for character recognition［J］.IEEE Trans on PAMI，2005，15（10）：1053-1067.

［2］駱雪超，劉桂雄，馮云慶，等.一種基于車輛特征信息的車牌識(shí)別方法［J］.華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2003，31（4）：31-35.

［3］張引，潘云鶴.彩色汽車圖像牌照定位新方法［J］.中國圖像圖形學(xué)報(bào)，2001，6（4）：374-377.

［4］章毓晉.圖像處理與分析［M］.北京：清華大學(xué)出版社，1998：40-65.

［5］王陽，王竹林.基于LabVIEW的圖像處理技術(shù)［J］.兵工自動(dòng)化，2009，28（1）：89-90.

［6］梁瑋，羅劍鋒，賈云得.一種復(fù)雜背景下的多車牌圖像分割與識(shí)別方法［J］.北京理工大學(xué)學(xué)報(bào)，2013，23（1）：91-94.