局部HOG和分層LBP特征融合的車牌字符識(shí)別①

高 聰, 王福龍(廣東工業(yè)大學(xué) 應(yīng)用數(shù)學(xué)學(xué)院, 廣州 510520)

局部HOG和分層LBP特征融合的車牌字符識(shí)別①

高 聰, 王福龍
(廣東工業(yè)大學(xué) 應(yīng)用數(shù)學(xué)學(xué)院, 廣州 510520)

針對(duì)車牌字符識(shí)別中模板匹配法識(shí)別率低, 尤其是無法準(zhǔn)確識(shí)別相似字符的不足, 提出了一種局部HOG和分層LBP特征融合的車牌字符識(shí)別方法. 首先利用模板匹配法對(duì)車牌所有字符進(jìn)行初步識(shí)別, 然后利用HOG算子提取車牌和模板相似字符中最具區(qū)分度的一小塊邊緣特征, 接著利用LBP算子提取原始車牌和模板相似字符中相同區(qū)域塊的分層紋理特征, 將兩種特征串行融合構(gòu)建串行特征向量, 最后根據(jù)特征向量之間的卡方距離來度量車牌字符和模板字符的相似性, 進(jìn)而完成二次識(shí)別. 通過實(shí)驗(yàn)比較了11種算法的識(shí)別性能, 結(jié)果表明本文方法有效地解決了相似字符誤識(shí)別的問題, 在保證識(shí)別速率的同時(shí)識(shí)別率顯著提高, 達(dá)到99.52%.

車牌識(shí)別; 模板匹配; 局部HOG特征; 分層LBP特征; 特征向量

1 引言

車牌識(shí)別系統(tǒng)在停車場(chǎng)車輛管理、監(jiān)控違章車輛、高速公路收費(fèi)管理系統(tǒng)等領(lǐng)域都有十分廣泛的應(yīng)用.車牌識(shí)別是指利用車牌的特征從具有復(fù)雜背景的車輛圖像中提取出車牌區(qū)域,并對(duì)該車牌區(qū)域進(jìn)行字符分割, 提取每個(gè)字符的特征后再進(jìn)行識(shí)別的過程. 在一般情況下, 完整的車牌識(shí)別系統(tǒng)包括圖像采集, 車牌定位, 車牌字符分割和字符識(shí)別四個(gè)部分.

目前國內(nèi)外有很多車牌定位算法, 如: 紋理特征法[1]、顏色特征法[2]、字符特征法[3]、邊緣檢測(cè)法[4]和灰度跳變法[5]. 字符分割算法主要有: 投影法[6]、連通性法[7]和字符的先驗(yàn)知識(shí)法[8].字符識(shí)別是車牌自動(dòng)識(shí)別技術(shù)的最后一步, 也是關(guān)鍵一步, 主要任務(wù)是對(duì)字符分割出的單個(gè)字符進(jìn)行自動(dòng)識(shí)別.根據(jù)我國車牌字符的結(jié)構(gòu)和特點(diǎn), 目前常見的車牌字符識(shí)別方法主要有模板匹配法[9]、神經(jīng)網(wǎng)絡(luò)法[10]和特征提取法[11,12]. 模板匹配法是一種經(jīng)典的模式識(shí)別方法, 是最直接的字符識(shí)別方法, 主要是通過判定測(cè)試字符與模板字符間的相似度, 將相似性最大的樣本作為輸入字符的所屬類別. 模板匹配法原理簡(jiǎn)單, 比較直觀,計(jì)算方便,因此得到了普遍的應(yīng)用; 但不能適應(yīng)于各種字符變化、角度變化,魯棒性較差. 神經(jīng)網(wǎng)絡(luò)法是先對(duì)待識(shí)別字符進(jìn)行特征提取, 然后用所獲得的特征向量來訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器, 通過訓(xùn)練好的分類器將字符識(shí)別出來. 神經(jīng)網(wǎng)絡(luò)法具有較強(qiáng)的容錯(cuò)能力, 識(shí)別效率較高, 但是該方法需要大量的訓(xùn)練樣本, 訓(xùn)練樣本運(yùn)算復(fù)雜度高, 耗時(shí)長,難以滿足實(shí)時(shí)性要求. 特征提取法是先提取測(cè)試字符和模板字符的統(tǒng)計(jì)特征, 再按照一定準(zhǔn)則所確定的決策函數(shù)進(jìn)行分類判決, 經(jīng)過大量的統(tǒng)計(jì)得到測(cè)試字符和模板字符的特征向量, 再通過比較測(cè)試字符與模板字符特征向量的相似性得到輸入字符的識(shí)別結(jié)果. 特征提取法可以提取顯著的特征, 對(duì)于失真的圖像具有一定的魯棒性,但是提取特征的時(shí)候會(huì)消耗大量時(shí)間[13,14]. 本文首先利用模板匹配法對(duì)相似字符進(jìn)行初步識(shí)別, 然后利用局部HOG特征和分層LBP特征進(jìn)行二次識(shí)別, 實(shí)驗(yàn)結(jié)果表明識(shí)別率明顯提高.

2 LBP特征

LBP(local binary pattern)是一種用來描述圖像局部紋理特征的算子. 原始LBP[15]首先由Ojala等人在1996年提出, 它主要反映每個(gè)像素與周圍像素的關(guān)系.后來相關(guān)研究人員不斷對(duì)其提出了各種改進(jìn)和優(yōu)化,分別提出了旋轉(zhuǎn)不變LBP模式[16]、均勻LBP模式[17].

2.1 原始LBP

原始LBP算子主要思想是在3*3的窗口內(nèi), 以窗口中心像素為閾值, 將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較, 若周圍像素值大于中心像素值, 則該像素點(diǎn)的位置被標(biāo)記為1, 否則為0, 然后將求得的二進(jìn)制數(shù)按逆時(shí)針方向串起得到一個(gè)二進(jìn)制編碼, 其對(duì)應(yīng)的十進(jìn)制數(shù)作為中心像素的新值, 并用這個(gè)值來反映該區(qū)域的紋理信息. 一種常用的3×3鄰域LBP模式如圖l所示, 其二進(jìn)制編碼為11100001, LBP值=1+32+64+128=225.

圖1 3×3鄰域LBP算子及計(jì)算過程

原始LBP計(jì)算公式如下:

其中pi為周圍像素灰度值;ci為中心灰度值.

2.2 旋轉(zhuǎn)不變LBP

原始LBP算子具有灰度不變性, 但不是旋轉(zhuǎn)不變的, 圖像的旋轉(zhuǎn)就會(huì)得到不同的 LBP值. Ojala等人將LBP算子進(jìn)行了擴(kuò)展, 提出了具有旋轉(zhuǎn)不變性的 LBP算子, 即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的LBP值, 取其最小值作為該鄰域的LBP值.

2.3 均勻LBP

旋轉(zhuǎn)不變LBP模式也存在不足之處, 大量的實(shí)驗(yàn)結(jié)果表明旋轉(zhuǎn)不變LBP模式的36種情況在一幅圖像中的分布有較大的頻率差異, 得到的效果并不是很好.因此Ojala等人又提出了均勻LBP模式即uniform LBP.

均勻LBP定義為0—1變換的次數(shù)不超過2次的編碼. 所有的8位二進(jìn)制數(shù)中均勻LBP共有58種, 經(jīng)研究發(fā)現(xiàn)大部分值都在其中, 達(dá)到90%以上; 另外將非均勻模式歸為一類, 所有的LBP值被分為59類, 這樣特征向量維數(shù)從原來的256維變成59維, 起到了降維的作用, 又可以盡可能不損失原始信息.

3 HOG特征

方向梯度直方圖[18](Histogram of Oriented Gradient, HOG)是一種用來描述邊緣和形狀信息的特征描述子. 它主要是通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的方向梯度直方圖來構(gòu)成特征. 通過將整幅圖像分割成小的連接區(qū)域(即為細(xì)胞單元), 每個(gè)cell生成一個(gè)方向梯度直方圖, 這些直方圖的組合可表示所檢測(cè)目標(biāo)的特征.

HOG實(shí)現(xiàn)詳細(xì)過程如下:

1) 計(jì)算圖像梯度

計(jì)算圖像像素點(diǎn)),(yx水平方向和垂直方向的梯度, 公式如下:

式中),(yxGx, ),(yxGy, ),(yxf分別表示輸入圖像中像素點(diǎn)),(yx處的水平方向梯度、垂直方向梯度和像素值. 像素點(diǎn)),(yx處的梯度幅值和梯度方向分別為:

2) 為每個(gè)細(xì)胞單元構(gòu)建梯度方向直方圖

我們將圖像分成若干個(gè)cell, 每個(gè)cell為8*8個(gè)像素, 用9個(gè)bin的直方圖來統(tǒng)計(jì)這8*8個(gè)像素的梯度信息,也就是將cell的梯度方向360°分成9個(gè)方向塊, 梯度大小作為投影的權(quán)值. 如圖2所示: 如果這個(gè)像素的梯度方向是20°-40°且梯度大小是2, 直方圖第2個(gè)bin的計(jì)數(shù)就加2, 得到此cell的方向梯度直方圖, 即該cell對(duì)應(yīng)的9維特征向量.

圖2 方向梯度直方圖的構(gòu)建圖

3) 把細(xì)胞單元組合成大的塊, 塊內(nèi)歸一化梯度直方圖

把各個(gè)細(xì)胞單元組合成大的、空間上連通的區(qū)間,每個(gè)塊內(nèi)所有cell的特征向量串聯(lián)起來并將其歸一化后得到該塊的HOG特征. 歸一化公式如下:

其中v表示包含給定塊統(tǒng)計(jì)直方圖信息的未歸一化向量; δ是一個(gè)很小的常數(shù), 作用是為了避免分母為0;是v的k階范數(shù).

4) 收集HOG特征

最后一步就是將檢測(cè)窗口中所有塊的特征向量串聯(lián)起來得到整體的HOG特征向量, 將它們結(jié)合成最終的特征向量供分類使用.

4 局部HOG和分層LBP特征融合的車牌字符識(shí)別

LBP算子計(jì)算簡(jiǎn)單、準(zhǔn)確率較高,廣泛應(yīng)用于局部特征提取; 但是對(duì)于復(fù)雜圖像提取的準(zhǔn)確率較低, 為了得到更加詳細(xì)完整的紋理特征, 盧建云等人提出了多級(jí) CS-LBP特征融合的人臉識(shí)別方法[19], 利用原始圖像的多級(jí)特征的融合來進(jìn)行人臉的分類識(shí)別;考慮到多級(jí) CS-LBP特征融合的方法只能提取圖像的紋理特征,并不能有效地進(jìn)行邊緣和方向特征的提取, 萬源等人提出了LBP和HOG的分層特征融合的人臉識(shí)別方法[20].

前文提到的模板匹配法誤識(shí)別率太高, 主要是針對(duì)相似字符, 通過實(shí)驗(yàn)統(tǒng)計(jì)得到模板匹配法一般會(huì)出現(xiàn)誤識(shí)別的相似字符: Q—＞ 0、C—＞D、O—＞D、S—＞8、B—＞8、L—＞ E、F—＞ E 、P—＞R、粵—＞閩、粵—＞青、等.

針對(duì)此問題, 相關(guān)學(xué)者提出了一種提取字符躍變特征進(jìn)行二次識(shí)別的方法[21]. 結(jié)合躍變特征法實(shí)際上就是從左到右逐列掃描字符像素點(diǎn)時(shí), 會(huì)出現(xiàn)“黑—＞白”或“白—＞黑”這兩種躍變情況, 統(tǒng)計(jì)好每列的躍變次數(shù)作為字符的躍變特征, 最后將待識(shí)別字符躍變次數(shù)最相近的模板字符作為識(shí)別結(jié)果. 通過實(shí)驗(yàn)統(tǒng)計(jì)得到結(jié)合躍變特征法一般會(huì)出現(xiàn)誤識(shí)別的相似字符: S＜—＞8.

針對(duì)上述車牌字符識(shí)別問題, 為了進(jìn)一步提高車牌識(shí)別率, 本文在上述人臉識(shí)別方法的啟發(fā)之下, 提出了一種局部HOG和分層LBP特征融合的車牌字符識(shí)別方法, 該方法主要是首先利用模板匹配法進(jìn)行車牌字符初步識(shí)別, 然后提取相似字符相同區(qū)域的局部HOG特征和局部分層LBP特征進(jìn)行車牌字符的二次識(shí)別, 最后達(dá)到更高的識(shí)別率.

4.1 局部特征

目前, HOG特征和LBP特征在車牌識(shí)別算法中已經(jīng)表現(xiàn)出很好的識(shí)別性能, 但經(jīng)過相關(guān)學(xué)者研究發(fā)現(xiàn),這兩種算法在特征表達(dá)上存在數(shù)據(jù)冗余, 使得特征提取及分類器的訓(xùn)練計(jì)算量很大,嚴(yán)重影響了識(shí)別速度.為了充分利用字符圖像的特征,減少數(shù)據(jù)冗余,本文只提取相似字符的局部HOG和局部LBP特征, 而且本文采用均勻LBP模式以減少計(jì)算復(fù)雜度. 根據(jù)每類相似字符的特點(diǎn), 只選擇整個(gè)字符(本文歸一化字符大小為20*40)中最具有區(qū)分度的一小塊進(jìn)行特征提取. 如圖3所示: (a)為右下角區(qū)域、(b)左中間區(qū)域、(c)左下角區(qū)域.

圖3 本文算法的典型示例

4.2 分層特征

LBP特征是對(duì)灰度圖像的像素值進(jìn)行操作, 所以灰度圖像經(jīng)過LBP算子提取特征后仍然得到一幅具有灰度大小變化的圖像. 為提取圖像更豐富的紋理特征,間接得到原始圖像的灰度變化情況, 可以對(duì)一幅車牌字符圖像進(jìn)行分層LBP特征的提取. 模板字符“8”、“B”和“S”(本文模板字符大小為20*40)的LBP分層特征以及HOG特征提取效果圖如圖4所示.

圖4 LBP分層特征和HOG特征提取效果圖

4.3 局部HOG和分層LBP特征的融合

其主要思想是先提取原始圖像中最具區(qū)分度的一小塊HOG特征, 得到邊緣輪廓特征; 然后對(duì)原始圖像中最具區(qū)分度的一小塊進(jìn)行多次LBP特征的提取, 得到分層LBP特征; 將兩種特征進(jìn)行融合, 得到圖像的最終特征.

算法具體流程如下:

Step1. 對(duì)車牌字符圖像中最具區(qū)分度的一小塊進(jìn)行HOG特征提取, 得到車牌字符圖像的局部邊緣輪廓特征.

Step2. 對(duì)車牌字符圖像中最具區(qū)分度的一小塊進(jìn)行m次LBP特征提取, 得到m幅特征提取的局部字符圖像, 即LBP(m),(m=1,2,3, 4).

Step3. 采用均勻LBP模式統(tǒng)計(jì)每幅特征提取的局部車牌字符圖像, 進(jìn)而構(gòu)建特征向量, 得到分層LBP特征, 即LBPi(i=1,2,3,4).

Step4. 將局部分層LBP特征與局部原始HOG特征進(jìn)行融合, 得到LBPiHOG(i=1,2,3,4).

如: LBP2HOG表示第二層LBP特征與HOG特征的融合, 即{LBP2, HOG}.

算法流程圖如圖5所示(以左下角區(qū)域?yàn)槔?.

圖5 算法流程圖

5 實(shí)驗(yàn)結(jié)果及分析

本文使用Visual Studio 2012進(jìn)行編程實(shí)現(xiàn), 計(jì)算機(jī)系統(tǒng)是Windows 7 [Intel(R) Core(TM) i5-4590 CPU 3.30GHZ, 8G內(nèi)存].

本文中如圖3所示, 塊的起始位置和大小的選取至關(guān)重要, 若沒選好, 根本達(dá)不到正確識(shí)別相似字符(本文歸一化字符大小為20*40)的效果, 通過實(shí)驗(yàn)得到塊的最佳起始位置和大小的參數(shù), 如表1.

表1 塊的起始位置和大小設(shè)置

通過大量實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)得到11種算法識(shí)別率和時(shí)間對(duì)比情況如表2和表3, 不同傾斜角度影響下字符“B”的實(shí)驗(yàn)效果對(duì)比情況如表4, 部分車牌實(shí)驗(yàn)效果對(duì)比情況如表5. 由表2我們可以看出在模板匹配的基礎(chǔ)之上結(jié)合躍變特征、結(jié)合局部分層LBP特征與結(jié)合局部HOG特征算法識(shí)別率遠(yuǎn)遠(yuǎn)超過了單一的模板匹配法, 而且結(jié)合局部HOG特征法明顯優(yōu)于結(jié)合躍變特征法. 其原因主要有三個(gè):

其一, 結(jié)合躍變特征法無法真正區(qū)分相似字符8和S. 如圖6所示, 模板字符“8”和“S”左側(cè)、中間、右側(cè)的躍變次數(shù)幾乎都為4, 不同之處就在于第5列和第15列(大概黃線位置)左右處的躍變次數(shù)由于字符的筆畫粗細(xì)不均勻等因素而無法真正的確定, 然而車牌字符“8”和“S”經(jīng)過前期的車牌定位和字符分割環(huán)節(jié)之后,統(tǒng)計(jì)得到的第5列和第15列(大概黃線位置)左右處的躍變次數(shù)就不一定可以跟模板字符的躍變次數(shù)完全正確匹配, 最終導(dǎo)致字符“8”和“S”識(shí)別的隨機(jī)性.

圖6 模板字符“8”和“S”

其二, 結(jié)合躍變特征法抗字符分割影響能力相對(duì)較差. 如圖7所示, (c), (d)和(e)是部分歸一化后車牌字符,由于受字符分割影響, (c)和(d)與模板字符a)最大的區(qū)別就在于字符(c)和(d)最下邊沒有和邊界貼緊, 這樣就會(huì)導(dǎo)致字符(c)和(d)躍變次數(shù)都會(huì)加1, 躍變次數(shù)幾乎全部出錯(cuò), 無法跟模板(a)匹配成功; 但由于模板字符“E”中間的一橫要比“F”短一點(diǎn), 在第17列(大概黃線位置)左右處(c)和(d)的躍變次數(shù)跟b)是一樣的, 都是3, 所以會(huì)出現(xiàn)(c)、(d)跟(b)有相對(duì)較高的相似度, 導(dǎo)致誤識(shí)別; 同理可以分析(e)的情況. 通過實(shí)驗(yàn)得知, (c)和(d)誤識(shí)別成了(b), (e)誤識(shí)別成了(a)(即E—＞ F、F—＞E).

圖7 模板和車牌字符“E”和“F”

其三, 結(jié)合躍變特征法抗光照影響能力相對(duì)較差.如圖8所示, 車牌字符(b)是車牌(a)的最后一個(gè)字符“0”,經(jīng)二值化、字符分割以及歸一化后得到字符(c), 由于受光照影響, 車牌字符(c)與模板字符“0”最明顯的區(qū)別就是右下角區(qū)域車牌字符(c)多了一條白色弧線, 這樣會(huì)導(dǎo)致(c)右半邊的躍變次數(shù)都加2, 無法跟模板字符“0”的躍變次數(shù)成功匹配; 但是模板字符“Q”右半邊的躍變次數(shù)有些和(c)是一樣的, 這樣會(huì)出現(xiàn)(c)和“Q”的相似度較高, 導(dǎo)致誤識(shí)別(即0—＞Q); 同理可以分析車牌(a)其他字符的情況, 車牌(a)的其他字符識(shí)別效果對(duì)比情況如表5所示.

圖8 模板和車牌字符“0”和“Q”

考慮到傾斜角度過大會(huì)影響車牌定位和字符分割環(huán)節(jié), 進(jìn)而可能會(huì)導(dǎo)致字符識(shí)別環(huán)節(jié)無法進(jìn)行, 所以本文采集的圖片傾斜角度范圍大概在-11°～11°之間,確?？尚械能嚺谱R(shí)別系統(tǒng). 由表4可以看出, 結(jié)合局部HOG特征法抗傾斜影響能力相對(duì)結(jié)合局部分層LBP特征法較差. 結(jié)合局部HOG特征法只能在較小角度范圍(-3°～3°)內(nèi)正確識(shí)別字符, 角度稍大就會(huì)識(shí)別出錯(cuò); 結(jié)合局部分層LBP特征在較大角度范圍(-11°～11°)內(nèi)任然可以正確識(shí)別, 其中LBP3識(shí)別性能最佳.如圖9所示, 車牌(-1°～1°)經(jīng)過仿射變換進(jìn)行傾斜校正之后字符“B”有輕微的形變, 結(jié)合局部HOG特征法可以正確識(shí)別; 但是車牌(7°～9°)經(jīng)過仿射變換進(jìn)行傾斜校正之后字符“B”有很大的形變, 主要是字符筆畫粗細(xì)不均勻. 歸一化字符b)和模板字符“B”(如圖4)左中間區(qū)域(如圖3(b))有明顯的不同; 模板字符“B”最左側(cè)像素點(diǎn)的值全部是255, 沒有梯度方向和梯度幅值, 而(b)最左側(cè)出現(xiàn)了一些像素點(diǎn)的值為0, 這樣就會(huì)造成一些像素點(diǎn)出現(xiàn)了梯度方向和梯度幅值, 所以其左中間區(qū)域梯度方向直方圖與模板字符“8” 有較高的相似度, 導(dǎo)致誤識(shí)別(即B—＞8).

圖9 不同傾斜角度車牌識(shí)別過程

表2 算法識(shí)別率對(duì)比情況(%)

表3 算法時(shí)間對(duì)比情況(ms)

由表2可看出, 對(duì)于所有的相似字符的識(shí)別, 結(jié)合局部HOG特征法優(yōu)于結(jié)合局部分層LBP特征法.雖然結(jié)合局部分層LBP特征法對(duì)傾斜字符具有魯棒性,尤其是字符“B”和“8”; 但是對(duì)于其他的相似字符, 利用其紋理信息進(jìn)行識(shí)別的準(zhǔn)確度不如利用其邊緣輪廓信息. 針對(duì)LBP特征和HOG特征算法的不足, 結(jié)合兩種算法的優(yōu)點(diǎn), 本文提出一種局部HOG和分層LBP特征融合的車牌字符識(shí)別方法. 本文通過實(shí)驗(yàn)比較了11種算法的識(shí)別性能, 結(jié)果表明, 單一的LBP特征和HOG特征遠(yuǎn)不如本文方法, 本文方法具有明顯的優(yōu)越性, 其中LBP3HOG識(shí)別率最高, 車牌字符識(shí)別率達(dá)到99.52%.

由表3可知二次識(shí)別的方法相對(duì)模板匹配法較慢一點(diǎn), 實(shí)際上這11種方法時(shí)間都差不多, 相差2ms左右; 由實(shí)驗(yàn)可知, 算法時(shí)間會(huì)隨著圖像像素點(diǎn)個(gè)數(shù)的增多而增加, 主要原因是車牌定位和字符分割環(huán)節(jié)要多次掃描圖像像素點(diǎn)來進(jìn)行定位和分割, 本文大部分輸入的圖片大小是900*505, 算法時(shí)間約24ms.

表4 不同傾斜角度影響下字符“B”的實(shí)驗(yàn)效果對(duì)比

表5 部分車牌實(shí)驗(yàn)效果對(duì)比情況

車牌圖像 HOG LBP1HOG LBP2HOG LBP3HOG LBP4HOG

6 結(jié)論

本文從車牌字符的結(jié)構(gòu)特點(diǎn)出發(fā), 針對(duì)模板匹配法無法準(zhǔn)確識(shí)別相似字符的不足, 結(jié)合LBP和HOG特征各自的優(yōu)點(diǎn), 提出了一種局部HOG和分層LBP特征融合的車牌字符識(shí)別方法. LBP特征主要提取圖像的紋理信息, 對(duì)旋轉(zhuǎn)具有很好的魯棒性; HOG特征主要提取圖像的邊緣輪廓信息, 在質(zhì)量較好的圖片中, HOG特征對(duì)相似字符表現(xiàn)出良好的識(shí)別性能; 另外, HOG特征對(duì)光照和字符分割影響具有一定的魯棒性.本文通過實(shí)驗(yàn)比較了11種算法的識(shí)別性能, 結(jié)果表明,單一的LBP特征和HOG特征遠(yuǎn)不如本文方法, 本文方法具有明顯的優(yōu)越性, 在保證車牌識(shí)別速率的同時(shí)識(shí)別率得到進(jìn)一步的提高.

1 Xu HK, Yu FH, Jiao JH, Song HS. A new approach of the vehicle license plate location. Proc. International Conference Parallels Distribution Computation Application Technology. Dec., 2005. 1055–1057.

2 Shi X, Zhao W, Shen Y. Automatic license plate recognition system based on color image processing. Lecture Notes Computation Science, 2005, (3483): 1159–1168.

3 Matas J, Zimmermann K. Unconstrained license plate and text localization and recognition. Proc. IEEE Conference Intelligent Transportation System. Sep., 2005. 572–577.

4 Bai H, Liu C. A hybrid license plate extraction method based on edge statistics and morphology. Proc. International Conference Pattern Recognition. 2004, 2. 831–834.

5付煒,趙正則,王大江.基于水平灰度跳邊和垂直投影的車牌定位方法.電子測(cè)量技術(shù),2008,31(3):61–65.

6 遲曉君,孟慶春.基于投影特征值的車牌字符分割算法.計(jì)算機(jī)應(yīng)用研究,2006,23(7):256–257.

7 Miyamoto K, Nagano K, Tamagawa M, Fujita I, Yamamoto M. Vehicle license-plate recognition by image analysis. Proc. International Conference Industrial Electronics Control Instrumentation. 1991,3. 1734–1738.

8 Gao Q, Wang X, Xie G. License plate recognition based on prior knowledge. Proc. IEEE International Conference Automation Logistics. Aug., 2007. 2964–2968.

9陳瑋,曹志廣,李劍平.改進(jìn)的模板匹配方法在車牌識(shí)別中的應(yīng)用.計(jì)算機(jī)工程與設(shè)計(jì),2013,34(5):1808–1811.

10 Chen N, Xing L. Research of license plate recognition based on improved BP neural network. Computer Application and System Modeling, 2010, (11): 482–485.

11 Juntanasub R, Sureerattanan N. A simple OCR method from strong perspective view. Proc. Applied Imagery Pattern Recognition Workshop. 2004. 235–240.

12羅輝武,唐遠(yuǎn)炎,王翊,藍(lán)利君.基于結(jié)構(gòu)特征和灰度特征的車牌字符識(shí)別方法.計(jì)算機(jī)科學(xué),2011,38(11):267–270,302.

13 Du S, Ibrahim M, Shehata M, Badawy W. Automatic License Plate Recognition(ALPR): A state-of-the-art review. IEEE Trans. on circuits and systems for video technology, 2013, 23(2): 311–325.

14 方興林.基于字符筆畫斜率特征的車牌識(shí)別算法研究.重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,(9):72–76.

15 Ojala T, Pietik?inen M, Harwood D. A comparative study of texture measures with classification based on feature distributions. Pattern Recognition, 1996, (29): 51–59.

16 Pietik?inen M, Ojala T, Xu Z. Rotation-invariant texture classification using feature distributions. Pattern Recognition, 2000, (33):43–52.

17 Ojala T, Pietik?inen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971–987.

18 殷羽,鄭宏,高婷婷,劉操.基于聯(lián)合HOG特征的車牌識(shí)別算法.計(jì)算機(jī)工程與設(shè)計(jì),2015,36(2):476–481.

19盧建云,何中市,余磊.基于多級(jí) CS-LBP 特征融合的人臉識(shí)別方法.計(jì)算機(jī)工程與學(xué)習(xí),2010,32(6):48–51.

20萬源,李歡歡,吳克風(fēng),等.LBP和HOG的分層特征融合的人臉識(shí)別.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015, (4):640–650. 21王鋒,王福龍.基于躍變特征的車牌字符識(shí)別.計(jì)算機(jī)應(yīng)用研究,2015,32(12):398–400.

Fusion with Local HOG and Layered LBP Feature for License Plate Character Recognition

GAO Cong, WANG Fu-Long
(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

In order to solve the low recognition rate of template matching method in license plate character recognition, especially the problem that the similar characters cannot be identified accurately, this paper proposes a method of license plate character recognition based on the fusion of local HOG and layered LBP feature. Firstly, we use the template matching method for preliminary identification of all the characters of license plate. Then, a small edge feature of the biggest difference in the similar characters of the license plate and the template is extracted by using HOG operator, and then the layered texture feature of the same area block of HOG in the similar characters of the original license plate and the template is extracted by using LBP operator. Next, serial feature vectors are constructed with serial fusion of the edge feature and the layered texture feature. Finally, according to the Chi square distance between the feature vectors, we measure the similarity of the license plate characters and the template characters, and then complete the second recognition. The recognition performances of the 11 algorithms are compared through experiments. The results show that this method is very effective to solve the problem of false recognition of similar characters and the recognition rate is improved significantly at the same time, which is as high as 99.52%.

license plate recognition; template matching; local HOG feature; layered LBP feature; feature vector

廣東省自然科學(xué)基金(S2011040004273)

2016-07-11;收到修改稿時(shí)間:2016-09-02

10.15888/j.cnki.csa.005682