基于在線序列極限學(xué)習(xí)機(jī)的車牌字符識(shí)別方法

崔雷濤，陳 亮，馬 強(qiáng)

（東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620）

基于在線序列極限學(xué)習(xí)機(jī)的車牌字符識(shí)別方法

崔雷濤，陳 亮，馬 強(qiáng)

（東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620）

當(dāng)前基于神經(jīng)網(wǎng)絡(luò)方法的車牌字符識(shí)別技術(shù)都使用固定的訓(xùn)練樣本，學(xué)習(xí)的效果受初始樣本限制，對(duì)于識(shí)別過程中新出現(xiàn)的不同角度、光線等特征的字符圖片不能自適應(yīng)地學(xué)習(xí)。本文針對(duì)這個(gè)問題提出了基于在線序列極限學(xué)習(xí)機(jī)（OS-ELM）的車牌字符識(shí)別方法。在樣本實(shí)時(shí)更新中使系統(tǒng)自適應(yīng)調(diào)整網(wǎng)絡(luò)權(quán)值，不斷提高識(shí)別準(zhǔn)確率。本文設(shè)計(jì)了漢字、字母、字母混合數(shù)字三個(gè)字符分類器，根據(jù)車牌字符的排列特征識(shí)別相應(yīng)的字符。通過與傳統(tǒng)ELM方法和BP神經(jīng)網(wǎng)絡(luò)法對(duì)比，結(jié)果證明該字符識(shí)別技術(shù)達(dá)到了較高的識(shí)別率，在訓(xùn)練速度上也比BP神經(jīng)網(wǎng)絡(luò)法提高了2～3個(gè)數(shù)量級(jí)。

車牌字符識(shí)別；極速學(xué)習(xí)機(jī)；在線序列；特征提取

0 引言

車牌識(shí)別是智能交通系統(tǒng) （Intelligent Transportation System，ITS）的重要組成部分。在交通擁堵、停車場管理和套牌檢測等眾多領(lǐng)域得到了廣泛的應(yīng)用。在車牌識(shí)別系統(tǒng)中字符識(shí)別是核心與難點(diǎn)，目前字符識(shí)別方法主要有模板匹配法、神經(jīng)網(wǎng)絡(luò)技術(shù)，以及兩者的聯(lián)合應(yīng)用。

中國大陸車牌字符中含一位漢字且漢字結(jié)構(gòu)復(fù)雜，識(shí)別困難，出錯(cuò)率高，模板匹配法對(duì)于相似的字符區(qū)分能力差，同時(shí)受光線和天氣等復(fù)雜情況的影響，在特征數(shù)據(jù)維數(shù)過大時(shí)效率較低。神經(jīng)網(wǎng)絡(luò)技術(shù)以 BP（Back Propagation）算法居多［1-2］。BP神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)性和存儲(chǔ)知識(shí)的能力，但網(wǎng)絡(luò)的訓(xùn)練速度慢，存在局部最優(yōu)解等問題。因而基于該方法的車牌字符識(shí)別只能離線訓(xùn)練樣本，測試精度也較依賴于初始樣本的全面性。

Huang等［3-5］提出了極限學(xué)習(xí)機(jī)（Extreme LearningMachine，ELM），設(shè)置合適的隱藏層節(jié)點(diǎn)數(shù)，為輸入權(quán)值和隱藏層偏差隨機(jī)賦值，輸出層權(quán)值通過最小二乘法得到，整個(gè)過程一次完成，無需迭代，與 BP神經(jīng)網(wǎng)絡(luò)相比學(xué)習(xí)速度顯著提高，于是出現(xiàn)了一些基于ELM及其改進(jìn)算法的車牌識(shí)別方法。Gou Chao等［6］利用 ELM算法構(gòu)建分類器，設(shè)計(jì)了完整的車牌識(shí)別系統(tǒng)，取得了較好的分類性能。但是所采用的訓(xùn)練樣本始終是初始樣本集，對(duì)于車牌識(shí)別，初始訓(xùn)練樣本包含全部拍攝角度的車牌字符圖片是比較困難的，所以ELM算法對(duì)于新出現(xiàn)的字符樣本沒有學(xué)習(xí)能力，限制了網(wǎng)絡(luò)的魯棒性和泛化能力。因此有必要尋找一種算法，可以將就近識(shí)別的樣本加入訓(xùn)練集，做到實(shí)時(shí)訓(xùn)練。

本文設(shè)計(jì)了基于在線序列極限學(xué)習(xí)機(jī)［7］（Online Sequential Extreme Learning Machine，OS-ELM）的車牌識(shí)別分類器，能夠在小樣本數(shù)量的基礎(chǔ)上，實(shí)時(shí)訓(xùn)練，自適應(yīng)調(diào)整網(wǎng)絡(luò)參數(shù)，可快速地獲得高識(shí)別率。并提出一種新的適合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特征提取方式，以降低提取特征的維度，滿足車牌識(shí)別準(zhǔn)確性、魯棒性和實(shí)時(shí)性要求。

1 車牌字符的特征提取

本文主要采用字符的網(wǎng)格特征和圖像矩陣行列信息作為待識(shí)別的字符特征。由于漢字字符筆劃錯(cuò)綜復(fù)雜且分布不均，而字母和數(shù)字字符相對(duì)比較簡單，容易提取特征值，因而在提取特征方法的具體實(shí)施上兩者有所差別，以便后續(xù)投入不同的分類器。

對(duì)漢字的特征提取具體步驟為：

（1）網(wǎng)格特征提取。將歸一化后的漢字字符（大小為32×16）平均劃分成 4×4大小相等的子區(qū)域，計(jì)算每個(gè)子區(qū)域中白色像素值數(shù)量，產(chǎn)生 32個(gè)網(wǎng)格特征。

（2）行列特征信息提取。從漢字圖像第一行開始，提取第一行中白色像素點(diǎn)的個(gè)數(shù)，之后將每隔兩行的下一行定為目標(biāo)行，逐一統(tǒng)計(jì)目標(biāo)行中的白點(diǎn)數(shù)。用同樣方法對(duì)圖像矩陣列進(jìn)行操作。至此，提取出 17個(gè)行列特征信息值。漢字“浙”的字符特征提取過程示例如圖1。

圖1 漢字字符特征提取過程示例

對(duì)于英文字母字符和數(shù)字字符的特征提取，也是采用網(wǎng)格特征結(jié)合行列特征的提取方法。但是由于字母、數(shù)字結(jié)構(gòu)簡單，為便于訓(xùn)練，提取較小維數(shù)的向量作為特征向量。本文提取了 16個(gè)網(wǎng)格特征和 9個(gè)行列信息特征共 25維特征向量。

2 車牌字符分類器的設(shè)計(jì)

本文根據(jù)車牌字符的排列特點(diǎn)構(gòu)造了三個(gè)基于OS-ELM的子網(wǎng)絡(luò)分類器，分別為漢字字符分類器、字母字符分類器以及字母/數(shù)字混合字符分類器，一方面降低了識(shí)別時(shí)間，另一方面也提高了識(shí)別精度。三種分類器如圖2所示。

分類器配置方面，提取的特征向量維數(shù)即輸入節(jié)點(diǎn)數(shù)目。訓(xùn)練樣本中漢字字符有 14種，分別為魯、京、浙、豫、粵、陜、遼、蘇、吉、瓊、滬、桂、冀、閩；車牌中沒有 O和 I兩個(gè)字母，所以字母有 24種，字母加數(shù)字有 34種。三種分類器配置如表1。

圖2 分類器組合

表1 分類器的配置

3 OS-ELM車牌字符識(shí)別算法設(shè)計(jì)

傳統(tǒng)的極限學(xué)習(xí)機(jī)只能學(xué)習(xí)不變的數(shù)據(jù)，而如果初期訓(xùn)練樣本不能包含全部角度的字符圖片，則新字符圖片由于具有不同角度，以及受遮擋、污跡等影響特殊特征會(huì)難以識(shí)別，故而限制了網(wǎng)絡(luò)的泛化能力。部分特殊特征的字符圖片如圖3所示。

圖3 部分傾斜、受遮擋的字符圖片

所以本文采用OS-ELM算法，將后繼車牌樣本分批加入訓(xùn)練，增強(qiáng)網(wǎng)絡(luò)的泛化能力，構(gòu)建基于在線序列極限學(xué)習(xí)的車牌識(shí)別方法。網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖4。以漢字分類器設(shè)計(jì)為例，將提取 400張漢字字符圖片特征數(shù)據(jù)均分為4批先后輸入網(wǎng)絡(luò)，學(xué)習(xí)過程如下：

圖4 網(wǎng)絡(luò)基本結(jié)構(gòu)

（1）初始化階段。取 k=0，其中 k為送到網(wǎng)絡(luò)的字符數(shù)據(jù)批次。給定激活函數(shù) g（x）=隱層節(jié)點(diǎn)數(shù)目L和初始訓(xùn)練數(shù)據(jù) Z0=｛（xi，ti）｝N0，其中 xi為輸入特征向量，ti為每個(gè)特征向量對(duì)應(yīng)的字符類別，N0=100，L由交叉驗(yàn)證法試驗(yàn)后取為 40。隨機(jī)產(chǎn)生輸入權(quán)值向量 ωj和偏置bj初始化網(wǎng)絡(luò)，則由參考文獻(xiàn)［6］，輸出權(quán)值向量 β（0）= P0H0TT0。 其中：

（2）在線學(xué)習(xí)階段。給定第 k+1批數(shù)據(jù)，計(jì)算出隱層輸出矩陣為 Hk+1，輸出權(quán)值向量為：

令 k=k+1，返回到在線學(xué)習(xí)階段，不斷更新參數(shù) H和 β，直到學(xué)習(xí)完 4批數(shù)據(jù)。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中選取了100幅實(shí)際的車牌圖片。用三個(gè)OSELM分類器進(jìn)行整體的識(shí)別。隱藏層節(jié)點(diǎn)數(shù)目本文用5折交叉驗(yàn)證法選擇最優(yōu)數(shù)目。識(shí)別速度取 50次測試結(jié)果的平均值。識(shí)別結(jié)果如表2所示。

表2 三種OS-ELM分類器識(shí)別性能

本文還將 OS-ELM法與已有的ELM法、BP神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別方法進(jìn)行了實(shí)驗(yàn)結(jié)果的比較。具體比較為：從大量準(zhǔn)確分割出的單個(gè)字符中選取 100張包含字母及數(shù)字的字符圖像作為對(duì)比測試樣本，100張作為ELM法和 BP神經(jīng)網(wǎng)絡(luò)法的訓(xùn)練樣本，同時(shí)作為 OSELM訓(xùn)練樣本的第一批輸入樣本，再選取200張字符圖片分別作為ELM法的第二、第三批訓(xùn)練樣本。測試結(jié)果如表3所示，其中識(shí)別結(jié)果采取50次識(shí)別結(jié)果的平均值。

表3 不同算法性能對(duì)比

從表2、表3的實(shí)驗(yàn)對(duì)比結(jié)果可以看出，BP神經(jīng)網(wǎng)絡(luò)算法由于本身繁瑣的迭代過程，因而訓(xùn)練耗費(fèi)時(shí)間很長。OS-ELM法相比于BP神經(jīng)網(wǎng)絡(luò)法不僅在字符的識(shí)別率上表現(xiàn)出了更令人滿意的效果，能達(dá)到 90%以上，而且在識(shí)別速度上更是體現(xiàn)出很大的優(yōu)越性，訓(xùn)練速度比BP法高出近200倍。與ELM法相比，識(shí)別速度相差不多，但有更好的泛化性能。

5 結(jié)束語

本文采用在線序列學(xué)習(xí)機(jī)算法對(duì)車牌字符進(jìn)行識(shí)別，與BP法相比訓(xùn)練時(shí)間短，能夠滿足在線訓(xùn)練的要求；與ELM法相比有更好的泛化能力。采用字符的網(wǎng)格特征和圖像矩陣行列信息提取的特征提取方法，降低了特征維數(shù)。針對(duì)車牌字符的排列特征，設(shè)計(jì)了漢字、字母、字母與數(shù)字三個(gè)分類器，能夠提高分類準(zhǔn)確率并且縮短運(yùn)算時(shí)間。該車牌字符識(shí)別技術(shù)可以應(yīng)用于道路監(jiān)控中對(duì)實(shí)時(shí)性要求較高的場合。

［1］KOVAL V，TURCHENKO V，KOCHAN V.Smart license pattern recognition system based on imaging processing using neural network［C］.Procedings of the Second IEEE International Workshop on Intelligent Data Acquisition and Advanced Computing System-technology and Applications.Lviv，Ukraine：IEEE press，2003：123-127.

［2］劉雄飛，朱盛春.車牌字符多特征提取與 BP神經(jīng)網(wǎng)絡(luò)的識(shí)別算法［J］.計(jì)算機(jī)仿真，2014，31（10）：161-164.

［3］HUANG G B，ZHU Q Y，SIEW C K.Extreme learning machine：theory and applications［J］.Neurocomputing，2006，70（1）：489-501.

［4］HUANG G B，WANG D H，LAN Y.Extreme learning machines：a survey［J］.Intelligent Journal of Machine Learning and Cybernetics，2011，2（2）：107-122.

［5］HUANG G B，ZHOU Hm，DING X J，et al.Extreme learning machine for regression and multiclass classification［J］. IEEE Transactions on System， Man， and Cybernetics，2012，42（2）：513-529.

［6］Gou Chao，Wang Kunfeng，Yu Zhongdong.License plate recognition using MSER and HOG based on ELM［C］.IEEE Service Operation and Logistics，and Informatics，2014：217-221.

［7］Liang Nanying，Huang Guangbin，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithm for feedforward networks［J］.IEEE Transactionson Neural Networks，2006，17（6）：1411-1423.

License plate character recognition method based on online sequence extreme learning machine

Cui Leitao，Chen Liang，Ma Qiang
（College of Information Science and Technology，Donghua University，Shanghai 201620，China）

Current license plate character recognition technology which based on neural network method always uses fixed training samples， so learning effect isrestricted by theinitialsampleand can not learn adaptively forthe new appeared characteristics in indentifying process，like different angles and light.This paper presents a new license plate character recognition method based on the online sequence learning machine（OS-ELM）method，which makes system adjusts network weight selfadaptively in real-time updating，and improves recognition accuracy.This paper designs Chinese characters classifier，letters classifier and letters mixed number classifier on the order of each character， which recognizes corresponding characters according to the arrangement of license plate character features.After compared with the traditional ELM method and BP network method，the result proves that this character recognition technology not only achieves a higher recognition rate，but also computes faster than the BP neural network for 2～3 orders of magnitude on the training speed.

license plate character；extreme learning machine；online sequence；feature extraction

TP391.4

A

1674-7720（2015）23-0030-03

崔雷濤，陳亮，馬強(qiáng).基于在線序列極限學(xué)習(xí)機(jī)的車牌字符識(shí)別方法［J］.微型機(jī)與應(yīng)用，2015，34（23）：30-32.

2015-07-26）

崔雷濤（1990-），通信作者，男，碩士研究生，主要研究方向：極限學(xué)習(xí)機(jī)算法、車牌識(shí)別等。E-mail：717633923@qq.com。

陳亮（1970-），女，博士，副教授，主要研究方向：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等。

馬強(qiáng)（1990-），男，碩士研究生，主要研究方向：布匹瑕疵檢測、極限學(xué)習(xí)機(jī)算法等。