基于PSO-CNN神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別系統(tǒng)

桂方燚，武文星，任維康

(華北科技學(xué)院 計(jì)算機(jī)學(xué)院，北京 東燕郊 065201)

0 引言

車牌作為車輛信息的標(biāo)識(shí)，相當(dāng)于車輛的身份證。車牌識(shí)別技術(shù)作為可以促進(jìn)智能交通信息化、自動(dòng)化的重要手段，基于圖像識(shí)別技術(shù)，其在車輛追蹤、智慧停車場(chǎng)、交通違法行為的監(jiān)測(cè)、高速公路自動(dòng)收費(fèi)等領(lǐng)域起著重要的作用。國(guó)外車牌識(shí)別技術(shù)發(fā)展較為成熟，我國(guó)的車牌由于含有中文字符以及面臨的復(fù)雜場(chǎng)景，為了提高車牌識(shí)別的正確率，文獻(xiàn)[1]提出了結(jié)合HOG特征的車牌識(shí)別方法，提取字符的HOG特征，并設(shè)計(jì)了一個(gè)SVM特征的字符分類器，提高了檢測(cè)效率。文獻(xiàn)[2]提出了基于SCG-BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別，利用主成分分析法對(duì)車牌字符特征進(jìn)行提取，利用成比例共軛梯度下降法提高了車牌的識(shí)別正確率。文獻(xiàn)[3]提出了一種基于字符特征和灰狼優(yōu)化算法的字符識(shí)別方法提高了車牌識(shí)別的效率問(wèn)題。文獻(xiàn)[4]提出了針對(duì)BP神經(jīng)網(wǎng)絡(luò)在車牌識(shí)別經(jīng)常陷入局部最優(yōu)，提出了基于粒子群算法的BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別技術(shù)。文獻(xiàn)[5]提出了基于顏色特征和邊緣檢測(cè)結(jié)合的算法解決傳統(tǒng)算法易受噪聲干擾導(dǎo)致識(shí)別率受影響。

本文針對(duì)我國(guó)的車牌的實(shí)際情況，設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的智能車牌識(shí)別系統(tǒng)，系統(tǒng)分為車牌圖片的預(yù)處理、提取車牌的特征區(qū)域以及基于粒子群算法的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練三個(gè)部分組成，可以針對(duì)我國(guó)的車牌進(jìn)行快速、準(zhǔn)確的自動(dòng)識(shí)別。

1 車牌識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

車牌識(shí)別系統(tǒng)主要分為三部分：車牌圖像的預(yù)處理、特征的提取以及基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練得到一般模型。本文實(shí)現(xiàn)車牌識(shí)別的結(jié)構(gòu)示意圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)示意圖

1.1 車牌圖像預(yù)處理

由于經(jīng)過(guò)攝像頭與車牌之間的角度問(wèn)題，采集到的圖片存在傾斜、噪聲等因素的干擾，需要通過(guò)圖像的預(yù)處理達(dá)到將在車子和環(huán)境周圍的照片中將車牌區(qū)域的照片準(zhǔn)確提取出來(lái)，本文采用的車牌檢測(cè)采用的是基于閾值檢測(cè)[6]和軟K段主曲線算法[7]的字符特征提取方法。我國(guó)的車牌顏色分為藍(lán)牌、黃牌以及綠牌，首先統(tǒng)計(jì)圖片中各種像素點(diǎn)的多少來(lái)確定大致車牌區(qū)域。然后再將定位到的圖片利用軟K段主曲線算法得到車牌圖片，并按照我國(guó)車牌的設(shè)計(jì)的特點(diǎn)，將其分為7個(gè)字符組成的區(qū)域，方便后面的特征提取以及相應(yīng)的識(shí)別過(guò)程。本文采集到車牌如圖2所示。

圖2 采集到的車牌圖片

1.1.1 彩色圖轉(zhuǎn)灰度圖

由于原圖是彩色圖片導(dǎo)致后續(xù)的計(jì)算不方便。通過(guò)將彩色位圖中的RGB通道轉(zhuǎn)換為單通道的灰度圖，圖3為轉(zhuǎn)換結(jié)果。

1.1.2 高斯濾波和均值濾波平滑圖像

高斯濾波是一種線性平滑濾波，可以消除高斯噪聲。由于圖片中有高亮區(qū)域，采用均值濾波平滑圖像，圖4是灰度圖經(jīng)過(guò)高斯濾波產(chǎn)生的圖像。

1.1.3 邊緣化檢測(cè)

邊緣檢測(cè)算法是指利用灰度值的不連續(xù)性質(zhì)，以灰度突變?yōu)榛A(chǔ)分割出目標(biāo)區(qū)域。常見的邊緣檢測(cè)算子有Prewitt算子[8]、Sobel算子以及Canny算子等，本文采用的Canny算子進(jìn)行邊緣檢測(cè)[9]。Canny算子邊緣檢測(cè)結(jié)果如圖5所示。

圖5 邊緣檢測(cè)

1.2 車牌定位

1.2.1 圖像形態(tài)學(xué)操作

對(duì)于預(yù)處理的圖像進(jìn)行開運(yùn)算，進(jìn)行先腐蝕后膨脹的過(guò)程[10]。可以將車牌的邊框消除，同時(shí)消除圖像中細(xì)小的噪點(diǎn)，且在不改變物體面積的同時(shí)平滑物體邊界，如圖6所示。

圖6 腐蝕后的圖像

1.2.2 定位車牌的位置

根據(jù)車牌的面積、長(zhǎng)寬比等對(duì)所得到的矩形進(jìn)行匹配[11]，定位得到的車牌的確定區(qū)域，如圖7所示。

圖7 定位后的車牌圖片

1.3 車牌的字符分割

車牌的字符分割是對(duì)提取到的車牌照片進(jìn)行分割，標(biāo)記篩選后的得到的單個(gè)漢字、英文字符以及數(shù)字字符[12]。在字符分割階段，本文利用提取出目標(biāo)圖像的垂直直方圖波峰，用來(lái)確定車牌主區(qū)域的每個(gè)字符，每個(gè)字符都有確定的波峰。根據(jù)查找的波峰，提取每個(gè)字符的圖像。結(jié)果如圖8所示。

圖8 字符分割的圖片

2 與現(xiàn)有神經(jīng)網(wǎng)絡(luò)的對(duì)比

現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別車牌模型，一般基于復(fù)雜的深層網(wǎng)絡(luò)結(jié)構(gòu)模型，通過(guò)增加卷積層和池化層的規(guī)模達(dá)到很好的效果，并且需要經(jīng)過(guò)復(fù)雜的調(diào)參過(guò)程，達(dá)到最佳的訓(xùn)練效果，這樣導(dǎo)致時(shí)間復(fù)雜度上升。本文采用的是將粒子群算法和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)的方法，和單一的神經(jīng)網(wǎng)絡(luò)相比，優(yōu)點(diǎn)是避免了之后重復(fù)的調(diào)參過(guò)程。并且粒子群算法收斂速度快，可以更快的得到最優(yōu)解，適用于實(shí)時(shí)檢測(cè)的環(huán)境中。下面選擇了現(xiàn)有的一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和本文設(shè)計(jì)的基于PSO-CNN的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行時(shí)間上的對(duì)比，見表1。

表1 各種神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)間

從表1可以看到本文采用的PSO-CNN的算法比之前的算法在時(shí)間效率方面得到了提升。

3 基于PSO-CNN的字符識(shí)別

隨著過(guò)去幾年神經(jīng)網(wǎng)絡(luò)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別、語(yǔ)言識(shí)別以及模型分類領(lǐng)域取得了不錯(cuò)的成果。卷積神經(jīng)網(wǎng)絡(luò)改變了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不共享的權(quán)值和偏置項(xiàng)，通過(guò)對(duì)圖像特征信息的提取，并將其用在模型的訓(xùn)練，對(duì)于發(fā)生位移和形變的圖像可以起到不錯(cuò)的識(shí)別效果。同時(shí)在面對(duì)多尺度和復(fù)雜背景下的圖像卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)出了更強(qiáng)大的泛化能力，卷積層、池化層、全連接層構(gòu)成了卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)[13,14]。同時(shí)由于神經(jīng)網(wǎng)絡(luò)的參數(shù)容易陷入局部最優(yōu)，無(wú)法對(duì)圖像進(jìn)行正確識(shí)別，所以本文加入了粒子群算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)權(quán)值進(jìn)行尋優(yōu)，提高圖片識(shí)別的成功率。本文提出的基于PSO的卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別方法，系統(tǒng)主要由兩部分組成：第一部分，將PSO結(jié)合CNN后的神經(jīng)網(wǎng)絡(luò)通過(guò)訓(xùn)練找到合適的參數(shù)，形成模型；第二部分，將待識(shí)別的車牌圖像輸入訓(xùn)練好的模型中進(jìn)行識(shí)別。

3.1 粒子群算法

粒子群優(yōu)化算法[15](PSO：Particle Swarm Optimization)是一種生物進(jìn)化計(jì)算技術(shù)。源于對(duì)鳥群捕食的行為研究。通過(guò)群體中個(gè)體之間的協(xié)作和信息共享來(lái)尋找最優(yōu)解。

PSO初始化為一群隨機(jī)粒子，然后通過(guò)迭代尋找種群最優(yōu)解，在每一次的迭代過(guò)程中，粒子通過(guò)跟蹤兩個(gè)極值來(lái)更新自己。在找到這兩個(gè)最優(yōu)值后，粒子通過(guò)下面的公式來(lái)更新自己的速度和位置。

vi=vi+di+ei

(1)

di=c1×rand()×(pbesti-xi)

(2)

ei=c2×rand()×(gbesti-xi)

(3)

xi=xi+vi

(4)

式中，vi是粒子速度；rand()介于(0,1)之間的隨機(jī)數(shù)；xi是粒子當(dāng)前的位置；c1和c2是學(xué)習(xí)因子，通常取值為2。公式(2)和公式(3)分別代表局部最優(yōu)值和全局最優(yōu)值。通過(guò)不斷更新得到最終的神經(jīng)網(wǎng)絡(luò)的權(quán)值。粒子群算法的基本流程如下：

① 初始化粒子群相關(guān)參數(shù)，比如速度及位置；把位置參數(shù)轉(zhuǎn)換成網(wǎng)絡(luò)參數(shù)形式，并把均方誤差作為適應(yīng)度值。

② 對(duì)所有粒子執(zhí)行以下操作：

a. 根據(jù)式(1)和式(4)更新粒子的速度和位置。

b． 計(jì)算粒子的適應(yīng)度，如果得到的適應(yīng)度小于個(gè)體極值，則不更新；當(dāng)?shù)玫降闹荡笥诋?dāng)前位置的適應(yīng)度值，則更新。

c． 若粒子適應(yīng)度優(yōu)于全局最優(yōu)值，就把當(dāng)前位置設(shè)置為全局最優(yōu)位置。

d． 如果滿足精度要求時(shí)，算法不在更新，則此時(shí)的全局最優(yōu)位置就是所求的變量值，并停止粒子搜索；否則返回步驟②繼續(xù)搜索。

3.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它的結(jié)構(gòu)包括卷積層、池化層(采樣層)和全連接層，它可以直接對(duì)二維圖像直接進(jìn)行處理，具有局部感知和參數(shù)共享的特點(diǎn)，能夠有效的從大量樣本中學(xué)習(xí)到相應(yīng)的特征，避免了復(fù)雜的特征提取過(guò)程。

本文根據(jù)我國(guó)車牌是由7個(gè)字符組成的特點(diǎn)，設(shè)計(jì)了基于MATLAB平臺(tái)的卷積神經(jīng)網(wǎng)絡(luò)[16]的通用模型。首先將訓(xùn)練集的照片歸一化設(shè)置為20×20×1，然后創(chuàng)建一個(gè)2D的卷積層，設(shè)置8個(gè)大小為3×3的過(guò)濾器填充。在訓(xùn)練時(shí)，計(jì)算并設(shè)置零填充的大小，使得輸入層和輸出層具有相同的大小。之后建立一個(gè)池大小為2×2和步幅為3的最大池化層。訓(xùn)練的神經(jīng)網(wǎng)絡(luò)全部使用最大池化，可以避免平均池化的模糊化效果，并且讓步長(zhǎng)比池化核的尺寸小，這樣池化的輸出之間會(huì)有重疊和覆蓋，提升了特征的豐富性。本文采用的激活函數(shù)為ReLU函數(shù)，它相比Sigmoid和Tanh函數(shù)的求導(dǎo)更為快捷，導(dǎo)致訓(xùn)練過(guò)程可以更快，并且本身為非線性函數(shù)，增強(qiáng)了網(wǎng)絡(luò)的非線性。圖9為卷積神經(jīng)網(wǎng)絡(luò)的關(guān)系連接圖。

圖9 卷積神經(jīng)網(wǎng)絡(luò)關(guān)系連接圖

3.2.1 卷積層

卷積層，卷積神經(jīng)網(wǎng)絡(luò)中每層由若干卷積單元組成，是構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的核心層，產(chǎn)生了網(wǎng)絡(luò)中大部分的計(jì)算量。每個(gè)卷積單元的參數(shù)都是由反向傳播算法優(yōu)化得到的，卷積運(yùn)算的目的是提取輸入的不同特征。

3.2.2 池化層

池化層的作用是減少每個(gè)輸入特征的大小。由于圖片是由像素點(diǎn)構(gòu)成，而一張圖片提取到的特征信息過(guò)于龐大，不利于后面的計(jì)算過(guò)程，所以采用池化層降低特征大小。

3.2.3 全連接層

全連接層的計(jì)算跟常規(guī)神經(jīng)網(wǎng)絡(luò)一樣，利用矩陣乘法再加上偏差。全連接層可以整合卷積層和池化層中具有類別區(qū)分性的局部信息。圖10為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖10 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 PSO優(yōu)化CNN的計(jì)算方法

使用PSO算法優(yōu)化的CNN網(wǎng)絡(luò)時(shí)，解決單一的卷積神經(jīng)網(wǎng)絡(luò)調(diào)整參數(shù)難以調(diào)節(jié)到滿意的結(jié)果，將卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練損失設(shè)定為PSO算法的目標(biāo)函數(shù)，每一組的權(quán)重系數(shù)設(shè)為PSO算法的一個(gè)粒子，通過(guò)尋找使得損失函數(shù)最小的粒子，得到最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重參數(shù)。

粒子的搜索過(guò)程中使得下面公式(5)所示的均方誤差達(dá)到最小值。

(5)

3.4 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程

本文采用由一個(gè)輸入層，兩個(gè)卷積層，兩個(gè)最大池化層再接一個(gè)卷積層，一個(gè)全連接層，一個(gè)softmax層以及分類層組成。訓(xùn)練過(guò)程如下。

(1) 選定訓(xùn)練組，從樣本集中分別隨機(jī)的尋找Ν個(gè)樣本作為訓(xùn)練集。

(2) 將各閾值、權(quán)值初始化為接近0的隨機(jī)數(shù)。并通過(guò)PSO算法進(jìn)行尋優(yōu)，不斷迭代得到最終的控制參數(shù)和學(xué)習(xí)率。

(3) 從訓(xùn)練組中取一個(gè)輸入模式加到網(wǎng)絡(luò)，并給出目標(biāo)向量同時(shí)計(jì)算出中間層的輸出向量。

(4) 將輸出向量中的元素和目標(biāo)向量中的元素進(jìn)行對(duì)比，計(jì)算出輸出誤差。

(5) 依次計(jì)算出各權(quán)值和閾值的調(diào)整量，并調(diào)整對(duì)應(yīng)的值。

(6) 當(dāng)經(jīng)歷m次迭代之后，判斷指標(biāo)滿足精度要求，如果不滿足，返回步驟(3)。

(7) 訓(xùn)練結(jié)束后，將權(quán)值和閾值保存在文件中，此時(shí)的權(quán)重達(dá)到要求，分類器已經(jīng)形成。PSO優(yōu)化CNN神經(jīng)網(wǎng)絡(luò)的流程如圖11所示。

圖11 PSO-CNN流程圖

3.5 實(shí)驗(yàn)結(jié)果與分析

本文的硬件平臺(tái)是聯(lián)想Y700，其配置是英特爾Core i5-7300HQ,四核，Nvidia GeForce GTX 1050Ti獨(dú)立顯卡、8GB DDR4內(nèi)存、1TB+128GB 存儲(chǔ)，使用的軟件平臺(tái)是MATLAB R2018b。

本文首先將總共10000張車牌照片(包括省份、字符和數(shù)字)作為訓(xùn)練集，其中7000張作為訓(xùn)練集，其余3000張作為測(cè)試集。經(jīng)過(guò)訓(xùn)練得到一個(gè)通用的卷積神經(jīng)網(wǎng)絡(luò)模型，然后構(gòu)建了一個(gè)基于MATLAB的可視化平臺(tái)。通過(guò)測(cè)試發(fā)現(xiàn)系統(tǒng)的漢字識(shí)別率為97.05%，英文字符識(shí)別正確率為98.2%，數(shù)字字符識(shí)別成功率為97.6%，達(dá)到了預(yù)期目標(biāo)。統(tǒng)計(jì)結(jié)果見表2。

表2 識(shí)別統(tǒng)計(jì)結(jié)果

本文開發(fā)的基于PSO的卷積神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別系統(tǒng)識(shí)別效果如圖12所示。

圖12 識(shí)別車牌結(jié)果

4 結(jié)論

(1) 本文在充分利用我國(guó)的車牌特點(diǎn)，提出了一種基于CNN卷積神經(jīng)網(wǎng)絡(luò)和粒子群算法結(jié)合的車牌識(shí)別方法。

(2) 實(shí)驗(yàn)表明這種方法比傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)具有更高的識(shí)別正確率。但是對(duì)于國(guó)外的車牌以及最近的新能源車牌不具有識(shí)別能力。同時(shí)對(duì)于車牌所處的復(fù)雜環(huán)境下，識(shí)別正確率無(wú)法保證，這將是下一階段研究的重點(diǎn)。