面向復(fù)雜環(huán)境中車牌識別的CNN網(wǎng)絡(luò)模型設(shè)計(jì)與實(shí)現(xiàn)

楊中岳

摘 要：傳統(tǒng)的車牌識別實(shí)現(xiàn)方案大多數(shù)是良好的環(huán)境情況下，但是不能滿足復(fù)雜場景中的需求且其方案不具備魯棒性。復(fù)雜環(huán)境如冬季大霧傳統(tǒng)方案則難以實(shí)現(xiàn)車牌識別，為此，在霧天條件下提高車牌識別準(zhǔn)確性和魯棒性是本文的研究重點(diǎn)。本文介紹了大霧天氣下車牌圖像的去霧問題及解決方法通過CNN模型的車牌識別的實(shí)現(xiàn)方案，提高霧天車牌識別的效率，且具備魯棒性。

關(guān)鍵詞：車牌識別;魯棒性;CNN;圖像處理

0 引言

隨著社會的進(jìn)步，人們生活水平地提高，越來越多的人選擇開私家車出行的方式，車輛增多帶來了智能高效的車牌識別問題。傳統(tǒng)的識別方法包括模板匹配，支持向量機(jī)等模板匹配的識別方法簡單，但識別效率較低相應(yīng)的識別率較低，尤其是漢字。特別是隨著環(huán)境的逐漸惡化，空氣污染日趨嚴(yán)重，在霧霾或霧中駕車的幾率大大增加[1]。傳統(tǒng)車牌識別是基于正常天氣下光線好的車牌識別率較高。然而，由于環(huán)境的不確定性，在霧等異常光照條件下識別車牌。由于霧天能見度降低，人們的視線和相機(jī)無法正常采集清晰的圖像數(shù)據(jù)，這使得車牌識別更加困難[2]。隨著深度學(xué)習(xí)的發(fā)展，其應(yīng)用越來越廣泛。特別是近年來使用CNN應(yīng)用于圖像處理取得較好的效果[3]。與傳統(tǒng)的字符識別技術(shù)中，本文所實(shí)現(xiàn)的網(wǎng)絡(luò)模型可以克服字符識別率低、識別速度慢等技術(shù)難點(diǎn)，其識別率可達(dá)99%左右。

1 相關(guān)工作

本章節(jié)對車牌識別相關(guān)技術(shù)進(jìn)行了相應(yīng)的介紹。模板匹配[4]的方法是通過車牌定位，經(jīng)過一系列的處理，如，字符分割，同時建立車牌字符庫，經(jīng)過分割對車牌字符進(jìn)行規(guī)范化處理，分割后的車牌與一一對應(yīng)字符庫匹配，最后選擇最佳匹配的結(jié)果作為預(yù)測結(jié)果輸出。支持向量機(jī)[5，6]是機(jī)器學(xué)習(xí)中的一種方法，通過對車牌字符進(jìn)行分類高維空間映射機(jī)制，首先對車牌字符進(jìn)行分割，然后在視覺庫中使用支持向量機(jī)模塊進(jìn)行訓(xùn)練。

卷積神經(jīng)網(wǎng)絡(luò)是一種專門為圖像處理而設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)。與感知網(wǎng)絡(luò)相比，它的主要優(yōu)點(diǎn)在于參數(shù)共享和稀疏性連接[5]。卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元可以對周圍的單元覆蓋區(qū)域做出部分響應(yīng)，表示其覆蓋部分的輸出不受其他像素的影響。許多學(xué)者使用CNN模型進(jìn)行了字符識別，例如，經(jīng)典的MNIST數(shù)字識別[6]。

2 本文模型

本文所實(shí)現(xiàn)的車牌識別的模型是CNN，其卷積層用式（1）表示如下：

其中，是卷積核的i行和j列的權(quán)重;，是卷積層輸入的行和列。b是偏差;是行和行中的元素卷積層的列。

本文采用的神經(jīng)網(wǎng)絡(luò)主要是卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)模型中的隱層變化與結(jié)構(gòu)中的卷積，中間是隱藏層，以后使用全連接層會在中間采用卷積和歸并的過程對圖像進(jìn)行分層分類，提取任務(wù)的特征最后分類主要使用Softmax層，可以得到當(dāng)前樣本所屬的不同層分類概率分布。本文卷積神經(jīng)模型如圖1所示：

3 系統(tǒng)實(shí)施

整個系統(tǒng)的實(shí)現(xiàn)過程包括圖像去霧、圖像銳化、初始定位車牌的定位，車牌的準(zhǔn)確定位，車牌畸形的矯正，字符的識別利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分割和單字符識別。

3.1 圖像去霧

本文中圖像去霧的主要思想是RGB通道先驗(yàn)知識[7]。在大多數(shù)非天空的地方區(qū)域中，某些像素總是至少有一個顏色通道的值非常低。換言之，區(qū)域的最小光強(qiáng)度是一個很小的數(shù)字，其數(shù)學(xué)表達(dá)式如式（2）所示：

其中J表示彩色圖像中每個通道的公式，以x為中心，以像素為窗口。此公式的目的是找出不同通道上每個位置的最小值，然后在特定窗口中過濾灰度圖像。在計(jì)算機(jī)視覺中，建立了描述霧圖的模型如式（3）所示：

其中，是現(xiàn)在擁有的圖像（無霧圖像），是無霧圖像的恢復(fù)，是所在環(huán)境中的光分量，是透射率。公式（3）中，目的是通過已知條件獲得除霧圖。需要找到一個透過率和大氣光的值，從而完成除霧后的圖像。自然條件下車牌除霧效果對比如圖2所示。其中左圖是沒有除霧操作的原始圖像，右圖是除霧后的圖像操作。

3.2 車牌預(yù)處理

車牌預(yù)處理包括圖像增強(qiáng)、車牌定位、車牌傾斜校正、字符分割等。輸出前一部分的圖像后除霧操作作為車牌預(yù)處理的輸入，首先通過圖像添加技術(shù)，使圖像銳化，便于后續(xù)處理。

3.3 車牌定位

完成上述操作后，需要從等待選擇字段中準(zhǔn)確定位車牌對車牌的輪廓區(qū)域，判斷預(yù)處理后的圖像區(qū)域，直接排除該區(qū)域小于一定的區(qū)域閾值，進(jìn)一步篩選出符合條件的區(qū)域塊。中國車牌是按照一定比例生產(chǎn)的，可根據(jù)輪廓的寬高比進(jìn)一步篩選在準(zhǔn)確定位車牌后，由于車牌安裝時間長車牌可能會傾斜，或者攝像頭的拍攝角度等原因問題，這不利于后續(xù)的字符分割[8]。因此，字符分割前還應(yīng)檢查車牌是否傾斜，以糾正其不規(guī)則形狀。有各種各樣的車牌校正過程。本文檢測允許的傾斜角為15度，通過仿射變換進(jìn)行畸形矯正，校正效果如圖3所示。

3.4 車牌字符分割

車牌字符分割是字符識別的關(guān)鍵步驟，設(shè)計(jì)有效的字符分割算法可以有效地提高字符的準(zhǔn)確率認(rèn)可[9]。在車牌字符分割中，主要采用垂直投影的方法分割和模板匹配字符分割。垂直投影分割法在本文中使用。在水平投影的基礎(chǔ)上，去除上邊緣和下邊緣，以及然后對二值化后的車牌圖像進(jìn)行垂直疊加。由于車牌本身，車牌的某些字符被卡住或斷開。因此垂直投影法在一定條件下需要加以限制。車牌字符的分割效果如圖4所示。

3.5 車牌字符識別

車牌識別的最后一個關(guān)鍵步驟是識別，識別的準(zhǔn)確率和速度都是非常重要的。在傳統(tǒng)的識別方法中，識別率較低，容易受外界環(huán)境因素的影響，導(dǎo)致其精度下降[10]。本文車牌識別采用所設(shè)計(jì)的CNN模型，泛化能力強(qiáng)，其泛化能力來源于所建網(wǎng)絡(luò)模型的最終訓(xùn)練參數(shù)。擁有大量的訓(xùn)練樣本是獲得良好學(xué)習(xí)效果的重要途徑之一泛化能力。其次，通過對模型的分析，可以降低模型的損失函數(shù)值網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的正則化和節(jié)點(diǎn)的隨機(jī)刪除，以便更好的擬合樣本集分類的結(jié)果。

本文利用卷積神經(jīng)網(wǎng)絡(luò)建立了網(wǎng)絡(luò)模型如第2節(jié)所述，該網(wǎng)絡(luò)主要采用Adam算法對損耗函數(shù)進(jìn)行優(yōu)化，使模型損失函數(shù)更適合樣本集。在本文所設(shè)計(jì)的模型最終的測試識別率可達(dá)99%左右，而如SVM其識別率只有80%左右。因而可以說明本文模型的有效性。

4 結(jié)論

本文對復(fù)雜環(huán)境中的車牌識別進(jìn)行了研究。車牌識別在大霧天氣中，通過提高對天氣現(xiàn)象的認(rèn)識，大大提高在原有條件下可能無法識別車牌或識別效果較差。在車牌除霧過程中，車牌除霧過程中的RGB通道會被破壞更好的優(yōu)化，使其更加自然流暢，有利于更好的除霧。在今后的改進(jìn)中，深度學(xué)習(xí)法也可以結(jié)合到除霧中，這是一種很好的學(xué)習(xí)方法霧天更有利于提高車牌識別準(zhǔn)確率。

參考文獻(xiàn)：

[1]陳政，李良榮，李震，等.基于機(jī)器學(xué)習(xí)的車牌識別技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（6）：19-24.

[2]段賓，符祥，江毅，等.結(jié)合GAN的輕量級模糊車牌識別算法[J].中國圖象圖形學(xué)報(bào)，2020（9）：1813-1824.

[3]朱鳳霞.基于神經(jīng)網(wǎng)絡(luò)和圖像識別的車牌識別技術(shù)[J].電子設(shè)計(jì)工程，2020，28（2）：130-133.

[4]徐偉，張立曉，陳智壽，等.基于Faster-RCNN的鰲江特大橋車輛識別技術(shù)[J].物聯(lián)網(wǎng)技術(shù)，2021，11（1）：21-24.

[5]周龍，王偉強(qiáng)，呂科.FACR：一種快速且準(zhǔn)確的車輛識別器[J].中國科學(xué)院大學(xué)學(xué)報(bào)，2021，38（1）：130-136.

[6]高勇.基于BP神經(jīng)網(wǎng)絡(luò)的車牌識別建模及實(shí)現(xiàn)[J].電子測試，2021（1）：44-45+78.

[7]陳冬英，曾淦雄.基于CNN的車牌識別精定位算法研究[J].福建江夏學(xué)院學(xué)報(bào)，2020，10（6）：101-107+115.

[8]曾荻清.視覺無人機(jī)高速公路違章識別技術(shù)的研究及實(shí)現(xiàn)[D].南京郵電大學(xué)，2020.

[9]王恒濤.基于TensorFlow、Keras與OpenCV的圖像識別集成系統(tǒng)[J].電子測試，2020（24）：53-54+124.

[10]漆世錢.基于輪廓識別和BGR顏色空間的車牌定位[J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（12）：176-180.