摘要:隨著交通管理、智慧城市等領(lǐng)域的快速發(fā)展,車牌識(shí)別技術(shù)逐漸成為一種關(guān)鍵技術(shù)。卷積神經(jīng)網(wǎng)絡(luò)作為一種強(qiáng)大的圖像處理和特征提取方法,被廣泛應(yīng)用于車牌識(shí)別領(lǐng)域。文章采用機(jī)器學(xué)習(xí)、字符分割等技術(shù)以提高車牌識(shí)別的高效性和準(zhǔn)確性。系統(tǒng)涵蓋了多種情況下的車牌圖像并對(duì)圖片進(jìn)行精密的預(yù)處理。在車牌分類識(shí)別方面,文章除了運(yùn)用字符分割與關(guān)鍵字識(shí)別技術(shù),還設(shè)計(jì)了具有針對(duì)性的卷積神經(jīng)網(wǎng)絡(luò)模型,對(duì)其進(jìn)行訓(xùn)練并在多組對(duì)比實(shí)驗(yàn)后,對(duì)模型的識(shí)別準(zhǔn)確率進(jìn)行評(píng)估。結(jié)果表明:卷積神經(jīng)網(wǎng)絡(luò)具有較好的識(shí)別準(zhǔn)確率和一定的實(shí)用性和價(jià)值性,可應(yīng)用于智能停車場(chǎng)的車輛識(shí)別。
關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò);車牌識(shí)別;機(jī)器視覺
中圖分類號(hào):TP183;TP391.41" 文獻(xiàn)標(biāo)志碼:A
基金項(xiàng)目:遼寧科技大學(xué)省級(jí)大創(chuàng)訓(xùn)練項(xiàng)目;項(xiàng)目名稱:停車場(chǎng)智能分析與預(yù)測(cè)。
作者簡介:陳明洋(2003— ),女,本科生;研究方向:數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)。
*通信作者:代紅(1975— ),女,教授,碩士;研究方向:網(wǎng)絡(luò)安全及無線傳感網(wǎng),數(shù)據(jù)挖掘與分析。
0" 引言
傳統(tǒng)的人工車牌登記和識(shí)別方式效率低下,前期須要投入大量的人力物力進(jìn)行停車場(chǎng)搭建,后期須要投入大量的成本進(jìn)行維護(hù)[1],造成耗時(shí)長、錯(cuò)誤率高、花銷大等問題。隨著技術(shù)的發(fā)展,計(jì)算機(jī)視覺、圖像處理、模式識(shí)別和深度學(xué)習(xí)等技術(shù)為車牌識(shí)別提供了強(qiáng)有力的技術(shù)支持。基于卷積神經(jīng)網(wǎng)絡(luò)的車位、車牌識(shí)別研究通過車牌的自動(dòng)識(shí)別和信息采集,減少了人工介入,提高了車輛登記、收費(fèi)、處理等業(yè)務(wù)的效率和準(zhǔn)確性,降低了管理成本和交通管理壓力,同時(shí),也可以實(shí)現(xiàn)停車場(chǎng)的自動(dòng)計(jì)費(fèi)和車輛的快速進(jìn)出,提高了停車場(chǎng)的運(yùn)營效率和服務(wù)質(zhì)量,為車主提供了更好的停車體驗(yàn)。
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)通過自動(dòng)學(xué)習(xí)輸入圖像中的層級(jí)特征表示,能夠捕獲到車牌圖像中的復(fù)雜模式。這種能力能夠使CNN在車牌識(shí)別任務(wù)中相較于傳統(tǒng)方法具有更高的識(shí)別準(zhǔn)確率。車牌圖像在實(shí)際應(yīng)用中常受到光照變化、遮擋、污損、傾斜、尺寸不一等多種因素的影響。CNN通過其強(qiáng)大的特征提取能力和深度學(xué)習(xí)模型的泛化能力,在一定程度上克服以上不利因素的影響,提高了車牌識(shí)別的魯棒性。傳統(tǒng)的車牌識(shí)別系統(tǒng)通常包含多個(gè)獨(dú)立的處理步驟,如車牌定位、字符分割、字符識(shí)別等,每個(gè)步驟都須要精心設(shè)計(jì)算法和參數(shù)。而基于CNN的車牌識(shí)別系統(tǒng)可以將這些步驟集成到一個(gè)統(tǒng)一的框架中,通過端到端的學(xué)習(xí)自動(dòng)完成車牌的識(shí)別任務(wù),從而簡化了處理流程,降低了系統(tǒng)的復(fù)雜性和維護(hù)成本。隨著計(jì)算能力的提升和CNN模型優(yōu)化算法的發(fā)展,基于CNN的車牌識(shí)別系統(tǒng)已經(jīng)能夠?qū)崿F(xiàn)較高的處理速度,滿足實(shí)時(shí)性要求。這對(duì)于智能交通系統(tǒng)、停車場(chǎng)管理系統(tǒng)等需要實(shí)時(shí)車牌識(shí)別的應(yīng)用場(chǎng)景具有重要意義。車牌識(shí)別作為計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的一個(gè)重要應(yīng)用,其研究成果和技術(shù)進(jìn)步可以推動(dòng)相關(guān)領(lǐng)域的發(fā)展。在不同國家和地區(qū),車牌的格式、顏色、字符集等存在差異。CNN的靈活性和可訓(xùn)練性使其能夠適應(yīng)這些差異,通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練數(shù)據(jù),實(shí)現(xiàn)對(duì)不同國家和地區(qū)車牌的有效識(shí)別。CNN在車牌識(shí)別領(lǐng)域推動(dòng)了相關(guān)技術(shù)的發(fā)展和應(yīng)用場(chǎng)景的拓展,為智能交通系統(tǒng)、公共安全等領(lǐng)域的發(fā)展提供了有力支持。
1" CNN理論簡介
CNN是一類包含深度卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),一般包含輸入層、卷積層、池化層、全連接層和輸出層[2]。CNN作為一種常用的深度學(xué)習(xí)模型,在圖像識(shí)別領(lǐng)域具有廣泛的應(yīng)用。經(jīng)過大量的數(shù)據(jù)訓(xùn)練,該算法可以持續(xù)使用,減少冗余操作,通過車牌照?qǐng)D像數(shù)據(jù)集訓(xùn)練多種神經(jīng)網(wǎng)絡(luò),尋找用于車牌照識(shí)別的最佳網(wǎng)絡(luò)結(jié)構(gòu)和最終識(shí)別模型,進(jìn)而提高可視化技術(shù)分析模型的有效性及可靠性。
輸入層作為CNN的第一層,主要工作是輸入圖像等信息。對(duì)于輸入圖像,首先要將其轉(zhuǎn)換為對(duì)應(yīng)的2維矩陣,該二維矩陣由圖像中每個(gè)像素的像素值組成,計(jì)算機(jī)讀取以像素值組成的二維矩陣存儲(chǔ)的圖像。卷積層主要用于提取圖像特征,通過滑動(dòng)卷積核提取車牌照?qǐng)D像中的局部特征,能夠捕獲到不同文字、數(shù)字和字母等關(guān)鍵信息。池化層主要用于處理特征選擇和信息過濾卷積層輸出的特征圖。池化層用于解決過渡擬合問題的中間層,能夠壓縮圖像確保CNN算法執(zhí)行不至于陷入過度擬合狀態(tài)[3]。通過卷積、非線性和池化等操作,CNN可以從低級(jí)特征中分層挖掘出高級(jí)特征,捕獲到不同尺寸、方向和位置等關(guān)鍵信息,從而獲得更好的分類識(shí)別學(xué)習(xí)能力。輸出層通常是一個(gè)全連接層,全連接層完整地連接當(dāng)前層和前一層的所有特征平面神經(jīng)元,由于卷積層和下采樣層是二維特征平面,而全連通層輸出一維向量,所以網(wǎng)絡(luò)中首個(gè)全連接層需要將二維特征平面轉(zhuǎn)換為一維向量形式。全連接層通常采用多層感知器網(wǎng)絡(luò)來實(shí)現(xiàn),最后輸出識(shí)別類別[4],其可將前幾層輸出的特征圖或者一維向量經(jīng)過計(jì)算后得到識(shí)別結(jié)果。該計(jì)算過程既可能是線性的,又可能是非線性的。在多分類問題中,輸出層會(huì)輸出每個(gè)類別的概率值,代表識(shí)別為當(dāng)前類別的概率。模型最終會(huì)選擇概率最大的類別作為識(shí)別結(jié)果。在訓(xùn)練過程中,CNN通過調(diào)整參數(shù)來優(yōu)化模型的準(zhǔn)確率,使得識(shí)別結(jié)果更加準(zhǔn)確。最后一層輸出層可視為分類器,預(yù)測(cè)輸入樣本的類別。
2" 設(shè)備端模塊設(shè)計(jì)與實(shí)現(xiàn)
本文利用計(jì)算機(jī)視覺技術(shù)和圖像處理技術(shù),對(duì)攝像頭捕捉到的車位圖像進(jìn)行分析。目前,圖像紋理特征提取方法可以分為以下幾類:基于統(tǒng)計(jì)的特征、基于結(jié)構(gòu)的特征、基于幾何的特征和基于信號(hào)處理的特征。采用的紋理特征是基于局部二值模式提取的[5]。從停車場(chǎng)圖像中提取車位的關(guān)鍵點(diǎn)信息,如車位的邊界、大小、位置等。圖像中車位菱形點(diǎn)的位置通過鼠標(biāo)點(diǎn)擊即可方便實(shí)現(xiàn)。將圖像獲取的像素分為每4個(gè)1組,存入配置文件,每個(gè)車位的像素點(diǎn)單獨(dú)存放。本研究首先將車牌圖像提取在小框之中。由于場(chǎng)景越簡單傳入CNN框架后圖像處理就越輕松,圖像最終被定位到一個(gè)較小的范圍內(nèi)。在進(jìn)行上下采樣時(shí),圖像的特征信息才不會(huì)存在較大的損失。首先,本文對(duì)車牌照片的大小進(jìn)行修正,將照片轉(zhuǎn)化為灰度圖,處理的方法主要采用加權(quán)平均值法,如式(1)所示。
R=G=B=(R×WR+G×WG+B×WB )/3(1)
其中,WR、WG、WB分別為R、G、B的權(quán)值。當(dāng)WR=0.298,WG=0.587,WB=0.114時(shí),可得彩色圖像的最合理灰度圖像。本文對(duì)二值圖像進(jìn)行邊緣檢測(cè)計(jì)算。邊緣檢測(cè)是圖像處理和計(jì)算機(jī)視覺中獲取圖像特征的一種有效手段,利用圖像中像素點(diǎn)的對(duì)" 比度來判別圖像中的邊界區(qū)域。一般用于圖像某一局部區(qū)域內(nèi)像素灰度存在顯著變化之處。我國現(xiàn)有車牌包括藍(lán)底白字、黃底黑字以及白底黑字等,這些汽車車牌區(qū)域中的字符顏色和車牌底色均有較大的差異;而我國汽車車牌首字符一般為漢字,其后為字母和數(shù)字的組合,字符邊緣呈現(xiàn)規(guī)則的紋理特征,因而采用邊緣檢測(cè)方法來突出圖像中的車牌區(qū)域?qū)崿F(xiàn)車牌的定位[6]。本文根據(jù)字符的邊界將字符框選并分割出來,使用該方法分割出來的字符邊緣非常準(zhǔn)確。
本研究中測(cè)試集使用的車牌照數(shù)據(jù)來自2個(gè)部分:第一部分來自數(shù)據(jù)集test_images,該數(shù)據(jù)庫收錄了38個(gè)圖片集;第二部分來自train_images,該數(shù)據(jù)庫收錄了識(shí)別到各種形態(tài)的車牌字符圖像灰度圖。在圖像采集過程中,本文充分考慮了車牌不同角度和光線因素。由于不同車牌在不同角度和光線下呈現(xiàn)不同的特征,為了驗(yàn)證所提方法的有效性,提高模型的魯棒性,確保樣本的多樣性和覆蓋范圍,本研究收集的車牌字符包括滬、A、9等不同字符的車牌灰度圖并用了7752.8 kB二值圖構(gòu)建訓(xùn)練集和驗(yàn)證集。實(shí)驗(yàn)圖像共5539張,其中包括3298張字母灰度圖圖像、987張數(shù)字灰度圖圖像和1254張文字灰度圖圖像。這種方式劃分是為了確保模型在面對(duì)不同省份、發(fā)牌單位、字符的車牌時(shí)能夠獲得相對(duì)準(zhǔn)確的分類結(jié)果。該實(shí)驗(yàn)以97%的圖像作為訓(xùn)練樣本,3%的圖像作為驗(yàn)證樣本。
為對(duì)比改進(jìn)前、后每個(gè)車位中梯度的總量變化以及車位識(shí)別速度,本文實(shí)驗(yàn)將所有車位分為2組,每組測(cè)試30個(gè)車位。實(shí)驗(yàn)結(jié)果證明了改進(jìn)方案的有效性,梯度總量對(duì)比如圖1所示,檢測(cè)速度對(duì)比如圖2所示。
由圖1、2可知:采用改進(jìn)后的方案,梯度的計(jì)算總量能夠明顯減少,車位的檢測(cè)速度能夠有效提升。
3" 結(jié)語
本文利用CNN、機(jī)器視覺、圖像預(yù)處理、字符分割識(shí)別等技術(shù),識(shí)別正確率達(dá)到97%。實(shí)驗(yàn)結(jié)果表明:利用CNN模型的車牌檢測(cè)系統(tǒng)在多種環(huán)境下均能保持較高的識(shí)別率,這對(duì)于提高車牌識(shí)別的穩(wěn)定性和可靠性具有重要意義。同時(shí),研究人員可以結(jié)合機(jī)器視覺、圖像預(yù)處理、字符分割識(shí)別等技術(shù)來優(yōu)化檢測(cè)效果。通過訓(xùn)練CNN模型來學(xué)習(xí)車位的不同狀態(tài),如" 空車位、有車車位的特征,系統(tǒng)既能夠準(zhǔn)確判斷車位的占用情況,又能夠應(yīng)對(duì)各種復(fù)雜場(chǎng)景下的車位檢測(cè)任務(wù),提升車牌的檢測(cè)速度,實(shí)現(xiàn)自動(dòng)化的車位檢測(cè)和管理。這對(duì)于提高停車場(chǎng)的管理效率、降低運(yùn)營成本具有重要意義,為交通管理和智能城市建設(shè)提供更加有力的支持。
參考文獻(xiàn)
[1]王棟輝.基于AI視覺的智能停車場(chǎng)信息感知方法研究[D].吉林:吉林大學(xué),2021.
[2]劉靖鈺,劉德兒,楊鵬,等.基于CNN網(wǎng)絡(luò)的帶遮擋車牌識(shí)別[J].測(cè)控技術(shù),2021(2):53-57.
[3]童朝娣.卷積神經(jīng)網(wǎng)絡(luò)在車牌字符識(shí)別中的應(yīng)用[J].電子技術(shù)與軟件工程,2019(1):68.
[4]劉華春.卷積神經(jīng)網(wǎng)絡(luò)在車牌識(shí)別中的應(yīng)用研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2019(4):128-132.
[5]張一楊,姚明林.局部紋理特征改進(jìn)空閑車位智能檢測(cè)算法[J].機(jī)械設(shè)計(jì)與制造,2021(2):223-226.
[6]張彩珍,李穎,康斌龍,等.基于深度學(xué)習(xí)的模糊車牌字符識(shí)別算法[J].激光與光電子學(xué)進(jìn)展,2021(16):259-266.
(編輯" 王雪芬)
Implementation of convolutional neural networks for licence plate recognition application
CHEN" Mingyang, DAI" Hong*, WANG" Sitong, CHEN" Yuhan
(University of Science and Technology Liaoning, Anshan 114000, China)
Abstract: With the rapid development of traffic management, smart city and other fields, the license plate recognition technology has gradually become a key technology. The convolutional neural network, as a powerful image processing and feature extraction method, is widely used in the field of license plate recognition. Meanwhile, this study also uses machine learning, character segmentation and other techniques to improve the efficiency and accuracy of licence plate recognition. The system covers license plate images in various situations and performs sophisticated preprocessing of the images. For license plate classification and recognition, besides using character segmentation and keyword recognition techniques, a targeted convolutional neural network model is designed and trained. The recognition accuracy of model is evaluated after the multiple sets of comparison experiments. The convolutional neural network is applied to vehicle recognition in intelligent parking lots in this study, which has good recognition accuracy and certain practicality and value.
Key words: convolutional neural network; license plate recognition; machine vision