復(fù)雜環(huán)境下車牌檢測(cè)與識(shí)別方法研究

凌燕翔

國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作北京中心 北京 100160

1 車牌特征概述

1.1 顏色特征

在我國，車牌背景和車牌字符顏色的搭配有幾個(gè)明確的標(biāo)準(zhǔn)，可以根據(jù)車牌背景確定車牌邊界。普通小型車通常使用藍(lán)底白字的車牌，大型車輛和駕駛教練一般使用黃底黑字的車牌。

1.2 文本特征

中國的車牌通常是七個(gè)字，第一個(gè)是漢字，表示省、市、自治區(qū)、直轄市的簡(jiǎn)稱；第二個(gè)是大寫的英文字母，代表各級(jí)城市；最后五個(gè)是字母和數(shù)字的組合。

1.3 幾何特征

目前我國大多數(shù)使用的車牌區(qū)域近似長(zhǎng)方形或平行四邊形，其外輪廓的固定寬高比近似為3：1。

1.4 紋理特征

車牌具有一個(gè)連續(xù)有規(guī)則的邊框，且在車牌區(qū)域內(nèi)每個(gè)字符的間隔比較均勻。

1.5 灰度特征

車牌字符顏色、車牌背景顏色和車身顏色在圖像中的表現(xiàn)是灰度不一樣，由此，車牌的邊緣以及車牌背景和車牌字符能夠形成灰度漸變邊緣。

1.6 位置特征

正常情況下，車牌圖像的相對(duì)位置一般是固定不變的，通常車牌區(qū)域更接近車身的中下部。

2 基于FasterR-CNN的車牌檢測(cè)算法

2.1 數(shù)據(jù)收集與預(yù)處理

①數(shù)據(jù)收集。車牌檢測(cè)不僅需要在標(biāo)準(zhǔn)環(huán)境正常運(yùn)作，還需要在復(fù)雜環(huán)境下具有很高的檢測(cè)性能。為此，收集了覆蓋了復(fù)雜環(huán)境圖像數(shù)據(jù)和標(biāo)準(zhǔn)交通卡口圖像數(shù)據(jù)等多種情況車輛圖片。

②數(shù)據(jù)清洗。在拍攝到的車輛圖片里面，不包含無車牌車輛、車牌被部分遮擋、非機(jī)動(dòng)車車輛等圖片，需要將這些無效的圖片數(shù)據(jù)篩除。最終篩選出2850張圖片作為訓(xùn)練數(shù)據(jù)，進(jìn)入到車牌目標(biāo)數(shù)據(jù)標(biāo)注階段。

③數(shù)據(jù)標(biāo)注。目標(biāo)檢測(cè)的數(shù)據(jù)標(biāo)注工作不僅要標(biāo)明圖像中有什么，還要標(biāo)注這個(gè)對(duì)象的位置信息，并生成與圖片同名的．xml文件。對(duì)于車牌檢測(cè)，只需要標(biāo)注真實(shí)的車牌區(qū)域，車牌的負(fù)樣本是在訓(xùn)練過程中產(chǎn)生的，因此不需要人工標(biāo)注車牌檢測(cè)的樣本。標(biāo)注完成后，需要將數(shù)據(jù)集以一定比例分配生成訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2.2 實(shí)驗(yàn)結(jié)果分析

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練驗(yàn)證以及測(cè)試均基于深度學(xué)習(xí)框架Tensor Flow進(jìn)行，通過數(shù)次實(shí)驗(yàn)擇優(yōu)原則獲取結(jié)果，在車牌數(shù)據(jù)集上的車牌檢測(cè)準(zhǔn)確率達(dá)99%。基于FasterR-CNN的車牌檢測(cè)算法檢測(cè)結(jié)果可以看到，不管是在圖像中含有復(fù)雜的背景、光線昏暗、還是在各種干擾的情況下，該算法都能夠排除顏色干擾、紋理干擾和噪聲干擾等，從而正確地檢測(cè)到車牌。

3 車牌識(shí)別方法研究

3.1 車牌定位

（1）采用邊緣檢測(cè)方法將原始圖像轉(zhuǎn)化成灰度圖。傳統(tǒng)車牌定位的識(shí)別是依靠車牌的邊界來進(jìn)行抓取的，但本次研究我們采取了邊緣檢測(cè)發(fā)來進(jìn)行定位抓取，與邊界不同，邊緣檢測(cè)是由灰度值的變化而不是根據(jù)實(shí)際的間隔線，因?yàn)殚g隔線會(huì)因?yàn)樗俣群铜h(huán)境出現(xiàn)扭曲、模糊的情況，但邊緣不會(huì)，邊緣是根據(jù)灰度值的變化來看的，在圖像中，不同物體的邊緣會(huì)比較明顯，通過邊緣檢測(cè)則相對(duì)會(huì)更準(zhǔn)確。但因?yàn)檫吘墮z測(cè)是根據(jù)圖像強(qiáng)度計(jì)算像素而來，因此對(duì)于圖片質(zhì)量要求會(huì)比較高，一些質(zhì)量不高的圖片則會(huì)出現(xiàn)無法計(jì)算的情況，因此我們?cè)诓捎眠吘壏ㄟM(jìn)行定位時(shí)，加入了濾波器對(duì)圖片進(jìn)行降噪，并且采用了一定的方式方法來控制濾波器在處理過程中邊緣強(qiáng)度和圖像噪聲的平衡。

（2）通過二值圖像形態(tài)學(xué)來降噪。除了采用濾波器進(jìn)行降噪外，本次研究我們嘗試了通過二值圖像形態(tài)學(xué)來進(jìn)行降噪處理。通過數(shù)學(xué)學(xué)科中的形態(tài)學(xué)能有效減緩圖像數(shù)據(jù)，通過膨脹、腐蝕、開運(yùn)算、比運(yùn)算等4個(gè)基本運(yùn)算將一些不相干的結(jié)構(gòu)元素簡(jiǎn)化，但在簡(jiǎn)化圖像的同事能保持圖像的形象特征，通過這種方式我們能效的去除掉車身的裝飾、廣告等元素。

（3）通過車牌圖像預(yù)處理實(shí)現(xiàn)準(zhǔn)確定位。無論是緣檢測(cè)方法還是二值圖像形態(tài)學(xué)進(jìn)行去噪定位時(shí)，都是通過灰度來的，一是灰度的辨別，二是灰度的拉伸，但這會(huì)因?yàn)閳D片亮度和對(duì)比度有關(guān)系，因此在獲取的圖片亮度和對(duì)比度不合理時(shí)，則需要技術(shù)人員人為進(jìn)行圖片處理預(yù)處理，通過人工的方式將輸入的車牌圖像二值化處理后再進(jìn)行平滑處理，通過特定的計(jì)算公式來將三原色的加權(quán)值轉(zhuǎn)變?yōu)榛叶戎?，以此達(dá)到更加準(zhǔn)確的分析和定位。

3.2 字符識(shí)別

字符識(shí)別是最后一步，也是關(guān)鍵的一步，目前我們運(yùn)用的比較多的是模板匹配法，雖然通過模板匹配法能準(zhǔn)確識(shí)別車牌，但其存在識(shí)別速度慢，實(shí)時(shí)性不高，及相近字符誤判的情況，對(duì)此我們?cè)谘芯窟^程中采取了基于字型特征的樹分類模板來解決。

基于字型特征的樹分類模板匹配法。為了解決我們上文說到的傳統(tǒng)模板匹配法速度慢，相近字符誤判的情況，我們?cè)谘芯恐胁扇』谧中吞卣鞯臉浞诸惸０迤ヅ浞▉磉M(jìn)行車牌字符識(shí)別。該方法從兩方面進(jìn)行操作：首先根據(jù)樹形分層理論，建立3個(gè)分類器，分類器1對(duì)車牌第一個(gè)字符，即省的簡(jiǎn)稱進(jìn)行識(shí)別；分類器2對(duì)第二個(gè)代表市的大寫字母進(jìn)行識(shí)別；分類器3對(duì)最后五位字符進(jìn)行識(shí)別。其次，根據(jù)字符的不同特點(diǎn)將位置數(shù)據(jù)根據(jù)特征進(jìn)行分類，根據(jù)字符的輪廓區(qū)別進(jìn)行區(qū)分，在選取的字符圖像中選取15個(gè)位置點(diǎn)進(jìn)行檢測(cè)并確定像素值，再根據(jù)這些像素點(diǎn)對(duì)所識(shí)別字符進(jìn)行分級(jí)，如：檢測(cè)字符高度與寬度比，比值大于4，字符為1，如果不符合，再排除與所識(shí)別字符相似的模板和其他一部分模板，再進(jìn)行第二輪檢測(cè)，最后再用剩余模板進(jìn)行匹配檢測(cè)，檢測(cè)突變字符的情況，以此類推逐步排除不可能的字符模板，最后用剩下的模板對(duì)字符進(jìn)行模板匹配算法來解決傳統(tǒng)模板匹配中的問題。

4 結(jié)語

但目前使用的方法大多還比較傳統(tǒng)，存在著效率低、錯(cuò)誤率高的情況，隨著我國交通壓力的增大，必須要對(duì)此進(jìn)行改進(jìn)，有效提高我國交通管理的科技含量。