基于East的大角度傾斜車牌檢測(cè)算法研究

楊飚，周文婷

（北方工業(yè)大學(xué)城市道路交通智能控制技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100144）

車牌檢測(cè)是車牌識(shí)別系統(tǒng)中關(guān)鍵的第一步，傳統(tǒng)的車牌檢測(cè)算法存在大角度下車牌檢測(cè)精度不高的問題。East 算法將車牌檢測(cè)看成場(chǎng)景文本檢測(cè)問題來處理，直接預(yù)測(cè)圖像中任意角度的車牌位置和傾斜信息。采用改進(jìn)的East 網(wǎng)絡(luò)對(duì)車牌進(jìn)行檢測(cè)，特征提取采用PVANet 來加速運(yùn)算，整個(gè)網(wǎng)絡(luò)端到端訓(xùn)練，有效避免不必要的中間步驟，直接得到車牌區(qū)域。實(shí)驗(yàn)結(jié)果表明，構(gòu)建的車牌檢測(cè)算法具有較好的檢測(cè)效果，可以準(zhǔn)確檢測(cè)大角度傾斜車牌的位置坐標(biāo)信息，提高檢測(cè)精度。

車牌檢測(cè)；神經(jīng)網(wǎng)絡(luò)；East 網(wǎng)絡(luò)

0 引言

車牌識(shí)別是智能交通系統(tǒng)中非常重要的基礎(chǔ)功能，應(yīng)用廣泛。當(dāng)前的車牌識(shí)別算法主要用于收費(fèi)站和卡口等車牌傾角固定或者傾斜角不大的場(chǎng)合，市場(chǎng)上也有很多車牌識(shí)別系統(tǒng)，對(duì)于傾斜角度不大的車牌識(shí)別效果很好。但是對(duì)于某些場(chǎng)景來說，例如停車場(chǎng)出入口，車輛行駛方向不一，車牌在圖像中往往具有大角度傾斜，目前市場(chǎng)上的車牌識(shí)別產(chǎn)品對(duì)此適應(yīng)性并不太好，因此對(duì)大角度傾斜車牌進(jìn)行準(zhǔn)確定位和識(shí)別具有重要的現(xiàn)實(shí)意義。

針對(duì)車牌傾斜角度不大的情況，已有的基于深度學(xué)習(xí)的檢測(cè)算法有Faster R-CNN[1]、YOLO[2]、SSD[3]等，但對(duì)于車牌傾斜角度較大的情況檢測(cè)到的車牌效果并不是很好，并且上述算法檢測(cè)到的車牌區(qū)域是以外接矩形框（Bounding Box）作為輸出，不便于進(jìn)一步的車牌矯正與車牌字符識(shí)別。

本文針對(duì)大角度傾斜車牌檢測(cè)問題進(jìn)行研究，采用了基于場(chǎng)景文本字符檢測(cè)的East[4]網(wǎng)絡(luò)結(jié)構(gòu)來構(gòu)造一種車牌檢測(cè)算法，直接得出車牌文字區(qū)域頂點(diǎn)坐標(biāo)，為后續(xù)車牌校正[5]和識(shí)別提供了有力的基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明，無論對(duì)于普通情況下車牌或是大角度傾斜車牌，本文算法均得到較好的檢測(cè)效果。

1 基于East網(wǎng)絡(luò)的大角度傾斜車牌檢測(cè)算法

本文采用一種場(chǎng)景文本字符檢測(cè)算法，即East 檢測(cè)算法，設(shè)計(jì)一個(gè)深度神經(jīng)網(wǎng)絡(luò)，將含有車牌的圖像作為輸入，直接預(yù)測(cè)整體圖像中大角度傾斜的車牌，通過單個(gè)神經(jīng)網(wǎng)絡(luò)消除不必要的中間步驟（候選聚合和單詞分割），利用局部感知和權(quán)值共享來降低網(wǎng)絡(luò)的復(fù)雜度，為了使網(wǎng)絡(luò)快速收斂，采用反向傳播算法，得到很好的訓(xùn)練模型，定位到大角度下車牌邊框四個(gè)點(diǎn)的任意四邊形，輸出為車牌邊界框的四個(gè)坐標(biāo)點(diǎn)坐標(biāo)。車牌檢測(cè)整體框架如圖1 所示。

1.1 改進(jìn)的East網(wǎng)絡(luò)模型

為了提高大角度傾斜車牌的檢測(cè)精度，采用改進(jìn)后的East 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，主要過程分為兩階段，特征提取和特征合并，最后輸出訓(xùn)練模型。East 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖1 車牌檢測(cè)整體框架

圖2 East網(wǎng)絡(luò)結(jié)構(gòu)

整體East 網(wǎng)絡(luò)結(jié)構(gòu)分為三個(gè)部分：特征提取層、特征合并層和輸出層。由于停車場(chǎng)硬件條件有限，大多數(shù)設(shè)備無GPU 或是基于嵌入式的，對(duì)于復(fù)雜網(wǎng)絡(luò)運(yùn)行起來比較困難，本文針對(duì)East 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。在特征提取層中，原始網(wǎng)絡(luò)采用ResNet_v1_50 來提取特征，考慮簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)和減少運(yùn)行時(shí)間，本文采用PVANet[6]網(wǎng)絡(luò)結(jié)構(gòu)來提取特征，該網(wǎng)絡(luò)使用了C.ReLU（級(jí)聯(lián)整流線性單元）、Inception[7]、HyperNet 和residual模塊等，減少了卷積核數(shù)目，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)；在特征合并層，將提取到的車牌圖像特征信息進(jìn)行合并，每一個(gè)特征合并階段，最后一個(gè)特征映射采用上池化操作擴(kuò)大尺寸，以保留更多的原始圖像信息，分別采用3×3、1×1 卷積核進(jìn)行卷積操作，減少計(jì)算量，然后與當(dāng)前特征映射進(jìn)行連接，合并最后結(jié)果到輸出層；輸出層包含文本得分和文本形狀，對(duì)于檢測(cè)形狀為RBOX，則輸出包含文本得分和文本形狀（AABB boundingbox 和rotate angle）：4 個(gè)回歸的框+1 個(gè)角度信息，有6 個(gè)輸出；對(duì)于檢測(cè)形狀為QUAD（quadrangle），則輸出包含文本得分和文本形狀：輸出一個(gè)score map+8 個(gè)坐標(biāo)信息，有9 個(gè)輸出。最終實(shí)現(xiàn)對(duì)多方向文本的檢測(cè)。

1.2 網(wǎng)絡(luò)訓(xùn)練

本文采用改進(jìn)的East 網(wǎng)絡(luò)訓(xùn)練車牌數(shù)據(jù)，采用的訓(xùn)練數(shù)據(jù)除了常見的30 個(gè)省份普通單行藍(lán)色車牌，還包含有單行黃牌、雙層白牌、警用車牌、軍用車牌、大使館車牌、武警車牌、消防車牌、教練車牌、新能源車牌等，以及在極端環(huán)境下的車牌如陰陽(yáng)牌、不同傾斜角度的車牌、不同光照強(qiáng)度下的車牌等?？倶颖緮?shù)為41537。針對(duì)這些圖片進(jìn)行標(biāo)注，在使用時(shí)把總樣本數(shù)分為三類，訓(xùn)練集、驗(yàn)證集和測(cè)試集，采用40117 張圖片作為訓(xùn)練集，429 張圖片作為驗(yàn)證集，991 張圖片作為測(cè)試集。用訓(xùn)練集來訓(xùn)練模型，用驗(yàn)證集上的測(cè)試性能進(jìn)行模型調(diào)參，用測(cè)試集的檢測(cè)效果來估計(jì)模型在實(shí)際應(yīng)用時(shí)的泛化能力。

實(shí)驗(yàn)結(jié)果主要是在PC 端完成訓(xùn)練和測(cè)試的。PC主要配置為：Linux 16.04 操作系統(tǒng)，處理器為IntelCore i7-6700 CPU@3.40GHz×8，顯卡是GeForce GTX 1060 6GB，采用的深度學(xué)習(xí)框架是TensorFlow。

在訓(xùn)練時(shí)，通過車牌標(biāo)注軟件人工預(yù)先標(biāo)注圖像中車牌信息數(shù)據(jù)，包括車牌在圖像中的坐標(biāo)位置信息、車牌號(hào)、車牌顏色、車牌類型等，對(duì)于車牌位置按照逆時(shí)針方向進(jìn)行標(biāo)注，標(biāo)注生成四個(gè)點(diǎn)坐標(biāo)，生成包含有這些信息的標(biāo)注數(shù)據(jù)文件，進(jìn)行訓(xùn)練和分析，得到訓(xùn)練模型。由于大角度傾斜車牌樣本不是很多，對(duì)車牌數(shù)據(jù)進(jìn)行樣本擴(kuò)增[8]，分為兩種擴(kuò)增方式，一種是對(duì)傾斜圖像進(jìn)行縮放變換，另一種是采用旋轉(zhuǎn)矩陣和平移變換對(duì)正常車牌圖像進(jìn)行變換，以達(dá)到大角度傾斜車牌數(shù)據(jù)擴(kuò)增的目的。為了加快學(xué)習(xí)速率，對(duì)圖片進(jìn)行了預(yù)處理，調(diào)整圖片尺寸大小為512×512，訓(xùn)練批次調(diào)整為8，初始學(xué)習(xí)率為0.001，學(xué)習(xí)衰減率為0.94，每10000 次迭代生成一個(gè)訓(xùn)練模型，模型衰減速率（decay）設(shè)置為0.997，用于控制模型的更新速度，采用滑動(dòng)平均的方法更新參數(shù)，使用ADAM 優(yōu)化器進(jìn)行端到端訓(xùn)練，總共訓(xùn)練10 萬(wàn)次。在車牌檢測(cè)網(wǎng)絡(luò)輸出之后，與常用的目標(biāo)檢測(cè)算法相似，閾值處理后的圖形使用非極大值抑制[9]（NMS）的方法來過濾掉冗余的邊界框，以此得到最終結(jié)果，由于本文中處理的幾何體個(gè)數(shù)較多，若采用普通的NMS 計(jì)算，其計(jì)算時(shí)間復(fù)雜度為O(n2)，n 表示幾何體的數(shù)目，很明顯若采用此類方式將有較高的計(jì)算復(fù)雜度，且不容易實(shí)現(xiàn)，故采用基于鄰近幾何體的行合并方法，即局部感知NMS 投票機(jī)制，合并的幾何體具有高度相關(guān)性，通過兩個(gè)給定的四邊形得分進(jìn)行加權(quán)平均，對(duì)于各種情況下的圖片具有較高的穩(wěn)定性。

1.3 車牌檢測(cè)

車牌檢測(cè)就是將包含有車牌的圖像進(jìn)行車牌定位，能夠框出圖像中的車牌，并準(zhǔn)確獲取圖像中的車牌所在坐標(biāo)位置信息的過程。輸入原始圖像，進(jìn)行數(shù)據(jù)預(yù)處理[10]操作，采用全卷積網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，輸出訓(xùn)練模型。實(shí)際收集到的圖像背景復(fù)雜，種類較多，在對(duì)圖像中的車牌進(jìn)行定位時(shí)，需要對(duì)原始圖像進(jìn)行預(yù)處理操作，用以消除噪聲干擾，提高檢測(cè)精度。主要預(yù)處理過程包括利用圖像增強(qiáng)以消除噪聲，對(duì)于不均勻光照的影響，通過增強(qiáng)對(duì)比度使圖像中的目標(biāo)可辨識(shí)性增強(qiáng)檢測(cè)率。圖3 為車牌大角度傾斜情況、強(qiáng)光照、光照不均、光照較暗、車牌字符模糊不清以及特殊車牌情況下的車牌檢測(cè)樣本。

圖3

2 實(shí)驗(yàn)結(jié)果

為了評(píng)估該算法在大角度傾斜下的車牌檢測(cè)精度，使用本文算法與市場(chǎng)上占有率領(lǐng)先的兩家公司（分別用甲、乙代表）的車牌識(shí)別產(chǎn)品進(jìn)行了實(shí)驗(yàn)對(duì)比，測(cè)試數(shù)據(jù)分為兩類，包括普通車牌和大角度傾斜車牌，分別從準(zhǔn)確率（Accuracy）、精確率（Precision）和召回率（Recall）三個(gè)指標(biāo)來分析。

準(zhǔn)確率表示給定的測(cè)試集中，分類器正確分類的樣本數(shù)與總樣本數(shù)之比。計(jì)算公式為：A=（TP+TN）/（TP+TN+FN+FP）

精確率表示預(yù)測(cè)為車牌的樣本中有多少是真正的車牌。計(jì)算公式為：P=TP/（TP+FP）

召回率表示樣本中的真正車牌有多少被預(yù)測(cè)正確了，即是車牌檢測(cè)率。計(jì)算公式為：R=TP/（TP+FN）

分析車牌檢測(cè)實(shí)驗(yàn)數(shù)據(jù)，得出表1 實(shí)驗(yàn)結(jié)果。

表1 算法檢測(cè)結(jié)果對(duì)比

分析表1 中結(jié)果，通過分別使用甲乙兩家公司產(chǎn)品和本文算法實(shí)驗(yàn)測(cè)試發(fā)現(xiàn)，甲乙公司產(chǎn)品對(duì)于普通車牌準(zhǔn)確率分別達(dá)到90.79%、96.60%，檢測(cè)率分別達(dá)到96.60%、98.25%，本文算法對(duì)于普通車牌準(zhǔn)確率和檢測(cè)率均達(dá)到99%以上。對(duì)于大角度傾斜車牌甲公司產(chǎn)品準(zhǔn)確率只有75%左右，檢測(cè)率為84.83%，采用本文算法準(zhǔn)確率和檢測(cè)率最高達(dá)到20%左右的提高。綜合來說，無論普通車牌還是大角度傾斜車牌，采用本文算法做車牌檢測(cè)都有明顯的提高，對(duì)于普通情況下各類車牌檢測(cè)準(zhǔn)確率和召回率都達(dá)到99%以上，對(duì)于大角度傾斜情況車牌檢測(cè)準(zhǔn)確率和召回率達(dá)到95%以上。

3 結(jié)語(yǔ)

車牌檢測(cè)精度直接對(duì)后續(xù)車牌識(shí)別問題有很大影響。當(dāng)圖片中的車牌角度傾斜很大時(shí)，對(duì)于車牌檢測(cè)率有很大影響，易產(chǎn)生漏檢或者錯(cuò)檢，一般情況下大于40 度的傾斜就會(huì)產(chǎn)生偏差，即圖像中的車牌區(qū)域不能夠全部被檢測(cè)框檢測(cè)完整，當(dāng)在40-60 度之間圖像成像會(huì)變形。本文利用East 場(chǎng)景文本檢測(cè)算法，將其應(yīng)用于大角度車牌檢測(cè)，直接進(jìn)行端到端訓(xùn)練，去掉了全連接網(wǎng)絡(luò)，采用一種全卷積網(wǎng)絡(luò)（FCN）模型，減少訓(xùn)練參數(shù)，實(shí)現(xiàn)了快速而準(zhǔn)確地檢測(cè)圖片中的大角度車牌，取得了較高的檢測(cè)速度和檢測(cè)精度。