基于顏色通道的車牌定位算法研究

陳大龍 魏東迎 孟 維

南京華蘇科技有限公司

0 引言

隨著近幾年計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展，深度學(xué)習(xí)技術(shù)在各個(gè)領(lǐng)域獲得了不錯(cuò)的成績(jī)和試驗(yàn)成果，特別是在語(yǔ)音識(shí)別和圖像識(shí)別領(lǐng)域，所以深度學(xué)習(xí)開(kāi)始越來(lái)越多的應(yīng)用到實(shí)際的行業(yè)中。傳統(tǒng)圖像檢測(cè)算法相對(duì)深度學(xué)習(xí)而言，在目前很多的圖像識(shí)別領(lǐng)域沒(méi)有優(yōu)勢(shì)可言，然而在一些傳統(tǒng)行業(yè)，傳統(tǒng)圖像算法卻是深度學(xué)習(xí)無(wú)法替代和比擬的，例如工業(yè)檢測(cè)、視覺(jué)尺寸測(cè)量等。傳統(tǒng)算法相對(duì)與深度學(xué)習(xí)不需要大量的樣本，針對(duì)不同的檢測(cè)需求可以快速做出調(diào)整等優(yōu)點(diǎn)，目前仍然應(yīng)用在很多領(lǐng)域中。由于汽車車牌其具有一定的規(guī)范性，使用傳統(tǒng)算法可以很好地提取其特征量從而進(jìn)行快速的檢測(cè)。

針對(duì)車牌的檢測(cè)傳統(tǒng)圖像算法的處理流程基本上是：首先進(jìn)行圖像處理獲得單通道圖像，然后對(duì)單通道圖像進(jìn)行二值化處理，最后對(duì)二值圖進(jìn)行區(qū)域提取分析確定車牌區(qū)域。在處理的過(guò)程中，二值化處理往往是研究的重點(diǎn)和難點(diǎn)，因?yàn)槠浣Y(jié)果決定車牌區(qū)域是否可以有效地被表示出來(lái)。但二值化的弊端也是顯而易見(jiàn)的，高于車牌灰度值的區(qū)域也會(huì)被保留甚至和車牌連為一體。本文針對(duì)車牌二值化存在的問(wèn)題，采用Kmeans結(jié)合灰度直方圖的方法對(duì)區(qū)域進(jìn)行分割從而替代一般的二值化處理的方式，以提高對(duì)車牌區(qū)域的有效分割。對(duì)于獲取的預(yù)處理單通道圖，本文充分利用車牌顏色的特性，經(jīng)過(guò)彩色通道的處理獲得有效的單通道圖，從而提高圖像的區(qū)域分割正確率。對(duì)于分割后的區(qū)域，采用SVM的方法對(duì)本文新設(shè)計(jì)的特征向量進(jìn)行區(qū)分，從而最終獲得車牌區(qū)域完成定位。

1 研究現(xiàn)狀

車牌識(shí)別系統(tǒng)是一種比較成熟的圖像識(shí)別智能設(shè)備，目前已經(jīng)大量應(yīng)用于停車場(chǎng)、交通管理、電子收費(fèi)、車輛追蹤等領(lǐng)域。通常車牌檢測(cè)系統(tǒng)一般采用傳統(tǒng)的圖像處理算法進(jìn)行車牌的提取和識(shí)別，現(xiàn)有較為常用的車牌定位方法主要有三種：一是基于車牌顏色特征的方法；二是基于邊緣檢測(cè)的方法；三是基于adaboost結(jié)合haar特征檢測(cè)的方法。方法一較為簡(jiǎn)單、易于實(shí)現(xiàn)，但魯棒性不夠好，受光照、車牌磨損等因素影響很大，并且在車身顏色和車牌顏色較為相近時(shí)定位區(qū)域容易出錯(cuò)；方法二定位較為準(zhǔn)確，但在復(fù)雜場(chǎng)景中虛警率較高；方法三在單獨(dú)使用時(shí)很難把車牌區(qū)域完成地檢測(cè)出來(lái)且虛警率較高。

隨著深度學(xué)習(xí)網(wǎng)絡(luò)的興起，目前的車牌系統(tǒng)研究絕大多數(shù)開(kāi)始集中于深度學(xué)習(xí)領(lǐng)域。通過(guò)對(duì)各種不用模型網(wǎng)絡(luò)結(jié)構(gòu)的修改和優(yōu)化，或者訓(xùn)練數(shù)據(jù)集的多樣性和增強(qiáng)等處理，以達(dá)到提高檢測(cè)效率的目的，常見(jiàn)的有YoLo、SSD等網(wǎng)絡(luò)的各種變形。但是深度學(xué)習(xí)往往需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，且存在不可預(yù)測(cè)性。由于其端到端的屬性，所以當(dāng)模型出現(xiàn)一定的檢測(cè)能力退化的時(shí)候，重新訓(xùn)練需要大量的時(shí)間和數(shù)據(jù)集，因此存在了一定的不便性且深度學(xué)習(xí)往往需要GPU作為算力支撐，造成了高昂的成本。為了實(shí)現(xiàn)快速檢測(cè)定位和實(shí)際部署以及實(shí)用性，本文提出了基于傳統(tǒng)圖像處理的一種新的檢測(cè)方法，從而實(shí)現(xiàn)車牌在復(fù)雜環(huán)境下的快速定位和提取。

2 測(cè)試數(shù)據(jù)

為了充分驗(yàn)證算法的實(shí)用性和適用性，本文中所用的數(shù)據(jù)集全部來(lái)自于真實(shí)環(huán)境拍攝。為了最大程度的體現(xiàn)車牌檢測(cè)的使用環(huán)境，對(duì)于車牌數(shù)據(jù)分別在不同路段，不同天氣環(huán)境下進(jìn)行了采集，以此來(lái)保證數(shù)據(jù)的多樣性和實(shí)用性。

數(shù)據(jù)集均為人工采集，在充分考慮數(shù)據(jù)多樣性的情況下，一共采集到有效圖像1800張，黃色、綠色、藍(lán)色車牌各600張，其中每個(gè)車牌在光照環(huán)境、拍攝角度、視距遠(yuǎn)近三種條件下各200張圖像。圖像數(shù)據(jù)在滿足多樣性的情況下，也考慮了數(shù)據(jù)的均衡性問(wèn)題，因此三種車牌采集的圖像具有一定的普適性和合理性。

3 算法流程

3.1 圖像彩色通道處理

為了有效地凸顯車牌信息，針對(duì)車牌具有固定顏色的特點(diǎn)，本文分析了不同車牌在不同顏色通道下的表現(xiàn)形式，本文僅以黃色車牌作為樣例展示，分別對(duì)比分析了RGB圖像轉(zhuǎn)為L(zhǎng)ab、Luv、YCrCb形式下的各通道圖像效果。

針對(duì)黃色車牌而言，在Lab，Luv色彩模式b通道下黃色表現(xiàn)為灰度值較低，在YCrCb色彩模式的Cb通道下，黃色表現(xiàn)為灰度值較大，針對(duì)這種情況本文將Cb通道和b通道做差取得需要檢測(cè)的單通道圖S，具體處理公式如下所示：

對(duì)于公式1，其中VCb，Vb分別代表Cb通道和v通道圖像對(duì)應(yīng)點(diǎn)的灰度值，V代表做差后產(chǎn)生的新的單通道差值圖S對(duì)應(yīng)像素點(diǎn)的灰度值。其具體效果和原圖的灰度圖如圖1所示。

圖1 單通道差值圖和原圖灰度圖

通過(guò)彩色通道的預(yù)處理得到的灰度差值圖相較于原圖的灰度圖而言，光照和其他顏色的影響都得到了相對(duì)的弱化，黃色車牌在差值圖中更好地凸顯了出來(lái)，而且和其相近區(qū)域顏色具有明顯的灰度值區(qū)分，這對(duì)于區(qū)域的分割具有良好的效果。所以采用彩色通道處理后的單通道圖，具有良好的區(qū)分度和一定抗干擾性。

3.2 自適應(yīng)Kmeans區(qū)域分割

K-means的定義：k均值聚類算法（k-means clustering algorithm）是一種迭代求解的聚類分析算法，其步驟是，預(yù)將數(shù)據(jù)分為K組，則隨機(jī)選取K個(gè)對(duì)象作為初始的聚類中心，然后計(jì)算每個(gè)對(duì)象與各個(gè)種子聚類中心之間的距離，把每個(gè)對(duì)象分配給距離它最近的聚類中心。聚類中心以及分配給它們的對(duì)象就代表一個(gè)聚類。每分配一個(gè)樣本，聚類的聚類中心會(huì)根據(jù)聚類中現(xiàn)有的對(duì)象被重新計(jì)算。這個(gè)過(guò)程將不斷重復(fù)直到滿足某個(gè)終止條件。終止條件可以是沒(méi)有（或最小數(shù)目）對(duì)象被重新分配給不同的聚類，沒(méi)有（或最小數(shù)目）聚類中心再發(fā)生變化，誤差平方和局部最小。

對(duì)于預(yù)處理獲得的單通道差分圖，常用的方法是使用不同的閾值處理獲得二值圖像，常用的有固定閾值化處理、區(qū)域自適應(yīng)閾值化處理、類間方差最大化閾值處理等方法。對(duì)于目標(biāo)明顯且目標(biāo)明顯灰度高或者低的時(shí)候，閾值處理不失為一種有效快速的方法。但是本文針對(duì)的檢測(cè)環(huán)境較為復(fù)雜，在檢測(cè)目標(biāo)即車牌附近可能出現(xiàn)灰度值相近的情況，以及灰度值比車牌灰度值大或者小的區(qū)域，這種情況會(huì)造成區(qū)域的連接，如圖2所示。

圖2 不同二值化方法效果圖

根據(jù)不同二值化方法的效果可知，固定閾值雖然有時(shí)會(huì)取得較理想的效果，但是其固定閾值的缺點(diǎn)導(dǎo)致根本無(wú)法應(yīng)用于本文檢測(cè)環(huán)境的問(wèn)題，而區(qū)域自適應(yīng)和類間方差最大算法的結(jié)果明顯不太理想。所以為了提高對(duì)車牌的區(qū)域的有效提取，本文將Kmeans和圖像的灰度直方圖特征相結(jié)合，提出了一種新的有效檢測(cè)方法。

對(duì)于檢測(cè)的圖像首先計(jì)算灰度直方圖，繼續(xù)以上一節(jié)的單通道差值圖為例，其灰度直方圖的折線圖如圖3所示。

第四，分銷渠道延伸性較弱，忽視促銷策略。直接渠道模式，是南通鵬越紡織有限公司的主要分銷模式，但這在一定程度上制約了企業(yè)的發(fā)展，且對(duì)競(jìng)爭(zhēng)對(duì)手的了解相對(duì)落后。且在促銷實(shí)踐中，推銷人員不足，推銷力度廣度都不夠，新客戶群體的獲得都會(huì)受到不同程度的影響。

圖3 灰度直方圖

從總體灰度直方圖和局部灰度直方圖折線圖可以看到，圖像在最左側(cè)有一個(gè)大波峰，在局部直方圖內(nèi)有兩個(gè)明顯的大波峰。對(duì)于灰度直方圖來(lái)說(shuō)，每一個(gè)波峰意味著圖像上像素值的出現(xiàn)次數(shù)頻數(shù)，而通道差值圖中的灰度值不同區(qū)域也就對(duì)應(yīng)著不同的波峰區(qū)域。因此準(zhǔn)確提取波峰的個(gè)數(shù)，并以此作為區(qū)域分類的類別數(shù)對(duì)圖像的灰度值進(jìn)行分類，可以有效地分類灰度值從而達(dá)到區(qū)域分割的目的。對(duì)于波峰的提取，將灰度直方圖表示為數(shù)列如下式所示：

其中A為波峰像素值集合，為對(duì)應(yīng)i灰度值時(shí)的數(shù)值，i為像素的灰度值，范圍為[0,255]的整數(shù)。對(duì)公式2，按下式計(jì)算得到波峰數(shù)列 B，如下式3所示：

其中B(i)為得到的波峰序列，i為像素灰度值，范圍為（0，255）的整數(shù)。

對(duì)于得到的波峰序列便是灰度直方圖的所有波峰，但是根據(jù)實(shí)際情況考慮并不是所有波峰都可以作為一個(gè)類別數(shù)，對(duì)于相接較近的波峰應(yīng)該取附近區(qū)域最大的波峰作為主波峰，也就是圖3中的局部灰度直方圖的2個(gè)紅框所示的情況。為了選取合適的波峰數(shù)，需要設(shè)定相應(yīng)的波峰寬度w，然后對(duì)數(shù)列B(i)進(jìn)行計(jì)算，按如下公式4獲得過(guò)濾后的波峰序列C(i)。

其中i{max|B(i)~B(i+w)}為B(i)~B(i+w)序列最大對(duì)應(yīng)的i值，對(duì)得到的數(shù)列C(i)進(jìn)行同數(shù)的除去，只保留不相同的數(shù)，最后C數(shù)列的元素個(gè)數(shù)就是圖像最終需要分類的數(shù)目S，C數(shù)列如下式5所示：

將得到的數(shù)列C的元素個(gè)數(shù)設(shè)置為Kmeans的類別數(shù)，將C數(shù)列的元素?cái)?shù)值作為Kmean的種子值，然后對(duì)通道差值圖進(jìn)行聚類。經(jīng)過(guò)聚類后的圖像分割效果如圖4所示。

圖4 Kmeans分割圖

3.3 區(qū)域判斷

對(duì)于使用Kmeans聚類分割出來(lái)的候選區(qū)域，需要進(jìn)一步的進(jìn)行判斷篩選從而選出真正的車牌區(qū)域。首先對(duì)需要判別的候選區(qū)域計(jì)算其外界矩形獲取局部的小圖像，如圖5所示。

圖5 候選區(qū)域圖

然后根據(jù)像素的分類值，將圖5中紅色的類別的像素點(diǎn)選取出來(lái)置為255，其他像素點(diǎn)灰度值置為0，即將計(jì)算外接矩形的目標(biāo)候選區(qū)域像素點(diǎn)提取出來(lái)。從而可以獲得候選區(qū)域的二值圖，如圖6所示。

圖6 候選區(qū)域二值圖

對(duì)于候選區(qū)域的篩選常見(jiàn)的篩選方法是通過(guò)長(zhǎng)寬比、面積等進(jìn)行篩選，但是這些都存在一些顯而易見(jiàn)的弊端，比如長(zhǎng)寬比和面積都符合的，可能是中心區(qū)域鏤空的一個(gè)矩形。又由于本文研究的檢測(cè)條件還存在拍攝角度和視距的遠(yuǎn)近等問(wèn)題，所以常用的長(zhǎng)寬比、面積等方法將無(wú)法達(dá)到準(zhǔn)確篩選的效果。

為了更準(zhǔn)確地進(jìn)行判斷，本文根據(jù)車牌的特征采用垂直方向上累計(jì)灰度直方圖變化進(jìn)行車牌的判斷。為了減少車牌邊緣存在模糊的影響，在計(jì)算垂直方向累計(jì)直方圖時(shí)，先在垂直方向的上下進(jìn)行一定的內(nèi)縮，內(nèi)縮大小為候選區(qū)域最小外接矩形的短邊長(zhǎng)度的二分之一，經(jīng)過(guò)處理后的圖像如圖7所示。

圖7 上下內(nèi)縮后候選區(qū)域二值圖

對(duì)處理后的圖像計(jì)算垂直累計(jì)積分，如圖8所示。

圖8 垂直累計(jì)直方圖

從垂直累計(jì)直方圖可以看出來(lái)，存在明顯的8個(gè)波峰，且每個(gè)波峰之間間距差距不大，這是因?yàn)檐嚺铺?hào)碼之間存在間隙造成，所以根據(jù)這種特性使用上一節(jié)計(jì)算波峰的方法計(jì)算出直方圖的波峰數(shù)，根據(jù)波峰數(shù)的數(shù)目個(gè)間距可以判斷出是否為車牌區(qū)域。對(duì)于波峰數(shù)的篩選條件，由于可能存在提取不準(zhǔn)等情況，通過(guò)測(cè)試經(jīng)驗(yàn)，將波峰數(shù)閾值設(shè)為5比較合適。至此，就完成了整個(gè)車牌提取的過(guò)程。

4 數(shù)據(jù)驗(yàn)證和分析

本文對(duì)采集到的一共1800張車牌的數(shù)據(jù)集進(jìn)行了不同條件下的測(cè)試，分別在光照、拍攝角度、視距大小等不同條件下進(jìn)行了測(cè)試統(tǒng)計(jì)，分析在不同的場(chǎng)景下，對(duì)于不同顏色的車牌的識(shí)別率。識(shí)別率的定義為，在同一條件下識(shí)別出的車牌數(shù)與車牌總數(shù)的占比。其中每種車牌的總張數(shù)為600張，每個(gè)測(cè)試條件下的張數(shù)為200張，根據(jù)不同的測(cè)試條件獲得的測(cè)試數(shù)據(jù)如表1所示。

表1 測(cè)試結(jié)果

通過(guò)對(duì)不同情況下采集的數(shù)據(jù)進(jìn)行測(cè)試，在光照變化的數(shù)據(jù)集中三種顏色車牌檢測(cè)都是不同條件下最差的，主要是車牌的顏色在不同光照下表現(xiàn)的差距比較大，本文主要是根據(jù)顏色通道進(jìn)行預(yù)處理的，因此光照的變化對(duì)本文產(chǎn)生的影響較大，但是相對(duì)傳統(tǒng)的灰度圖檢測(cè)效果還是獲得了一定的提升。光照不同條件下，因?yàn)榫G色車牌是漸變色的緣故，因此檢測(cè)效果是三種顏色車牌中最差，黃色屬于比較顯著的亮色因此是三種效果最好的。對(duì)于不同視角的拍攝情況，由于拍攝視角的不同對(duì)于顏色通道處理不會(huì)產(chǎn)生很大的影響，其影響主要體現(xiàn)在對(duì)于候選區(qū)域的篩選階段，由于過(guò)度傾斜的角度會(huì)造成候選區(qū)域的區(qū)域二值圖中字符間隔縮短甚至消失，因此造成垂直積分圖的波峰數(shù)減少?gòu)亩斐陕z，因此造成檢測(cè)率降低的主要是傾斜角過(guò)大的圖像，經(jīng)過(guò)測(cè)試當(dāng)傾斜視角大于60度時(shí)將產(chǎn)生明顯的影響。對(duì)于視距遠(yuǎn)近條件下的測(cè)試，同樣是由于視距的過(guò)遠(yuǎn)造成字符的模糊和車牌字符間隔的消失，從而造成篩選出錯(cuò)。

通過(guò)對(duì)實(shí)際數(shù)據(jù)的分析可知，本文雖然解決了一定的光照、拍攝角度等問(wèn)題的影響，但是在環(huán)境較暗致使車牌顏色無(wú)法很好顯現(xiàn)、傾斜度過(guò)大、視距過(guò)遠(yuǎn)的時(shí)候，還是無(wú)法很好地檢測(cè)，針對(duì)這種情況，一方面可以提高圖像采集像的分辨率和光照敏感度等，另一面可以嘗試在顏色通道預(yù)處理時(shí)，做一定的對(duì)比度增強(qiáng)等方法，從而提高檢測(cè)的精度和準(zhǔn)確度。

此外本文還分別測(cè)試其他傳統(tǒng)算法和深度學(xué)習(xí)算法在本數(shù)據(jù)集上得效果，具體數(shù)據(jù)如表2所示。

表2 不同算法測(cè)試效果

通過(guò)對(duì)比得出，使用傳統(tǒng)的算法閾值處理+條件篩選，平均識(shí)別率遠(yuǎn)低于其他算法，主要原因在于光照環(huán)境、視角、距離遠(yuǎn)近等產(chǎn)生的影響。而目標(biāo)檢測(cè)算法如YoLo有很高的準(zhǔn)確率，但是受限與樣本的數(shù)量，和樣本的類別。如果樣本總量較少，或復(fù)雜場(chǎng)景下的樣本的總數(shù)少的前提下，目標(biāo)檢測(cè)算法的準(zhǔn)確率也會(huì)受到較大的限制。且目標(biāo)檢測(cè)算法在進(jìn)行識(shí)別時(shí)，需要進(jìn)行復(fù)雜的運(yùn)算，因此檢測(cè)的速率較低。因此本文使用的圖像灰度直方圖和Kmeans相結(jié)合的方法，無(wú)需進(jìn)行復(fù)雜的推理運(yùn)算，不受復(fù)雜環(huán)境的影響，依然保持高效地檢測(cè)速率。

5 結(jié)束語(yǔ)

本文主要通過(guò)圖像灰度直方圖和Kmeans相結(jié)合的定位算法，實(shí)現(xiàn)了小樣本數(shù)據(jù)在復(fù)雜場(chǎng)景下的車牌定位，相較于傳統(tǒng)的算法，本文采用的算法可以適用各種復(fù)雜的環(huán)境。與深度學(xué)習(xí)目標(biāo)檢測(cè)相比，本文采用的算法可以采用少量的樣本，便可獲得很高的識(shí)別的準(zhǔn)確率。因此本文的算法具有深度學(xué)習(xí)的檢測(cè)準(zhǔn)確率，又有傳統(tǒng)算法的檢測(cè)速率。兼顧了兩類算法的優(yōu)點(diǎn)。非常適合復(fù)雜環(huán)境下的車牌的提取。