基于最大間隔符號(hào)特征的車牌字符分割算法*

段 娜，劉力政

(公安部第三研究所，上海200000)

0 引 言

基于機(jī)器視覺的車牌識(shí)別是智能交通系統(tǒng)的重要組成部分，其核心技術(shù)主要包括車牌定位，字符分割和字符識(shí)別3 塊。字符分割的目的在于將字符串分割成易于識(shí)別的單個(gè)字符，大幅削弱噪聲對(duì)識(shí)別的影響。目前常用的方法主要分為以下幾類［1］:①投影法利用二值圖像［2］的水平垂直投影的波谷進(jìn)行切分。但由于噪聲、光照變化、污染等不利情況，投影分割法可能存在字符斷裂或粘連。因此采用類似于文獻(xiàn)［3-5］中的方法，將投影分割與自適應(yīng)閾值法結(jié)合起來解決粘連字符的再分割問題;②連通域分析法在對(duì)二值圖像進(jìn)行聚類的基礎(chǔ)上結(jié)合先驗(yàn)知識(shí)實(shí)現(xiàn)單個(gè)字符區(qū)域的分離。連通域分析法通常利用二值區(qū)域的尺寸［6-8］，或者利用向量量化［9］和數(shù)學(xué)形態(tài)學(xué)［10］等工具提高連通域的分析效果。但類似于投影法，在噪聲、光線變化、污染等情況的影響下同樣會(huì)遇到對(duì)于邊框與多個(gè)字符粘連的字符分割和斷裂字符的合并問題;③先驗(yàn)知識(shí)法是依據(jù)先驗(yàn)知識(shí)進(jìn)行分割的方法，準(zhǔn)確獲取分割基準(zhǔn)點(diǎn)是此方法的關(guān)鍵。Jin Q 等依據(jù)車牌的長寬比、字符的長寬比以及相鄰字符間隔等先驗(yàn)知識(shí)的車牌模板進(jìn)行切割，但該方法并沒有明確指出使用先驗(yàn)知識(shí)所必須的基準(zhǔn)點(diǎn)，需要多次匹配運(yùn)算并評(píng)估相應(yīng)的置信度，時(shí)間復(fù)雜度較大。X.N.Wang 等根據(jù)車牌的長寬比、字符寬度比以及相鄰字符間隔等先驗(yàn)知識(shí)定位車牌的第二三個(gè)字符的間隔符，從而在投影圖像中將其直接濾除，然后利用先驗(yàn)知識(shí)計(jì)算字符的中心距離，據(jù)此實(shí)現(xiàn)粘連字符的分割和斷裂字符的合并。然而該方法也沒有指出先驗(yàn)知識(shí)所必需的基準(zhǔn)點(diǎn)。綜上所述，先驗(yàn)知識(shí)法具有較強(qiáng)的抗噪能力，容易解決光照變化和噪聲干擾引起的字符粘連、斷裂問題，但是其分割效果完全取決于基準(zhǔn)點(diǎn)的選擇，一旦基準(zhǔn)點(diǎn)選擇不當(dāng)，將直接導(dǎo)致分割失敗。

綜合上述方法的優(yōu)缺點(diǎn)，針對(duì)有效準(zhǔn)確的分割基準(zhǔn)點(diǎn)的選取文中提出了一種基于車牌最大間隔位置的符號(hào)特征作為基準(zhǔn)點(diǎn)字符分割算法。實(shí)驗(yàn)結(jié)果表明該基準(zhǔn)點(diǎn)的高準(zhǔn)確性，此外結(jié)合先驗(yàn)知識(shí)通過該基準(zhǔn)點(diǎn)的特征準(zhǔn)確地細(xì)分出特殊車牌的類別，具有較強(qiáng)的實(shí)用性。

1 算法原理

1.1 預(yù)處理

文中的預(yù)處理過程包括以下幾個(gè)步驟

1)車牌傾斜校正。采用Hough 變換進(jìn)行水平和垂直方向的傾斜校正，提高字符分割的準(zhǔn)確性;

2)圖像二值化。二值化算法采用Otsu 提出的自適應(yīng)閾值算法;

3)統(tǒng)一白底黑字標(biāo)準(zhǔn)。各種顏色的車牌圖像經(jīng)過二值化處理后都會(huì)變?yōu)榘椎缀谧只蛘吆诘装鬃?，將其統(tǒng)一為黑底白字;

4)車牌的上下邊界定位。對(duì)車牌灰度圖進(jìn)行垂直投影分析，尋找上下邊框與字符之間的投影波谷點(diǎn)，由此分別得到字符區(qū)域上下邊界的位置并進(jìn)行切割，可以有效地去除水平邊框的干擾。

預(yù)處理后的圖像效果如圖1 所示。從圖中可以看出該圖像經(jīng)預(yù)處理后，車牌的文字信息清晰度提高，且去除了水平邊框的干擾。

圖1 圖像預(yù)處理效果圖Fig.1 Image pre-processing effect

1.2 特征函數(shù)的提出

對(duì)經(jīng)預(yù)處理后的車牌圖像依據(jù)式(1)所示計(jì)算其垂直投影并做平滑處理。

其中 fi(j)表示平滑處理后的垂直投影;m 表示車牌的長度;i ∈［0，…，m］，j ∈hTop，…，hBottom」，hTop，hBottom表示車牌定位的上下邊界;p1是灰度圖像;p2是二值化圖像。

定義垂直投影的特征函數(shù)為

其中

m，i 同(1)式，F(xiàn)Width 為車牌字符平均寬度;Mod(m)為對(duì)m 求模。如圖2 所示，垂直投影圖中的綠色直方圖即為特征函數(shù)B(i).

圖2 特征函數(shù)Fig.2 Characteristic function

從圖2 可知，特征函數(shù)B(i)所表示的意義是:類似于低通濾波器，是一種保持字符邊界坐標(biāo)的非線性平滑方法。其基本原理是用一個(gè)固定寬度的移動(dòng)窗口，將窗口中心點(diǎn)的值用窗口內(nèi)最近兩個(gè)字符邊界的坐標(biāo)歐式距離代替。

取長度為n 的滑動(dòng)窗口，對(duì)車牌的垂直投影進(jìn)行如式(3)所示從右至左，如式(4)所示從左至右的滑動(dòng)，窗口中心點(diǎn)的值為

其中 j1，j2為垂直投影f(i)＜x1，x2對(duì)應(yīng)滑動(dòng)窗口中字符邊界個(gè)數(shù)和的閾值。

1.3 分割算法

定義了特征函數(shù)后，比較準(zhǔn)確的找到垂直投影的分割線位置，具體步驟如下

1)利用特征函數(shù)的預(yù)設(shè)參數(shù)慢慢m，n 初步計(jì)算車牌字符的寬度FWidthpre;

2)計(jì)算垂直投影的特征函數(shù)。利用步驟(1)中得到的F Widthpre，由式(5)得出參數(shù)n 的值，并根據(jù)式(2)計(jì)算出垂直投影的特征函數(shù)B(i);

3)找垂直分割線。通過字符垂直投影的特征函數(shù)B(i)求出垂直投影f(i)各峰的起始點(diǎn)和終止點(diǎn)作為每個(gè)字符的候選分割線。

圖3 峰的起始點(diǎn)和終止點(diǎn)的檢測Fig.3 Detection example of start and end point of a peak

如圖3 所示，黑色曲線為車牌的垂直投影f(i)，綠色曲線為垂直投影的特征函數(shù)曲線B(i).兩曲線的交叉點(diǎn)中，Sp是字符的起始點(diǎn);Ep是字符的終止點(diǎn)。依據(jù)Sp和Ep個(gè)數(shù)統(tǒng)計(jì)出字符總數(shù)nbr.文中提出的特征函數(shù)結(jié)合垂直投影求垂直分割線的方法不僅有效的去除左右邊框和間隔符的影響，而且解決了字符粘連、漢字?jǐn)嗔?、特殊字體(如L，H，O)等問題，分割準(zhǔn)確率高。

4)確定最大間隔的位置wp. 根據(jù)步驟(2)中字符的候選分割線區(qū)域(即起始點(diǎn)和終止點(diǎn)之間的區(qū)域)的特征及2 個(gè)分割線間的距離判斷出最大間隔區(qū)域位置。其中字符的候選分割線區(qū)域的特征包括投影的高度、寬度和投影個(gè)數(shù)和(Heightchar，Widthchar，Areachar);

其中α，β，γ 分別為閾值參數(shù)。若候選分割線區(qū)域的特征滿足式(7)(8)，則分割線位置為最大間隔位置(如圖3 所示藍(lán)色分割線處位置);

5)提取最大間隔的特征。通過最大間隔位置和最大間隔特征對(duì)字符的候選分割區(qū)域進(jìn)行校正并對(duì)車牌進(jìn)行分類。

結(jié)合特征函數(shù)的垂直投影分割法，不僅可以有效地去除左右邊框和間隔符的影響，而且有效地解決了字符粘連等問題，分割準(zhǔn)確率高。對(duì)特殊車車牌如軍車、警車、武警車的車牌能準(zhǔn)確有效的分割，并依據(jù)最大間隔特征對(duì)車牌進(jìn)行了大致分類，為車牌識(shí)別提供了有效的特征。

1.4 最大間隔的特征以及車牌類別

依據(jù)先驗(yàn)知識(shí)的字符間隔寬度Intervalchar，在最大間隔位置區(qū)域內(nèi)以其分割線為準(zhǔn)，分割線的左右兩邊各擴(kuò)展Intervalchar寬度。對(duì)應(yīng)到二值化圖并截取最大間隔的ROI 區(qū)域如圖4 所示Sroi.

1)提取最大間隔ROI 區(qū)域Sroi的特征。像素間的連通性是確定區(qū)域的一個(gè)重要概念，常用的連通域有4 連通和8 連通。通過計(jì)算最大間隔ROI 區(qū)域的連通域，得到Sroi區(qū)域內(nèi)的特征(包括位置，面積，形狀等信息)。

圖4 最大間隔的ROI 區(qū)域Fig.4 Largest interval ROI area

2)對(duì)Sroi區(qū)域的特征按符號(hào)分類。最大間隔內(nèi)的符號(hào)一般分武警車牌的盾牌間隔符和一般車牌的間隔符。2 類間隔符的特征差異可以輕易的將其分開，如圖5 所示。

圖5 間隔分割符Fig.5 Interval delimiter

根據(jù)上述方法對(duì)提取最大間隔ROI 區(qū)域的間隔符識(shí)別并分類Sroitype. 提取結(jié)果如圖6 所示，其中紅色連通域標(biāo)記的為武警車牌的盾牌間隔符，其他為圓點(diǎn)間隔符，標(biāo)記間隔符的類別如式(10)所示。

圖6 各類車牌的間隔分割符Fig.6 Interval delimiter of all kinds of license plate

結(jié)合間隔符的類別、最大間隔的位置和車牌顏色，并參考車牌字符總數(shù)等特征可以對(duì)特殊車牌(白色車牌)如軍車、警車、武警車的車牌大致分類，車牌類別如式(11)所示。

其中color 為車牌的底色;platetype= 0 為藍(lán)底白字的小型汽車車牌;platetype為警車車牌;platetype= 2為軍車車牌;platetype= 3 為武警車牌。以武警車牌為例，若間隔符Sroitype為盾牌、最大間隔位置wp 為第三個(gè)字符之后、字符總數(shù)nbr 為8 并且車牌底色color 是白色，則為武警車車牌。

1.5 調(diào)整分割結(jié)果

由于存在車牌光照不均、臟污以及特殊車牌字符特征等因素的影響，導(dǎo)致車牌分割后字符數(shù)量過多或過少、筆畫出現(xiàn)斷裂或者粘連以及字符分割結(jié)果不準(zhǔn)確等，因此在單個(gè)字符左右邊界分割之后，需要進(jìn)一步對(duì)字符有效性進(jìn)行判斷以及粘連字符再次分割。對(duì)此文中提出了相應(yīng)的改進(jìn)方案，依據(jù)車牌類別的先驗(yàn)知識(shí)，修正字符塊。以武警車牌platetype= 3 為例，其先驗(yàn)知識(shí)為nbr =8，wp = 3，并且前兩個(gè)字符WJ 容易出現(xiàn)粘連且寬度比例近似2 ∶1，具體解決方案如下

1)若間隔符為盾牌Sroitype= 2，nbr ＜8，wp =2 且第一個(gè)字符塊過寬，則判定為首字符塊內(nèi)兩個(gè)字符粘連。因此在首字符塊寬度的2 ∶1 位置處分裂字符塊，且修正wp = 3，nbr = 8.

2)若間隔符為盾牌Sroitype= 2，nbr ＜8 且wp= 3，則在尾字符塊后添加字符塊，且修正nbr = 8.

3)若間隔符為盾牌Sroitype= 2，nbr ＞8 且wp= 3，則刪除尾字符塊，且修正nbr = 8.

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，文中分別對(duì)4 種不同類型的車牌進(jìn)行分割測試，圖像分割結(jié)果見表1.部分實(shí)驗(yàn)結(jié)果如圖7 中所示，列出了圖像的二值化、垂直投影、特征函數(shù)、以及分割結(jié)果。文中提出的字符分割算法對(duì)于各類車牌均具有較好的分割效果，自適應(yīng)性很強(qiáng)。特別針對(duì)白底黑字的特殊車牌也能準(zhǔn)確地進(jìn)行字符分割并分類，為后續(xù)的字符識(shí)別提供了重要的特征，具有較強(qiáng)的實(shí)用性。

圖7 各類車牌的分割結(jié)果Fig.7 Segmentation results of all kinds of license plate

表1 分割結(jié)果Tab.1 Results of segmentation

3 結(jié) 論

字符分割是整個(gè)車牌識(shí)別系統(tǒng)的中間環(huán)節(jié)，其分割準(zhǔn)確度對(duì)字符識(shí)別的準(zhǔn)確性起到?jīng)Q定性的影響。

1)文中提出了一種基于特征函數(shù)的垂直投影分割法，并提取車牌最大間隔位置內(nèi)符號(hào)特征作為基準(zhǔn)點(diǎn)的字符分割算法;

2)通過對(duì)各類車牌圖像的分割驗(yàn)證，結(jié)果表明，該算法能夠準(zhǔn)確分割出光照不均、臟污以及筆畫出現(xiàn)斷裂或者粘連字符(包括白底黑字的特殊車牌)的車牌圖像，分割精度高，計(jì)算速度快。并且能夠通過分割基準(zhǔn)點(diǎn)的特征準(zhǔn)確地細(xì)分出武警車、警車、軍車車牌的類別，為車牌識(shí)別提供了一個(gè)基于字符間隔的類別特征具有較強(qiáng)的魯棒性和實(shí)用性。

References

［1］ LI Jian-chun，YANG Xing，LIU Wei.A survey of the research on license plate character segmentation［J］.Computer Technology and Application，2013(3):49 -53.

［2］ 段 娜，曲曉川.基于曲率分割的多閾值選擇［J］.西安科技大學(xué)學(xué)報(bào)，2010，30(2):245 -250.DUAN Na，QU Xiao-Chuan. Multi-thresholds selection based on curvature segmentation method［J］. Journal of Xi’an University of Science and Technology，2010，30(2):245 -250.

［3］ Shapiro V，Gluhchev G，Dimov D. Towards a multinational car license plate recognition system［J］. Machine Vision and Applications，2006，17(3):173 -183.

［4］ 遲曉君，孟慶春.基于投影特征的車牌字符分割算法［J］.計(jì)算機(jī)應(yīng)用研究，2006(7):256 -257.CHI Xiao-jun，MENG Qing-chun. Character segmentation of license plate based on projection and eigenvalue［J］.Computer Application and Research，2006(7):256-257.

［5］ 余 婷，管庶安.基于最小字符投影的車牌圖像錯(cuò)切校正方法［J］. 計(jì)算機(jī)工程與設(shè)計(jì)，2009，30(11):2 814 -2 815.YU Ting，GUAN Shu-an.Shear correction method of vehicle license plate image based on smallest character projection［J］.Computer Engineering and Design，2009，30(11):2 814 -2 815.

［6］ Giannoukos I，Anagnostopoulos C N，Loumos V，et al.Operator context scanning to support high segmentation rates for real time license plate recognition［J］. Pattern Recognition，2009，43(11):3 866 -3 878.

［7］ Mahini H，Kasaei S，Dorri V，et al.An efficient featuresbased license plate localization method［J］.Proceedings of 18th IEEE International Conference on Pattern Recognition，2006(2):841 -844.

［8］ Yang F，Ma Z，Xie M.A novel approach for license plate character segmentation［J］.Proceedings of IEEE Conference on Industrial Electronics and Applications，Singapore，2006(24 -26):1 -6.

［9］ Kahraman F，Kurt B，Kmen M G.License plate character segmentation based on the Gabor transform and vector quantization［J］.Proceedings of ISCIS，2003，2 869:381-388.

［10］Ter Brugge M H，Stevens J H，Nijhuis J A G，et al. License plate recognition using DTCNNs［J］. Proceedings of IEEE International Workshop on Cellular Neural Networks and Their Applications，London，1998(14 -17):212 -217.