車牌定位檢測(cè)及字符分割提取方法研究

王 創(chuàng)

車牌定位檢測(cè)及字符分割提取方法研究

王 創(chuàng)

（湖北商貿(mào)學(xué)院，湖北 武漢 430070）

為實(shí)現(xiàn)車牌字符的智能識(shí)別，首先需要對(duì)收集的車牌圖片進(jìn)行預(yù)處理和特征提取，從而得到可靠的車牌字符集圖片。文章提出的車牌檢測(cè)與字符分割提取方法主要包括圖片去噪、灰度化處理、形態(tài)學(xué)處理、邊緣檢測(cè)與連接、車牌區(qū)域定位、灰度直方圖字符分割等，最終實(shí)現(xiàn)對(duì)車牌的快速定位檢測(cè)以及車牌字符的精準(zhǔn)分割提取功能，為后續(xù)車牌字符的識(shí)別奠定良好前提條件。

車牌定位檢測(cè)；邊緣檢測(cè)與連接；字符分割；特征提取

引言

伴隨著機(jī)動(dòng)車數(shù)量的日益攀升，如何對(duì)車輛進(jìn)行行之有效的管理成為備受關(guān)注的研究課題，而對(duì)車輛的管理歸根結(jié)底是對(duì)車牌號(hào)碼的監(jiān)督管控[1]。車牌號(hào)碼是不同車輛身份的重要標(biāo)志，對(duì)其進(jìn)行精確快速地檢測(cè)和識(shí)別，有助于節(jié)省人力資源和提升車輛的智能高效管理。本文基于Python開發(fā)平臺(tái)，并結(jié)合OpenCV第三方圖像處理工具包，實(shí)現(xiàn)了對(duì)車牌圖片的去噪、灰度化處理、形態(tài)學(xué)處理、邊緣檢測(cè)與連接、車牌區(qū)域定位和灰度直方圖字符分割等處理操作，最終實(shí)現(xiàn)在復(fù)雜背景下對(duì)車牌的定位提取和車牌字符的分割識(shí)別。

1 系統(tǒng)設(shè)計(jì)

本文實(shí)地拍攝采集了車輛行駛前進(jìn)、光照條件欠佳、拍攝鏡頭抖動(dòng)、停放車輛數(shù)量較多等不同復(fù)雜背景下的車輛圖片若干張，首先運(yùn)用高斯平滑處理，在一定程度上消除由于各種取景條件問題引起的圖片噪聲影響[2-5]。之后通過灰度處理將原始RGB圖片轉(zhuǎn)變?yōu)榛叶葓D，在灰度空間下對(duì)車牌圖片運(yùn)用形態(tài)學(xué)處理增強(qiáng)車牌部分灰度特征，再運(yùn)算Canny算法對(duì)其進(jìn)行邊緣檢測(cè)，勾勒出車牌邊緣線條，緊接著分別運(yùn)用一次閉運(yùn)算和開運(yùn)算使得圖像邊緣形成整體區(qū)域，之后便可運(yùn)用OpenCV工具快速提取出灰度圖片中車牌的所有可能區(qū)域。然后根據(jù)車牌長寬比、車牌背景顏色等車牌特征條件對(duì)上述所有疑似車牌區(qū)域逐一進(jìn)行排查，以實(shí)現(xiàn)車牌的準(zhǔn)確檢測(cè)和定位。最后再運(yùn)用車牌水平和垂直兩個(gè)方向的灰度直方圖實(shí)現(xiàn)對(duì)車牌字符的準(zhǔn)確分割與提取。

2 車牌圖片預(yù)處理

車牌圖片預(yù)處理是車牌檢測(cè)定位的前提，通過預(yù)處理可以在一定程度上消除由于攝影拍攝質(zhì)量、車輛行駛移動(dòng)、光線明暗或降雨降雪等因素引起的圖片清晰度下降的影響[6-9]。車牌預(yù)處理主要包括高斯平滑處理、數(shù)學(xué)形態(tài)學(xué)處理、邊緣檢測(cè)和連接等步驟。

2.1 高斯平滑去噪

圖片噪聲的存在會(huì)對(duì)后續(xù)二值化處理中的Otsu算法的閾值選擇以及邊緣檢測(cè)中圖像灰度梯度變化產(chǎn)生嚴(yán)重干擾，從而影響車牌邊界檢測(cè)的準(zhǔn)確性。因此有必要事先對(duì)原車牌圖片進(jìn)行高斯平滑處理，用于消除圖片中存在的高頻白噪聲。高斯平滑是根據(jù)模板中各像素點(diǎn)與中心像素點(diǎn)的距離來計(jì)算權(quán)值系數(shù)，且該系數(shù)服從式（1）所示的高斯分布：

當(dāng)δ=0.95時(shí)對(duì)應(yīng)的3×3高斯平滑模板權(quán)值矩陣為：

圖1（b）中采用了如式（2）所示的高斯模板對(duì)原圖片進(jìn)行了平滑處理，處理之后的圖片相比原圖片雖然稍微模糊，但圖片高頻細(xì)節(jié)噪聲得到了較好的抑制，一定程度上消除了噪聲對(duì)圖像邊緣灰度變化的影響。

2.2 灰度化處理、形態(tài)學(xué)處理

為了更好地考察圖像邊緣的形態(tài)特征，同時(shí)提高圖像處理效率，可將高斯平滑處理后的圖片通過灰度化處理從RGB顏色空間轉(zhuǎn)換至灰度空間[10-13]，如圖1（c）所示。為了消除灰度圖中部分較小亮點(diǎn)的影響，先對(duì)其進(jìn)行一次開運(yùn)算，處理結(jié)果如圖1（d）所示，開運(yùn)算后的圖片保留了原圖大部分灰度信息，且模糊了原圖像邊緣和細(xì)節(jié)信息。

之后再將開運(yùn)算前后的兩幅灰度圖進(jìn)行差影運(yùn)算，如圖1（e）所示，差影后的灰度圖利用了這兩幅圖像在空間位置上的關(guān)聯(lián)性及邊緣處灰度特征的顯著差異性，使得原圖像中的邊緣線條信息能夠初步直觀地凸顯出來，這有利于后續(xù)邊緣檢測(cè)算子對(duì)車牌區(qū)域的精確檢測(cè)。

2.3 Canny算子邊緣檢測(cè)

利用Otsu閾值選擇法對(duì)前面差影處理后的灰度圖片進(jìn)行二值化處理，得到的閾值分割大小為28.0，如圖1（f）所示。常用于邊緣檢測(cè)的算子有Roberts算子、Sobel算子、Laplace算子、Canny算子等，其中Canny算子的抗噪聲干擾性能良好，因此本文采用Canny算子對(duì)該二值化圖像進(jìn)行邊緣檢測(cè)，該檢測(cè)算法是通過梯度算子檢測(cè)圖像邊緣灰度變化來實(shí)現(xiàn)的，認(rèn)為邊緣就是灰度梯度下降最快方向。Canny算子使用如公式（2）所示的卷積模板來計(jì)算圖像函數(shù)f(x, y)在點(diǎn)(i, j)處的偏導(dǎo)數(shù)，即：

則可計(jì)算其在x方向、y方向的一階偏導(dǎo)、梯度幅值以及梯度方向的數(shù)學(xué)表達(dá)式分別為式（4）、（5）、（6）、（7）所示：

在Canny算子中為了減少虛假邊緣的出現(xiàn)還采用了雙閾值法來檢測(cè)和連接邊緣。其中設(shè)置的較大閾值用于檢測(cè)圖像中明顯的邊緣，但一般情況下檢測(cè)的效果不會(huì)那么完美，邊緣檢測(cè)出來是斷斷續(xù)續(xù)的，這時(shí)用設(shè)置的較小閾值可將這些間斷的邊緣連接起來。在本文使用的Canny算子中設(shè)置的較大閾值為200，較小閾值為100，處理結(jié)果如圖1（g）所示。

2.4 使用開運(yùn)算和閉運(yùn)算填充邊緣線條所圍成的封閉區(qū)域

運(yùn)用開運(yùn)算可以去除圖像中較小的亮點(diǎn)，斷開狹窄的間斷像素點(diǎn)，使對(duì)象的輪廓變得光滑，同時(shí)會(huì)保留原圖像所有的灰度和較大的亮區(qū)特征不變。運(yùn)用閉運(yùn)算可去除圖像中較小的暗點(diǎn)，彌合狹窄的間斷像素點(diǎn)，填補(bǔ)輪廓線中的斷裂，同時(shí)保留較大亮區(qū)特征。由先開后閉運(yùn)算組成的形態(tài)學(xué)濾波器可去除或消減圖像中存在的亮斑和暗斑，使對(duì)象邊緣輪廓變得光滑完整，且邊緣輪廓線型會(huì)加粗，對(duì)邊緣內(nèi)的區(qū)域會(huì)有明顯的填充效果。對(duì)前面邊緣檢測(cè)處理后的圖像經(jīng)過先開后閉運(yùn)算處理后的效果如圖1（h）所示。

3 車牌定位

3.1 車牌區(qū)域粗略定位

接下來，運(yùn)用OpenCV中的findContours()函數(shù)來查找區(qū)域填充處理后的圖像中所有可能是車牌的矩形區(qū)域，得到的疑似車牌區(qū)域可能有很多，而真實(shí)車牌很可能是其中之一。

為了排除其中不是車牌的其他矩形區(qū)域，首先從這些矩形區(qū)域中初步篩選出最小外接矩形的長寬比符合車牌條件的矩形區(qū)域，考慮到我國常見機(jī)動(dòng)車車牌中藍(lán)色和黃色車牌長寬比為3.14，綠色的新能源車牌長寬比為3.42，同時(shí)由于拍攝角度傾斜或處理誤差等因素的影響要求疑似車牌的矩形區(qū)域長寬比應(yīng)在2～5.5之間，并將不滿足該條件的其它矩形區(qū)域排除。將初步篩選后的矩形邊緣運(yùn)用OpenCV的drawContours()函數(shù)在區(qū)域填充處理后的圖像和原圖中分別定位框選結(jié)果如圖2（a）、圖2（b）所示。

3.2 車牌區(qū)域精細(xì)篩選

為了對(duì)前面疑似車牌的矩形區(qū)域進(jìn)行精細(xì)篩選，結(jié)合車牌底色一般為黃綠藍(lán)等色調(diào)的特征，淘汰其中不滿足條件的非車牌區(qū)域。為了保證顏色篩選的準(zhǔn)確性，考慮到由于取景拍攝的角度問題被遴選的疑似車牌矩形區(qū)域可能是傾斜的矩形，因此需要事先對(duì)比該矩形區(qū)域左右兩頂點(diǎn)縱坐標(biāo)是否相同來判斷是否存在傾斜，并運(yùn)用仿射變換對(duì)存在傾斜的矩形區(qū)域進(jìn)行角度修正補(bǔ)償處理[14,15]。

接著，將處理后的疑似車牌區(qū)域由RGB圖像轉(zhuǎn)換為HSV圖像，以便定位顏色。HSV是由色調(diào)、飽和度和亮度三個(gè)分量來表示顏色，HSV比RGB更符合人的視覺特性。之后對(duì)疑似車牌矩形區(qū)域中的每一個(gè)像素點(diǎn)進(jìn)行遍歷，判斷每個(gè)像素點(diǎn)的顏色屬性，黃、綠、藍(lán)、黑、白等五種車牌中主要顏色對(duì)應(yīng)的HSV閾值上下限取值如表1所示，同時(shí)統(tǒng)計(jì)每個(gè)矩形區(qū)域中各顏色像素點(diǎn)的數(shù)量，最后計(jì)算對(duì)比出其中占比重最大的一種顏色，認(rèn)定該顏色為疑似車牌的底牌顏色，若該顏色不屬于黃綠藍(lán)中任意一種，則可認(rèn)為該矩形區(qū)域不是車牌。

表1 HSV模型下車牌顏色判斷閾值標(biāo)準(zhǔn)設(shè)定

圖2 疑似車牌區(qū)域車牌定位與框選

經(jīng)顏色篩選后的車牌區(qū)域進(jìn)行二次定位框選結(jié)果如圖2（c）所示。

4 字符分割

利用Otsu閾值選擇法對(duì)前面顏色篩選后的車牌圖像進(jìn)行二值化處理，得到的閾值分割大小為179.0，如圖4（a）所示，該圖像寬高為158像素×52像素。為了消除車牌上下邊緣對(duì)字符灰度的影響，首先統(tǒng)計(jì)得到該圖像在垂直方向上的灰度均值直方圖，并將該圖中最大的波峰鎖定為字符高度范圍，其區(qū)間范圍為(8, 46)，如圖3（a）虛線所示。同樣統(tǒng)計(jì)得到該圖像在水平方向上的灰度均值直方圖，并依據(jù)灰度大小起伏變化的波谷位置鎖定每個(gè)字符所在的水平空間位置，其區(qū)間范圍分別為(0, 3)、(5, 22)、(26, 44)、(49, 52)、(57, 73)、(83, 89)、(98, 115)、(125, 130)、(140, 156)，得到的字符分割區(qū)間如圖3（b）所示，圖中虛線即為鎖定的字符分割波谷位置。

接下來按照前面確定的車牌字符高度范圍對(duì)其二值化圖像進(jìn)行剪裁，并在水平方向上按其字符水平分割區(qū)間范圍依次對(duì)其進(jìn)行字符分割，結(jié)果如圖4（b）所示。最后還需通過首尾兩個(gè)字符圖片的高寬比來判斷這兩個(gè)字符是否為車牌虛“1”的假邊緣，當(dāng)該比值小于4或大于10時(shí)即可認(rèn)為該字符圖片為太粗或太細(xì)的邊緣而舍棄，并去除位于車牌中間第三位的鉚釘字符，最終得到處理后的車牌字符分割結(jié)果如圖4（c）所示。

圖4 車牌字符分割結(jié)果圖片

5 結(jié)論

本文提出的車牌檢測(cè)與字符分割提取方法能夠?qū)μ幵谳^復(fù)雜環(huán)境下的車輛車牌進(jìn)行快速精準(zhǔn)定位檢測(cè)，最終實(shí)現(xiàn)對(duì)車牌字符的準(zhǔn)確分割，為后續(xù)開展車牌字符的識(shí)別創(chuàng)造了良好的數(shù)據(jù)集特征條件。

[1] 洪傳豪，丁兵兵，靳偉. 基于OpenCv的車牌識(shí)別研究[J]. 福建電腦，2018，34(12): 5-8.

[2] 郝超杰，賈振堂，張昭. 一種復(fù)雜場(chǎng)景下基于熱圖的車牌檢測(cè)方法[J]. 計(jì)算機(jī)工程，2022(7): 315-320.

[3] 莫少雄，趙波. 復(fù)雜環(huán)境下的車牌識(shí)別[J]. 智能計(jì)算機(jī)與應(yīng)用，2021，11(5): 124-128.

[4] 舒志旭. 基于注意力機(jī)制的車牌快速檢測(cè)方法研究[J]. 光電子·激光，2021，32(12): 1313-1322.

[5] ANTHONY J J, KATE B A, ELMER D, et al. Recognition of hybrid graphic-text license plates[J]. Journal of Advanced Computational Intelligence and Intelligent Informatics, 2021, 25(4): 416-422.

[6] 吳安輝，何家峰，何啟莉. 復(fù)雜場(chǎng)景下的車牌檢測(cè)與識(shí)別算法研究[J]. 現(xiàn)代信息科技，2021，5(1): 81-87.

[7] 魏超. 自然場(chǎng)景下高效車牌檢測(cè)算法研究[D]. 南昌: 華東交通大學(xué)，2020.

[8] ZHAI W F, GAO T, FENG J. Research on pre-processing methods for license plate recognition[J]. International Journal of Computer Vision and Image Processing, 2021, 11(1): 42-78.

[9] SUN Y C, PENG Q, ZHANG D Y. Light-YOLOv3: License plate detection in multi-vehicle scenario: Regular section[J]. Transactions on Information and Systems, 2021, 104(5): 42-50.

[10] 梁天泓. 基于邊緣檢測(cè)和形態(tài)學(xué)的車牌檢測(cè)算法[J]. 電腦知識(shí)與技術(shù)，2020，16(28): 205-207.

[11] 周雪梅，潘多. 一種基于形態(tài)學(xué)結(jié)構(gòu)元素優(yōu)化的車牌快速檢測(cè)算法[J]. 西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版)，2020，45(7): 130-136.

[12] SWETA S. Automatic car license plate detection system[J]. Materials Science and Engineering, 2021, 11(1): 10-15.

[13] SONG X C. Character segmentation and restoration of Qin-Han bamboo slips using local auto-focus thresholding method[J]. Multimedia Tools and Applications, 2022, 10(32): 50-63.

[14] 張玉祖，羅素云. 傾斜車牌識(shí)別方法的研究[J]. 計(jì)算機(jī)與數(shù)字工程，2021，49(12): 2643-2653.

[15] 周文婷. 大角度傾斜的車牌識(shí)別算法研究[D]. 北京: 北方工業(yè)大學(xué)，2019.

Research on License Plate Location Detection and Character Segmentation Extraction Methods

In order to realize the intelligent recognition of license plate characters, it is first necessary to preprocess and extract features of the collected license plate images, so as to obtain reliable license plate character set images. The license plate detection and character segmentation and extraction methods proposed in this paper mainly include image denoising, grayscale processing, morphological processing, edge detection and connection, license plate localization and the gray histogram character segmentation and other processing steps. Finally, the fast location and detection of the license plate and the accurate segmentation and extraction of the license plate characters are realized, which lays a good prerequisite for the subsequent recognition of license plate characters.

license plate location detection; edge detection and connection; character segmentation; feature extraction

TP391.41

A

1008-1151(2022)11-0009-04

2022-06-27

湖北商貿(mào)學(xué)院2021 年度校級(jí)科學(xué)研究重點(diǎn)項(xiàng)目（KY202103）。

王創(chuàng)（1996－），男，湖北商貿(mào)學(xué)院助教，研究方向?yàn)閳D像處理、數(shù)據(jù)處理。