基于Python的車牌識(shí)別系統(tǒng)實(shí)現(xiàn)

劉馨茹 易博文 李玲香 江 華

基于Python的車牌識(shí)別系統(tǒng)實(shí)現(xiàn)

劉馨茹1易博文1李玲香1江 華2

（1.湖南科技學(xué)院，湖南 永州 425199；2.惠州學(xué)院，廣東 惠州 516000）

車牌識(shí)別技術(shù)主要是以圖像分割理論和圖形識(shí)別理論為基礎(chǔ)，通過(guò)對(duì)采集到的車牌圖像進(jìn)行預(yù)處理、車牌定位，并將車牌部分的圖像截取后，進(jìn)行矩形校正，然后進(jìn)行字符分割歸一化處理，最后可以通過(guò)神經(jīng)網(wǎng)絡(luò)或者模式識(shí)別技術(shù)識(shí)別出車牌上的字符。文章在分析并參考現(xiàn)有車牌識(shí)別技術(shù)的基礎(chǔ)上，運(yùn)用Python＋Open CV技術(shù)，選取合適的圖像處理方法實(shí)現(xiàn)了的車牌識(shí)別功能。系統(tǒng)除了具有車牌識(shí)別的信息處理功能，且有較高的識(shí)別正確率和較快的識(shí)別速度，還能進(jìn)行批量車牌的識(shí)別處理，并生成識(shí)別記錄Excel文件上傳至云服務(wù)的數(shù)據(jù)庫(kù)中，為進(jìn)一步實(shí)現(xiàn)車牌識(shí)別系統(tǒng)智能化提供支持。

Python；車牌識(shí)別；字符分割；SMV

引言

汽車牌照號(hào)碼是車輛的“身份”標(biāo)識(shí)，牌照自動(dòng)識(shí)別技術(shù)可以在汽車不做任何改動(dòng)的情況下實(shí)現(xiàn)汽車“身份”的自動(dòng)登記及驗(yàn)證，該技術(shù)已經(jīng)應(yīng)用于公路收費(fèi)、停車管理、稱重系統(tǒng)、交通誘導(dǎo)、交通執(zhí)法、公路稽查、車輛調(diào)度、車輛監(jiān)測(cè)等各種場(chǎng)合。

車牌識(shí)別系統(tǒng)是計(jì)算機(jī)視頻圖像識(shí)別技術(shù)在車輛牌照識(shí)別中的一種應(yīng)用，通常一個(gè)車牌識(shí)別系統(tǒng)主要包括以下這四個(gè)部分：車輛圖像獲取、車牌定位、車牌字符分割、車牌字符識(shí)別[1]。截至今日，國(guó)內(nèi)外對(duì)于車牌自動(dòng)識(shí)別系統(tǒng)技術(shù)的研究已經(jīng)取得了較為巨大的進(jìn)步，并且其中較為成熟的產(chǎn)品已經(jīng)投入使用，而且目前最新的技術(shù)水平為字母和數(shù)字的識(shí)別率可達(dá)到99.7%，漢字的識(shí)別率可達(dá)到99%[2]。本文系統(tǒng)旨在保證較高的識(shí)別準(zhǔn)確率的基礎(chǔ)上，實(shí)現(xiàn)簡(jiǎn)單的車牌管理功能。系統(tǒng)可適用于大規(guī)模港口、倉(cāng)庫(kù)、大型商場(chǎng)、居民小區(qū)、高校和政府部門的停車場(chǎng)管理。

1 相關(guān)算法簡(jiǎn)析

車牌識(shí)別系統(tǒng)一般的處理步驟：車牌采集→車牌預(yù)處理→車牌定位→車牌校正→字符分割→字符識(shí)別→結(jié)果輸出。

1.1 車牌定位

車牌定位是車牌識(shí)別的首要環(huán)節(jié)，精確的車牌定位能夠直接對(duì)后續(xù)的車牌校正、分割和字符識(shí)別功能產(chǎn)生重要影響。常用的定位方式有基于紋理和基于顏色兩種方式。

基于紋理定位方式的原理是利用車牌的規(guī)格固定、字符位置統(tǒng)一的特征。由于車牌的規(guī)格是固定的，二值化后的圖像可以通過(guò)投影的辦法來(lái)篩選車牌的位置。

基于圖像顏色定位方式的原理是根據(jù)車牌的顏色特征來(lái)定位車牌區(qū)域。該方法首先是將RGB圖像轉(zhuǎn)換為HSV（Hue Saturation Value，HSV）空間中，然后根據(jù)所有的像素點(diǎn)限定來(lái)確定像素點(diǎn)是否保留。該方式從原始圖像中過(guò)濾掉與標(biāo)準(zhǔn)車牌底色顏色不同的像素，盡量只保留與車牌的背景顏色相近的像素，因而過(guò)濾掉背景中的干擾成分。

基于紋理定位方式相比于基于顏色定位方式有以下不足：（1）基于紋理定位車牌方式操作方法比較復(fù)雜，計(jì)算速度緩慢；（2）當(dāng)圖像中的車牌是傾斜的時(shí)候，基于紋理定位車牌方式對(duì)車牌進(jìn)行掃描確定車牌范圍的時(shí)候會(huì)存在比較大的偏差；（3）基于紋理定位車牌方式的抗噪能力比較弱，當(dāng)車牌出現(xiàn)較多污點(diǎn)或者采集到的車牌圖像顏色偏差較大的時(shí)候，采用投影的方法進(jìn)行車牌定位會(huì)產(chǎn)生比較大的影響。所以基于顏色定位車牌，準(zhǔn)確率會(huì)相對(duì)較高[3]，要求的條件也比較少。

1.2 車牌矯正

車牌矯正能使車牌模糊的圖像、傾斜圖像的識(shí)別效果得到改善。車牌傾斜校正算法主要有Hough變換法和Radon變換法以及仿射變換法[4]。

基于Hough變換的車牌圖像傾斜校正的原理主要是利用Hough變換檢測(cè)車牌的邊框，確定邊框直線的傾斜角度，根據(jù)傾斜角度旋轉(zhuǎn)，獲得校正后的圖像。

基于Radon變換的車牌傾斜校正的原理是將采集到的車牌圖像進(jìn)行多方向投影，進(jìn)而通過(guò)分析各方向的投影特性確定車牌的傾斜角度，具體步驟和Hough變換類似。

仿射變換是從二維坐標(biāo)到二維坐標(biāo)之間的線性變換，它保持了二維圖像的“平直性”（直線經(jīng)過(guò)變換之后依然是直線）和“平行性”（二維圖像之間的相對(duì)位置保持不變，平行線依然是平行線，且直線上點(diǎn)的位置順序保持不變），任意的仿射變換都能表示為乘以一個(gè)矩形（線性變換）再加上一個(gè)向量（平移）的形式，效率較高。

Hough變換和Radon變換對(duì)于直線的檢測(cè)速度比較慢，不能做到實(shí)時(shí)控制，同時(shí)精確度也不高，甚至因?yàn)榈貌坏狡谕男畔⒍龀鲥e(cuò)誤的判斷，這將導(dǎo)致產(chǎn)生較多的冗余數(shù)據(jù)。而仿射變換可以通過(guò)一系列原子變換的復(fù)合來(lái)實(shí)現(xiàn)，包括平移、縮放、翻轉(zhuǎn)、旋轉(zhuǎn)和剪切。空間變換對(duì)應(yīng)矩陣的仿射變換，一個(gè)坐標(biāo)通過(guò)函數(shù)變換的新的坐標(biāo)位置。仿射變換操作簡(jiǎn)單，效率高，優(yōu)于其他校正算法。

1.3 字符分割

字符分割是車牌識(shí)別中的關(guān)鍵一環(huán)，不僅需要精確的車牌定位和準(zhǔn)確的車牌校正對(duì)其進(jìn)行條件準(zhǔn)備，同時(shí)自身也要為后續(xù)的字符識(shí)別做好準(zhǔn)備工作。目前常用的字符分割算法有基于聚類連通分割法、基于模板匹配的分割法和投影法[5]。

基于聚類連通分割法的原理是利用車牌字符的連通性，將車牌各個(gè)連通的字符形成一個(gè)個(gè)整體的區(qū)域。

基于模板匹配的分割法原理是利用車牌本身固有特性，比如說(shuō)車牌字符的幾何特性、位置特性設(shè)計(jì)出具有一定字符寬度和字符間隙的模板，之后再將模板在要分割的車牌區(qū)域內(nèi)循環(huán)滑動(dòng)，計(jì)算出模板中車牌字符區(qū)域內(nèi)的像素和字符間隔區(qū)域內(nèi)像素的差值或者比值。當(dāng)差值和比值在一定的范圍內(nèi)最大時(shí)為字符的分割點(diǎn)，但是當(dāng)模板設(shè)計(jì)得不合理或者存在誤差時(shí)就會(huì)出現(xiàn)字符分割的位置不準(zhǔn)確的情況。

基于投影法分割法的原理是利用車牌字符之間存在的固定的間隙從而對(duì)字符進(jìn)行分割。由于其操作簡(jiǎn)單、計(jì)算量小的特點(diǎn)，投影法是目前車牌識(shí)別中字符分割算法最常用的方式之一。

車牌中存在漢字，會(huì)有左右結(jié)構(gòu)和上下結(jié)構(gòu)的字符出現(xiàn)，導(dǎo)致使用聚類連通的方式分割字符會(huì)出現(xiàn)將一個(gè)字符分割為兩個(gè)字符的情況。采用模板匹配的方式對(duì)字符進(jìn)行分割需要精確的模板設(shè)計(jì)，操作過(guò)于復(fù)雜。所以采用基于投影法的車牌字符分割，由于其操作簡(jiǎn)單、計(jì)算量小，用投影法對(duì)車牌進(jìn)行字符分割，只需要對(duì)車牌區(qū)域進(jìn)行兩次不同方向的投影，通過(guò)水平投影可以大致判斷車牌中字符的上下邊界，通過(guò)垂直投影可以大致判斷車牌中一個(gè)字符的左右邊界。

1.4 字符識(shí)別

字符識(shí)別是車牌識(shí)別系統(tǒng)的核心環(huán)節(jié)，車牌字符識(shí)別的準(zhǔn)確率是衡量車牌識(shí)別系統(tǒng)的一個(gè)很重要的指標(biāo)。常用的字符識(shí)別算法有模板匹配字符識(shí)別算法、神經(jīng)網(wǎng)絡(luò)字符識(shí)別算法、支持向量機(jī)。

模板匹配字符識(shí)別算法是圖像識(shí)別中的經(jīng)典算法之一，模板識(shí)別通過(guò)提取大量模板的字符特征，在獲取到目標(biāo)樣本的字符特征后和模板的特征進(jìn)行比對(duì)，從而選出該字符。但是這種方法對(duì)不規(guī)則字符的魯棒性差，且抗干擾能力也較差。

神經(jīng)網(wǎng)絡(luò)字符識(shí)別算法的主要思想和模板匹配類似。其主要通過(guò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和記憶功能來(lái)實(shí)現(xiàn)。但是過(guò)于依賴初始樣本，并且容易陷入局部最優(yōu)，收斂速度慢，因此采用神經(jīng)網(wǎng)絡(luò)識(shí)別字符的算法仍需要改進(jìn)。

支持向量機(jī)的主要思想和前兩者相似，都是先得到樣本特征，進(jìn)行訓(xùn)練，然后再分類。SVM[6]（Support Vector Machine，SVM）是用得最多的分類方法，一般大多適合于二分類問(wèn)題。

在車牌字符識(shí)別過(guò)程中，當(dāng)出現(xiàn)字符變形、扭曲的情況時(shí)，采用模板匹配字符識(shí)別法容易出現(xiàn)結(jié)果偏差，而采用神經(jīng)網(wǎng)絡(luò)算法會(huì)過(guò)于依賴初始樣本的選擇，條件過(guò)于復(fù)雜，學(xué)習(xí)成本較高。相比神經(jīng)網(wǎng)絡(luò)算法，SVM的運(yùn)算效率更高，更能處理小樣本的識(shí)別中的困難，因此SVM被廣泛地運(yùn)用于字符識(shí)別中。

2 系統(tǒng)總體設(shè)計(jì)

本文在國(guó)內(nèi)外成功的車牌識(shí)別系統(tǒng)案例基礎(chǔ)上，采用Python以及OpenCV實(shí)現(xiàn)一款自動(dòng)車牌識(shí)別系統(tǒng)。該系統(tǒng)能識(shí)別并記錄車輛的牌照號(hào)碼、出入的具體時(shí)間，還可與自動(dòng)門、欄桿機(jī)等控制設(shè)備相結(jié)合，從而實(shí)現(xiàn)車輛的自動(dòng)管理。系統(tǒng)也能將指定的牌照信息上傳至系統(tǒng)，利用系統(tǒng)自動(dòng)識(shí)別進(jìn)出口車輛的車牌信息并對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢，被認(rèn)證的車輛可以自動(dòng)放行。本文系統(tǒng)主要由車牌識(shí)別模塊、車牌搜索模塊、車牌比對(duì)模塊和車牌數(shù)據(jù)庫(kù)搜索模塊構(gòu)成，其系統(tǒng)總體框圖如圖1所示。

圖1 車牌識(shí)別系統(tǒng)總體框架

車牌識(shí)別模塊是車牌識(shí)別系統(tǒng)核心部分，其主要功能是能夠讀取系統(tǒng)中的車牌圖像或能調(diào)用攝像頭設(shè)備進(jìn)行車牌識(shí)別，輸出識(shí)別的結(jié)果，并將識(shí)別記錄存入后臺(tái)數(shù)據(jù)庫(kù)系統(tǒng)。

車牌搜索模塊是用戶將采集到的車牌圖像在本地存儲(chǔ)的車牌庫(kù)中進(jìn)行車牌搜索，判讀該車輛是否被本車牌系統(tǒng)記錄過(guò)，以便于統(tǒng)計(jì)車輛數(shù)據(jù)。

車牌比對(duì)模塊是將需要比對(duì)的車牌圖像分別輸入系統(tǒng)，判斷是否為同一輛車。

車牌數(shù)據(jù)庫(kù)搜索模塊主要功能是用戶通過(guò)登錄后臺(tái)數(shù)據(jù)庫(kù)，對(duì)上傳的數(shù)據(jù)進(jìn)行批量輸出，能對(duì)后臺(tái)數(shù)據(jù)進(jìn)行簡(jiǎn)單的管理，實(shí)現(xiàn)關(guān)鍵字查詢等操作。

3 系統(tǒng)功能模塊實(shí)現(xiàn)

3.1 系統(tǒng)界面實(shí)現(xiàn)

車牌識(shí)別系統(tǒng)可以從整體上分為前端和后端部分，前端部分主要是用戶界面部分，界面部分主要采用Tkinter ，Tkinter是Python的GUI框架，Tkinter內(nèi)置于Python庫(kù)中，無(wú)需安裝相關(guān)依賴，其基本空間能夠滿足本系統(tǒng)所有需求。Python采用Tkinter可以快速地創(chuàng)建GUI應(yīng)用程序，前后端同時(shí)采用Python開(kāi)發(fā)能夠節(jié)省開(kāi)發(fā)成本。Tkinter實(shí)例代碼如下：

運(yùn)行結(jié)果如圖2所示。

圖2 Tkinter實(shí)例

3.2 車牌識(shí)別模塊功能實(shí)現(xiàn)

車牌識(shí)別模塊能對(duì)不同方式采集到的車牌圖像進(jìn)行圖像信息處理，最后輸出處理結(jié)果，其信息處理過(guò)程如下：將不同方式采集到的車牌圖像在本地讀取后，先對(duì)圖像進(jìn)行預(yù)處理，包括對(duì)圖像進(jìn)行尺度變換、高斯去噪、圖像變平滑；接著將預(yù)處理好的圖像以顏色定位算法為主，紋理定位算法為輔結(jié)合的方式進(jìn)行定位車牌，在獲取到車牌位置后，將截取出來(lái)的圖像進(jìn)行傾斜識(shí)別，若存在角度傾斜時(shí)，需采用仿射變換對(duì)其進(jìn)行矩形校正；然后對(duì)無(wú)傾斜的圖像采用投影法進(jìn)行車牌字符分割；最后將分割好的字符圖像采用雙線性插值法進(jìn)行歸一化處理[7]，使之變?yōu)槌叽缫恢碌膱D像，便于后續(xù)的字符識(shí)別，將SMV字符識(shí)別的結(jié)果通過(guò)界面進(jìn)行輸出，同時(shí)將識(shí)別記錄存入后臺(tái)數(shù)據(jù)庫(kù)。其流程圖如圖3所示。

圖3 車牌識(shí)別處理流程圖

批量識(shí)別的文件夾中的圖像是循環(huán)讀取文件中的文件名稱，將文件名稱傳入車牌識(shí)別系統(tǒng)。系統(tǒng)自動(dòng)讀取文件路徑開(kāi)始循環(huán)進(jìn)行車牌識(shí)別，每識(shí)別一條數(shù)據(jù)就將數(shù)據(jù)同時(shí)在本地生成Excel以及在后臺(tái)數(shù)據(jù)庫(kù)生成對(duì)應(yīng)記錄，便于后續(xù)數(shù)據(jù)庫(kù)搜索系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行查詢操作。

3.3 車牌搜索模塊功能實(shí)現(xiàn)

車牌搜索模塊的主要實(shí)現(xiàn)方式是先將獲取到目標(biāo)車牌圖像進(jìn)行識(shí)別，得出結(jié)果，再批量識(shí)別本地車牌庫(kù)中的車牌圖像，將結(jié)果進(jìn)行循環(huán)比對(duì)，當(dāng)兩者結(jié)果相同時(shí)，停止識(shí)別，進(jìn)行結(jié)果輸出。車牌搜索流程圖如圖4所示。

圖4 車牌搜索流程圖

3.4 車牌比對(duì)模塊功能實(shí)現(xiàn)

車牌比對(duì)模塊主要用于當(dāng)車的位置被跟蹤，當(dāng)同一輛車經(jīng)過(guò)不同的攝像頭時(shí)，采集到的車牌圖像因此不同，可以根據(jù)車牌比對(duì)系統(tǒng)對(duì)不同攝像頭采集到的數(shù)據(jù)進(jìn)行車牌比對(duì)，當(dāng)出現(xiàn)相同的車牌時(shí)對(duì)結(jié)果進(jìn)行輸出。這便于在智能城市系統(tǒng)中對(duì)某一車輛進(jìn)行追蹤定位，其實(shí)現(xiàn)流程和車牌搜索流程類似。

3.5 車牌數(shù)據(jù)庫(kù)搜索模塊功能實(shí)現(xiàn)

車牌數(shù)據(jù)庫(kù)搜索系統(tǒng)主要是將先前識(shí)別過(guò)的車輛的識(shí)別時(shí)間、識(shí)別結(jié)果、識(shí)別方式存儲(chǔ)的結(jié)果進(jìn)行查詢，支持批量查詢和關(guān)鍵字查詢，這便于準(zhǔn)確地搜索某一車輛進(jìn)入營(yíng)地的時(shí)間和位置，同時(shí)便于對(duì)歷史數(shù)據(jù)進(jìn)行管理。用戶在界面內(nèi)進(jìn)行數(shù)據(jù)庫(kù)登錄后，便可直接輸出所有車輛的出入記錄，同時(shí)支持關(guān)鍵字查詢。車牌數(shù)據(jù)庫(kù)搜索流程圖如圖5所示。

圖5 車牌數(shù)據(jù)庫(kù)搜索流程圖

4 系統(tǒng)測(cè)試

本系統(tǒng)使用黑盒測(cè)試方法進(jìn)行功能測(cè)試。通過(guò)攝像頭采集的車牌圖像時(shí)，由于在Window下調(diào)用攝像頭時(shí)會(huì)出現(xiàn)采集到的視頻出現(xiàn)屏閃現(xiàn)象，但不影響識(shí)別結(jié)果。測(cè)試結(jié)果如圖6所示，圖6的結(jié)果輸出能夠準(zhǔn)確地識(shí)別出車牌的位置的圖像。

圖6 車牌識(shí)別測(cè)試效果圖

車牌搜索、比對(duì)、數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行測(cè)試時(shí)，基本無(wú)問(wèn)題出現(xiàn)，能夠準(zhǔn)確地得到預(yù)期結(jié)果，其測(cè)試結(jié)果如圖7、圖8、圖9所示。

圖7 車牌搜索效果圖

圖8 車牌比對(duì)效果圖

圖9 車牌數(shù)據(jù)庫(kù)搜索效果圖

5 結(jié)論

本文在分析并參考現(xiàn)有的車牌識(shí)別技術(shù)基礎(chǔ)上，選取顏色定位法、仿射變換法、直射投影法、SMV等合適的圖像處理方法實(shí)現(xiàn)車牌的定位、字符分割和字符識(shí)別，并通過(guò)實(shí)例驗(yàn)證了所用方法的有效性。車牌批量識(shí)別是本系統(tǒng)的創(chuàng)新點(diǎn)，該功能便于系統(tǒng)的功能擴(kuò)展，為進(jìn)一步實(shí)現(xiàn)車牌識(shí)別系統(tǒng)智能化提供支持。

[1] 代武杰. 基于數(shù)字圖像技術(shù)的車位識(shí)別方法的研究與應(yīng)用[D]. 桂林: 廣西師范大學(xué)，2018.

[2] 陳晨. 智能停車場(chǎng)管理系統(tǒng)的研究與設(shè)計(jì)[D]. 青島: 青島科技大學(xué)，2017.

[3] 么立寶. 基于Zynq的車牌識(shí)別系統(tǒng)的研究[D]. 大連：大連海事大學(xué)，2014.

[4] 張玉祖，羅素云. 傾斜車牌識(shí)別方法的研究[J]. 計(jì)算機(jī)與數(shù)字工程，2021，49(12): 2643-2657，2653.

[5] 焦慧華. 基于垂直投影分割法的車牌圖像的字符分割研究[J]. 安徽電子信息職業(yè)技術(shù)學(xué)院，2021，20(117): 17-20.

[6] WANG D, TIAN Y, GENG W, et al. LPR-Net: Recognizing Chinese license plate in complex environments[J]. Pattern Recognition Letters, 2018, 11(1): 21-25.

[7] 畢波，邵永謙，孫冬軍，等. 基于OpenCV的車牌識(shí)別[J]. 電子設(shè)計(jì)工程，2019，27(1): 37-41.

Implementation of License Plate Recognition System Base on Python

License plate recognition technology is mainly based on image segmentation theory and pattern identification theory. Through preprocessing the collected license plate image, locating the license plate, intercepting the image of the license plate, correcting the rectangle, and then normalizing the character segmentation. Finally, the characters on the license plate can be recognized through neural network or pattern recognition technology. On the basis of analyzing and referring to the existing license plate recognition technology, this paper uses Python + Open CV technology to select the appropriate image processing method to realize the license plate recognition function. In addition to the information processing function of license plate recognition, the system has high recognition accuracy and fast recognition speed. It can also recognize and process batch license plates, generate recognition record Excel files and upload them to the cloud service database, providing support for further intellectualization of license plate recognition system.

Pyhton; license plate recognition; character segmentation; SMV

TP27

A

1008-1151(2022)11-0016-05

2022-08-09

教育部社科規(guī)劃項(xiàng)目（20YJAZH040）；湖南省自然科學(xué)基金項(xiàng)目（2020JJ4327）；湖南省社會(huì)科學(xué)成果評(píng)審委員會(huì)課題（XSP22YBZ054）；福建省自然科學(xué)基金項(xiàng)目（2019J01751）；湖南科技學(xué)院2022 年校級(jí)教學(xué)改革研究重點(diǎn)項(xiàng)目（XKYJ2022010）。

劉馨茹（2001－），女，湖南科技學(xué)院學(xué)生，研究方向?yàn)橥ㄐ殴こ獭?/p>