基于FPGA和DSP的車牌識別系統(tǒng)的研究

湯　偉，王先通，王孟效

(1.陜西科技大學 電氣與信息工程學院，西安　710021；2.陜西西微測控工程有限公司，陜西 咸陽　712081)

?

基于FPGA和DSP的車牌識別系統(tǒng)的研究

湯偉1，王先通1，王孟效2

(1.陜西科技大學 電氣與信息工程學院，西安710021；2.陜西西微測控工程有限公司，陜西 咸陽712081)

摘要：針對常見的車牌識別系統(tǒng)依賴上位機成本高，并且體積較大不利于野外工作的問題，采用了一種以DSP和FPGA為開發(fā)平臺的車牌識別系統(tǒng)的設計方案;利用FPGA控制CMOS圖像傳感器進行車牌圖像數據的采集，經過圖像格式轉換之后傳送到DSP中，進行車牌區(qū)域定位、字符分割、車牌識別等操作，最后將識別結果傳送到LCD中顯示;系統(tǒng)采用CCS(Code Composer Studio)集成開發(fā)環(huán)境，利用VC++語言編程實現車牌識別算法;通過嵌入式機器視覺庫EMCV實現識別算法在DSP中的移植，并在LCD上創(chuàng)建工作窗口顯示識別結果，檢測速度快，準確率高;實驗結果表明，該車牌識別系統(tǒng)的設計方案識別結果準確，功能穩(wěn)定可靠，有效地解決了常見車牌識別系統(tǒng)成本高，體積大不利于野外工作的問題，達到了設計目的。

關鍵詞：FPGA；車牌識別系統(tǒng)；DSP；I2C總線

0引言

車牌識別系統(tǒng)是把機器視覺理論和技術運用于車輛牌照自動識別的自動化系統(tǒng)，是把機器視覺處理技術與模式識別技術在智能交通領域的綜合應用[1]。車牌識別系統(tǒng)其原理主要基于計算機數字識別技術，通過計算機控制視頻采集系統(tǒng)，并對采集圖像處理之后實現車牌的自動識別。但是這種系統(tǒng)也有體積大、成本高、不方便攜帶的缺點，不適合在野外工作，市場上車牌識別系統(tǒng)的發(fā)展呈現出小型化，安裝攜帶方便的趨勢?；诖耍疚牟捎靡訢SP和FPGA作為核心的系統(tǒng)設計方案，充分結合了FPGA通用性好、可編程、并行運算的特點和DSP運算速度快、算法可移植性高的特點，設計了一種基于FPGA和DSP的車牌識別系統(tǒng)，有效的降低了成本，并且提高了系統(tǒng)識別的高效性和實時性。

1系統(tǒng)的總體結構

本文提出的嵌入式車牌識別系統(tǒng)設計方案，主要有嵌入式硬件平臺的搭建、車牌識別算法實現和系統(tǒng)軟件部分3個方面組成。嵌入式車牌識別系統(tǒng)圖像采集模塊采用FPGA(Altera公司的EP2C8Q208C8N芯片)控制COMS圖像傳感器(Micron公司的MT9M011)進行圖像的采集，然后經過圖像存儲、圖像格式轉換之后，傳輸到由高速芯片DSP(TI公司TMSO320C7613B)作為硬件平臺的算法識別模塊，進行車牌區(qū)域的定位、字符分割和車牌識別，最后，將識別的結果傳送到LCD顯示。DSP是一種計算功能強大的數字信號微處理器，主要用來實現各種數字信號處理算法[2]，而FPGA雖然具有并行處理和動態(tài)配置的能力，但并不適合應用于復雜算法的計算，所以采用FPGA和DSP的異構處理器的設計方案。

根據車牌識別系統(tǒng)的原理圖系統(tǒng)的硬件結構如圖1所示。

圖1　系統(tǒng)的硬件結構框圖

嵌入式系統(tǒng)中FPGA作為協(xié)處理器主要完成視頻圖像數據的采集、格式轉換、圖像預處理和系統(tǒng)的控制工作。可以大大節(jié)省DSP內部資源，只作為主處理器完成車牌識別算法的數據計算和處理。本設計中DSP通過EMIF口訪問FPGA內部的相關數據，通過異步通信來保證DSP和FPGA處理的數據同步。

2系統(tǒng)硬件部分設計

FPGA作為整個系統(tǒng)的核心控制器，采用I2C(Inter Integrated Circuit)總線協(xié)議實現對各存儲器的讀寫操作，控制各外設接口的數據傳輸以及FPGA內部各模塊間通信。

2.1I2C總線工作原理

I2C總線結構為主/從節(jié)點方式，主節(jié)點負責初始化總線，并產生傳輸數據的時鐘信號，其他尋址訪問的節(jié)點模塊被認為是從節(jié)點模塊。每個從節(jié)點模塊在該總線范圍內都有唯一地址作為標識。I2C總線在傳送數據過程中共有3類特征信號，分別是：開始信號、結束信號和應答信號[3]。

起始信號為當SCL為高電平時，SDA由高電平向低電平跳變，開始傳送數據；結束信號為當SCL為高電平時，SDA由低電平向高電平跳變，結束傳送數據；應答信號為當主節(jié)點在接受或者發(fā)送8位數據后，在時鐘信號SCL為高電平是設置數據信號SDA為低電平，即為應答信號，表示一個字節(jié)數據接收或者發(fā)送完成。

2.2圖像數據采集模塊

圖像采集模塊選擇圖像傳感器型號是MT9M011，由Micron公司推出的一款數字式CMOS攝像頭，輸出數據格式為Bayer彩色格式。圖像采集模塊組成部分主要包括圖像數據捕捉模塊、I2C總線配置模塊和數據格式轉換模塊。I2C總線配置模塊用于對圖像傳感器中的12個寄存器進行配置，控制圖像傳感器的增益、曝光時間、輸出格式等。圖像數據捕捉模塊通過幀有效信號FVAL、行有效信號LVAL和時鐘信號PCLK三個同步信號，正確捕捉傳感器生成的數據流。數據格式轉換模塊將傳感器輸出的Bayer格式數據轉換成RGB格式的數據。

2.2.1I2C總線配置模塊

MT9M011圖像傳感器有8個寄存器，分別控制水平消隱、垂直消隱、曝光時間、寫模式、綠1增益、藍增益、紅增益和綠2增益，寄存器的設定值為16位數據，由于I2C總線為8位讀寫時序，所以配置所有的寄存器需要配置16次。每次配置傳輸24位數據，分別是8位從端口地址、8位寄存器地址和8位寄存器的數據。傳輸時序如圖4所示。當SCLK為高電平時，SDATA為下降沿時發(fā)出start信息，開始傳送數據。數據傳輸每位占用一個時鐘，每個字節(jié)后跟一應答位(ack)，表示接收數據完成。

2.2.2圖像接收模塊

設計中圖像傳感器采集的圖像分辨率為，即在一個行有效信號的時間段內，圖像捕捉模塊要接收1 280個像素，在幀有效信號為高電平時，要接收1 024行數據。圖像傳感器MT9M011輸出圖像為Bayer格式，Bayer型顏色濾波陣列上面每個感光點只允許通過一種顏色分量，每種顏色分量為10位像素。在行有效信號為高電平時，每個PCLK時鐘周期內，傳感器發(fā)送一個10位的像素數據。當發(fā)送完一行1 280個像素數據之后，傳感器轉到下一行的第一列重新開始傳輸像素數據，期間行有效信號為低電平，中止數據傳輸，為行消隱期。直到圖像傳感器發(fā)送完一幀圖像之后，幀有效信號變?yōu)榈碗娖?，中止數據傳輸，為幀消隱期，圖像傳感器轉而發(fā)送下一幀圖像數據。

2.2.3圖像格式轉換模塊

圖像接收模塊接收的數據格式為Bayer顏色格式，即RAW RGB格式，Bayer型顏色濾波陣列上面每一個感光點僅允許通過一種顏色分量，因此采集圖像的每一像素只有一個顏色分量的灰度值。系統(tǒng)采用插值算法把四個像素合并為一個像素，既是把紅色(R)、藍色(B)和兩個綠色(G)分量相加求取平均值，得到灰度圖像。插值算法實現采用Altera提供基于RAM的移位寄存器Line Buffer，即FIFO(先入先出)模塊，用于緩存前一行的像素信息。在FIFO中設置兩個tap，每個tap有1 280個存儲單元，每個存儲單的寬度為10 bit。當經過時鐘周期后，前一個tap中1 280個存儲單元存的是第一行像素數據，后一個tap中1 280個存儲單元存的是第二行像素數據。將兩個tap通過鎖存器鎖存后輸出，則在輸入數據有效的每個時鐘周期，鎖存器輸出的都是Line_Buffer所存儲的前一列像素，Line_Buffer輸出的是后一列像素。每接收4個單一顏色分量像素輸出一個有效灰度圖像像素。

3車牌識別系統(tǒng)算法設計

車牌識別系統(tǒng)采用CCS(code composer studio)軟件作為集成開發(fā)環(huán)境，CCS內部集成了代碼生成工具(c編譯器、匯編優(yōu)化器和連接器)、軟件模擬器、實時操作系統(tǒng)DSP/BIOS、實時數據交換軟件(RTDX)、實時分析和數據可視化軟件[4]。DSP軟件平臺是車牌識別算法的基礎，DSP/BIOS嵌入式操作系統(tǒng)提供底層的應用函數接口，支持系統(tǒng)實時分析、線程管理、調度軟件中斷、周期函數和idle函數以及外部硬件中斷與各種外設的管理。車牌識別算法采用Open CV算法實現，然后通過EMCV(Embedded Computer Vision Library)計算機視覺庫移植到DSP上運行。

3.1車輛圖像的預處理

從圖像采集模塊采集的圖像數據為灰度圖像，圖像預處理模塊將接收的灰度圖像二值化，然后再經過邊緣檢測處理，提取出圖像的邊緣特征區(qū)分出目標和背景。圖像采集模塊采集到的汽車圖像如圖2所示。設計中采用Open CV提供的Canny算子來檢測圖像邊緣。車牌圖像的邊緣檢測如圖3所示。

圖2　車輛灰度圖像　　　　　　圖3 車輛邊緣檢測

3.2車牌區(qū)域定位

車牌區(qū)域定位就是在車輛邊緣檢測圖像中準確定位出車牌的水平區(qū)域和垂直區(qū)域。水平投影定位法就是對邊緣檢測后圖像的像素在水平方向累加產生一個車牌圖像的投影分布，車牌位置對應投影分布的峰值，而相應波峰的寬度所包含的區(qū)域就對應著車牌所在的水平位置。

垂直投影定位法就是對邊緣檢測圖像的像素在垂直方向累加產生車牌圖像投影分布，對得到的水平投影從左到右掃描，當像素累加跳變值超過定值時，即可認為是車牌區(qū)域。再比較水平、垂直掃描的寬度，若車牌的寬高比約為3:1，即認為是車牌的垂直區(qū)域[6]。車牌區(qū)域定位圖像、車牌二值化圖像、歸一化圖像如圖4所示。

圖4　圖像示意圖

3.3字符分割

車牌包括1個漢字和6個字母或數字組成，字符分割就是在車輛圖像車牌位置提取出每一個字符的過程。為了辨識出每一個字符必須先把7個字符獨立的分割開來。字符歸一化就是將車牌二值化圖像通過系數變換得到高度、寬度均相等的圖像，以方便特征提取，提高識別的準確率。

3.4實驗結果與分析

特征提取就是在分割出需要識別的物體基礎上，提取出所需要的特征，并對某些參數進行計算和測量，根據測量結果進行分類。特征提取包括數字和字母的特征提取，漢字的特征提取兩部分。數字和字母的結構特征相似，可以分成直線特征、點特征、環(huán)個數特征和環(huán)面積特征。例如，車牌字符“P”、“F”、“J”、“1”、“7”等都有直線特性，根據直線在水平方向和垂直方向的位置區(qū)別，提取出字符的直線特征；車牌字符的點特征既是字符中端點、二交叉點和三交叉點的數目，以及它們在圖像中的位置特性；字母和數字可以看成是實數域中的區(qū)域，檢測區(qū)域中是否存在閉合曲線，如果存在則可以把該字符看作具有環(huán)特征；對于都具有環(huán)特征的字符，可以根據它們的環(huán)面積進一步區(qū)分，既是環(huán)面積特征。

本文采用BP神經網絡分類器作為車牌字符識別方法，BP神經網絡具有良好的容錯能力、分類能力強和較好的自學習能力，其結構如圖5所示。

圖5　BP神經網絡分類器

BP神經網絡一般采用三層模型：輸入層、隱含層和輸出層，各層的權值向量維數等于其神經元數。神經網絡的輸入是字符的特征向量，輸入層節(jié)點按字符或數字中無環(huán)、一個環(huán)、兩個環(huán)和漢字來分，分別是18，11，7，13。輸出層節(jié)點由輸出向量維數決定，同樣按字符或數字中無環(huán)、一個環(huán)、兩個環(huán)和漢字來分，分別是23，9，2，51。隱含層的節(jié)點數H由公式(1)求出。

(1)

其中：H為隱含層節(jié)點數，m為輸入層節(jié)點數，n為輸出層節(jié)點數。有公式(1)求出隱含層節(jié)點數為：21，11，5，27。

神經元先學習網絡的權重，利用已知的數據訓練網絡，得到該類數據模型的權重；然后根據現有的網絡結構和權重等參數得到未知樣本的類別。神經網絡的激勵函數將輸出信號壓縮在[0,1]或者[-1,1]的閉區(qū)間上，然后訓練樣本送至輸入層經過神經網絡的反饋調節(jié)，在誤差信號的反向傳播中，網絡不斷的修正各個節(jié)點的權值，最后得到穩(wěn)定的神經網絡。

在試驗中，選取200幅車牌圖片，則要識別的漢字數目有200個，字母與字符數目有1 200個，仿真結果如表1所示。其中，圖2中車牌特征中提取的字符特征作為訓練好的BP網絡輸入進行識別，識別結果輸出如圖6所示。

表1　車牌識別率

圖6　車牌識別結果

4結束語

實驗結果顯示，本系統(tǒng)準確地在車輛圖像中定位出車牌所在位置，并成功提取出車牌信息，實現了系統(tǒng)的設計功能。同時，由于利用FPGA控制實現圖像采集和數據傳輸，大大減少了DSP芯片的工作量，使應用程序能占用足夠多的內存資源，提高了程序運行速度，保證了識別系統(tǒng)的實時性。但是，由于系統(tǒng)采用的算法還不夠完善，對于光線過強或較弱、車牌視角較大時的圖像識別準確率還不夠高，有待進一步提高。

參考文獻：

[1] 張存芳，王紫婷，丁麗華. 基于FPGA的車輛牌照識別系統(tǒng)的設計[J].制造業(yè)自動化,2009,31(12):7.

[2] 胡澤.基于DSP的車牌識別系統(tǒng)研究[J].計算機與數字工程,2012,40(3):100.

[3] 沈華，王俞心.基于FPGA的I2C總線主控制器的設計與實現[J].航空計算技術,2007,37(6):109.

[4] 蘇春莉，王艷君.改進的圖像增強算法及DSP實現[J].電子設計工程,2014,22(11):188.

[5] 朱明，陸小峰，陸亨利，等. AdaBoost人臉檢測算法在DSP上的移植與優(yōu)化[J].計算機工程及應用,2014,50(20):199.

[6] 曾麗華，李超，熊璋.基于邊緣與顏色信息的車牌精確定位算法[J].北京航空航天大學學報,2007,33(9):1114.

Study of FPGA & DSP-based vehicle license plate recognition system Tang Wei1, Wang Xiantong1,Wang Mengxiao2

(1.School of Electrical and Information Engineering, Shaanxi University of Science &Technology, Xi'an710021,China；2. Shaanxi Xiwei Process Automation Engineering Co., Ltd., Xianyang712081,China)

Abstract:The common license plate recognition system should work with the PC, costing much. What’s more, it occupy large space, inconvenient to use outdoors. To solve these problems, this paper introduces a design of the license plate recognition system based on DSP and FPGA as the core. The FPGA control system is used to control the CMOS image sensor acquiring license plate image data, and data transmission to DSP of the format-conversed image. Then the DSP control the operation of the license plate location, character segmentation, license plate recognition, and display of the identification results in the LCD. The system uses CCS(Composer Studio Code) integrated development environment, using VC++ language programming to achieve the license plate recognition algorithm. The algorithm transplantation into the DSP is realized by the embedded machine vision library, and the results are displayed in the work window created in the LCD, with the advantage of fast detection speed and high correction rate. We can conclude from the experimental results that the design scheme of the license plate recognition system is accurate and reliable. And it successfully handled the problems listed in the beginning, achieve our design purpose.

Keywords:FPGA; vehicle license plate recognition system; DSP; I2C bus

文章編號：1671-4598(2016)02-0297-03

DOI：10.16526/j.cnki.11-4762/tp.2016.02.082

中圖分類號：TP391.9

文獻標識碼：A

作者簡介：湯偉(1971-)，男，河南信陽人，教授，博士生導師，主要從事工業(yè)智能控制及工業(yè)高級過程控制方向的研究。

基金項目：陜西省重點科技創(chuàng)新團隊計劃項目(2014KCT-15)。

收稿日期：2015-11-02；修回日期：2015-11-27。