基于FPGA的車(chē)牌識(shí)別系統(tǒng)的設(shè)計(jì)

岳楓力，馬 靜

（四川工商學(xué)院電子信息工程學(xué)院，四川 成都 611745）

隨著電子信息技術(shù)的不斷發(fā)展，車(chē)牌識(shí)別系統(tǒng)不斷被運(yùn)用與交通管理系統(tǒng)中。但由于傳統(tǒng)的車(chē)牌識(shí)別系統(tǒng)存在成本高、難以推廣等問(wèn)題，導(dǎo)致其運(yùn)用困難，為了解決這些問(wèn)題，迫切需要依靠FPGA 優(yōu)秀的并行處理能力和豐富的硬件資源，有效提高系統(tǒng)的執(zhí)行效率，降低系統(tǒng)成本以便于廣泛運(yùn)用。

1 硬件環(huán)境

傳統(tǒng)由于FPGA 可編程性和并行執(zhí)行效率，以往通常被用于特定功能電路的實(shí)現(xiàn)。但隨著新的技術(shù)要求出現(xiàn)，F(xiàn)PGA 已不再局限于傳統(tǒng)的接口、信號(hào)處理等方面。

1.1 ZYNQ 及其配置

本次設(shè)計(jì)采用的核心處理芯片為ZYNQ-7000 系列的xc7z020clg400-2，該ZYNQ 芯片內(nèi)部由PS+PL 構(gòu)成；PS 部分由ARM 的A9 雙核構(gòu)成，PL 部分為FPGA邏輯電路。通過(guò)芯片內(nèi)部架構(gòu)可知：PL 與PS 通過(guò)EMIO、DMA、32b GP AXI Port、HP AXI Port 等接口實(shí)現(xiàn)數(shù)據(jù)交互，PS 部分與外圍電路交互則通過(guò)GPIO或EMIO；需要注意的是，EMIO 不僅可以將PS 連接到PL 的硬件資源也可以將其直接連接到PL 的輸出管腳。ZYNQ 系列的接口分為MIO 與EMIO，Xilinx 在Vivado中定義了每個(gè)MIO 管腳可以通過(guò)復(fù)用實(shí)現(xiàn)多種功能，但是具體實(shí)現(xiàn)什么功能則由外圍硬件電路決定。本設(shè)計(jì)使用1Gb DDR3 內(nèi)存空間，芯片為NT5CB256M16EPDI。

1.2 OV7725

采用OV7725 攝像頭進(jìn)行車(chē)牌圖像的拍攝，OV7725 是一種低電壓的CMOS 器件，其提供一個(gè)單片VGA 攝像機(jī)和部分圖像處理功能。OV7725 的感光陣列為640*480，最快能夠?qū)崿F(xiàn)60fps 采集，輸出為RGB565 格式。OV7725 的功能和配置均由其內(nèi)部的寄存器實(shí)現(xiàn)，相關(guān)寄存器由主機(jī)通過(guò)SCCB 對(duì)作為從機(jī)的OV7725 進(jìn)行配置。OV7725 內(nèi)部集成了部分圖像處理的功能，包括自動(dòng)曝光控制、自動(dòng)增益控制和自動(dòng)白平衡等。

SCCB 即串行攝像機(jī)控制總線協(xié)議通道。SCCB 有兩線模式和三線模式，本設(shè)計(jì)中只對(duì)一個(gè)從機(jī)進(jìn)行配置，故選擇兩線模式，該模式由一根串行時(shí)鐘線和一根雙向數(shù)據(jù)線構(gòu)成。

2 圖像捕獲

在圖像捕獲階段，本設(shè)計(jì)要求能夠?qū)崿F(xiàn)對(duì)車(chē)牌圖像的拍攝、保存；同時(shí)為了方便圖像的捕獲，攝像頭所捕獲的實(shí)時(shí)畫(huà)面應(yīng)當(dāng)顯示在屏幕上，起到攝像頭監(jiān)視器的作用。

2.1 VDMA

由于攝像頭和屏幕之間數(shù)據(jù)傳輸存在速率差，因此采用VDMA IP 核進(jìn)行數(shù)據(jù)緩沖防止出現(xiàn)畫(huà)面撕裂。VDMA 可以方便的提供雙緩沖和多緩沖機(jī)制。

本次設(shè)計(jì)采用Dynamic Genlock 模式，在此模式下VDMA 有多個(gè)緩存幀，主機(jī)和從機(jī)按順序?qū)懟蜃x緩存幀，當(dāng)從機(jī)操作某一緩存幀時(shí)，主機(jī)會(huì)跳過(guò)該幀而寫(xiě)操作其他幀，從而實(shí)現(xiàn)讓圖像數(shù)據(jù)緩沖的IP 核。DMA 數(shù)據(jù)接口可以分為讀、寫(xiě)通道，用戶(hù)可以通過(guò)寫(xiě)通道將AXI-Stream 類(lèi)型的數(shù)據(jù)流寫(xiě)入DDR3，通過(guò)讀通道可以從DDR3 讀取數(shù)據(jù)，并以AXI-Stream 類(lèi)型輸出。

由OV7725 攝像頭采集得到的圖像數(shù)據(jù)通過(guò)AXIStream to video in IP 核轉(zhuǎn)化成為AXI-Stream 格式數(shù)據(jù)，并傳輸給VDMA IP 核，同時(shí)rgb2lcd ip 核通過(guò)AXI-Stream to Video Out IP 核通過(guò)AXI-Stream通道從VDMA 讀取圖像并轉(zhuǎn)換為RGB 格式數(shù)據(jù)輸出并顯示。

視頻流數(shù)據(jù)經(jīng)過(guò) Video in to AXI4-Stream IP 核轉(zhuǎn)換成 AXI4-Stream IP 格式數(shù)據(jù)流， 然后通過(guò) VDMA 的寫(xiě)通道轉(zhuǎn)成 AXI4 Memory Map 格式，并最終寫(xiě)入 DDR 內(nèi)存中。VDMA 從 DDR3 中讀取的視頻或圖像數(shù)據(jù)傳輸給 AXI4-Stream to Video Out IP 核。AXI4-Stream to Video Out IP 核在 VTC IP 核的控制下，把 AXI4-Stream 格式的數(shù)據(jù)轉(zhuǎn)換成視頻輸出的數(shù)據(jù)格式（如 RGB888），并將輸出的視頻數(shù)據(jù)流連接至 rgb2lcd IP 核的輸入端（rgb2lcd）。rgb2lcd IP 核實(shí)現(xiàn)了獲取 LCD 屏的 ID 功能和以及將 LCD 屏的引腳封裝到總線接口上，以方便將LCD引腳引出至頂層模塊端口上。

2.2 圖像緩存

本設(shè)計(jì)采用PS 控制VDMA IP 核以實(shí)現(xiàn)圖像的拍攝，當(dāng)按鍵按下后，作為從機(jī)的PS 端暫停VDMA 從機(jī)讀操作，并從當(dāng)前讀操作執(zhí)行的緩存幀中拷貝當(dāng)前的圖像數(shù)據(jù)以實(shí)現(xiàn)拍照功能。當(dāng)拷貝完成后，恢復(fù)讀操作。本次設(shè)計(jì)中，所有存儲(chǔ)空間均在DDR3 空間內(nèi)劃分。其中，DDR 地址0x1100000 為捕獲圖片的緩存地址， 0x01000000 以下的地址用作PS、PL 程序執(zhí)行所占用地址。

3 圖像處理

3.1 預(yù)處理

由于本設(shè)計(jì)采用OV7725 攝像頭，其拍攝輸出圖像為上下鏡像的圖片，在進(jìn)行下一步處理前需要對(duì)其進(jìn)行鏡像處理使圖像回正。

（1）灰度處理

灰度是指黑白圖像中的顏色深度，范圍一般0-255，白色為255，黑色為0。使用灰度對(duì)彩色圖像進(jìn)行處理，可以得到高質(zhì)量黑白圖，與彩色圖像相對(duì)比，灰度圖像由于其不含有色相其細(xì)節(jié)度往往高于RGB 圖片。在本次設(shè)計(jì)中采用移位法得到Gray 值，將原來(lái)的RGB 中的三個(gè)通道的值統(tǒng)一用Gray 替換，將RGB 888 圖像轉(zhuǎn)換為灰度圖像。

（2）OTSU 算法

OTSU 算法又稱(chēng)“大津法”，這是一種用于確定二值化圖像分割閾值的算法，利用此算法可以實(shí)現(xiàn)對(duì)二值化最佳閾值的自適應(yīng)計(jì)算，經(jīng)此算法計(jì)算得到的二值化閾值可以在一定程度上排除環(huán)境、鏡頭畸變帶來(lái)的影響[1]。

其實(shí)現(xiàn)步驟為：首先對(duì)完成灰度處理的圖像的每個(gè)像素進(jìn)行遍歷，統(tǒng)計(jì)每個(gè)灰度級(jí)的素?cái)?shù)數(shù)量，并計(jì)算其所占總像素的比例。再進(jìn)行灰度級(jí)的遍歷，計(jì)算其中前景和背景部分的灰度均值，將其帶入類(lèi)間方差公式得到類(lèi)間方差最大值并得到對(duì)應(yīng)的灰度級(jí)，這里得到的灰度級(jí)即為閾值。

依照此閾值對(duì)灰度處理后的圖像進(jìn)行遍歷操作，當(dāng)RGB 通道中任意值大于閾值乘0.9，則對(duì)其進(jìn)行填充0xffffff,否則對(duì)其填充0x000000。這里乘0.9 是為了進(jìn)一步調(diào)整圖像的閾值，從而排除由于OV7725是魚(yú)眼鏡頭而產(chǎn)生畸變導(dǎo)致亮度變化而出現(xiàn)的誤差。

（3）腐蝕膨脹

本設(shè)計(jì)中，對(duì)二值化后的圖像去除周?chē)吙蚝筮M(jìn)行掃描，本設(shè)計(jì)中每一個(gè)像素的DDR 地址組成為：基底地址+長(zhǎng)*寬*3，對(duì)每一個(gè)像素周?chē)藗€(gè)像素進(jìn)行掃描即對(duì)（長(zhǎng)-1）*寬*3、（長(zhǎng)+1）*寬*3、（長(zhǎng)-1）* （寬-1）*3、（長(zhǎng)-1）* （寬+1）*3、（長(zhǎng)+1）* （寬-1）*3、（長(zhǎng)+1）* （寬+1）*3、長(zhǎng)*（寬-1）*3、長(zhǎng)*（寬+1）*3 八個(gè)像素進(jìn)行掃描，每當(dāng)任意一個(gè)像素值為0x000000，則對(duì)中心像素賦值為0x000000；同理膨脹算法對(duì)同樣八個(gè)像素點(diǎn)進(jìn)行掃描出現(xiàn)0xffffff 則為中心像素復(fù)制為0xffffff。需要注意的是，賦值和掃描應(yīng)該在兩個(gè)圖像相同，不同基底地址的圖片上分別進(jìn)行。

（4）開(kāi)運(yùn)算和閉運(yùn)算

開(kāi)運(yùn)算可以在保證基本形狀和位置不變的前提下，除去孤立的點(diǎn)、毛刺、小橋，而膨脹腐蝕算法中的掃描的結(jié)構(gòu)體大小將影響開(kāi)運(yùn)算的效果。閉運(yùn)算可以在保證基本形狀和位置不變的前提下除去圖像中的小孔、彌合裂縫，同開(kāi)運(yùn)算一樣，膨脹腐蝕算法中的掃描的結(jié)構(gòu)體大小[2]將會(huì)影響閉運(yùn)算效果。

本設(shè)計(jì)中采用開(kāi)閉運(yùn)算相結(jié)合的方式對(duì)圖像進(jìn)行處理，利用這種方式可以實(shí)現(xiàn)在保證圖像形態(tài)不發(fā)生改變的前提下濾除尖刺、孤點(diǎn)等干擾。

（5）投影

對(duì)于完成定位的圖像，在定位區(qū)間內(nèi)，對(duì)其進(jìn)行水平和垂直投影。由于本設(shè)計(jì)在二值化時(shí)將車(chē)牌的背景處理為黑色，字符處理為白色，且需要對(duì)字符進(jìn)行定位處理，故在這里統(tǒng)計(jì)白色數(shù)量并生成直方圖。在定位得到的區(qū)間內(nèi)對(duì)圖像進(jìn)行行遍歷和列遍歷，當(dāng)出現(xiàn)白色像素時(shí)計(jì)數(shù)器加1，最終得到每行白色像素?cái)?shù)量的數(shù)組和每列白色像素?cái)?shù)量的數(shù)組，這兩個(gè)數(shù)組分別為二值化圖像在水平方向和垂直方向上的投影。

（6）分割

對(duì)于完成投影后的圖像，根據(jù)一定閾值可以對(duì)每個(gè)字符所在的位置進(jìn)行大致定位。通過(guò)對(duì)水平投影的分割和垂直投影的分割的疊加，可以得到每個(gè)字符所處的區(qū)間，即得到每個(gè)字符的上下左右四個(gè)邊框位置。

3.2 轉(zhuǎn)存

將每個(gè)字符圖像復(fù)制轉(zhuǎn)存到單獨(dú)的DDR 空間，由于車(chē)牌的字符固定呈現(xiàn)矩形，為了方便縮放操作和識(shí)別處理，在這里對(duì)字符圖像的寬度進(jìn)行擴(kuò)展，使之與字符長(zhǎng)度一致，并填充黑色像素，使縮放前字符圖像成正方形。

4 圖像識(shí)別

本設(shè)計(jì)中采用神經(jīng)網(wǎng)絡(luò)進(jìn)行車(chē)牌字符的識(shí)別，其主要由：訓(xùn)練模型、識(shí)別、softmax 幾個(gè)步驟組成。

4.1 全連接神經(jīng)網(wǎng)絡(luò)

本設(shè)計(jì)中采用全連接神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)是使用矩陣乘法的三層神經(jīng)網(wǎng)絡(luò)，其輸入層為28*28*1，即784*1 的矩陣，權(quán)重矩陣一為784*100 的矩陣，權(quán)重矩陣二為100*64 的矩陣。本設(shè)計(jì)中需要將該模型的權(quán)重參數(shù)即相關(guān)計(jì)算在FPGA 上實(shí)現(xiàn)。訓(xùn)練模型時(shí)，更新權(quán)重參數(shù)采用反向傳播算法，反向傳播算法又稱(chēng)為BP 算法[3]，運(yùn)算如式4.1-1：

ΔWj,k = α·Ek·Ok（1-Ok）·O djT（式4.1-1）

其中α 是學(xué)習(xí)效率，ΔWj,k 是權(quán)重的改變量，j 和k 是權(quán)重矩陣的行和列，Ek 是每一行的識(shí)別誤差，Ok 為S 函數(shù)。

（1）模型建立

利用jupyter 平臺(tái)及python 語(yǔ)言搭建訓(xùn)練模型，兩個(gè)權(quán)重矩陣，分別為784*100 和100*64。

該模型是一個(gè)可以自由調(diào)節(jié)各層大小的簡(jiǎn)單三層神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，在該模型中，可以設(shè)定輸入層、隱藏層、輸出層的大小；可以設(shè)定學(xué)習(xí)率；該模型的學(xué)習(xí)機(jī)制為：模型對(duì)某一圖案與第一層權(quán)重參數(shù)進(jìn)行矩陣乘法運(yùn)算、完成后再與第二層權(quán)重矩陣進(jìn)行矩陣乘法運(yùn)算，然后輸出到輸出層，即各種情況的可能性，由模型讀取訓(xùn)練集中的結(jié)論判斷正確與否，并將相應(yīng)的權(quán)重改變依據(jù)反向傳播算法傳導(dǎo)到每個(gè)權(quán)重矩陣。至此完成了一次訓(xùn)練。

（2）訓(xùn)練模型

當(dāng)進(jìn)行訓(xùn)練的時(shí)候，函數(shù)會(huì)將訓(xùn)練集里存放的圖像列表轉(zhuǎn)置為矩陣數(shù)組，再將目標(biāo)矩陣的列表也轉(zhuǎn)置為矩陣數(shù)組。將圖像矩陣與權(quán)重矩陣一進(jìn)行矩陣乘法得到隱藏層。將隱藏層執(zhí)行S 函數(shù)進(jìn)行歸一化，再將隱藏層與權(quán)重矩陣二進(jìn)行矩陣乘法得到輸出層。將輸出層再次執(zhí)行S 函數(shù)進(jìn)行歸一化，此時(shí)，函數(shù)會(huì)將輸出層的結(jié)論與目標(biāo)矩陣數(shù)組中的數(shù)據(jù)進(jìn)行對(duì)比，得到誤差值。利用BP 反向傳到公式將誤差傳導(dǎo)回去以改變兩層權(quán)重矩陣。

（3）測(cè)試模型

當(dāng)進(jìn)行識(shí)別操作時(shí)，模型會(huì)將輸入的圖像數(shù)據(jù)與兩層權(quán)重矩陣進(jìn)行矩陣乘法，同時(shí)分別利用S 函數(shù)進(jìn)行歸一化處理，最終得到每種情況的概率。通過(guò)對(duì)比即可得到輸入圖像數(shù)據(jù)所對(duì)應(yīng)的索引值。

4.2 FPGA 實(shí)現(xiàn)

將訓(xùn)練的權(quán)重參數(shù)經(jīng)過(guò)量化生成為coe 文件，創(chuàng)建ROM IP 核并導(dǎo)入。FPGA 每次從DDR 內(nèi)讀取一個(gè)像素的數(shù)據(jù)，參與運(yùn)算。每個(gè)像素?cái)?shù)據(jù)與第一權(quán)重矩陣的對(duì)應(yīng)行相乘加，循環(huán)784 次得到一張圖像與第一隱藏層的運(yùn)算結(jié)果[4]，將第一次的運(yùn)算結(jié)果在與第二隱藏層進(jìn)行類(lèi)似的乘加運(yùn)算得到最終輸出權(quán)重，運(yùn)算得到圖像對(duì)應(yīng)的概率。

4.3 Softmax

圖像識(shí)別部分在完成全連接計(jì)算的操作后，將圖像數(shù)據(jù)存放于固定的寄存器，并拉高完成信號(hào)。識(shí)別系統(tǒng)在檢測(cè)到完成信號(hào)拉高后，對(duì)全連接計(jì)算后得到的概率進(jìn)行softmax 處理。所謂softmax，即對(duì)輸出層輸出的各種結(jié)果的概率進(jìn)行對(duì)比，其中概率最大所對(duì)應(yīng)的索引，即為本次識(shí)別的字符所對(duì)應(yīng)的索引。將對(duì)應(yīng)的結(jié)果保存，再將索引與分類(lèi)類(lèi)別進(jìn)行映射，當(dāng)系統(tǒng)完成所有字符處理后通過(guò)屏幕,利用PL 部分對(duì)識(shí)別結(jié)果進(jìn)行顯示。

5 測(cè)試

5.1 環(huán)境測(cè)試

通過(guò)拍攝車(chē)牌，可以看見(jiàn)成像出現(xiàn)模糊現(xiàn)象，這是由于攝像頭焦距不對(duì)導(dǎo)致的，如圖1 所示：

圖1 屏幕顯示畫(huà)面

將OV7725 的鏡頭固定螺絲扭松，旋轉(zhuǎn)調(diào)節(jié)OV7725 鏡頭到合適的焦距，使得畫(huà)面清晰不模糊。

5.2 拍攝測(cè)試

硬件環(huán)境測(cè)試通過(guò)后對(duì)拍攝功能進(jìn)行測(cè)試，測(cè)試流程如下：程序上電，等待硬件初始化完成屏幕顯示畫(huà)面，按下圖像捕獲按鍵，等待串口打印完成拍攝信息，查看寫(xiě)入內(nèi)存卡的圖像信息，如圖2 所示：

圖2 寫(xiě)入內(nèi)存卡信息打印

將存放于SD 卡中的BMP 格式圖片去除查看，由于OV7725 攝像頭CMOS 與電路結(jié)構(gòu)所導(dǎo)致OV7725 成像為鏡像，如圖3 所示，對(duì)其進(jìn)行鏡像處理，使其變?yōu)檎颉?/p>

圖3 內(nèi)存卡保存的BMP 圖片

5.3 二值化測(cè)試

完成打印后需要對(duì)圖像進(jìn)行灰度及二值化處理，由于OV7725 為魚(yú)眼鏡頭，會(huì)導(dǎo)致成像出現(xiàn)畸變，對(duì)灰度處理后的圖像直接進(jìn)行二值化處會(huì)導(dǎo)致圖像的背景噪聲干擾二值化，而影響圖像定位，如圖4 所示：

圖4 灰度處理圖片

可以看見(jiàn)直接進(jìn)行二值化處理，即使通過(guò)腐蝕膨脹也會(huì)很容易干擾定位，如圖5 所示，可以看見(jiàn)在車(chē)牌以外的地方即箭頭指向處存在黑色區(qū)塊：

圖5 直接二值化后存在黑色像素塊干擾

通過(guò)OTSU 算法，尋找合適的二值化處理閾值,利用OTSU 得到的閾值進(jìn)行二值化處理可以看到干擾基本沒(méi)有了，如圖6 所示：

圖6 利用OTSU 算法后二值化

5.4 車(chē)牌定位測(cè)試

通過(guò)對(duì)黑色像素的定位可以實(shí)現(xiàn)車(chē)牌的基本定位，如圖7 所示：

圖7 車(chē)牌定位

5.5 字符定位測(cè)試

利用水平投影和垂直投影對(duì)字符進(jìn)行分割，其投影圖如圖8 所示：

圖8 水平投影

字符分割結(jié)果如下，可以看見(jiàn)基本實(shí)現(xiàn)字符的分割處理，如圖9 所示：

圖9 水平分割

6 結(jié)語(yǔ)

FPGA 由于其本身的并行運(yùn)算機(jī)制和其豐富的硬件資源，配合新興技術(shù)往往可以在很多傳統(tǒng)領(lǐng)域發(fā)揮出全新的作用。在本次設(shè)計(jì)的車(chē)牌識(shí)別領(lǐng)域，利用新興技術(shù)及算法可以實(shí)現(xiàn)車(chē)牌識(shí)別系統(tǒng)的小型化，易于迭代、成本低、易于推廣、算法便于更新。