基于FPGA的目標(biāo)識(shí)別與跟蹤系統(tǒng)設(shè)計(jì)

呂清松 許宜申

摘 要： 利用FPGA實(shí)現(xiàn)算法的硬件加速逐漸成為一個(gè)新的發(fā)展趨勢(shì)。因此，采用FPGA獨(dú)特的并行處理方式設(shè)計(jì)一套基于顏色特征的目標(biāo)識(shí)別與跟蹤系統(tǒng)。該系統(tǒng)采用OV7725數(shù)字圖像攝像頭采集原始圖像數(shù)據(jù)，然后在HSV顏色空間實(shí)現(xiàn)顏色特征提取和目標(biāo)檢測(cè)，并將識(shí)別后的圖像數(shù)據(jù)二值化，最后運(yùn)用基于區(qū)域特征的形心計(jì)算和跟蹤算法實(shí)現(xiàn)對(duì)目標(biāo)物體的穩(wěn)定跟蹤。測(cè)試結(jié)果表明，整個(gè)系統(tǒng)能夠有效穩(wěn)定地跟蹤目標(biāo)物體。

關(guān)鍵詞： FPGA； 目標(biāo)識(shí)別； 形心計(jì)算； 跟蹤算法； 圖像處理； HSV

中圖分類號(hào)： TN710?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）18?0012?05

Design of target recognition and tracking system based on FPGA

L? Qingsong， XU Yishen

（School of Optoelectronics Science and Engineering， Soochow University， Suzhou 215006， China）

Abstract： Using the FPGA to achieve hardware acceleration of the algorithm has gradually become a new development trend. Therefore， a target recognition and tracking system based on color feature is designed by adopting the unique parallel processing pattern of the FPGA. In the system， the OV7725 digital image camera is used to collect original image data. Color feature extraction and target detection are achieved in the HSV color space. Binarization of the recognized image data is conducted. The stable tracking of the target object is realized by using the centroid calculation and tracking algorithm based on the regional feature. The test results show that the whole system can track the target object effectively and stably.

Keywords： FPGA； target recognition； centroid calculation； tracking algorithm； image processing； HSV

長(zhǎng)期以來，對(duì)于運(yùn)動(dòng)目標(biāo)檢測(cè)問題的研究都是基于PC機(jī)和DSP等傳統(tǒng)平臺(tái)[1]。但是，PC機(jī)固有的體積大、攜帶不便等劣勢(shì)使得其無法應(yīng)用在一些需要小、快、靈的應(yīng)用場(chǎng)合，比如無人機(jī)的偵查、士兵的紅外探測(cè)裝備[2]；DSP平臺(tái)內(nèi)含乘法器，圖像處理開發(fā)比較方便，但是其只能處理特定的圖像算法，對(duì)于系統(tǒng)實(shí)時(shí)性要求較高的場(chǎng)合，需要多個(gè)DSP塊并行運(yùn)行，成本高昂。此外，隨著自動(dòng)化水平和科學(xué)技術(shù)的不斷發(fā)展，高分辨率的圖像信號(hào)使得視頻數(shù)據(jù)的實(shí)時(shí)處理難度越來越大。

FPGA作為一種硬件平臺(tái)，用于數(shù)字圖像處理，具有速度快、集成度高、可靠性強(qiáng)等優(yōu)點(diǎn)。隨著FPGA的內(nèi)部資源越來越豐富，利用FPGA對(duì)實(shí)時(shí)圖像進(jìn)行硬件處理逐漸成為一個(gè)新的發(fā)展趨勢(shì)[3]。

本文即針對(duì)傳統(tǒng)開發(fā)平臺(tái)在目標(biāo)檢測(cè)方面存在的問題和現(xiàn)代智能監(jiān)控領(lǐng)域的實(shí)際需求，利用FPGA強(qiáng)大的并行處理能力，設(shè)計(jì)了一套基于顏色特征的目標(biāo)識(shí)別與跟蹤系統(tǒng)。

1 總體方案

系統(tǒng)總體方案如圖1所示。此方案主要包括CMOS攝像頭、FPGA、外部存儲(chǔ)器（SDRAM）、LCD液晶顯示等模塊。CMOS攝像頭實(shí)現(xiàn)原始視頻信號(hào)的采集；FPGA主要完成攝像頭配置、圖像預(yù)處理、顏色特征提取和目標(biāo)識(shí)別、形態(tài)學(xué)濾波、形心計(jì)算和跟蹤以及LCD液晶顯示控制等功能；外部存儲(chǔ)器模塊使用SDRAM實(shí)現(xiàn)像素時(shí)鐘與VGA顯示時(shí)鐘間跨時(shí)鐘域的數(shù)據(jù)交互；LCD液晶顯示模塊用于實(shí)時(shí)顯示處理后的視頻圖像信息。

系統(tǒng)工作流程如下：首先，F(xiàn)PGA通過SCCB總線配置CMOS攝像頭（OV7725）相關(guān)參數(shù)，捕獲CMOS輸出的8 bit Bayer陣列的RAW數(shù)據(jù)，通過RAW轉(zhuǎn)RGB888算法，得到后續(xù)彩色圖像處理所需的原始數(shù)據(jù)；經(jīng)中值濾波后，將圖像數(shù)據(jù)轉(zhuǎn)換到特征提取所需的HSV空間；然后，通過設(shè)定相應(yīng)的顏色閾值實(shí)現(xiàn)目標(biāo)識(shí)別，并將圖像二值化，以便后續(xù)進(jìn)行腐蝕、膨脹等形態(tài)學(xué)濾波操作；濾波后圖像數(shù)據(jù)一路送外置SDRAM存儲(chǔ)器緩存實(shí)現(xiàn)視頻流的跨時(shí)鐘域處理，一路運(yùn)用基于區(qū)域特征的形心計(jì)算和跟蹤算法實(shí)現(xiàn)對(duì)目標(biāo)中心的穩(wěn)定跟蹤；最后，將處理完成后的視頻圖像數(shù)據(jù)通過VGA接口在LCD液晶上進(jìn)行實(shí)時(shí)顯示。

2 系統(tǒng)硬件

2.1 CMOS傳感器OV7725

本系統(tǒng)設(shè)計(jì)中，選用OmniVision公司的數(shù)字式CMOS圖像傳感器OV7725，其擁有640×480的感光陣列，最高支持640×480@60 Hz圖像的輸出，而且分辨率、輸出數(shù)據(jù)格式、圖像特性等可配置。此外，在640×480分辨率下，OV7725成像質(zhì)量?jī)?yōu)越，開發(fā)簡(jiǎn)單，受到很多中低端產(chǎn)品的青睞[4]。

2.2 視頻處理器EP4CE15F17C8

根據(jù)內(nèi)部資源和開發(fā)成本，最終選用Altera公司的Cyclone IV系列FPGA芯片EP4CE15F17C8作為視頻處理的控制核心。該芯片包含15 408個(gè)邏輯單元、4個(gè)PLL、通用I/O數(shù)目達(dá)166個(gè)、內(nèi)置112個(gè)嵌入式乘法器，以及31.5k×16 bit的存儲(chǔ)器，滿足系統(tǒng)的需求。

2.3 外部存儲(chǔ)器SDRAM

系統(tǒng)設(shè)計(jì)中，采用Hynix公司的32 bit SDRAM HY57V283220T作為視頻圖像數(shù)據(jù)的緩存單元完成跨時(shí)鐘域的數(shù)據(jù)交互。該款型號(hào)的SDRAM最高能運(yùn)行到166 MHz，共有4 banks×1M×32 bit的存儲(chǔ)容量，滿足系統(tǒng)設(shè)計(jì)的需要。實(shí)際使用中，截取了24 bit作為視頻數(shù)據(jù)的傳輸通道。

2.4 視頻轉(zhuǎn)換電路ADV7123

系統(tǒng)設(shè)計(jì)中，采用美國(guó)AD公司的專用視頻轉(zhuǎn)換芯片ADV7123，實(shí)現(xiàn)視頻圖像數(shù)據(jù)的實(shí)時(shí)VGA顯示。ADV7123是一款單芯片、三通道、高速數(shù)/模轉(zhuǎn)換器，最大采樣速度為330 MHz，能夠與多種高精度的顯示器兼容[5]。此外，通過芯片內(nèi)部產(chǎn)生基準(zhǔn)源，作為DAC的轉(zhuǎn)換基準(zhǔn)電壓，保證了視頻傳輸?shù)馁|(zhì)量。

3 目標(biāo)識(shí)別與跟蹤系統(tǒng)設(shè)計(jì)

控制系統(tǒng)設(shè)計(jì)主要包括圖像采集模塊、數(shù)據(jù)預(yù)處理模塊、顏色檢測(cè)與目標(biāo)識(shí)別模塊、形態(tài)學(xué)濾波模塊、SDRAM存儲(chǔ)控制模塊、形心計(jì)算以及VGA顯示控制模塊。

3.1 圖像采集模塊

圖像采集模塊主要實(shí)現(xiàn)OV7725攝像頭配置和RGB彩色圖像數(shù)據(jù)的獲取。綜合后的攝像頭配置模塊的RTL級(jí)視圖如圖2所示。子模塊U1，U2聯(lián)合實(shí)現(xiàn)OV7725相關(guān)寄存器的配置，U3完成8 bit Bayer陣列RAW數(shù)據(jù)的捕獲。然后，通過RAW轉(zhuǎn)RGB888算法，得到后續(xù)處理所需的24 bit彩色圖像數(shù)據(jù)。

3.2 數(shù)據(jù)預(yù)處理模塊

視頻圖像采集后需要進(jìn)一步的處理，才能滿足后續(xù)顏色檢測(cè)和目標(biāo)識(shí)別的需要。圖像數(shù)據(jù)預(yù)處理框架如圖3所示，主要實(shí)現(xiàn)中值濾波和顏色空間轉(zhuǎn)換。

3.2.1 中值濾波

中值濾波器是一種基于統(tǒng)計(jì)排序理論的非線性濾波器，其運(yùn)算簡(jiǎn)單速度快，在濾除椒鹽噪聲、長(zhǎng)尾疊加噪聲方面顯示了極好的性能。其主要原理在于對(duì)掩模覆蓋的像素點(diǎn)灰度值進(jìn)行排序，取中間值代替中心點(diǎn)像素值[6]。因此，其關(guān)鍵在于濾波器模板（掩模）的構(gòu)建。本設(shè)計(jì)中，通過2行Shift_RAM的移位存儲(chǔ)，同時(shí)與當(dāng)前輸入行的數(shù)據(jù)來實(shí)現(xiàn)3×3的像素陣列。Shift_RAM移位存儲(chǔ)示意圖如圖4所示。

設(shè)計(jì)中，設(shè)置Shift_RAM的數(shù)據(jù)位寬為8 bit，每行緩存640個(gè)像素?cái)?shù)據(jù)（VGA顯示分辨率為640×480）。

3.2.2 顏色空間轉(zhuǎn)換

HSV色彩模型是一種面向人類視覺感知的色彩模型。其將顏色的色調(diào)、飽和度和亮度屬性分離，因此相較于RGB色彩空間，采用HSV顏色空間來實(shí)現(xiàn)顏色檢測(cè)的效果會(huì)更好[7]。RGB轉(zhuǎn)換為HSV的轉(zhuǎn)換方程如下：

式中，max，min分別為R，G，B分量中的最大值和最小值。根據(jù)轉(zhuǎn)換方程設(shè)計(jì)的RGB轉(zhuǎn)HSV的硬件電路如圖5所示。

此外，系統(tǒng)設(shè)計(jì)時(shí)為了便于后續(xù)處理，將色調(diào)值H∈[0[°]，360[°]]，飽和度值S∈[0，1]分別映射到[0，255]的范圍內(nèi)。

3.3 顏色檢測(cè)與目標(biāo)識(shí)別模塊

經(jīng)過圖像預(yù)處理操作后得到24 bit的HSV圖像數(shù)據(jù)。顏色檢測(cè)與目標(biāo)識(shí)別模塊主要通過計(jì)算每個(gè)像素點(diǎn)HSV分量與目標(biāo)顏色的差值是否滿足設(shè)定的閾值，來判斷該像素點(diǎn)是否屬于目標(biāo)像素。顏色檢測(cè)與目標(biāo)識(shí)別的流程如圖6所示。

系統(tǒng)設(shè)計(jì)中，目標(biāo)顏色可以通過外部輸入或者采集中心點(diǎn)附近顏色作為目標(biāo)像素值。識(shí)別過程中，通過計(jì)算輸入像素與目標(biāo)像素在H，S，V三分量的差值（H_diff，S_diff，V_diff），并與設(shè)定閾值（H_th，S_th，V_th）進(jìn)行比較。當(dāng)滿足閾值條件時(shí)，即認(rèn)為該點(diǎn)為目標(biāo)像素點(diǎn)，并對(duì)該點(diǎn)的像素值進(jìn)行標(biāo)記（二值化）。顏色識(shí)別與目標(biāo)檢測(cè)模塊的電路設(shè)計(jì)如圖7所示。

3.4 形態(tài)學(xué)濾波模塊

為了去除二值圖像中存在的孤立點(diǎn)和噪聲，系統(tǒng)基于開運(yùn)算設(shè)計(jì)了形態(tài)學(xué)濾波模塊。利用基于Shift_RAM構(gòu)建的3×3形態(tài)學(xué)濾波算子，對(duì)輸入圖像數(shù)據(jù)先進(jìn)行腐蝕運(yùn)算，然后進(jìn)行膨脹運(yùn)算[8]。在去掉毛刺、孤立點(diǎn)和銳化角的同時(shí)，使目標(biāo)輪廓變得光滑[9]。設(shè)計(jì)的形態(tài)學(xué)濾波模塊電路如圖8所示。

3.5 SDRAM存儲(chǔ)控制模塊

SDRAM存儲(chǔ)控制模塊主要用來解決像素時(shí)鐘（24 MHz）與VGA顯示時(shí)鐘（25 MHz）間跨時(shí)鐘域的數(shù)據(jù)交互問題[10]。系統(tǒng)中采用的雙端口SDRAM控制器主要由命令解析模塊、SDRAM接口模塊、讀/寫FIFO模塊以及頂層控制模塊組成。

此外，為了避免液晶顯示出現(xiàn)前后兩幀交錯(cuò)的現(xiàn)象，將SDRAM中的4個(gè)Bank人為分成兩部分，構(gòu)建了兩個(gè)數(shù)據(jù)緩存模塊。通過控制數(shù)據(jù)輸入選通模塊和輸出選通模塊的工作，在兩個(gè)數(shù)據(jù)緩存模塊中循環(huán)切換讀/寫操作，實(shí)現(xiàn)“片內(nèi)乒乓”，從而保證圖像顯示的完整性。

3.6 形心計(jì)算以及VGA顯示控制模塊

3.6.1 形心計(jì)算

本系統(tǒng)中，選取目標(biāo)區(qū)域的形心來實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的跟蹤。傳統(tǒng)基于形心提取公式的算法不僅會(huì)消耗大量邏輯資源，而且跟蹤效果不理想[11]。因此，為了降低對(duì)FPGA內(nèi)部邏輯資源的消耗和提高算法跟蹤的穩(wěn)定性，根據(jù)到目標(biāo)中心距離的不同對(duì)像素點(diǎn)進(jìn)行加權(quán)處理，實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)目標(biāo)的穩(wěn)定跟蹤。目標(biāo)形心提取與跟蹤流程如圖9所示。

其中，Lcd_xpos，Lcd_ypos表示當(dāng)前像素點(diǎn)行、列坐標(biāo)；Diff_x，Diff_y表示像素點(diǎn)與當(dāng)前目標(biāo)中心的行、列距離；Target_sum表示一幀圖像中目標(biāo)像素點(diǎn)的總數(shù)。像素點(diǎn)加權(quán)處理后，統(tǒng)計(jì)當(dāng)前數(shù)據(jù)幀中的目標(biāo)像素?cái)?shù)（num_cnt_now）以及形心所在行的目標(biāo)像素?cái)?shù)（H_num_cnt_now）。如果計(jì)數(shù)值少于前一幀統(tǒng)計(jì)值的一半，則在當(dāng)前數(shù)據(jù)幀結(jié)束時(shí)更新形心坐標(biāo)，否則保持原形心坐標(biāo)不變，從而保證了跟蹤的穩(wěn)定性。形心提取與跟蹤模塊電路如圖10所示。

3.6.2 VGA顯示控制

基于ADV7123這一單芯片的DAC轉(zhuǎn)換方案，對(duì)于FPGA而言，只需要按照VGA時(shí)序進(jìn)行數(shù)據(jù)的傳輸即可實(shí)現(xiàn)圖像信息的實(shí)時(shí)VGA顯示[12]。 系統(tǒng)設(shè)計(jì)中，配置LCD液晶的顯示模式為640×480@60 Hz，即圖像分辨率為640×480，刷新頻率為60 Hz。

4 系統(tǒng)平臺(tái)驗(yàn)證

在完成系統(tǒng)各個(gè)子模塊的功能設(shè)計(jì)和時(shí)序仿真后，編寫頂層控制文件，在Quartus軟件中進(jìn)行編譯、綜合，系統(tǒng)所消耗的FPGA硬件資源情況如圖11所示。

4.1 顏色檢測(cè)模塊測(cè)試

為了驗(yàn)證顏色檢測(cè)與目標(biāo)識(shí)別模塊的功能，分別選取帶一定色差的紅色、黃色、綠色以及藍(lán)色卡片各50張進(jìn)行顏色識(shí)別效果的測(cè)試。實(shí)驗(yàn)結(jié)果如表1所示。

4.2 目標(biāo)跟蹤效果測(cè)試

CMOS攝像頭采集到的圖像數(shù)據(jù)經(jīng)FPGA處理后，通過VGA接口送到LCD液晶屏上進(jìn)行實(shí)時(shí)顯示。實(shí)際測(cè)試時(shí)，以黃色小球?yàn)槟繕?biāo)，測(cè)試過程如圖12所示。

圖12a）為系統(tǒng)實(shí)驗(yàn)裝置；圖12b）為系統(tǒng)初始狀態(tài)，即沒有檢測(cè)到目標(biāo)時(shí)液晶屏的顯示效果；圖12c）為加入目標(biāo)后液晶屏的顯示效果，目標(biāo)部分以綠色突出顯示；圖12d）為移動(dòng)目標(biāo)后的顯示效果。

測(cè)試結(jié)果表明，該系統(tǒng)能夠很好地跟蹤目標(biāo)物體的形心，跟蹤準(zhǔn)確穩(wěn)定，且系統(tǒng)實(shí)時(shí)性良好，實(shí)現(xiàn)了預(yù)期的功能。

5 結(jié) 語

本文針對(duì)傳統(tǒng)開發(fā)平臺(tái)在目標(biāo)檢測(cè)方面存在的體積大、成本高、實(shí)時(shí)性較差等問題和現(xiàn)代智能監(jiān)控領(lǐng)域的實(shí)際需求，基于FPGA強(qiáng)大的并行處理能力設(shè)計(jì)一套基于顏色特征的目標(biāo)識(shí)別與跟蹤系統(tǒng)。測(cè)試結(jié)果表明，該系統(tǒng)能夠有效地識(shí)別目標(biāo)物體的顏色，并基于改進(jìn)的形心跟蹤算法對(duì)目標(biāo)物體實(shí)施穩(wěn)定跟蹤，而且系統(tǒng)跟蹤效果良好，實(shí)現(xiàn)了預(yù)期的設(shè)計(jì)目標(biāo)。

注：本文通訊作者為許宜申。

參考文獻(xiàn)

[1] 張慧君.基于FPGA目標(biāo)顏色識(shí)別與跟蹤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2015.

ZHANG Huijun. Design and implementation of target color recognition and tracking system based on FPGA [D]. Harbin： Harbin Institute of Technology， 2015.

[2] 陸彬.基于FPGA的運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究與系統(tǒng)實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2014.

LU Bin. Moving target detection algorithm research and system implement based on FPGA [D]. Wuhan： Huazhong University of Science and Technology， 2014.

[3] 李艷婷，王水魚.視頻圖像中動(dòng)態(tài)目標(biāo)檢測(cè)系統(tǒng)的FPGA硬件設(shè)計(jì)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（3）：119?125.

LI Yanting， WANG Shuiyu. FPGA hardware design of dynamic target detection system in video image [J]. Computer systems & applications， 2017， 26（3）： 119?125.

[4] 韓彬.FPGA設(shè)計(jì)技巧與案例開發(fā)詳解[M].2版.北京：電子工業(yè)出版社，2016.

HAN Bin. FPGA design skills and detailed case development [M]. 2nd ed. Beijing： Publishing House of Electronics Industry， 2016.

[5] 李光春，蘇沛東，杜世通，等.基于FPGA的視頻采集及實(shí)時(shí)顯示系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制，2015，23（11）：3810?3812.

LI Guangchun， SU Peidong， DU Shitong， et al. Design of video acquisition and real?time display system based on FPGA [J]. Computer measurement & control， 2015， 23（11）： 3810?3812.

[6] LI Jintong， DUAN Xiaojie. Study and design of image pre?processing system based on FPGA [J]. Advanced materials research， 2012， 482?484： 200?205.

[7] 袁奮杰，周曉，丁軍，等.基于FPGA的RGB和HSV色空間轉(zhuǎn)換算法實(shí)現(xiàn)[J].電子器件，2010，33（4）：493?497.

YUAN Fenjie， ZHOU Xiao， DING Jun， et al. Design of RGB and HSV color space conversion based on FPGA [J]. Chinese journal of electron devices， 2010， 33（4）： 493?497.

[8] ZHAN Hui， LI Xiaoyu， WANG Wei， et al. Research on image recognition technology of wormhole chestnut [J]. Journal of agricultural mechanization research， 2010（8）： 127?130.

[9] 龔聲蓉，劉純平，趙勛杰，等.數(shù)字圖像處理與分析[M].2版.北京：清華大學(xué)出版社，2014.

GONG Shengrong， LIU Chunping， ZHAO Xunjie， et al. Digital image processing and analysis [M]. 2nd ed. Beijing： Tsinghua University Press， 2014.

[10] LIU Jie， LI Zhangyong， ZHANG Lifang， et al. The research of high?speed data caching algorithm in the CCD/DR system [C]// Proceedings of 15th International Conference on Biomedical Engineering. Cham： Springer International Publishing Switzerland， 2014： 547?550.

[11] 彭丹陽.基于FPGA的視頻跟蹤與編碼系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽：東北大學(xué)，2013.

PENG Danyang. Design and implementation of video tracking and encoding system based on FPGA [D]. Shenyang： Northeastern University， 2013.

[12] DONG Hongyan， GUO Hongmin. Design of VGA display controller based on FPGA and VHDL [C]// Proceedings of International Conference on Electric Information and Control Engineering. Wuhan： IEEE， 2011： 4125?4128.