基于FPGA+DSP實(shí)時(shí)圖像采集處理系統(tǒng)設(shè)計(jì)

靖固　楊華宇

摘要：采用FPGA和DSP的結(jié)構(gòu)實(shí)現(xiàn)實(shí)時(shí)圖像采集處理系統(tǒng)，利用FPGA運(yùn)行速度快、并行處理能力強(qiáng)的優(yōu)勢(shì)，采用“對(duì)數(shù)拉伸”算法對(duì)攝像頭采集的數(shù)據(jù)進(jìn)行前期預(yù)處理，達(dá)到圖像增強(qiáng)，使得停車場(chǎng)類昏暗光線圖像亮度分布不均勻的圖像變得清晰；利用DsP具有較強(qiáng)處理復(fù)雜算法的優(yōu)勢(shì)，對(duì)FPGA傳送過(guò)來(lái)的分塊圖像數(shù)據(jù)采用JPEG并行壓縮算法進(jìn)行圖像的壓縮，實(shí)驗(yàn)結(jié)果表明，圖像增強(qiáng)模塊能夠明顯改善圖片質(zhì)量，F(xiàn)PGA和DSP的結(jié)構(gòu)能夠很好的滿足系統(tǒng)實(shí)時(shí)性的要求，

關(guān)鍵詞：FPGA；DSP；圖像采集；圖像增強(qiáng)；圖像壓縮

DOI：10.15938/j.jhust.2016.04.008

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-2683（2016）04-0040-05

0引言

隨著現(xiàn)代技術(shù)的發(fā)展和人們對(duì)圖像采集處理質(zhì)量需求的不斷提升，對(duì)圖像采集系統(tǒng)的性能和實(shí)時(shí)性提出了更高的要求，而對(duì)于數(shù)據(jù)量大、噪聲干擾嚴(yán)重的圖像數(shù)據(jù)，采用單個(gè)DsP芯片難以滿足系統(tǒng)的性能和實(shí)時(shí)性的要求，用FPGA對(duì)圖像進(jìn)行預(yù)處理并實(shí)現(xiàn)對(duì)DSP的控制與管理，就可以很好的解決了這類問題，本系統(tǒng)針對(duì)停車場(chǎng)類昏暗光線圖像，利用FPGA采用零有效視頻信號(hào)提取算法提取出輸入的有效的YUV視頻數(shù)據(jù)，采用對(duì)數(shù)拉伸增強(qiáng)算法對(duì)圖像進(jìn)行預(yù)處理，預(yù)處理后的圖像送入到DSP內(nèi)采用并行JPEG壓縮算法對(duì)數(shù)據(jù)進(jìn)行壓縮，仿真結(jié)果表明，圖像增強(qiáng)模塊使昏暗光線圖像明顯增強(qiáng)，數(shù)據(jù)壓縮后使信息傳輸量減少20%，能很好地滿足系統(tǒng)實(shí)時(shí)陛要求，

1.實(shí)時(shí)圖像采集處理系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)總體框圖如圖1所示，系統(tǒng)分為9個(gè)模塊，F(xiàn)PGA內(nèi)包含的模塊有視頻解碼模塊，12C配置模塊，視頻幀存模塊，去除隔行模塊，視頻增強(qiáng)模塊，DSP接口模塊，

DSP芯片內(nèi)包含的模塊有圖像數(shù)據(jù)接口模塊，圖像數(shù)據(jù)緩存模塊，圖像壓縮模塊，通過(guò)CCD攝像頭對(duì)視頻進(jìn)行采集，圖像數(shù)據(jù)送入視頻A/D轉(zhuǎn)換芯

2.1視頻解碼模塊設(shè)計(jì)

視頻解碼模塊接受模數(shù)轉(zhuǎn)換器ADV71781 B的YUV數(shù)字信號(hào)，這些數(shù)字信號(hào)中包含有場(chǎng)參考信號(hào)VS、行參考信號(hào)HS和奇偶場(chǎng)信號(hào)，要對(duì)YUV信號(hào)分別進(jìn)行處理必須從圖像數(shù)據(jù)中提取出有效的Y、u、V數(shù)據(jù)，攝像頭采集的數(shù)據(jù)經(jīng)過(guò)ADV7181B轉(zhuǎn)片中，經(jīng)12C總線對(duì)視頻A/D轉(zhuǎn)換芯片初始化，完成控制寄存器的配置，使其上電后進(jìn)人工作模式；A/D轉(zhuǎn)換芯片輸出圖像送人視頻解碼模塊，視頻解碼模塊接收A/D轉(zhuǎn)換的視頻流后對(duì)視頻流進(jìn)行解碼，產(chǎn)生YUV數(shù)據(jù)；視頻幀存儲(chǔ)模塊采用乒乓存儲(chǔ)算法結(jié)構(gòu)對(duì)YUV數(shù)據(jù)進(jìn)行存儲(chǔ)，使YUV圖像數(shù)據(jù)轉(zhuǎn)化成并行數(shù)據(jù)；為了增強(qiáng)視頻效果，消除抖動(dòng)閃爍去除隔行模塊完成采集圖像的奇場(chǎng)幀和偶場(chǎng)幀的合并，由于系統(tǒng)應(yīng)用于地下車庫(kù)監(jiān)控系統(tǒng)，采集的圖像數(shù)據(jù)光線以及燈光等原因圖像畫面不清晰，通過(guò)圖像增強(qiáng)模塊增強(qiáng)其對(duì)比度使圖像清晰；增強(qiáng)后的圖像數(shù)據(jù)通過(guò)DSP接口模塊送入DSP芯片內(nèi)進(jìn)行壓縮；DSP芯片壓縮處理數(shù)據(jù)量很大，為避免數(shù)據(jù)丟失，圖像數(shù)據(jù)通過(guò)DSP內(nèi)部的接口模塊和圖像緩存模塊緩存到SDRAM中；緩存一幀圖像數(shù)據(jù)后，在DSP內(nèi)也采用乒乓讀寫操作將數(shù)據(jù)送入壓縮模塊進(jìn)行壓縮，壓縮后數(shù)據(jù)送回FPGA存儲(chǔ)待發(fā)送。

2.FPGA內(nèi)部模塊設(shè)計(jì)

FPGA內(nèi)部共有5個(gè)模塊組成，頂層仿真設(shè)計(jì)電路如圖2所示，輸人為攝像頭采集的復(fù)合信號(hào)DATA，時(shí)鐘信號(hào)elk，輸出為經(jīng)過(guò)處理的視頻有效信號(hào)和壓縮后傳回FPGA的YUV_DATA、YUV_DA-TA0信號(hào)，換后輸出符合ITU—R656的信號(hào)DATA，行同步信號(hào)HS，幀同步信號(hào)VS，DATA的數(shù)據(jù)格式如圖3所示，視頻解碼模塊主要是提取出YUV數(shù)據(jù)，即將串行的數(shù)據(jù)轉(zhuǎn)換為并行的YCrCb數(shù)據(jù)，

從上圖可以看出AV信號(hào)都是以“FF0000”作為開始信號(hào)，但SAV的XY[4]=0，EAV的XY[4]

1.利用這點(diǎn)我們構(gòu)造一個(gè)檢測(cè)電路來(lái)實(shí)現(xiàn)YUV數(shù)據(jù)的并行輸出，視頻數(shù)據(jù)提取算法如圖4所示，算法在實(shí)現(xiàn)上利用狀態(tài)機(jī)完成對(duì)“FF0000'數(shù)據(jù)流以及SAV、EAV的識(shí)別，識(shí)別出有效數(shù)據(jù)后操作設(shè)置好的計(jì)數(shù)器cnt，算法中YUV數(shù)據(jù)為422格式，當(dāng)cnt=0時(shí)輸出Cb，cnt=1時(shí)輸出Y，cnt=2時(shí)輸出Cr，cnt=3輸出Y，最終得到Y(jié)UV有效的視頻數(shù)據(jù)，

2.2視頻幀存模塊設(shè)計(jì)

視頻解碼模塊輸出的YUV信號(hào)需要三個(gè)緩存器進(jìn)行緩存，通過(guò)軟件自帶的端口RAM的宏模塊把每個(gè)緩存定義成雙端口的深度均為1024，每個(gè)數(shù)據(jù)端口寬度為8位RAM緩存器，

2.3去除隔行模塊設(shè)計(jì)

去除隔行模塊采用幀內(nèi)復(fù)制的方法，具體實(shí)現(xiàn)方法就是改變視頻幀存模塊中雙端口RAM的讀寫時(shí)鐘，使讀時(shí)鐘是寫時(shí)鐘頻率的兩倍，這樣每行的數(shù)據(jù)讀兩遍，隔行數(shù)據(jù)就變成了逐行數(shù)據(jù)，

2.4圖像增強(qiáng)模塊設(shè)計(jì)

2.4.1圖像增強(qiáng)算法

地下車庫(kù)的燈光相對(duì)較暗，往來(lái)進(jìn)出的車輛很多而且都開著大燈，在圖像中顯示結(jié)果為車燈的部分特別亮，使得周圍的圖像模糊不清，從灰度值方面來(lái)說(shuō)，灰度值為O～125之間和200～255之間的像素特別集中，這時(shí)如果直接使用原圖，則圖中的一部分低灰度細(xì)節(jié)可能會(huì)丟失，由于原圖的灰度動(dòng)態(tài)灰度值分布范圍不均勻，可能大于顯示設(shè)備允許的范圍，使得原圖的一些灰度級(jí)顯示不出來(lái)，為此將地下車庫(kù)的采集圖像做灰度映射，使原圖的動(dòng)態(tài)灰度值分布變得均勻，對(duì)數(shù)形式的壓縮算法可以很好地解決此類問題，其原理為：

利用上式可將原來(lái)動(dòng)態(tài)范圍很大的s轉(zhuǎn)換為動(dòng)態(tài)范圍較小的t，從圖5中可以看出，大部分低灰度值的像素經(jīng)過(guò)映射后其灰度值會(huì)集中到高亮度區(qū)段，總體來(lái)說(shuō)就是同時(shí)增大圖像的亮度，對(duì)于原來(lái)灰度值小的增亮的幅度大些，原灰度值大的增亮的幅度小些，從而達(dá)到圖像亮度均勻，細(xì)節(jié)不模糊的效果，

2.4.2圖像增強(qiáng)模塊硬件結(jié)構(gòu)設(shè)計(jì)

圖像增強(qiáng)主要針對(duì)于亮度信號(hào)，也就是YUV信號(hào)中的Y路信號(hào)，去除隔行模塊輸出的是YUV三路并行的8位信號(hào)，因此在增強(qiáng)模塊中還要保證u、V兩路信號(hào)的同步，為此采用與之前模塊同樣的方式設(shè)置三個(gè)寬度為8位，深度為1024的FIFO，增加一個(gè)檢測(cè)電路使三路信號(hào)完成并行轉(zhuǎn)換到串行，使輸出給接口控制模塊的數(shù)據(jù)為單路8位寬的有效圖像數(shù)據(jù)，從后面仿真對(duì)比圖可以看出經(jīng)過(guò)圖像增強(qiáng)模塊后圖像對(duì)比度明顯增強(qiáng)，從圖6的a）圖可以得出整個(gè)處理過(guò)程共需O，17 ms，而從b）圖可以看出在MATLAB軟件上完成的時(shí)間為1，7s，

2.5接口控制模塊設(shè)計(jì)

FPGA內(nèi)部的接口控制模塊通過(guò)一個(gè)時(shí)鐘鎖相環(huán)來(lái)控制，F(xiàn)PGA和DSP的數(shù)據(jù)通信接口如圖7所示，為了將處理后的視頻數(shù)據(jù)并行處理，采用8個(gè)FIFO寄存器將視頻數(shù)據(jù)進(jìn)行分塊，第9個(gè)FIFO用來(lái)接收DSP送回的壓縮數(shù)據(jù)，視頻數(shù)據(jù)采集、處理完成之后，F(xiàn)PGA通過(guò)FIF08的空信號(hào)（empty flag）查看8個(gè)FIFO中是否數(shù)據(jù)已滿，如果未滿，則將數(shù)據(jù)在寫時(shí)鐘的邏輯控制下，順序?qū)懭氲紽IFO中；同時(shí)將FIF08中滿信號(hào)連接到DSP的中斷引腳，滿信號(hào)置高，會(huì)觸發(fā)DSP的DMA進(jìn)程，將寄存器中數(shù)據(jù)讀走，DSP壓縮一幀數(shù)據(jù)完成后通過(guò)EMIF接口將數(shù)據(jù)送回FPGA。

3.DSP內(nèi)部設(shè)計(jì)

3.1圖像壓縮并行算法

為了達(dá)到實(shí)時(shí)性的目的對(duì)預(yù)處理后的圖像進(jìn)行并行JPEG壓縮處理，JPEG壓縮編碼主要由預(yù)處理、DCT變換、量化、Huffman編碼等流程構(gòu)成，如圖8所示，

JPEG壓縮編碼時(shí)，需先將原始的二維圖像分成8×8的數(shù)據(jù)塊并行處理，然后將各數(shù)據(jù)塊按從左到右，從上到下的順序分別進(jìn)行DCT變換、量化、“之”字型（Zig-Zag）掃描和Huffman編碼，分別需要量化表和Huffman編碼表的支持，將8×8數(shù)據(jù)塊的DCT轉(zhuǎn)換為16次一維8點(diǎn)DCT變換，只要提高一維DCT的速度就可以提高二維DCT的速度，利用DSP的專用指令乘累加運(yùn)算來(lái)優(yōu)化DCT算法，DCT變換和Huffman編碼采用和傳統(tǒng)算法一樣的實(shí)現(xiàn)方法，用C語(yǔ)言和匯編語(yǔ)言在DSP內(nèi)部實(shí)現(xiàn)，

與傳統(tǒng)JPEG算法在DSP芯片上實(shí)現(xiàn)有所不同的是，在圖像壓縮模塊中并沒有進(jìn)行對(duì)二維圖像的分塊處理，DSP壓縮模塊接受的是經(jīng)過(guò)FPGA分塊處理后的圖像數(shù)據(jù)，DSP在經(jīng)過(guò)緩存后可以直接對(duì)其進(jìn)行后續(xù)的壓縮處理，這樣既提升了整個(gè)系統(tǒng)的處理速度，更好的滿足實(shí)時(shí)性，又減少了DSP對(duì)存儲(chǔ)器的調(diào)用，

3.2圖像壓縮結(jié)果

經(jīng)過(guò)DSP芯片壓縮后的數(shù)據(jù)通過(guò)與FPGA接口模塊傳送回FPGA，最終存儲(chǔ)或顯示出來(lái)，由圖9（a）（b），可以明顯看出比原圖像更加清晰，由圖9（c）可以看出壓縮后盡管有一些失真，但還是保留了原圖像的細(xì)節(jié)，達(dá)到了要求，

5.結(jié)論

利用FPGA和DSP結(jié)構(gòu)能很好地解決圖像采集系統(tǒng)的實(shí)時(shí)性要求，針對(duì)昏暗場(chǎng)所的圖像數(shù)據(jù)采用“對(duì)數(shù)拉伸”算法，可有效增強(qiáng)圖像，使得亮度分布不均勻的圖像變得清晰；采用并行JPEG壓縮算法在FPGA發(fā)送數(shù)據(jù)前對(duì)二維圖像進(jìn)行分塊，減少了處理時(shí)間；JPEG壓縮雖為有損的圖像壓縮算法，但能使信息傳輸量大大減少的同時(shí)有效地保留原始圖像的細(xì)節(jié)，達(dá)到預(yù)期處理目的。