基于CPLD硬件提升幀率的圖像采集系統(tǒng)

朱 兵，曾延安，張南洋生，張 超，張 力

(華中科技大學(xué)光學(xué)與電子信息學(xué)院，湖北武漢 430074)

0 引言

現(xiàn)在主流的幀率提升手段通常是在原始視頻中間插入一些通過插值算法等手段虛擬出的幀，使低幀率的視頻變?yōu)楦邘实囊曨l，這些虛擬出的幀是根據(jù)前后幀的數(shù)據(jù)進(jìn)行一定插值補(bǔ)償獲得的［1］，即這些虛擬幀的數(shù)據(jù)具有不真實(shí)性，這些不真實(shí)的圖像幀對(duì)于測(cè)量等應(yīng)用有可能使測(cè)量精度降低，甚至引入錯(cuò)誤的結(jié)果。并且這些通過算法插值獲得的幀率提升的圖像在動(dòng)態(tài)圖中還存在著抖動(dòng)、模糊等破壞圖像質(zhì)量的現(xiàn)象［2］。

為了解決上述的幀率提升帶來的2個(gè)問題，本文設(shè)計(jì)并驗(yàn)證了一套利用硬件方法提升幀率的圖像采集方案，這種方法實(shí)現(xiàn)幀率提升的本質(zhì)是增加原始數(shù)據(jù)的產(chǎn)生速率，數(shù)據(jù)產(chǎn)生的速率提升后，在CCD的采集分辨率不變的情況下，將體現(xiàn)為幀率提升。所以這種方法可以保證圖像質(zhì)量不變，并且保證幀率提升后數(shù)據(jù)仍舊具有真實(shí)性。

1 幀率提升技術(shù)

1.1 幀率提升的算法

在圖1中，每個(gè)實(shí)線四邊形代表一幀圖片，上面的視頻序列為原始的低幀率的視頻序列，下面的視頻序列為經(jīng)過算法插入虛擬幀后的的高幀率的視頻序列，虛線所表示的幀是根據(jù)前后原始幀插值出來的幀。幀率提升可以分為均勻插值和非均勻插值，均勻插值是指經(jīng)過幀率提升后的視頻幀率為原來視頻幀率的2倍，非均勻是指在經(jīng)過幀率提升的視頻中插值幀和原始幀滿足一定的比率［3－4］。

圖1 幀率提升示意圖

使用算法進(jìn)行幀率提升的技術(shù)多會(huì)存在一個(gè)影響視頻質(zhì)量比較大的問題，當(dāng)視頻中存在比較劇烈的運(yùn)動(dòng)時(shí)，使用這些技術(shù)得到的結(jié)果往往會(huì)產(chǎn)生比較嚴(yán)重的變形、模糊、抖動(dòng)等問題［5－6］。

1.2 硬件幀率提升的原理

在ICX285AL圖像采集芯片的典型應(yīng)用中，一般能夠達(dá)到15 FPS(幀/s)的幀頻，此時(shí)的像素轉(zhuǎn)移速度應(yīng)該為28.64 MHz。要想從硬件上提升圖像的幀率，就要從CCD的驅(qū)動(dòng)時(shí)序上進(jìn)行分析。圖2、圖3展示了CCD驅(qū)動(dòng)信號(hào)產(chǎn)生的冗余數(shù)據(jù)(也稱為行/幀消隱)，這段時(shí)間會(huì)產(chǎn)生大量對(duì)實(shí)際圖像數(shù)據(jù)無用的數(shù)據(jù)，并且這段時(shí)間在每幀的周期中占有比較大比例。

圖2 ICX285的驅(qū)動(dòng)時(shí)序行冗余數(shù)據(jù)示意圖

圖3 ICX285的驅(qū)動(dòng)時(shí)序幀冗余數(shù)據(jù)示意圖

通過硬件手段提升CCD采集器件幀率的第一種有效方法就是在CPLD產(chǎn)生驅(qū)動(dòng)時(shí)序的時(shí)候，有目的性地壓縮幀/行間的冗余信息在幀內(nèi)所占比例，只留存必要的消隱時(shí)間。必要的消隱時(shí)間包括CCD垂直轉(zhuǎn)移時(shí)間、CCD暗像元必須的轉(zhuǎn)移時(shí)間以及CCD的幀讀出轉(zhuǎn)移時(shí)間等。這一方法可以將幀內(nèi)冗余時(shí)間最大壓縮10%左右，這也是幀率可以提高的幅度。

第二種方法是提高CCD的像素時(shí)鐘。分析圖4可以獲得該方法的理論依據(jù)。

圖4 ICX285AL的復(fù)位信號(hào)RG的波形示意圖

在圖4中，VRGLH和VRGLL分別是RG波形在低電平時(shí)振蕩的最大值和最小值，VRGL是他們的均值:

VRGLH－VRGLL＜400 mV這一限制在硬件設(shè)計(jì)上對(duì)降低噪聲和抗干擾的能力提出了嚴(yán)格要求。

另外，VRGH是RG信號(hào)高電平的典型值，VRGL是低電平的典型值。

VφRG的取值范圍在3.0～5.5 V之間，在提供各驅(qū)動(dòng)信號(hào)時(shí)，不僅要滿足驅(qū)動(dòng)信號(hào)的電平取值范圍和穩(wěn)定性，還應(yīng)該提供充足的功率。

從時(shí)序上分析，圖4中 tr、tf和 twl的典型值為 2 ns、2 ns和24 ns，而twh最小值為4 ns。那么RG信號(hào)在一般應(yīng)用中周期應(yīng)大于32 ns，轉(zhuǎn)換成像素時(shí)鐘約30 MHz。tr、tf和 twl其實(shí)還保留了比較充分的時(shí)序裕量，在時(shí)序發(fā)生器能保證良好的開關(guān)性能(比如ns級(jí)的開關(guān)時(shí)間)時(shí)，可以考慮對(duì)這幾個(gè)時(shí)間進(jìn)行壓縮，最終體現(xiàn)在驅(qū)動(dòng)信號(hào)的周期被壓縮上，通過這一分析，假如將ICX285AL的像素時(shí)鐘從28.64 MHz提高到45 MHz，就可以將系統(tǒng)幀率提高57%左右。

假如第一種方法壓縮的冗余時(shí)間占一幀的周期的比例為p%，第二種方法將像素時(shí)鐘提升了q%，那么總的幀率提升幅度則達(dá)到:

綜合以上兩種方法，可以用硬件的方法將系統(tǒng)的輸出幀率最大提升72%左右，達(dá)到25 FPS。

2 系統(tǒng)方案設(shè)計(jì)

在各種研究論文中已經(jīng)報(bào)道過多種多樣的圖像采集方案，有利用FPGA(可編程邏輯陣列)的高并行性進(jìn)行實(shí)時(shí)圖像采集及處理的設(shè)計(jì)方案［7－8］;有利用單片機(jī)實(shí)現(xiàn)低成本圖像采集的方案［9］。

綜合這些方案的優(yōu)缺點(diǎn)，設(shè)計(jì)中將采用低成本的EPM1270T144C3型號(hào)的CPLD作為主控核心，產(chǎn)生高清CCD圖像采集芯片ICX285AL所需的時(shí)序驅(qū)動(dòng)，并將CCD采集的信號(hào)經(jīng)過放大、采樣和模數(shù)轉(zhuǎn)換后通過cameralink接口輸出到顯示設(shè)備。

本系統(tǒng)的設(shè)計(jì)思想是利用可編程邏輯器件的并行優(yōu)勢(shì)和高速開關(guān)的性能，產(chǎn)生CCD的驅(qū)動(dòng)信號(hào)，并且在產(chǎn)生驅(qū)動(dòng)時(shí)序的過程中對(duì)提高CCD幀率起至關(guān)重要作用的位置進(jìn)行壓縮等優(yōu)化操作，以達(dá)到減少每幀圖像周期的目的，這樣就直接從硬件的層面上提高了圖像的幀率。并且這一設(shè)計(jì)思想可以推廣到大部分的CCD應(yīng)用，而不只是ICX285AL。

在系統(tǒng)結(jié)構(gòu)圖5中，以CPLD為主控核心，主要是產(chǎn)生用于CCD的驅(qū)動(dòng)時(shí)序信號(hào)以及產(chǎn)生CameraLink轉(zhuǎn)換芯片DS90CR285的時(shí)序信號(hào)。

圖5 整機(jī)系統(tǒng)結(jié)構(gòu)圖

為了滿足使驅(qū)動(dòng)信號(hào)達(dá)到圖像采集芯片ICX285AL對(duì)穩(wěn)定性以及功率的要求，首先需要對(duì)CPLD產(chǎn)生的信號(hào)進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換后的驅(qū)動(dòng)信號(hào)才能提供給CCD用于電荷讀出和轉(zhuǎn)移。并且如果需要對(duì)幀率提升，這些驅(qū)動(dòng)信號(hào)應(yīng)該根據(jù)具體的需要，選擇上述兩種提升方法并通過式(1)計(jì)算出需要時(shí)鐘頻率提高的比例和對(duì)驅(qū)動(dòng)信號(hào)的冗余時(shí)間進(jìn)行壓縮的比例。CCD在這些信號(hào)的驅(qū)動(dòng)下，按像素時(shí)鐘頻率串行輸出每個(gè)像素的模擬電平，對(duì)這些模擬信號(hào)先進(jìn)行放大操作有利于接下來的采樣以及模數(shù)轉(zhuǎn)換處理。放大后的模擬信號(hào)會(huì)進(jìn)行暗電平鉗位處理，這一設(shè)計(jì)的作用是將有效數(shù)據(jù)與暗像元數(shù)據(jù)進(jìn)行比較并相減，從而降低有效數(shù)據(jù)的暗電流噪聲，提高圖像質(zhì)量。接下來對(duì)模擬電平進(jìn)行相關(guān)雙采樣操作，相關(guān)雙采樣的原理是對(duì)一個(gè)像素進(jìn)行2次采樣，一次是在有效電平處進(jìn)行，另一次是在有效像素前1/2時(shí)鐘處進(jìn)行，再將2次采樣的電平值相減獲得最佳電平，這一設(shè)計(jì)可以減少噪聲干擾，提高圖像質(zhì)量。最后有效電平經(jīng)過12位A/D轉(zhuǎn)換成數(shù)字信號(hào)，并傳輸給CPLD。

CPLD獲得按像素時(shí)鐘串行輸入的12 bit/像素的數(shù)據(jù)后，通過為這些數(shù)據(jù)添加行同步信號(hào)和幀同步信號(hào)，可以產(chǎn)生一組標(biāo)準(zhǔn)的圖像輸出，即像素時(shí)鐘、數(shù)據(jù)、行同步和幀同步。

這一組圖像信號(hào)傳輸給DS90CR285芯片后被轉(zhuǎn)換成高速的標(biāo)準(zhǔn)CameraLink信號(hào)，并通過CameraLink接口輸出到顯示設(shè)備進(jìn)行實(shí)時(shí)顯示。方案中使用CameraLink接口是因?yàn)榻?jīng)過幀率提升后的視頻流數(shù)據(jù)量巨大，需要一種傳輸帶寬夠大的傳輸方式;另外由于時(shí)鐘大大提高，為了降低在傳輸過程中受外界干擾的影響或避免引入噪聲，所選擇的傳輸方式還需要有較強(qiáng)的抗干擾能力，CameraLink接口無疑滿足以上兩個(gè)要求，是方案中比較理想的輸出接口。

3 系統(tǒng)測(cè)試驗(yàn)證

根據(jù)上一章中的系統(tǒng)設(shè)計(jì)方案，設(shè)計(jì)的系統(tǒng)實(shí)物圖如圖6所示。

圖6 系統(tǒng)實(shí)拍圖

為了增強(qiáng)圖像數(shù)據(jù)的可靠性，應(yīng)該降低信號(hào)的走線延時(shí)，硬件PCB每組信號(hào)的走線應(yīng)盡量等長(zhǎng)，可以將驅(qū)動(dòng)信號(hào)歸為一組，將A/D輸出數(shù)據(jù)歸為一組，將圖像輸出信號(hào)歸為一組。每組信號(hào)間都具有一定的時(shí)序?qū)?yīng)關(guān)系，假如時(shí)序上走線延時(shí)不等，有可能會(huì)出現(xiàn)時(shí)序不匹配的現(xiàn)象，這種情況下會(huì)影響到CCD或者是A/D的正常數(shù)據(jù)輸出，使圖像質(zhì)量下降。

對(duì)圖中的硬件設(shè)備進(jìn)行測(cè)試，測(cè)試平臺(tái)使用MicroEnable IV－AS1－PoCL主板，該主板可以接收標(biāo)準(zhǔn)CameraLink格式輸出的圖像信號(hào)進(jìn)行實(shí)時(shí)顯示，并且利用這塊主板配套的程序可以實(shí)時(shí)測(cè)量得到硬件設(shè)備的幀率。系統(tǒng)測(cè)試圖如圖7所示。

圖7中，幀率測(cè)試結(jié)果是25.053 fps，這一幀率達(dá)到了系統(tǒng)對(duì)提升幀率的要求，提升幅度約為67%。圖像清晰且運(yùn)行穩(wěn)定，并未因?yàn)閹侍嵘档蛨D像質(zhì)量。測(cè)試結(jié)果表明這種使用硬件方法提升幀率的圖像采集系統(tǒng)可行性高，穩(wěn)定性好。

圖7 系統(tǒng)幀率測(cè)試圖

4 結(jié)論

在深入分析研究CCD驅(qū)動(dòng)信號(hào)對(duì)幀率影響的基礎(chǔ)上，本文提出了兩種可以用硬件方式提升CCD圖像幀率的方法。設(shè)計(jì)了可以利用這兩種方法的系統(tǒng)，給出系統(tǒng)方案框圖，解釋了每個(gè)模塊原理、對(duì)系統(tǒng)的意義以及必要性，最后搭建了系統(tǒng)的實(shí)物，經(jīng)過測(cè)試證明系統(tǒng)的圖像幀率確實(shí)從典型應(yīng)用中的15 fps提升到了25 fps，這一結(jié)果驗(yàn)證了這兩種硬件提升CCD幀率方法的可行性。并且這兩種方法具有普適性，可以推廣到相同驅(qū)動(dòng)原理的大部分其他公司或者型號(hào)的CCD系統(tǒng)設(shè)計(jì)上。

［1］AIFONSO，BAGNI D，MOGLIA D.Motion compensated frame rate up conversion for H.264/AVC decoders.Consumer Electronics，2005(6):439－440.

［2］HENTSCHEL C.Linear and nonlinear procedure for flicker reduction.IEEE Transactions on Consumer Electronics，1987(3):192 －198.

［3］CASTGNOR，HAAVISTOP，RAMPONIG.A method for motion adaptive frame rate up － conversion.IEEE Trans.on Circuits and System Video Technology，1996，6(5):436 －446.

［4］HILMAN K，PARK H W，KIM Y.Using motion-compensated framerate conversion for the correction of 3:2 pull down artifacts in video sequences.IEEE Trans.on Circuits and System Video Technology，2000，10(2):869 －877.

［5］吳勇，鄭南寧，張光烈，等.具有場(chǎng)幀檢測(cè)的自適應(yīng)幀頻提升算法及VLSI實(shí)現(xiàn).西安交通大學(xué)學(xué)報(bào)，2002(2):143－146.

［6］吳勇，張光烈，鄭南寧，等.掃描格式轉(zhuǎn)換的自適應(yīng)幀頻提升算法及其FPGA實(shí)現(xiàn).中國(guó)工程科學(xué)，2001(4):56－62.

［7］李娟，劉艷瀅.基于FPGA的圖像采集模塊的設(shè)計(jì).儀表技術(shù)與傳感器，2012(10):27－30.

［8］周志權(quán)，劉心成，趙占鋒.基于IBIS5－B－1300的視頻采集和顯示系統(tǒng)設(shè)計(jì).儀表技術(shù)與傳感器，2010(4):52－55.

［9］董大波，王湘云，趙柏秦，等.基于單片機(jī)的低成本CMOS圖像采集系統(tǒng).儀表技術(shù)與傳感器，2014(2):45－49.