超高分辨率圖像壓縮系統(tǒng)

陳 亢， 費(fèi)聚鋒， 嚴(yán) 鵬， 唐 佳

（上海無(wú)線電設(shè)備研究所，上海200090）

0 引言

SP-20 000系列是丹麥JAI公司推出的高性能的面陣工業(yè)攝像機(jī)［1］，采用2 000萬(wàn)像素超高分辨率的CMOS傳感器，輸出Bayer格式的彩色高清圖像，在分辨率和采集速度方面均可達(dá)到極佳的性能，又因其較小的體積，廣泛應(yīng)用于航空監(jiān)測(cè)和航天測(cè)繪等領(lǐng)域。該相機(jī)在5 120×3 840的全分辨率下，采集幀率可達(dá)30幀／秒。

利用工業(yè)攝像機(jī)可以在星上對(duì)地進(jìn)行超高分辨率的實(shí)時(shí)觀測(cè)，實(shí)現(xiàn)方法是對(duì)星上高分辨率圖像先進(jìn)行圖像數(shù)據(jù)壓縮處理，再通過(guò)高速數(shù)傳將壓縮數(shù)據(jù)傳輸?shù)降孛妗＿@就需要突破高分辨率圖像壓縮以及高速數(shù)傳的相關(guān)技術(shù)，進(jìn)而研制出星上圖像壓縮處理與高速數(shù)傳一體化的模塊，來(lái)達(dá)到對(duì)星上圖像數(shù)據(jù)實(shí)時(shí)處理并傳輸?shù)哪康摹?/p>

ADV212是美國(guó)ADI公司生產(chǎn)的一款能對(duì)圖像進(jìn)行JPEG2 000壓縮／解壓縮的專用編解碼芯片，采用SRAM 工藝構(gòu)造硬件，延遲小，功耗低［2］。

文章通過(guò)對(duì)工業(yè)相機(jī)的配置和控制拍攝出超高清分辨率5 120×3 840的圖像，基于Xilinx公司的V5系列FPGA 和TI公司的DSP28xx的開(kāi)發(fā)平臺(tái)，并結(jié)合圖像的特點(diǎn)對(duì)圖像進(jìn)行相應(yīng)的分割算法處理，再配合ADV212強(qiáng)大的編解碼功能實(shí)現(xiàn)了對(duì)超高分辨率圖像的壓縮。最后，用大容量的NANDFLASH 進(jìn)行壓縮數(shù)據(jù)的存儲(chǔ)，既可以實(shí)現(xiàn)實(shí)時(shí)壓縮傳輸功能，也可以滿足大批量數(shù)據(jù)存儲(chǔ)的需求。

實(shí)驗(yàn)表明，對(duì)超高分辨率圖像進(jìn)行壓縮處理后再重構(gòu)還原，不僅視覺(jué)效果較好，也達(dá)到了較高的指標(biāo)。

1 超高分辨率工業(yè)相機(jī)

1.1 超高分相機(jī)的圖像格式

實(shí)驗(yàn)中采用的是JAI公司的SP-20 000系列相機(jī)，拍攝出Bayer格式的彩色圖像，由紅色像素點(diǎn)R，藍(lán)色像素點(diǎn)B，綠色像素點(diǎn)（G1、G2）組成，每個(gè)像素點(diǎn)大小為一個(gè)字節(jié)。此類圖像的構(gòu)成格式提高了圖像的色度信息量，比普通的RGB格式更為清晰，同時(shí)也增大了整幅圖像的分辨率［1］，其排列模式如圖1所示。

圖1 彩色圖像Bayer格式的組合模式

第一行以R、G1像素點(diǎn)循環(huán)的方式排列，第二行以G2、B 像素點(diǎn)循環(huán)的方式排列，這種排列較為復(fù)雜，給壓縮處理帶來(lái)了難度［2］。

1.2 相機(jī)控制

相機(jī)采 用2 個(gè)Camera link 接 口，分 控 制 線和數(shù)據(jù)線來(lái)實(shí)現(xiàn)對(duì)相機(jī)的配置和圖片數(shù)據(jù)傳輸。

采用異步422串口對(duì)相機(jī)進(jìn)行拍攝參數(shù)的配置，主要參數(shù)有相機(jī)的拍攝幀數(shù)、輸出圖像數(shù)據(jù)位寬、曝光時(shí)間、增益等。

由于上位機(jī)串口默認(rèn)波特率與相機(jī)默認(rèn)的不匹配，需要在FPGA 中實(shí)現(xiàn)控制命令的波特率轉(zhuǎn)換，轉(zhuǎn)換后輸入給相機(jī)，相機(jī)配置完畢后開(kāi)始正常工作，輸出所拍攝的圖像數(shù)據(jù)。整個(gè)控制與數(shù)據(jù)傳輸?shù)目驁D，如圖2所示。

圖2 相機(jī)控制與數(shù)據(jù)傳輸框圖

其中，上位機(jī)與FPGA 通過(guò)異步422 相連，上位機(jī)發(fā)送相機(jī)命令，F(xiàn)PGA 轉(zhuǎn)發(fā)相機(jī)的配置回復(fù)信息；FPGA 內(nèi)部將波特率進(jìn)行轉(zhuǎn)換后，將相機(jī)配置命令以異步422 方式發(fā)送給接口轉(zhuǎn)發(fā)芯片，同時(shí)接收相機(jī)的配置回告信息和圖像數(shù)據(jù)。

1.3 相機(jī)數(shù)據(jù)的輸出方式

相機(jī)工作模式配置成FULL 模式，該模式的傳輸標(biāo)準(zhǔn)格式，如圖3所示。

圖3 相機(jī)FULL模式的傳輸格式示意圖

一幅圖像總大小為5 120×3 840像素，一次傳輸8個(gè)像素，每行分640次傳輸，每一個(gè)像素大小為8bit。

2 圖像數(shù)據(jù)預(yù)處理

2.1 圖像數(shù)據(jù)接收和緩存

專用轉(zhuǎn)換芯片DS90CR 系列可對(duì)相機(jī)接口Camera link進(jìn)行高速的數(shù)據(jù)轉(zhuǎn)換［3］，其數(shù)據(jù)傳輸時(shí)序如圖4所示，實(shí)現(xiàn)了接口電平和位寬的轉(zhuǎn)換，轉(zhuǎn)換完之后將圖像數(shù)據(jù)送入FPGA。

圖4 接口數(shù)據(jù)傳輸時(shí)序圖

考慮到相機(jī)圖像數(shù)據(jù)輸入FPGA 的速度很快，可達(dá)到640 Mbyte／s，F(xiàn)ULL 模式下傳輸完一幅5 120×3 840 的 圖 片 只 需30.72 ms。而ADV212芯片最大輸入吞吐率為65 Msamples／s，四片212同時(shí)工作，最大可達(dá)到260 Mbyte／s的吞吐率［3］，遠(yuǎn)小于數(shù)據(jù)的輸入速度，所以在抽取像素之后必須要加入外置緩存模塊。

本文選用鎂光公司MT47系列的一對(duì)DDR2來(lái)實(shí)現(xiàn)對(duì)一幅完整圖像的高速數(shù)據(jù)緩存［4］，其單片的緩存容量可達(dá)1 GB，工作頻率可達(dá)400 MHz。利用FPGA 中的IP 核生成DDR2的主控制模塊，選用Burst 讀寫模式來(lái)實(shí)現(xiàn)對(duì)DDR2的讀寫。

2.2 圖像分割

一般格式的圖像可以轉(zhuǎn)換成“YUV”或是“YCbCr”標(biāo)準(zhǔn)格式送入專用壓縮芯片進(jìn)行后續(xù)的處理，而高分辨率Bayer格式的圖像中“R、G1、G2、B”每個(gè)像素點(diǎn)有8bit，這樣的像素組合方式若轉(zhuǎn)換成“YUV”或“YCbCr”的格式：

a）一是轉(zhuǎn)換運(yùn)算較復(fù)雜會(huì)帶來(lái)更多的計(jì)算量和系統(tǒng)處理時(shí)間上的損失；

b）二是轉(zhuǎn)換算法會(huì)損失原始圖像精度［4］。

考慮到時(shí)間、空間復(fù)雜度和精度的要求，決定保留“R、G1、G2、B”這樣的像素組合方式，為了方便之后的壓縮處理，就要求對(duì)圖像像素進(jìn)行合理的分割。圖像分割預(yù)處理的流程框圖如圖5所示。

圖5 圖像分割預(yù)處理的流程框圖

將原圖像分成由R、G1、G2、B 四個(gè)像素元單獨(dú)組成的大圖并存入DDR2，之后再讀入FPGA，各自進(jìn)行合理適應(yīng)性的分塊發(fā)送到ADV212 進(jìn)行壓縮處理。

3 圖像壓縮模塊

3.1 圖像壓縮模塊的硬件設(shè)計(jì)

一幅圖像可分成32 塊，由4 片ADV212 同時(shí)進(jìn)行壓縮，每片ADV212 負(fù)責(zé)其中的8 塊。ADV212通過(guò)DSP 來(lái)進(jìn)行初始化配置，上電之后，通過(guò)FPGA 給DSP 發(fā)送初始化起始命令I(lǐng)NIT＿START，DSP通過(guò)總線將配置參數(shù)由FPGA 發(fā)送給ADV212，配置完成后給FPGA 發(fā)送完成信號(hào)INIT＿DONE［5］，F(xiàn)PGA 即可將數(shù)據(jù)送至ADV212中進(jìn)行壓縮。

其中，將ADV212配置為VDATA 的輸入模式和JDATA 的輸出模式［6］。整個(gè)壓縮系統(tǒng)基本的設(shè)計(jì)框圖，如圖6所示。

圖6 壓縮系統(tǒng)框圖

3.2 圖像壓縮模塊的軟件設(shè)計(jì)

根據(jù)設(shè)計(jì)方案將5 120×3 840的原圖分成4塊由單一像素元組成的圖像，每個(gè)像素元組成圖像的大小為2 560×1 920，約5 Mbyte，一片ADV212每一次壓縮過(guò)程可以處理的最大數(shù)據(jù)總量為1 Mbyte，因此就需要把圖像分塊送進(jìn)ADV212中，依次進(jìn)行壓縮，具體流程圖如圖7所示。

圖7 壓縮碼流的存儲(chǔ)流程圖

由于4片ADV212 同時(shí)對(duì)不同的塊進(jìn)行壓縮，這就會(huì)使解壓縮和重構(gòu)圖像難度增大。為了方便后面的處理，在對(duì)ADV212 發(fā)送圖像數(shù)據(jù)時(shí)，保持4個(gè)通道同步，在接收端，對(duì)4片212的輸出長(zhǎng)度分別進(jìn)行計(jì)算，對(duì)壓縮數(shù)據(jù)尾部進(jìn)行判別（若壓縮選為JP2 格式，則數(shù)據(jù)流尾部為“FF D9”），以最大的長(zhǎng)度值作為4個(gè)通道輸出的統(tǒng)一的數(shù)據(jù)長(zhǎng)度來(lái)進(jìn)行存儲(chǔ)，這樣就給后面的重構(gòu)處理提供了方便。

3.3 圖像壓縮數(shù)據(jù)的存儲(chǔ)

由于速率匹配等因素，對(duì)212芯片輸出的圖像壓縮數(shù)據(jù)先進(jìn)行存儲(chǔ)。

考慮到整個(gè)系統(tǒng)設(shè)計(jì)的可移植性和多用性，本文選用了4片鎂光公司MT29F64G 系列的大容量存儲(chǔ)芯片NANDFLASH，每片容量為64 GB，讀寫周期可達(dá)12ns，吞吐量最大約為83 Mbyte／s。這樣的設(shè)計(jì)即可以在實(shí)時(shí)壓縮傳輸系統(tǒng)中實(shí)現(xiàn)高速緩存的功能，又可以用在先大批量壓縮存儲(chǔ)、再讀出、傳輸及重構(gòu)的設(shè)計(jì)系統(tǒng)中，增加了系統(tǒng)設(shè)計(jì)的靈活性。

4 圖像重構(gòu)及結(jié)果分析

4.1 圖像重構(gòu)

利用工業(yè)相機(jī)在實(shí)驗(yàn)室對(duì)相距10m 外某標(biāo)牌進(jìn)行拍攝，設(shè)定相機(jī)幀頻為8fps，每幀像素5 120×3 840拍攝圖像，設(shè)定ADV212的壓縮倍數(shù)為16 倍，經(jīng)過(guò)系統(tǒng)緩存、分割處理、壓縮和存儲(chǔ)，再通過(guò)串口將存儲(chǔ)的圖像壓縮數(shù)據(jù)讀出。

利用MATLAB 對(duì)壓縮碼流進(jìn)行解壓和重構(gòu)，得到分辨率為2 560×1 920的4幅單色像元構(gòu)成的圖像。再將這4幅單色圖按照原圖格式重新插值還原，組合成5 120×3 840分辨率的大圖，如圖8所示。

圖8 重構(gòu)圖

由圖中可以得出，采用此分割壓縮處理方式得到的重構(gòu)后的完整圖像，能較清晰地分辨出其中的紋理。

4.2 結(jié)果分析

利用專用相機(jī)板卡和軟件讀取原始圖像。將其與重構(gòu)完成的圖像進(jìn)行計(jì)算，得到圖像像素幅度值的均方根誤差eMSE。

式中：M、N 為圖片行、列像素?cái)?shù)的總數(shù)；f0（i，j）、f（i，j）為原始圖像和重構(gòu)圖像坐標(biāo)為（i，j）處的像素幅度值。根據(jù)圖像的均方根誤差即可得峰值信噪比為

式中：fmax表示原始圖像像素點(diǎn)幅度值的最大可能值，若一個(gè)像素點(diǎn)位寬為8bit，fmax＝28-1＝255。

通過(guò)調(diào)整壓縮倍數(shù)，對(duì)系統(tǒng)壓縮結(jié)果進(jìn)行了多組測(cè)試，得到本文設(shè)計(jì)的壓縮系統(tǒng)的壓縮倍數(shù)與峰值信噪比的對(duì)應(yīng)表格，如表1所示。

表1 不同壓縮倍數(shù)對(duì)應(yīng)的峰值信噪比值

通過(guò)計(jì)算結(jié)果可以得出，壓縮倍數(shù)越大，重構(gòu)圖像的峰值信噪比越低，不過(guò)在壓縮比適中的情況峰值信噪比基本能控制在30dB以上。

綜上所述，壓縮系統(tǒng)很好地適應(yīng)了此類超高清分辨率圖像的特點(diǎn)，通過(guò)合理的硬件設(shè)計(jì)和軟件處理，完成了超高清分辨率圖像實(shí)時(shí)壓縮存儲(chǔ)的功能。

5 小結(jié)

設(shè)計(jì)了一個(gè)針對(duì)星載超高清分辨率工業(yè)相機(jī)拍攝出的Bayer格式圖像進(jìn)行實(shí)時(shí)壓縮處理的系統(tǒng)，綜合了FPGA、DSP 和ADV212等多個(gè)應(yīng)用平臺(tái)，配置了高速緩存芯片DDR2和大容量存儲(chǔ)芯片NANDFLASH，靈活、高效的完成了整個(gè)功能。將其與高速數(shù)傳系統(tǒng)進(jìn)行整合，來(lái)達(dá)到星上圖像數(shù)據(jù)實(shí)時(shí)壓縮處理并高速傳輸?shù)哪康摹?/p>

另外，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，該壓縮系統(tǒng)最大可適應(yīng)高清工業(yè)相機(jī)10fps的幀頻輸出速率，若在此基礎(chǔ)上再增加兩個(gè)同樣的系統(tǒng)，便可達(dá)到30fps的處理速度，這樣就可完成對(duì)超高清視頻模式的壓縮處理。

［1］ Koh C C，Mitra S K.New Efficient Method of Image Compression in Digital Cameras with Color Filter Array［J］.IEEE Trans on Consumer Electronics，2003，49（4）：148-1456.

［2］ 王金濤，王驍男，張忠華，等.基于FPGA 的彩色圖像Bayer變換實(shí)現(xiàn)［J］.現(xiàn)代電子技術(shù)，2010，（10）：75-77.

［3］ 余建宇，侯顏平，李勇.JPEG2000 編解碼芯片ADV212的原理及應(yīng)用［J］.國(guó)外電子元器件，2005，（7）：36-38.

［4］ 劉方.基于Bayer彩色濾波陣列差值算法的研究［D］.成都：電子科技大學(xué)，2006.

［5］ 費(fèi)聚鋒.一種提高無(wú)線低傳輸率下實(shí)時(shí)傳輸圖像質(zhì)量的方法［J］.制導(dǎo)與引信，2009，（4）：49-54.

［6］ 魏忠義，朱磊.基于DSP的JPEG 圖像解碼算法的實(shí)現(xiàn)［J］.現(xiàn)代電子技術(shù)，2005，（2）：66-68.