基于單FPGA+LPDDR2的高性能低功耗紅外圖像處理技術(shù)?

周 燕

（華中光電技術(shù)研究所-武漢光電國(guó)家研究中心 武漢 430073）

1 引言

在紅外圖像處理領(lǐng)域，為了獲取高質(zhì)量成像，需要具備較高的數(shù)據(jù)帶寬能力、更多的資源、更高的處理速度，如何在較小的尺寸、較低功耗條件下具備更高的圖像處理性能，需要有針對(duì)性地研究高性能低功耗的硬件架構(gòu)，同時(shí)需要針對(duì)硬件架構(gòu)特點(diǎn)進(jìn)行軟件算法處理的適應(yīng)性迭代升級(jí)［1～4］。

本文基于低成本、低功耗單FPGA（內(nèi)嵌軟核處理器）+LPDDR2的主圖像處理架構(gòu)，持續(xù)研究了高性能低功耗紅外圖像處理技術(shù)，主要包含硬件和軟件兩方面技術(shù)研究工作。硬件上需要設(shè)計(jì)高速、大容量、小尺寸、低功耗的高性能紅外圖像處理電路，軟件上不僅需要實(shí)現(xiàn)640×512@200Hz的實(shí)時(shí)紅外圖像處理，包括非均勻校正、壞元處理、圖像濾波、圖像增強(qiáng)、灰度變換、Gamma校正等算法，還要進(jìn)一步支持1280×1024甚至更高分辨率紅外成像的實(shí)時(shí)紅外圖像處理功能［5～10］。

2 硬件設(shè)計(jì)

在整個(gè)硬件架構(gòu)中，核心技術(shù)是高速數(shù)字信號(hào)處理電路。高性能小尺寸圖像處理電路采用Altera公司的低功耗、低成本Cyclone V系列的FPGA芯片作為處理器，采用單FPGA+單LPDDR2的圖像處理架構(gòu)進(jìn)行相關(guān)的圖像處理工作，并輔以其它外圍電路完成相應(yīng)的功能［11～12］，高速數(shù)字信號(hào)處理電路原理如圖1所示。

圖1 高速數(shù)字信號(hào)處理電路原理框圖

在硬件電路設(shè)計(jì)上，本文采用基于Cyclone V+LPDDR2的全新圖像處理技術(shù)構(gòu)架，需平衡高性能與低功耗的矛盾，要做好LPDDR2+FPGA的技術(shù)設(shè)計(jì)，因LPDDR2訪問(wèn)頻率可達(dá)數(shù)百兆，要特別注意信號(hào)線等長(zhǎng)、傳輸匹配、屏蔽干擾等技術(shù)細(xì)節(jié)［13～14］。

高速數(shù)字信號(hào)處理電路按功能劃分主要包括前端接口電路設(shè)計(jì)、高速數(shù)字信號(hào)處理電路設(shè)計(jì)、模擬視頻輸出電路設(shè)計(jì)、功能擴(kuò)展電路設(shè)計(jì)等功能單元。

2.1 前端接口電路設(shè)計(jì)

前端接口電路設(shè)計(jì)主要完成高速數(shù)字信號(hào)處理電路與前端模擬電路及紅外探測(cè)器之間的接口互連功能。滿足紅外探測(cè)器的時(shí)序控制需求及接口電平要求，從前端模擬電路讀出探測(cè)器輸出的原始圖像數(shù)據(jù)并發(fā)送給數(shù)字圖像處理單元進(jìn)行圖像處理。

選用的高速數(shù)字信號(hào)處理電路與模擬板之間的連接器為高密度、低堆疊高度接插件，減小了占用體積。

2.2 高速數(shù)字信號(hào)處理電路設(shè)計(jì)

高速數(shù)字信號(hào)處理電路需要能夠支持原始圖像數(shù)據(jù)緩存、非均勻性校正、壞元處理、圖像濾波、圖像增強(qiáng)、灰度變換等功能的硬件支持。本系統(tǒng)采用的QSYS系統(tǒng)構(gòu)架相較于廣泛采用的DSP（或單片機(jī)）＋FPGA系統(tǒng)構(gòu)架在硬件電路上更為簡(jiǎn)化，在電路板上減少了一片處理器芯片，減少了處理器與FPGA及外部存儲(chǔ)器之間的大量電路導(dǎo)線連接，降低了對(duì)FPGA的通用I/O數(shù)量需求。原始圖像數(shù)據(jù)緩存、非均勻性校正、壞元處理等功能需要大容量的存儲(chǔ)器，目前的FPGA主流芯片的片內(nèi)存儲(chǔ)器容量有限，而且在同樣的存儲(chǔ)器容量的情況下FPGA片內(nèi)的存儲(chǔ)器要比單獨(dú)的RAM芯片的成本要高的多，因此系統(tǒng)需要在FPGA芯片的外圍擴(kuò)展RAM和Flash等器件。為了進(jìn)一步降低電路板功耗、減少電路板面積，采用FPGA+DRAM的圖像處理架構(gòu)實(shí)現(xiàn)所有圖像處理功能，在降低系統(tǒng)體積、成本和功耗的同時(shí)，能夠滿足系統(tǒng)的復(fù)雜、實(shí)時(shí)、高速圖像處理任務(wù)。

鑒于手持/便攜式中小移動(dòng)平臺(tái)對(duì)高性能、低功耗的技術(shù)需求，本系統(tǒng)采用單FPGA+LPDDR2的圖像處理方案，LPDDR2存儲(chǔ)器內(nèi)核供電電壓低至1.2V，IO訪問(wèn)電平標(biāo)準(zhǔn)也為單端/差分1.2V，其功耗與DDR2存儲(chǔ)器相比有明顯降低。

基于QSYS的實(shí)時(shí)紅外圖像處理系統(tǒng)與基于DSP（或單片機(jī)）＋FPGA圖像處理系統(tǒng)在硬件上相比，不同點(diǎn)在于本系統(tǒng)采用單QSYS處理器來(lái)替代DSP＋FPGA處理器構(gòu)架來(lái)完成相關(guān)的紅外圖像處理任務(wù)，采用LPDDR2存儲(chǔ)器大幅度增加了外設(shè)內(nèi)存空間，為處理復(fù)雜圖像算法提供平臺(tái)。

3 軟件設(shè)計(jì)

本系統(tǒng)的軟件開(kāi)發(fā)基于高性能小尺寸圖像處理電路，在Quartus II軟件平臺(tái)上完成圖像處理模塊的程序設(shè)計(jì)及QSYS系統(tǒng)的綜合、優(yōu)化、適配、遠(yuǎn)程下載和硬件系統(tǒng)調(diào)試，采用HDL語(yǔ)言（硬件描述語(yǔ)言）來(lái)完成RTL級(jí)程序設(shè)計(jì)任務(wù)。為滿足紅外圖像處理系統(tǒng)的實(shí)時(shí)性要求，需要采用并行流水線處理的方式來(lái)實(shí)現(xiàn)某些計(jì)算量較大的圖像處理任務(wù)。QSYS系統(tǒng)的圖像處理架構(gòu)框圖如圖2所示。

圖2 QSYS系統(tǒng)的圖像處理框圖

與傳統(tǒng)的基于DSP（或單片機(jī)）＋FPGA的圖像處理系統(tǒng)相比，基于QSYS的實(shí)時(shí)紅外圖像處理系統(tǒng)與在軟件開(kāi)發(fā)上有三個(gè)優(yōu)點(diǎn)。

1）其軟核處理器Nios II的外設(shè)配置靈活；

2）對(duì)復(fù)雜算法采用硬件加速，可以將某些復(fù)雜算法生成硬件加速電路，作為Nios II處理器的自定制指令；

3）QSYS系統(tǒng)共用同一套開(kāi)發(fā)環(huán)境、同一套調(diào)試設(shè)備、同一段程序代碼，更有利于系統(tǒng)調(diào)試、升級(jí)和維護(hù)。

紅外成像組件的圖像處理主要包括圖像采集緩存、總線切換控制、非均勻性校正、壞元處理、時(shí)域?yàn)V波、豎紋濾波、圖像增強(qiáng)、灰度變換、連續(xù)電子變倍、控制管理等功能［15］。

1）圖像采集緩存

圖像采集單元為模擬板提供AD轉(zhuǎn)換時(shí)鐘源，并按時(shí)序驅(qū)動(dòng)規(guī)則生成LPDDR2乒乓切換地址，將模擬板AD轉(zhuǎn)換后的原始圖像數(shù)據(jù)按探測(cè)器行列輸出順序?qū)⒂行袼財(cái)?shù)據(jù)提取出來(lái)，將相鄰兩幀紅外圖像乒乓寫入對(duì)應(yīng)的外部LPDDR2地址區(qū)域，供后端圖像處理乒乓讀出使用。

2）非均勻性校正

紅外探測(cè)器的圖像即使經(jīng)過(guò)再好的前端校正控制也無(wú)法使每個(gè)像元在各種工作條件下的輸出響應(yīng)均接近理想值，必須對(duì)紅外原始圖像進(jìn)行后端非均勻性校正。在硬件電路上常用的實(shí)時(shí)校正方法主要包括一點(diǎn)校正、基于兩點(diǎn)溫度的兩點(diǎn)校正、基于兩點(diǎn)積分時(shí)間的兩點(diǎn)校正及相關(guān)的改進(jìn)型校正方法等。

國(guó)產(chǎn)紅外探測(cè)器的像元響應(yīng)均勻性較差、噪聲較重，需要使用比較復(fù)雜的校正方法才能達(dá)到較好的圖像效果。為了用戶體驗(yàn)使用方便，需對(duì)前端校正和后端非均勻性校正進(jìn)行存表，每次上電、手動(dòng)校正或工作環(huán)境溫度改變時(shí)能夠自動(dòng)調(diào)取相應(yīng)的校正表，再執(zhí)行一次校正操作修正偏移量即可。根據(jù)不同的探測(cè)器特性可能需要研究更好的校正方法，而且前端校正表和后端校正表為了適應(yīng)更寬的工作穩(wěn)定范圍可能需要存儲(chǔ)多個(gè)校正表。

3）壞元處理

紅外探測(cè)器由于制作工藝的原因，原始圖像中會(huì)帶有小比例的壞元，本文中，由于壞元數(shù)目教少，壞元簇內(nèi)的壞元數(shù)量一般不超過(guò)5個(gè)像素，采用領(lǐng)域替代法進(jìn)行壞元處理，以較小的資源代價(jià)取得了較好的壞元處理效果。

4）時(shí)域?yàn)V波

基于LPDDR2的時(shí)域?yàn)V波算法，有效抑制橫滾、椒鹽等噪聲，對(duì)提升圖像質(zhì)量和NETD等指標(biāo)有顯著改善效果。

5）豎紋濾波

紅外探測(cè)器受限于材料、工藝機(jī)理，不可避免地存在時(shí)空域的條紋噪聲，本系統(tǒng)所研究的通用型豎紋濾波能有效改善圖像中的豎紋，對(duì)提升MRTD指標(biāo)有一定的作用。

6）圖像增強(qiáng)

紅外圖像數(shù)字細(xì)節(jié)增強(qiáng)（DDE）技術(shù)通過(guò)增強(qiáng)目標(biāo)與背景之間細(xì)微結(jié)構(gòu)（如邊緣、輪廓、紋理等）的對(duì)比度來(lái)提高對(duì)細(xì)小目標(biāo)的探測(cè)和識(shí)別能力，本文的DDE算法在多種場(chǎng)合均取得較好的圖像增強(qiáng)效果［16～18］。

7）灰度變換

與可見(jiàn)光圖像相比，紅外熱成像系統(tǒng)具有信噪比低、對(duì)比度差等特點(diǎn)，針對(duì)傳統(tǒng)顯示設(shè)備顯示灰度級(jí)較小（256級(jí)），研究非線性壓縮方法，將空域高動(dòng)態(tài)范圍（比如14bit）紅外圖像映射到8bit并獲得適合人眼觀察、判斷、識(shí)別的顯示。直方圖均衡化（HE）是一種提高圖像對(duì)比度的有效方法，它利用變換函數(shù)修正輸入圖像的直方圖，其實(shí)質(zhì)是增強(qiáng)占有較多像素的灰度級(jí)、抑制占有較少像素的灰度級(jí)，占有較少像素的灰度級(jí)被合并，灰度范圍縮小，實(shí)際有效灰度級(jí)必然小于或等于原圖像的有效灰度級(jí)［19～21］。

8）全屏連續(xù)變倍

全屏連續(xù)變倍是對(duì)圖像的大小進(jìn)行調(diào)整的過(guò)程，需要在處理效率及結(jié)果的平滑度、清晰度上做一個(gè)權(quán)衡。

本文采取雙線性插值的方式進(jìn)行全屏連續(xù)變倍，實(shí)現(xiàn)橫向分辨率獨(dú)立調(diào)整、縱向分辨率獨(dú)立調(diào)整、電子放大三個(gè)功能。

9）控制管理

控制管理單元實(shí)現(xiàn)與模擬板、系統(tǒng)通訊功能，對(duì)熱像儀的一些參數(shù)進(jìn)行控制，包括圖像亮度、對(duì)比度、圖像極性、濾波方法、增強(qiáng)方法、校正方法、分劃顯隱、通道切換、顯示模式和基本參數(shù)的讀寫等功能狀態(tài)參數(shù)。通過(guò)基于QSYS的內(nèi)嵌Nios處理器來(lái)實(shí)現(xiàn)與系統(tǒng)、模擬板通訊，Nios通過(guò)QSYS系統(tǒng)的Avalon總線與FPGA內(nèi)的邏輯單元連接，還可直接訪問(wèn)LPDDR2和Flash，執(zhí)行實(shí)時(shí)性要求不太高的復(fù)雜算法。

10）菜單字符顯控

小型化低功耗紅外成像組件應(yīng)用在某些綜合類觀測(cè)設(shè)備，該觀測(cè)設(shè)備還包括激光測(cè)距傳感器、白光CCD傳感器、北斗定位、數(shù)字羅盤定向等功能模塊，紅外組件不僅要實(shí)現(xiàn)紅外成像的基本功能，還要在紅外機(jī)芯上按要求同時(shí)完成多模塊開(kāi)機(jī)自檢信息顯示、實(shí)時(shí)狀態(tài)顯示、逐級(jí)顯示各級(jí)菜單字符界面等功能。

4 結(jié)語(yǔ)

本文在硬件設(shè)計(jì)上采用了單FPGA+LPDDR2的架構(gòu)，提供了高度、大容量、低功耗的LPDDR2存儲(chǔ)單元，為后續(xù)的算法升級(jí)提供了空間。單FP?GA+LPDDR2圖像架構(gòu)的存儲(chǔ)容量大于2Gb、數(shù)據(jù)吞吐速率大于20Gbps、尺寸小于 3.5×3.5cm2、功耗小于1.6W等。單FPGA+LPDDR2圖像處理平臺(tái)已在國(guó)產(chǎn)640×512紅外機(jī)芯成功應(yīng)用并得到驗(yàn)證，不僅實(shí)現(xiàn)了原有圖像處理算法，還在該平臺(tái)上新增了時(shí)域?yàn)V波、豎紋濾波、全屏連續(xù)變倍等復(fù)雜實(shí)時(shí)圖像算法，有效提升了圖像質(zhì)量及NETD等關(guān)鍵指標(biāo)。

本文闡述的方案只需少量適應(yīng)性修改即可推廣到其他產(chǎn)品，也可支持1024甚至更高分辨率的紅外圖像處理，能夠快速提升紅外成像相關(guān)產(chǎn)品的圖像質(zhì)量、輕量化和長(zhǎng)續(xù)航能力，其采用的電子技術(shù)對(duì)激光測(cè)距、光電導(dǎo)航、吊艙警戒、跟蹤預(yù)警等領(lǐng)域的小型化、低功耗設(shè)計(jì)也有較強(qiáng)的參考價(jià)值。