基于FPGA的非制冷紅外圖像的實(shí)時(shí)預(yù)處理算法研究?

張 玲 鄒承俊 陳建國(guó)

1 引言

由非制冷紅外焦平面直接采集到的圖像數(shù)據(jù)由于焦平面本身工藝的缺陷等因素，如焦平面陣列的不均勻性，造成其成像效果不是很理想。主要表現(xiàn)在以下幾個(gè)方面：盲元的存在、對(duì)比度低、噪聲等。所以必須對(duì)圖像進(jìn)行處理，以改善圖像質(zhì)量，從而提高紅外熱像儀的各項(xiàng)指標(biāo)。

在紅外圖像系統(tǒng)沒(méi)計(jì)中，多采用高速DSP+FPGA的方式對(duì)其進(jìn)行處理：在早期的設(shè)計(jì)中，DSP承擔(dān)了大部分的圖像處理工作，F(xiàn)PGA只做一些邏輯譯碼和簡(jiǎn)單運(yùn)算的功能。但DSP運(yùn)算是相當(dāng)耗時(shí)的，當(dāng)在圖像較大、實(shí)時(shí)性要求較高的場(chǎng)合，用DSP進(jìn)行處理就有相當(dāng)?shù)碾y度了［1］。涉及到圖像的實(shí)時(shí)處理過(guò)程，就要求圖像處理系統(tǒng)有著高速的數(shù)據(jù)處理能力。以一幅320×240的256灰度級(jí)的圖像為例，其數(shù)據(jù)量為77K左右，如果以25幀/秒的幀頻計(jì)算，則每秒需要處理的數(shù)據(jù)為 1.9MB/s［2～3］。同時(shí)，考慮到紅外熱像儀運(yùn)用的范圍廣泛，特別是在軍事、農(nóng)業(yè)等領(lǐng)域，對(duì)系統(tǒng)的體積和功耗也有嚴(yán)格的要求，這使得對(duì)圖像處理芯片提出了更高的要求。

FPGA作為PAL，PLD等可編程邏輯器件發(fā)展起來(lái)的產(chǎn)物，它是作為專(zhuān)用集成電路領(lǐng)域中一種半定制電路而出現(xiàn)的［2］。既解決了定制電路的不足，又克服了原有可編程器件門(mén)電路數(shù)有限的缺點(diǎn)。FPGA內(nèi)部有著豐富的觸發(fā)器和I/O引腳，有著開(kāi)發(fā)周期短，開(kāi)發(fā)費(fèi)用低等特點(diǎn)，同時(shí)它采用高速CHMOS工藝，功耗低，能夠滿(mǎn)足各種紅外成像設(shè)備體積小，功耗低的要求［4～5］。

2 圖像預(yù)處理

2.1 盲元補(bǔ)償

紅外焦平面陣列中的探測(cè)單元，我們又稱(chēng)為象元，根據(jù)象元的響應(yīng)特性通常分為正常元和盲元，盲元定義為響應(yīng)率大于平均響應(yīng)率10倍或者小于平均響應(yīng)率1/10的象元。其中大于10倍的我們稱(chēng)之為過(guò)熱象元，小于1/10的我們稱(chēng)之為死象元。盲元的存在會(huì)造成紅外圖像有過(guò)亮或者過(guò)暗的“斑點(diǎn)”。

盲元補(bǔ)償是通過(guò)一幅圖像相鄰像素之間的相關(guān)性或者同一像素前后兩幀之間的相關(guān)性來(lái)進(jìn)行預(yù)測(cè)與替代的過(guò)程。通常采用的方法是周?chē)笤娲ɑ蛘咂骄堤娲āＴ趯?shí)際的應(yīng)用中，盲元的數(shù)目一般占紅外焦平面象元總個(gè)數(shù)中的很少部分，所以用以上兩種方法沒(méi)有明顯的差別。為了簡(jiǎn)化運(yùn)用，我們采用周?chē)笤娲姆椒?。為了消除非制冷紅外焦平面陣列圖像盲元、改善成像質(zhì)量，利用紅外焦平面陣列盲元相應(yīng)特性和相鄰像元的相關(guān)性，提出了一種基于閾值+相鄰像元檢測(cè)及加窗中值補(bǔ)償算法［6～8］。結(jié)果表明，閾值+相鄰元檢測(cè)算法實(shí)現(xiàn)盲元誤檢率低、快速查找等優(yōu)點(diǎn)；利用加窗中值的盲元補(bǔ)償算法，可以使盲元圖像得到明顯改善，保持圖像信息的完整性，同時(shí)，算法易于硬件實(shí)現(xiàn)［9～10］。圖1所示為校正前后的對(duì)比圖。

圖1 盲元補(bǔ)償前后的紅外圖像

2.2 非均勻校正

非均勻校正主要是為了解決圖像非均勻性的問(wèn)題，而造成這個(gè)問(wèn)題的主要原因是非制冷紅外焦平面在制造過(guò)程中，由于工藝設(shè)備等方面的原因，使得焦平面每個(gè)象元的響應(yīng)率不完全相同。非均勻性嚴(yán)重影響了焦平面的成像質(zhì)量，目前的非均勻校正技術(shù)主要分為基于場(chǎng)景和基于定標(biāo)兩種［11］。基于場(chǎng)景的如：時(shí)域高通濾波，神經(jīng)網(wǎng)絡(luò)等算法計(jì)算復(fù)雜，要求的硬件水平難以實(shí)現(xiàn)，所以在實(shí)際運(yùn)用中不以考慮?；诙?biāo)的有：?jiǎn)吸c(diǎn)校正、兩點(diǎn)校正和多點(diǎn)校正，它們算法簡(jiǎn)單，并且能夠滿(mǎn)足一般應(yīng)用中的成像要求，下面我們介紹下兩點(diǎn)校正的原理。

兩點(diǎn)校正是基于：每個(gè)象元的響應(yīng)特性曲線(xiàn)為直線(xiàn)這個(gè)假設(shè)前提的。非制冷紅外焦平面的每個(gè)象元的響應(yīng)曲線(xiàn)不同［12］，如圖2（a）所示，通過(guò)把它們平移旋轉(zhuǎn)最后統(tǒng)一成圖2（c）所示，這個(gè)過(guò)程就是非均勻校正。

圖2 非均勻校正示意圖

假設(shè)第（i，j）個(gè)象元的輸出相應(yīng)如下公式所示：

通過(guò)一系列的數(shù)學(xué)轉(zhuǎn)換，得到：

式（2）～（3）中，Gi,j，Oi,j分別表示兩點(diǎn)校正的校正增益和校正偏移。式（4）中的Yi,j(φ)表示第（i，j）個(gè)象元校正后的輸出量。使用兩點(diǎn)校正的特點(diǎn)是：速度快，方法簡(jiǎn)單。但是由于它的假設(shè)前提的特殊性，當(dāng)外界溫度變化較大，焦平面象元的響應(yīng)曲線(xiàn)不能再做直線(xiàn)的近似處理時(shí)，這種方法就會(huì)產(chǎn)生較大的偏差。圖3是兩點(diǎn)校正前后效果的對(duì)比圖。

圖3 非均勻校正前后的紅外圖像

2.3 灰度拉伸

灰度修正是圖像增強(qiáng)技術(shù)中的一種，它是通過(guò)改變圖像空間域的分布而改善圖像質(zhì)量的一種技術(shù)，一般根據(jù)圖像的特殊情況，有兩種灰度修正的方法［13～15］：

1）讓圖像在需要的灰度級(jí)別顯示，有些圖像因?yàn)槠毓獠蛔慊蛘咂毓膺^(guò)度使得圖像的灰度集中在某個(gè)區(qū)域，通過(guò)修正灰度級(jí)別可以顯示圖像某個(gè)部分的細(xì)節(jié)。

2）修正圖像的灰度值的范圍，紅外圖像由于自身的成像特點(diǎn)，其圖像灰度值經(jīng)常集中在某個(gè)較小的灰度范圍，通過(guò)拉伸到需要的灰度范圍來(lái)提高圖像的對(duì)比度［8］。

灰度拉伸可以使得圖像的灰度范圍變大。紅外圖像由于對(duì)比度低，圖像灰度范圍小，造成圖像沒(méi)有層次感。因此需要對(duì)圖像進(jìn)行灰度拉伸，增強(qiáng)圖像的對(duì)比度?；叶壤焓菆D像增強(qiáng)技術(shù)中的一種，它是基于概率理論，利用灰度點(diǎn)運(yùn)算來(lái)實(shí)現(xiàn)直方圖的拉伸。圖4是通過(guò)灰度拉伸的圖像的對(duì)比圖。

圖4 灰度拉伸前后的紅外圖像

3 應(yīng)用

將本文所提供預(yù)處理算法在Xilinx公司的Virtex-4系列現(xiàn)場(chǎng)實(shí)時(shí)可編程門(mén)陣列實(shí)現(xiàn)，依次對(duì)溫室大棚中采集的圖像進(jìn)行通過(guò)盲元補(bǔ)償、非均勻校正、灰度拉伸的預(yù)處理，整個(gè)處理過(guò)程在CPU頻率為1.0GHz的系統(tǒng)中運(yùn)行時(shí)間為0.90ms，保證圖像的質(zhì)量同時(shí)，實(shí)現(xiàn)了實(shí)時(shí)處理。圖5為處理前后對(duì)比圖。

圖5 處理前后對(duì)比圖

4 結(jié)語(yǔ)

實(shí)驗(yàn)對(duì)比證明，基于FPGA對(duì)圖像通過(guò)盲元補(bǔ)償、非均勻校正、灰度拉伸的預(yù)處理后，使得通過(guò)紅外熱像儀獲得的圖像質(zhì)量大大提高，且很好地節(jié)約處理時(shí)間，為后期的圖像識(shí)別、分析處理提供良好的條件，具備廣泛應(yīng)用價(jià)值。

［1］柏璐冰，唐宏.一種基于FPGA的實(shí)時(shí)紅外圖像預(yù)處理方法［J］.現(xiàn)代電子技術(shù)，2003，36（1）：210-223.

BAILubing，TANGHong.A real-time infrared image preprocessing method based on［J］.FPGA modern electronic technology，2003，36（1）：210-223.

［2］顧全金.基于DSP圖像優(yōu)化方案［J］.安徽科技，2006，6（1）：43-44.

GU Quanjin.Optimization scheme based on DSP image［J］.Anhui Science&Technology，2006，6（1）：43-44.

［3］阮秋琦.數(shù)字圖像處理學(xué)［D］.北京：電子工業(yè)出版社，2001：23-69.

RUAN Qiuqi.Digital image processing［D］.Beijing：Electronic Industry Press，2001：23-69.

［4］徐世偉，張威，劉嚴(yán)嚴(yán).基于FPGA實(shí)時(shí)紅外圖像自適應(yīng)線(xiàn)性增強(qiáng)算法的實(shí)現(xiàn)［J］.光電技術(shù)應(yīng)用，2009，24（6）：66-69.

XU Shiwei，ZHANG Wei，LIU Yanyan.Implementation of adaptive linear enhancement algorithm for real time infrared image based on FPGA［J］.Optoelectronic technology application，2009，24（6）：66-69.

［5］任愛(ài)峰，初秀琴.基于FPGA的嵌入式系統(tǒng)設(shè)計(jì)［M］.西安：西安電子科技大學(xué)出版社，2004：260-268.

REN Aifeng.Chu Xiuqin.Design of embedded system based on FPGA［M］.Xi'an：Xidian University Press，2004：260-268.

［6］趙欽佩.復(fù)雜背景條件下的紅外圖像預(yù)處理檢測(cè)方法研究［D］.上海：上海交通大學(xué)，2007：103-13.

ZHAO Qinpei.Research on infrared image preprocessing method under complex background［D］.Shanghai：Shanghai Jiao Tong University，2007：103-13.

［7］胡曉梅.紅外焦平面探測(cè)器的非均勻性與校正方法研究［J］.紅外與激光工程，1999，28（3）：9-12.

HU Xiaomei.Study on nonuniformity and correction of infrared focal plane array detector［J］.Infrared and laser engineering，1999，28（3）：9-12.

［8］常本康，蔡毅.紅外成像陣列與系統(tǒng)［M］.北京：科學(xué)出版社，2006：243-250.

CHANGBenkang，CAIYi.Infrared imaging array and sys-tem［M］.Beijing：Science Press，2006：243-250.

［9］宋萬(wàn)杰.CPLD技術(shù)及其應(yīng)用第一版［D］.西安：西安電子科技出版社，1999：122-126.

SONG Wanjie.CPLD technology and its application［D］.Xi'an：Xi'an Electronic Science and Technology Press，1999：122-126.

［10］陳大川，劉纏牢，鄭陽(yáng)光.紅外焦平面陣列盲元檢測(cè)及補(bǔ)償算法［J］.激光與紅外，2008，38（12）：1215-1217.

CHEN Dachuan，LIU Chanlao，ZHENG Yangguang.Blind pixel detection and compensation algorithm for infrared focal plane arrays［J］.Laser and infrared，2008，38（12）：1215-1217.

［11］毛玉星，胡旭.基于DSP紅外圖像非均勻校正設(shè)計(jì)［J］.計(jì)算機(jī)工程與應(yīng)用，2004，40（11）：104-106.

MAO Yuxing，HU Xu.Design of nonuniformity correction for infrared image based on DSP［J］.Computer engineering and Applications，2004，40（11）：104-106.

［12］陳銳.紅外圖像非均勻性校正方法綜述［J］.紅外技術(shù)，2002，24（1）：l-3.

CHEN Rui.Review of nonuniformity correction method for infrared images［J］.Infrared technology，2002，24（1）：1-3.

［13］萬(wàn)智萍.結(jié)合視覺(jué)特性與灰度拉伸的直方圖均衡化紅外圖像算法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（3）：714-717.

WANZhiping.Histogram equalization algorithm for infrared image based on visual features and gray stretch［J］.Computer engineering and design，2016，37（3）：714-717.

［14］崔虼.圖像處理與分析——數(shù)學(xué)形態(tài)學(xué)方法與應(yīng)用［M］.北京：科學(xué)出版社，2000：125-145.

CUIYi.Image processing and analysis mathematical morphology method and Application［M］.Beijing：Science Press，2000：125-145.

［15］張海朝，完顏丹丹，孫士保，等.一種自適應(yīng)紅外圖像增強(qiáng)算法［J］.蘭州理工大學(xué)學(xué)報(bào)，2012，38（3）：102-105.

ZHANGHaichao，WANYAN Dandan，SUN Shibao，et al.An adaptive infrared image enhancement algorithm［J］.Journal of Lanzhou University of Technology，2012，38（3）：102-105.