基于FPGA的紅外成像系統(tǒng)及圖像處理算法

高美靜，彭春陽(yáng)，李時(shí)雨，張博智，祖振龍

(1．燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；2．河北省特種光纖與光纖傳感重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

0 引言

近年來(lái)，紅外成像技術(shù)發(fā)展迅速，紅外成像系統(tǒng)在軍事、航空航天、工業(yè)生產(chǎn)、通信及醫(yī)學(xué)等領(lǐng)域得到諸多的應(yīng)用[1-3]。相較于可見(jiàn)光成像領(lǐng)域，由于當(dāng)前紅外傳感器工藝技術(shù)缺陷和紅外成像特性，紅外圖像噪聲較高、圖像對(duì)比度較小，使得紅外圖像質(zhì)量往往并不理想，而且在紅外圖像處理領(lǐng)域并沒(méi)有形成完善的理論體系[4]。同時(shí)，對(duì)于紅外系統(tǒng)整體而言，紅外成像系統(tǒng)往往無(wú)法在提升紅外成像效果的同時(shí)兼顧圖像的處理速度，為此，本文首先研究改進(jìn)的紅外圖像處理方法，包括一種改進(jìn)的中值濾波算法去除圖像噪聲；一種伽馬變換與直方圖均衡化組合算法對(duì)紅外圖像進(jìn)行增強(qiáng)；一種改進(jìn)的紅外圖像偽彩色變換算法提高人眼視覺(jué)效果。然后基于FPGA搭建了硬件系統(tǒng)，并完成了改進(jìn)的紅外圖像處理算法的硬件實(shí)現(xiàn)。以FPGA為核心處理器的紅外系統(tǒng)不僅具有體積小、可靠性強(qiáng)、重量輕等ASIC芯片的特點(diǎn)，還具有并行執(zhí)行、開(kāi)發(fā)周期短、成本低、編程升級(jí)靈活等特點(diǎn)[5]。仿真數(shù)據(jù)和實(shí)驗(yàn)結(jié)果表明了本文紅外圖像處理算法的優(yōu)越性和系統(tǒng)的有效性。

1 改進(jìn)的紅外圖像處理算法

本章研究了一種改進(jìn)的紅外圖像處理方法，包括改進(jìn)的中值濾波算法、伽馬變換與直方圖均衡化的組合算法以及改進(jìn)的偽彩色變換算法，用于完成圖像的去噪、增強(qiáng)和偽彩色變化功能，獲取在圖像質(zhì)量上優(yōu)于傳統(tǒng)算法處理后的紅外圖像。圖1為該算法的流程圖。

1.1 改進(jìn)的中值濾波算法

傳統(tǒng)的基于3×3模板的中值濾波算法雖然能對(duì)噪聲進(jìn)行有效的濾除，但是該算法每處理一個(gè)像素時(shí)，會(huì)重復(fù)利用鄰域內(nèi)的6個(gè)像素，占據(jù)模板像素個(gè)數(shù)的2/3。這意味著系統(tǒng)每次進(jìn)行中值濾波時(shí)會(huì)進(jìn)行一半的重復(fù)操作[6]。所以，本文提出一種改進(jìn)的快速中值濾波算法，其原理圖如圖2所示。B2、C2為待處理的像素，改進(jìn)的中值濾波算法執(zhí)行的步驟為：

1) 取3×4模板中對(duì)角線上的像素值，A1、C1、B2、C1、C3和B1、D1、C2、B3、D3。

2) 比較步驟(1)中兩條對(duì)角線灰度值的大小，分別得出中值：Med_dia1和Med_dia2。

3) 將步驟(2)中得到的中值Med_dia1和Med_dia2，分別與剩下的兩個(gè)像素A2和D2進(jìn)行比較，得出Med1和Med2。

4) 將Med1和Med2替換模板內(nèi)待處理的B2和C2，完成濾波過(guò)程。

圖1 紅外圖像處理算法流程圖Fig1 Infrared image processing algorithm flowchart

圖2 改進(jìn)的中值濾波算法原理Fig.2 Improved median filtering algorithm principle

為了驗(yàn)證算法的有效性，采集實(shí)驗(yàn)室人員作為待處理紅外圖像，圖3為改進(jìn)中值濾波算法、傳統(tǒng)中值濾波算法和冒泡法分別對(duì)帶有椒鹽噪聲的圖像的處理結(jié)果圖。改進(jìn)中值濾波算法在處理帶有椒鹽噪聲的圖像時(shí)，既保證了圖像的清晰度，又消除了大部分圖像噪聲，處理效果與傳統(tǒng)中值濾波算法在處理結(jié)果目視上一致。但是，從算法的復(fù)雜度來(lái)看，改進(jìn)算法的相關(guān)度較傳統(tǒng)算法降低50%，既減少了重復(fù)操作的次數(shù)，又降低了比較次數(shù)，增強(qiáng)了算法的實(shí)時(shí)性，更適合硬件平臺(tái)的實(shí)現(xiàn)。

表1是不同中值濾波算法復(fù)雜度的比較。假如算法比較一次消耗時(shí)間為20 ns，如果一幅640×480像素的待處理紅外圖像，3種算法消耗的時(shí)間約為2.211 s、1.290 s與0.614 s；如果是一幅2 560×1 080像素的待處理紅外圖像，3種算法消耗的時(shí)間約為19.906 s、11.612 s與5.616 s。算法消耗時(shí)間隨圖像中像素個(gè)數(shù)增加呈線性變化，如果待處理為多幀圖像甚至是視頻流，算法處理過(guò)程消耗的時(shí)間差別更為明顯，由此可見(jiàn)，本文提出的算法的實(shí)時(shí)性最好。

圖3 不同算法處理后的效果對(duì)比圖Fig.3 Comparison of the effects of different algorithms

表1 不同算法的復(fù)雜度比較Tab.1 Comparison of the complexity of different algorithms

表2給出了采用冒泡法、傳統(tǒng)中值濾波算法和改進(jìn)中值濾波算法的峰值信噪比，PSNR0代表原始紅外圖像經(jīng)3種方法處理后的峰值信噪比，PSNR1代表原始紅外圖像添加10%椒鹽噪聲后3種方法處理結(jié)果峰值信噪比?？梢?jiàn)在兩種情況下，本文改進(jìn)的中值濾波算法的峰值信噪比最低，本文提出的改進(jìn)方法是有效的。

表2 不同算法處理結(jié)果峰值信噪比Tab.2 PSNR of different filtering algorithms

本文改進(jìn)的中值濾波算法的效果總結(jié)為三點(diǎn)：第一是算法復(fù)雜度低，該算法采用3×4緩存窗口，窗內(nèi)進(jìn)行10次比較即可輸出濾波結(jié)果；第二是算法耗時(shí)少，該算法在對(duì)單個(gè)紅外圖像處理時(shí)，消耗4個(gè)時(shí)鐘周期；第三是該算法可以濾除大部分椒鹽噪聲，處理效果與傳統(tǒng)中值濾波算法相當(dāng)。綜上，本文提出的改進(jìn)的中值濾波算法是以上幾種算法中最優(yōu)的。

1.2 伽馬變換與直方圖均衡組合算法

完成圖像濾波后，為了增強(qiáng)圖像細(xì)節(jié)對(duì)比度，需要對(duì)紅外圖像進(jìn)行圖像增強(qiáng)處理，最常用的紅外圖像增強(qiáng)算法為直方圖均衡法，然而傳統(tǒng)的直方圖均衡化會(huì)損傷原圖的某些細(xì)節(jié)，影響圖像處理效果[8]?？紤]到算法應(yīng)用平臺(tái)為FPGA，要求算法復(fù)雜程度較低且實(shí)時(shí)性要好，本文提出一種伽馬變換與直方圖均衡化的組合算法。

首先對(duì)紅外圖像進(jìn)行直方圖均衡化處理，然后根據(jù)該原始圖像中要凸顯的圖像目標(biāo)的位置與圖像細(xì)節(jié)，來(lái)選取不同的伽馬值進(jìn)行伽馬變換得到最終的處理結(jié)果。按照?qǐng)D4所示的原理，本文完成了仿真。

圖4 組合算法原理圖Fig.4 Schematic diagram of the combined algorithm

圖5是組合算法處理后的效果圖與原圖像的對(duì)比圖。從圖5中可以看出，組合算法在不損害目標(biāo)細(xì)節(jié)的情況下，最大程度地拉伸了背景，增強(qiáng)了對(duì)比度，視覺(jué)效果明顯優(yōu)于單獨(dú)的伽馬變換和傳統(tǒng)的直方圖均衡化方法，達(dá)到了預(yù)期處理目標(biāo)。

圖5 組合算法處理的效果圖Fig.5 Effect diagram of the combined algorithm processing

1.3 改進(jìn)的偽彩色變換算法

傳統(tǒng)偽彩色變換算法在處理背景復(fù)雜的紅外圖像時(shí)，會(huì)造成處理后的圖像不清晰，對(duì)比度降低[10]。因此，本文提出一種改進(jìn)的偽彩色變換算法。算法中各個(gè)溫度區(qū)間的映射關(guān)系為

(1)

G(x)=255x/4t，

(2)

(3)

式中，R、G和B分別代表圖像的紅、綠和藍(lán)色分量，t為圖像灰度級(jí)閾值，映射圖如圖6所示。圖6(a)表示傳統(tǒng)偽彩色灰度級(jí)彩色映射關(guān)系，而圖6(b)為改進(jìn)的灰度級(jí)彩色映射關(guān)系。

圖6 偽彩色變換映射關(guān)系Fig.6 Pseudo color transformation mapping

按照?qǐng)D6所示對(duì)紅外圖像進(jìn)行仿真處理，處理結(jié)果如圖7所示?？梢钥闯鰝鹘y(tǒng)的偽彩色變化算法在處理紅外圖像時(shí)，會(huì)造成圖像清晰度下降，對(duì)比度降低，而新方法測(cè)量后的圖像色彩變化連續(xù)，溫度變化又暗到明，細(xì)節(jié)更為清晰，對(duì)比度更高。

圖7 偽彩色變換處理效果圖Fig.7 Pseudo-color transformation processing diagram

2 基于FPGA的視頻紅外成像系統(tǒng)

2.1 系統(tǒng)結(jié)構(gòu)與功能

本文基于FPGA的紅外成像系統(tǒng)，核心控制芯片選用Intel公司生產(chǎn)CYCLONE Ⅳ系列EP4CE10F17C8型FPGA，紅外圖像采集部分選用FLIR公司生產(chǎn)的PHOTON320熱成像機(jī)芯，視頻信號(hào)解碼芯片采用ADI公司生產(chǎn)的ADV7180視頻解碼芯片，圖像的緩存芯片采用華邦公司生產(chǎn)的64M SDRAM芯片，外部顯示終端采用的是TFT液晶屏[11]。本文系統(tǒng)組成框圖如圖8所示，系統(tǒng)正常工作時(shí)，外部紅外攝像頭采集到的紅外圖像信號(hào)，經(jīng)過(guò)視頻解碼芯片解碼后，進(jìn)行緩存與圖像處理，隨后將視頻信號(hào)傳送到液晶屏進(jìn)行顯示。

圖8 基于FPGA的紅外成像系統(tǒng)框圖Fig.8 FPGA-based infrared imaging system block diagram

其中，ADV7180芯片進(jìn)行寄存器配置，視頻解碼模塊為ITU656視頻解碼格式[3]， ITU解碼模塊的有兩個(gè)功能：1)將視頻控制信號(hào)與視頻有效數(shù)據(jù)信號(hào)分離，并且通過(guò)計(jì)算行列坐標(biāo)，確定像素的具體位置。2)通過(guò)計(jì)算水平像素坐標(biāo)，將圖像分辨率修改為640×480以便在TFT中顯示。SDRAM作為系統(tǒng)的外部存儲(chǔ)器用于儲(chǔ)存圖像[6]。顯示設(shè)備為T(mén)FT數(shù)字液晶顯示屏，可以直接顯示數(shù)字視頻信號(hào)的顏色信息。

2.2 改進(jìn)的紅外圖像算法的FPGA實(shí)現(xiàn)

完成系統(tǒng)搭建后，需將改進(jìn)的紅外圖像算法在系統(tǒng)中實(shí)現(xiàn)。紅外圖像的硬件實(shí)現(xiàn)流程按照濾波、增強(qiáng)和偽彩色變換的順序進(jìn)行。

首先改進(jìn)的中值濾波算法基于FPGA的實(shí)現(xiàn)方案如圖9所示，該方案主要分為兩部分：3×4緩存窗口模塊以及快速中值濾波模塊。當(dāng)外部Tft_de顯示使能信號(hào)有效時(shí)，首先建立3×4緩存窗口并判斷當(dāng)前像素是否處在奇數(shù)列；隨后將圖像數(shù)據(jù)送入改進(jìn)的中值濾波模塊完成濾波操作。

圖9 改進(jìn)中值濾波算法實(shí)現(xiàn)方案Fig.9 Improved median filtering algorithm implementation

伽馬變換和直方圖均衡化組合算法實(shí)現(xiàn)主要分為三步：首先建立灰度統(tǒng)計(jì)直方圖；其次根據(jù)統(tǒng)計(jì)結(jié)果實(shí)現(xiàn)統(tǒng)計(jì)結(jié)果均衡化；最后將均衡化的結(jié)果進(jìn)行伽馬變換。這種組合增強(qiáng)算法實(shí)現(xiàn)算法容易，對(duì)紅外圖像增強(qiáng)的效果好，并且在硬件中資源消耗較低。

改進(jìn)的偽彩色變換算法按照?qǐng)D10所示的原理圖進(jìn)行操作。經(jīng)過(guò)前期處理后的紅外圖像灰度值首先經(jīng)過(guò)多路選擇器進(jìn)行溫度分區(qū)；隨后，在不同溫度區(qū)間進(jìn)行改進(jìn)的線性變換；最后，將變換后的數(shù)據(jù)送給TFT控制模塊用于顯示。圖11為系統(tǒng)偽彩色處理效果圖。

圖10 改進(jìn)偽彩色變換算法實(shí)現(xiàn)的模塊圖Fig.10 Diagram of improved pseudo color conversion algorithm implementation

圖11 偽彩色變換效果圖Fig.13 Pseudo-color transformation effect diagram

通過(guò)系統(tǒng)處理結(jié)果與原始紅外圖像和傳統(tǒng)偽彩色變換對(duì)比可知，本文搭建的紅外成像系統(tǒng)，在最大限度保持目標(biāo)細(xì)節(jié)的同時(shí)，能夠更多地顯示背景區(qū)域、增強(qiáng)圖像的對(duì)比度，從圖像處理視覺(jué)效果來(lái)看，清晰度、對(duì)比度要比傳統(tǒng)算法好。

同時(shí)二者在硬件資源上的消耗基本一致，可見(jiàn)，本文提出的改進(jìn)的偽彩色變換算法，在未增加FPGA中資源的使用量的情況下，最大限度保持了原始圖像的細(xì)節(jié)，增強(qiáng)了圖像的清晰度以及對(duì)比度。

3 結(jié)論

本文首先針對(duì)紅外圖像噪聲多和對(duì)比度低的問(wèn)題提出了改進(jìn)的紅外圖像處理方法，包括改進(jìn)的中值濾波算法、伽馬變換和直方圖均衡化組合算法、改進(jìn)的偽彩色變換算法。結(jié)果表明改進(jìn)的中值濾波算法在保持濾波效果的同時(shí)減少了代碼的復(fù)雜程度，縮短了運(yùn)算時(shí)間；組合算法以較小代碼量提升了紅外圖像的對(duì)比度，增強(qiáng)了圖像細(xì)節(jié)；改進(jìn)的偽彩色變換算法在未增加硬件資源消耗的情況下增強(qiáng)了彩色圖像的清晰度和視覺(jué)效果。最后本文搭建了基于FPGA的紅外成像硬件系統(tǒng)并依次實(shí)現(xiàn)了紅外圖像濾波、增強(qiáng)和偽彩色變換等功能，并且達(dá)到實(shí)時(shí)處理的要求。本文搭建的基于FPGA的紅外成像系統(tǒng)體積小，成本低，性能和實(shí)時(shí)性較好，可以適應(yīng)絕大多數(shù)應(yīng)用場(chǎng)合。論文的研究對(duì)于紅外成像系統(tǒng)搭建和紅外圖像處理領(lǐng)域具有一定的參考價(jià)值，雖然整體系統(tǒng)搭建成功，但是依然存在著紅外圖像處理算法適應(yīng)性較低，受環(huán)境影響大和偽彩色效果評(píng)價(jià)具有主觀性等問(wèn)題。通過(guò)后續(xù)進(jìn)一步對(duì)這些問(wèn)題展開(kāi)研究和實(shí)驗(yàn)，有望獲得性能更優(yōu)的紅外成像系統(tǒng)。