DRF紅外雙波段彩色圖像融合算法

趙 玲,周 寬,喻松林,崔躍剛

(華北光電技術(shù)研究所,北京 100015)

1 引 言

紅外探測(cè)中,容易受到光照、氣候以及目標(biāo)自身隱蔽性等干擾因素的影響,使得復(fù)雜環(huán)境下的目標(biāo)識(shí)別存在一定困難,其中,單波段探測(cè)無(wú)法滿足需求是重要原因之一[1]。長(zhǎng)波紅外(LWIR)較適于探測(cè)常溫目標(biāo)并工作在低溫干燥環(huán)境下,而中波紅外(MWIR)更適于探測(cè)高溫目標(biāo)并工作在高溫潮濕氣候條件下。如果能利用雙波段或多波段同時(shí)進(jìn)行紅外探測(cè)就可以獲得更多有效信息,通過(guò)圖像融合技術(shù)實(shí)現(xiàn)多波段圖像差異信息的互補(bǔ),從而獲得更加精確、全面的圖像信息,可有效提高系統(tǒng)效能[2]。

圖像融合按照處理層次的不同,可以劃分為像素級(jí)、特征級(jí)和決策級(jí)三種融合方式。像素級(jí)融合保留了場(chǎng)景的原始信息,準(zhǔn)確性高但是處理的信息量較大；特征級(jí)融合保留了重要圖像特征但有一定的信息壓縮,有利于實(shí)時(shí)處理；決策級(jí)融合在源圖像和特征提取的基礎(chǔ)上進(jìn)行聯(lián)合判決,該方法的容錯(cuò)能力高,實(shí)時(shí)性好,但是信息量的損失較大。本文的圖像融合屬于像素級(jí)融合。

一般像素級(jí)圖像灰度融合的方法[3]包括基于多尺度分解、基于稀疏表示等方法。多尺度分解常用的方法包括傳統(tǒng)金字塔變換[4]、離散小波變換以及剪切波、輪廓波等多尺度變換[5],該類方法能夠挖掘圖像中不同方向不同尺度的細(xì)節(jié)信息,但是方向性越好,計(jì)算復(fù)雜度越高,不易在嵌入式設(shè)備上實(shí)現(xiàn)；基于稀疏表示的方法主要是在稀疏域中測(cè)量源圖像的像素水平,有各種稀疏表示模型和相應(yīng)的融合策略可供進(jìn)一步選擇,該類方法計(jì)算量大,很難滿足目標(biāo)檢測(cè)對(duì)圖像融合實(shí)時(shí)性和工程化的需求。

通過(guò)對(duì)中、長(zhǎng)波紅外成像的特點(diǎn)對(duì)比發(fā)現(xiàn),僅利用常規(guī)灰度域的融合算法無(wú)法很好的體現(xiàn)不同波段的差異信息,若引入彩色域算法則可以很好地解決這個(gè)問(wèn)題[6],因此有必要對(duì)紅外雙波段融合技術(shù)進(jìn)行深入研究。

本文在總結(jié)傳統(tǒng)8 bit彩色圖像融合思路的基礎(chǔ)上,提出基于16 bit的DRF偽彩色融合方法,采集16 bit原始中、長(zhǎng)波紅外圖像,劃分差值區(qū)域,突出表現(xiàn)不同波段的成像差異,得到更利于工程應(yīng)用,更適合人眼視覺(jué)特性,更突出目標(biāo)特性的偽彩色融合圖像。

2 傳統(tǒng)偽彩色融合算法基本思路

常見(jiàn)的雙波段偽彩色融合算法主要包括NRL算法、TNO算法等。

NRL算法早期主要應(yīng)用于紅外圖像和微光圖像的偽彩色融合算法,后來(lái)推廣到中長(zhǎng)波紅外雙波段[7],算法的主要思路如圖1所示。

圖1 NRL算法流程圖

該算法得到的效果在于:若某點(diǎn)像素在中波的灰度級(jí)高于長(zhǎng)波,融合圖像中該點(diǎn)呈青色；若某點(diǎn)像素在長(zhǎng)波的灰度級(jí)高于中波,融合圖像中該點(diǎn)呈紅色；若在中、長(zhǎng)波的圖像中灰度均高則最終呈白色,均低則呈黑色,NRL算法融合效果圖如圖2所示。

(a)長(zhǎng)波紅外圖像

分析該方法得到的融合圖像,由于中長(zhǎng)波圖像差異較大,靠近樹(shù)叢的車輛能夠利用紅色和青色很好的辨別不同,但是針對(duì)差異部分的強(qiáng)弱狀態(tài),沒(méi)有明顯的顏色變化；另外對(duì)于垃圾桶、后車尾等中長(zhǎng)波差異相對(duì)較小的位置,色差無(wú)法將細(xì)節(jié)表現(xiàn)清晰。

TNO算法主要針對(duì)中長(zhǎng)波紅外圖像中不同波段的差異部分進(jìn)行增強(qiáng)賦色[8-9],主要算法思路如圖3所示。

圖3 TNO算法流程圖

先求中波圖像A和長(zhǎng)波圖像B的共有部分C,C取A和B的最小值,如下式:

C=min{A,B}

(1)

然后各自減去共有部分獲得特有部分,如下式:

Aspecial=A-C

(2)

Bspecial=B-C

(3)

其中,Aspecial表示中波圖像A的特有部分,Bspecial表示長(zhǎng)波圖像B的特有部分。

最后用原圖像減去另一圖像的特有部分進(jìn)行增強(qiáng),獲得特性圖像,如下式:

Afinal=A-Bspecial

(4)

Bfinal=B-Aspecial

(5)

其中,Afinal是中波圖像A的特性圖像;Bfinal是長(zhǎng)波圖像B的特性圖像。

將中波特性圖像和長(zhǎng)波特性圖像分別送入B和R通道,共有部分圖像送入G通道,TNO算法效果如圖4所示。

分析該方法得到的融合圖像,對(duì)于汽車車身、車窗等中長(zhǎng)波差異較大的位置,有明顯的色彩區(qū)分,且根據(jù)差異的強(qiáng)弱程度,顏色的變化也更加豐富；對(duì)于垃圾桶、后車尾中長(zhǎng)波圖像差異相對(duì)較小的部分,在保持灰度的同時(shí)也能夠看出顏色的變化,但是對(duì)于地面等中長(zhǎng)波幾乎沒(méi)有差異的部分,融合圖像仍舊存在大面積色偏的情況。

(a)長(zhǎng)波紅外圖像

3 基于16 bit圖像的中長(zhǎng)波紅外雙波段偽彩色融合算法

本文提出一種差值區(qū)域融合(Difference regions fuse,DRF)思路,在突出中長(zhǎng)波紅外波段差異的基礎(chǔ)上,直接利用16 bit原始紅外圖像進(jìn)行數(shù)據(jù)處理,增強(qiáng)細(xì)節(jié)信息；通過(guò)差值區(qū)域判斷進(jìn)行區(qū)域調(diào)整,改善大面積明顯色偏的問(wèn)題。

如果融合圖像直接在RGB顏色空間上處理,圖像色彩變化不夠自然,且細(xì)節(jié)信息的彩色表征缺乏可預(yù)見(jiàn)性[10]；而在YCbCr顏色空間中,Y表示亮度分量,Cb表示藍(lán)色的偏移量,Cr表示紅色的偏移量,與其他顏色空間相比,YCbCr顏色空間的表現(xiàn)形式跟中長(zhǎng)波波段表征的差異特征較為契合。因此,本文提出的DRF算法將提取16 bit圖像信息進(jìn)行處理分析,通過(guò)差值區(qū)域判斷,在YCbCr顏色空間中完成差異賦色,最后完成直方圖均衡化,將16 bit圖像壓縮圖像為8 bit并轉(zhuǎn)換至RGB顏色空間進(jìn)行顯示,主要算法思路如圖5所示。

圖5 DRF算法流程圖

圖像預(yù)處理主要包括圖像去噪、圖像銳化、迭代歸一化圖像亮度和對(duì)比度等基礎(chǔ)圖像處理操作。圖像去噪主要去除可能影響圖像質(zhì)量的噪聲,各類噪聲的去噪方法各有不同,但是去噪的同時(shí)會(huì)影響圖像質(zhì)量,應(yīng)根據(jù)具體情況進(jìn)行選擇；圖像銳化主要是針對(duì)紅外圖像邊緣細(xì)節(jié)不夠清晰等問(wèn)題,通過(guò)銳化處理更好地凸顯圖像中的細(xì)節(jié)信息,改善圖像邊緣模糊狀態(tài)；歸一化圖像亮度和對(duì)比度主要改善融合圖像的色偏問(wèn)題。本文為了更好的消除色偏,對(duì)歸一化進(jìn)行剔除異常值反復(fù)迭代的操作,確保中、長(zhǎng)波紅外圖像的狀態(tài)一致。

通過(guò)計(jì)算中波紅外圖像A和長(zhǎng)波紅外圖像B對(duì)應(yīng)點(diǎn)的差值,標(biāo)定中波區(qū)域、長(zhǎng)波區(qū)域和過(guò)渡區(qū)域,如下式:

diff(i,j)=B(i,j)-A(i,j)

(6)

k=diffmax+diffmin

(7)

(8)

YCbCr顏色空間中,若圖像無(wú)顏色偏移,僅僅顯示Y通道的亮度信息,則Cb和Cr通道賦值0.5。于是,本文設(shè)計(jì)的賦色思路是若中長(zhǎng)波灰度值差異明顯則分別賦色,若差異不大,則以參考圖像的亮度信息為主,不賦色；設(shè)置Cb通道和Cr通道的賦色規(guī)則如下式(9):

當(dāng)k>0時(shí),

(9)

其中,sp為顏色因子,可根據(jù)需要調(diào)節(jié)數(shù)值(sp>0)。

同時(shí),計(jì)算中波和長(zhǎng)波圖像的邊緣強(qiáng)度ES,如下式:

(10)

其中,ΔIx=f(x,y)-f(x-1,y);ΔIy=f(x,y)-f(x,y-1)。

根據(jù)邊緣強(qiáng)度所占比例設(shè)置參考圖像的權(quán)值系數(shù),最終的參考圖像D等于加權(quán)后中長(zhǎng)波圖像之和,如下式:

(11)

(12)

D=ωlong×A+ωmid×B

(13)

其中,ESlong、ESmid分別代表長(zhǎng)波的邊緣強(qiáng)度和中波的邊緣強(qiáng)度。

送Y通道的圖像主要反映圖像的亮度信息,將參考圖像D送入Y通道。

賦色完成之后對(duì)圖像進(jìn)行直方圖均衡化處理,將圖像從16 bit壓縮至8 bit。與直接在8 bit圖像中設(shè)計(jì)賦色方案相比,獲取的有效信息更多,更利于提升的融合圖像效果,最后轉(zhuǎn)換至RGB顏色空間,完成圖像融合,YCbCr空間與RGB空間轉(zhuǎn)換公式見(jiàn)式(14),具體融合效果圖見(jiàn)圖6。

Y=0.299×R+0.587×G+0.114×B

Cr=(R-Y)×0.713+128

Cb=(B-Y)×0.564+128

(14)

(a)長(zhǎng)波紅外圖像

相較于NRL和TNO等傳統(tǒng)算法,該方法得到的融合圖像,細(xì)節(jié)信息凸顯的更加明顯,尤其是紅框標(biāo)出來(lái)的位置,在中長(zhǎng)波差異的位置顏色區(qū)分明顯,且具有顏色強(qiáng)弱變化；地面部分不僅紋理變化更加清晰,大面積色偏的問(wèn)題也得到了改善。

4 圖像評(píng)價(jià)

目前針對(duì)彩色圖像的圖像質(zhì)量評(píng)價(jià)仍然處于起步階段[11],圖像融合評(píng)價(jià)主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià),主觀評(píng)價(jià)由人眼直接做出評(píng)價(jià),容易由于主觀判斷出現(xiàn)偏差,客觀評(píng)價(jià)通過(guò)計(jì)算指標(biāo)因子,做出比較。

本文選取5幅中長(zhǎng)波差異明顯的紅外圖像,具體圖像見(jiàn)圖7,從左到右依次為長(zhǎng)波圖像、中波圖像,NRL算法融合圖像、TNO算法融合圖像和DRF算法的融合圖像。

圖7 實(shí)驗(yàn)圖片

以第5幅為例,放大圖片進(jìn)行主觀視覺(jué)比較,如圖8所示,圖8(a)為長(zhǎng)波圖像,圖8(b)為中波圖像,圖8(c)為NRL算法融合圖像,圖8(d)為TNO算法融合圖像,圖8(e)為DRF算法融合圖像。

圖8 融合圖像的主觀評(píng)價(jià)

小框位置處,長(zhǎng)波幾乎看不清細(xì)節(jié),而中波的紋理變化較為清楚,NRL和TNO算法得到的融合圖像邊緣模糊,無(wú)法準(zhǔn)確地體現(xiàn)差異,DRF算法中長(zhǎng)波差異細(xì)節(jié)表現(xiàn)清晰,且變化邊緣處過(guò)渡自然,效果更好。

大框位置處,由于長(zhǎng)波對(duì)高溫不敏感,顯示的火焰焰尾短,焰心亮度較低；中波顯示的火焰焰尾長(zhǎng)且細(xì)節(jié)變化豐富,焰心亮度較高,NRL算法得到的融合圖像焰心處亮度較高且保持了中波的火焰細(xì)節(jié),但是未體現(xiàn)中波和長(zhǎng)波的火焰差異；TNO算法得到的融合圖像火焰狀態(tài)更偏向長(zhǎng)波,對(duì)于中波火焰邊緣的細(xì)節(jié)變化表征不清晰； DRF算法的融合圖像焰尾邊緣清晰、細(xì)節(jié)明顯,焰心處亮度較高且有顏色凸顯差異,更利于人眼快速辨別。

整體來(lái)看,基于8 bit圖像融合算法都有一定的色偏,實(shí)際工程應(yīng)用中,可能會(huì)影響人眼判斷,而基于16 bit的圖像融合算法可以很好地改善這一問(wèn)題。

為了進(jìn)一步驗(yàn)證算法的有效性和客觀性,本文結(jié)合幾種灰度圖像融合的指標(biāo)進(jìn)行評(píng)價(jià),主要包括平均梯度(AVG)、圖像互信息(MI)[12]、邊緣保留系數(shù)(Q)[13-14]等三個(gè)指標(biāo)因子；平均梯度反映圖像表達(dá)細(xì)節(jié)和紋理變化的能力,互信息能夠衡量融合圖像從源圖像中繼承的信息量,邊緣保留系數(shù)則表征融合圖像保留源圖像中的邊緣信息量。

選取客觀評(píng)價(jià)因子對(duì)3種算法進(jìn)行比較,具體評(píng)價(jià)結(jié)果見(jiàn)表1。

表1 不同算法的融合評(píng)價(jià)結(jié)果

由指標(biāo)評(píng)價(jià)結(jié)果可以看出,本文提出的DRF算法的客觀評(píng)價(jià)因子均高于其他算法。結(jié)合主觀視覺(jué)觀察分析,DRF算法不論從人眼觀察的細(xì)節(jié)還是客觀評(píng)價(jià)因子呈現(xiàn)的圖像融合結(jié)果均效果顯著。

5 結(jié) 語(yǔ)

本文提出了一種基于16 bit紅外原始圖像的中長(zhǎng)波雙波段偽彩色融合算法,考慮到實(shí)時(shí)性和簡(jiǎn)潔性的原則,根據(jù)中長(zhǎng)波波段差異特點(diǎn),總結(jié)傳統(tǒng)融合算法的優(yōu)缺點(diǎn),各取所長(zhǎng),結(jié)合YCbCr顏色空間,判斷差值區(qū)域,完成融合算法設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明,該算法不論從人眼觀察的細(xì)節(jié)信息還是客觀評(píng)價(jià)結(jié)果,圖像融合效果顯著,能夠?yàn)楹罄m(xù)的工程應(yīng)用提供思路。