紅外與微光圖像開窗配準(zhǔn)融合處理方法

楊 釩,錢立志,劉 曉,張 強(qiáng)

(1.陸軍軍官學(xué)院 高過載彈藥制導(dǎo)控制與信息感知實(shí)驗(yàn)室,安徽 合肥 230031；2.陸軍軍官學(xué)院 偏振光成像探測技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230031)

1 引 言

紅外與微光融合是分別利用兩種不同成像手段的探測器組成融合系統(tǒng)獲取目標(biāo)在不同波段的反射或輻射信息進(jìn)行融合,由于目標(biāo)在不同波段的信息反映上具有互補(bǔ)性及冗余性,因此通過融合可以有效增強(qiáng)場景理解和目標(biāo)的可探測性。為使融合系統(tǒng)在隱藏和偽裝的戰(zhàn)爭場景中的應(yīng)用更加廣泛,圖像的實(shí)時(shí)融合尤為關(guān)鍵,目前解決圖像實(shí)時(shí)融合的突出障礙是處理速度。對于像素級(jí)融合,圖像的融合算法及待融合圖像分辨率的高低直接影響融合圖像質(zhì)量和融合速度,圖像越精細(xì),需要處理的數(shù)據(jù)量就越多,且不同探測器分辨率的不同也為融合帶來了困難,為此,我們研究紅外與微光圖像開窗融合處理,在減小圖像融合處理數(shù)據(jù)的同時(shí),保留重要的細(xì)節(jié)融合信息,這將大大提高實(shí)時(shí)處理速度,在一定程度上解決融合速度與質(zhì)量的矛盾。

2 圖像融合開窗處理

2.1 開窗融合定義

根據(jù)人眼的視覺模型可知,人眼觀察目標(biāo)時(shí),在視野范圍內(nèi)看到的景物并不是完全清晰,其正視部分要比余光部分明了,我們感興趣的部分大多集中在某一區(qū)域,如圖1所示?？梢哉J(rèn)為觀察者需要看清楚的是區(qū)域目標(biāo)的細(xì)節(jié)信息,而對非目標(biāo)的大面積背景區(qū)域要求則比較低,如圖2所示。傳統(tǒng)的圖像融合方法耗費(fèi)了較多的時(shí)間對背景融合,而目標(biāo)區(qū)域融合的時(shí)間只占整體時(shí)間的一小部分。因此,在硬件速度和軟件算法不能再優(yōu)化的情況下,可以將圖像中感興趣的區(qū)域看作一個(gè)窗口,取另一幅圖像(已與前圖像配準(zhǔn))相同區(qū)域與之進(jìn)行融合增強(qiáng)處理,我們稱之為開窗融合,由于開窗的子窗口信息量相比較源圖像要小很多,因此,通過開窗融合可以大大減少融合處理時(shí)間,提高融合算法的實(shí)時(shí)性。

圖1 人眼視覺模型Fig.1 Human visual model

圖2 人眼目視區(qū)域的景物Fig.2 Visual field of human eyes

2.2 圖像開窗適用條件

通常在源圖像光學(xué)系統(tǒng)相同的情況下,采集到的圖像比較容易進(jìn)行配準(zhǔn)融合,但在實(shí)際應(yīng)用中,一些紅外與微光圖像采集設(shè)備的光學(xué)系統(tǒng)視場相差比較大,且成像形式也不同。例如同一場景的待融合的紅外與微光圖像來自不同類型的傳感器,因此其獲取到的圖像分辨率大小不一定相同。目前紅外圖像大多是由紅外非制冷焦平面探測器來獲取,由于受技術(shù)和加工工藝限制,探測器面陣規(guī)模有限,而微光探測器主要是由CCD或CMOS加裝像增強(qiáng)器組成,通過MCP增強(qiáng)電子信號(hào),圖像分辨率由CCD或CMOS決定,其通常比紅外圖像要高,因此在獲取同一場景目標(biāo)時(shí),紅外圖像只對應(yīng)于微光圖像中一部分,不能直接進(jìn)行融合,為此可以采用開窗融合的方法,將低分辨率紅外圖像作為窗口與高分辨率微光圖像中相對應(yīng)的部分區(qū)域配準(zhǔn)后再進(jìn)行窗口融合。

2.3 圖像窗口大小選擇

圖像開窗融合是以損失窗口外圖像信息為代價(jià),突出需要的目標(biāo)信息,目的是保證圖像的實(shí)時(shí)處理速度,因此,在保證實(shí)時(shí)性的前提下,相對于背景圖像所開窗口越大越好,盡可能多的保留窗口信息。假設(shè)背景圖像面積為S1,開窗的最大面積是S2,系統(tǒng)CPU處理速度為k,軟件融合算法的總運(yùn)算量為m,完成一幀圖像融合的時(shí)間為t,則:t=m/k。若要圖像滿足實(shí)時(shí)性要求則處理速度需要25 f/s,那么開窗最大面積S2=S1/25t,即S2=kS1/25m,從S2可以看出,圖像開窗的最大面積取決于CPU的處理速度k和軟件融合算法的總運(yùn)算量m,k越大,m越小,開窗的面積也就越大,反之面積就越小。

3 紅外與微光圖像開窗配準(zhǔn)與融合

由于紅外與微光圖像成像機(jī)制、成像分辨率的不同且光學(xué)系統(tǒng)光軸不一致,獲取到的紅外與微光圖像需要配準(zhǔn)后方能融合。對于同一目標(biāo)區(qū)域圖像信息,由于小視場紅外圖像的像素?cái)?shù)量大于大視場微光圖像開窗區(qū)域的像素?cái)?shù)量,這會(huì)使小視場圖像相鄰四個(gè)甚至更多的像素點(diǎn)信息僅代表大視場待融合區(qū)域?qū)?yīng)的一個(gè)像素點(diǎn),因此,在小視場圖像向大視場圖像匹配的過程中,通過雙線性插值[1]來計(jì)算小視場紅外圖像中對應(yīng)的大視場微光圖像的像素值,雙線性內(nèi)插是用4個(gè)已知點(diǎn)的雙曲拋物面來擬合1個(gè)未知點(diǎn),這樣將可以得到配準(zhǔn)后大視場微光圖像每個(gè)像素在待配準(zhǔn)小視場紅外圖像中對應(yīng)的四個(gè)點(diǎn)的地址和相應(yīng)權(quán)值。最后,選擇至少兩對參考點(diǎn)來實(shí)現(xiàn)圖像的配準(zhǔn)。

在匹配過程中,由于紅外圖像通常獲取目標(biāo)輻射信息而微光圖像則反映目標(biāo)微弱的反射信息,圖像的灰度存在較大的差異,通常采用的基于灰度信息的配準(zhǔn)方法不適合紅外與微光圖像配準(zhǔn),因此,本文提出的開窗配準(zhǔn)方法是利用圖像的邊緣特征點(diǎn)計(jì)算各個(gè)像素點(diǎn)對應(yīng)的仿射變換參數(shù),將該參數(shù)建立一套像素匹配存儲(chǔ)表,通過直接查表的方式,調(diào)用仿射地址和對應(yīng)的權(quán)值完成紅外與微光圖像的配準(zhǔn)。

如圖3所示,以大視場微光圖像A為基準(zhǔn),對小視場紅外圖像B進(jìn)行對正,圖像B只對應(yīng)于圖像A中一部分,圖像C是圖像A和圖像B的融合結(jié)果,實(shí)際上圖像C中只有虛線部分才是融合圖像,而其余部分只有圖像A的信息。

圖3 兩個(gè)不同視場圖像融合示意圖Fig.3 Schematic diagram of image fusion in two different field of view

因此,為確定兩圖像間對應(yīng)點(diǎn)的匹配關(guān)系,以大視場微光圖像為基準(zhǔn),利用仿射變換模型對小視場紅外圖像進(jìn)行配準(zhǔn)計(jì)算:

X*=KRX+T

(1)

式中,X為原始紅外圖像;X*為紅外圖像經(jīng)過仿射變換后的圖像;K為尺度縮放因子;R為旋轉(zhuǎn)角度;T為平移量,因此,紅外圖像上的坐標(biāo)點(diǎn)經(jīng)過平移、旋轉(zhuǎn)、縮放后的坐標(biāo)可用對應(yīng)的仿射變換表示為:

式中,(x,y)、(x*,y*)分別是變換前后紅外圖像中對應(yīng)點(diǎn)的坐標(biāo)。兩幅圖像的坐標(biāo)轉(zhuǎn)換關(guān)系由平移量Δx和Δy,旋轉(zhuǎn)角度θ(光軸平行為零)以及行、列縮放因子k(雙線性插值的相應(yīng)權(quán)值)等4個(gè)參數(shù)所決定[2]。平移量參數(shù)計(jì)算方法如下:

假設(shè)目標(biāo)M(x,y,z)點(diǎn)在紅外與微光探測器中所成的像點(diǎn)分別為M1(x1,y1,z1),M2(x2,y2,z2),如圖4所示。

圖4 雙探測器目標(biāo)成像示意圖Fig.4 Schematic diagram of dual detector target imaging

經(jīng)過光學(xué)微調(diào)可使兩個(gè)探測器處于同一平面上且其坐標(biāo)系統(tǒng)所對應(yīng)的光軸精確平行,以紅外探測器為基準(zhǔn),通過三角幾何關(guān)系可得:

式中,f1、f2分別為兩個(gè)探測器鏡頭的焦距;Gx、Gy為兩探測器中心之間在x軸和y軸方向上的連線,則目標(biāo)M(x,y,z)在兩個(gè)探測器中的像點(diǎn)視差即為兩幅圖像的坐標(biāo)平移量Δx和Δy,Δx=x1-x2,Δy=y1-y2。由此可見,目標(biāo)在紅外與微光探測器中均能找到相對應(yīng)的匹配點(diǎn),該匹配點(diǎn)具有確定的仿射變換參數(shù)。

為提高運(yùn)算速度,在大視場微光圖像與小視場紅外圖像中,采用一種利用局部差分尋找邊緣的Sobel算子[3]提取兩幅圖像的各個(gè)邊緣特征點(diǎn),利用前述方法計(jì)算這些特征點(diǎn)對應(yīng)的空間幾何關(guān)系的仿射變換參數(shù),將其制作成一套像素匹配存儲(chǔ)表進(jìn)行存儲(chǔ),在圖像配準(zhǔn)時(shí),通過直接查表的方式,調(diào)用小視場紅外圖像對應(yīng)的大視場微光圖像像素值的仿射變換地址及對應(yīng)的權(quán)值完成配準(zhǔn),然后再采用經(jīng)典的拉普拉斯金字塔融合[4]方法進(jìn)行融合,從而大大提高系統(tǒng)速度。

4 開窗融合實(shí)驗(yàn)與分析

實(shí)驗(yàn)采用研制的平行光軸共視場光學(xué)系統(tǒng),通過紅外與微光雙探測器雙鏡頭同時(shí)獲取目標(biāo)的紅外與微光圖像。圖像采集時(shí)的環(huán)境照度大于10-2lx,實(shí)驗(yàn)?zāi)繕?biāo)距離探測器約為10 m,實(shí)驗(yàn)樣本為操場上隱藏在草叢中的金屬板的紅外與微光圖像,其中,紅外圖像大小為640×480,微光圖像大小為800×600,如圖5所示。

圖5 實(shí)驗(yàn)源圖像Fig.5 Source experimental image

圖5(a)為微光圖像,圖5(b)為紅外圖像,從圖中可以看出,在微光圖像中,景物的細(xì)節(jié)特征比較明顯,敏感于目標(biāo)場景的反射,但放置在草叢中金屬板很難看見,具備一定的隱藏效果。而在紅外圖像中則能較清晰的看到金屬板的輻射信息,圖中道路、樹叢等也具有較強(qiáng)的紅外特征,但對整個(gè)場景的反射亮度變化不敏感,看不到路面、草叢等背景的細(xì)節(jié)信息,由此可見兩者均存在不足之處。為增強(qiáng)場景理解,在隱藏、偽裝和迷惑的背景下更快更精確地探測目標(biāo),采用本文提出的圖像開窗配準(zhǔn)融合方法對兩幅圖像進(jìn)行處理,實(shí)驗(yàn)結(jié)果如圖6所示。

由于紅外圖像視場小于微光圖像,因此,首先需要對圖像進(jìn)行配準(zhǔn),然后以紅外圖像大小為窗口進(jìn)行開窗融合,圖6(a)為紅外圖像相對于微光圖像,經(jīng)過平移和雙線性插值縮放后的配準(zhǔn)圖像。圖6(b)為經(jīng)過配準(zhǔn)后的開窗融合圖像,從圖中我們可以直觀的看出開窗融合圖像中原微光圖像細(xì)節(jié)特征得到了保留,而原紅外圖像中我們感興趣的金屬板目標(biāo)也得到了體現(xiàn),窗口融合區(qū)域明顯改善了人眼的識(shí)別性能,提高了圖像分辨效果和人眼對場景目標(biāo)的發(fā)現(xiàn)和識(shí)別概率。為客觀評價(jià)圖像融合后的效果,我們采用反映圖像細(xì)節(jié)信息的信息熵[5]、標(biāo)準(zhǔn)灰度差[6]以及反映圖像清晰度的二維直方圖信息容量[7]的評價(jià)方法對融合前后的圖像進(jìn)行評價(jià),圖像的信息熵和標(biāo)準(zhǔn)灰度差越高,反映的圖像細(xì)節(jié)信息越豐富。而相同的場景下,圖像灰度比較集中,邊緣模糊時(shí),圖像的灰度沒有拉開適當(dāng)?shù)木嚯x,信息容量較大,反之,圖像較清晰時(shí),信息容量較小,信息容量和清晰度具有反比的關(guān)系。實(shí)驗(yàn)結(jié)果如表1所示。

圖6 配準(zhǔn)融合結(jié)果Fig.6 Registration and fusion experiment表1 實(shí)驗(yàn)評價(jià)結(jié)果Tab.1 Experimental evaluation results

樣本信息熵標(biāo)準(zhǔn)灰度差信息容量紅外圖像7.84632.9646.346微光圖像9.75230.5745.274窗口融合圖像12.43836.2864.582

從表1可以看到,融合后的窗口圖像相對于原始微光和紅外圖像,信息熵和標(biāo)準(zhǔn)灰度差都得到了較大的提高,信息容量也相應(yīng)減小,說明融合后的圖像在圖像細(xì)節(jié)和清晰度方面均有一定程度的提高,客觀地說明了融合圖像包含更多的信息,這也驗(yàn)證開窗融合的可行性。

為驗(yàn)證開窗融合的實(shí)時(shí)性,在配準(zhǔn)和融合算法一定的情況下,我們采用不同的開窗面積對開窗融合的時(shí)間進(jìn)行了測算,結(jié)果如圖7所示。

圖7 開窗面積與融合時(shí)間關(guān)系曲線Fig.7 Relationship between window area and the time of fusion

由圖中曲線可以看出,隨著開窗面積的增加,圖像的配準(zhǔn)和融合運(yùn)算量均有不同程度的增加,隨之開窗融合的時(shí)間也明顯增多,窗口越小,開窗融合速度就越快,基本達(dá)到實(shí)時(shí)融合效果,但如果增加融合算法的復(fù)雜度,在系統(tǒng)運(yùn)算能力一定的情況下,只有減小窗口面積,取得算法與窗口大小關(guān)系的平衡性才能保證融合的實(shí)時(shí)性。

5 結(jié) 論

針對不同視場的紅外與微光圖像融合問題,提出了開窗融合技術(shù)。該技術(shù)可應(yīng)用于視場大小不同的紅外與微光圖像,通過開窗提取圖像中人眼感興趣的區(qū)域信息進(jìn)行融合來滿足觀察要求,圖像開窗的尺寸取決于系統(tǒng)的硬件速度和融合算法的運(yùn)算量,窗口的大小是平衡不同復(fù)雜度融合算法與實(shí)時(shí)性之間的矛盾的重要指標(biāo),這對兼顧圖像融合質(zhì)量和速度要求的圖像融合系統(tǒng)具有較高的應(yīng)用價(jià)值。