基于仿生視覺(jué)機(jī)制的紅外與可見(jiàn)光圖像融合

陳 松王西泉陳俊彪

(中國(guó)兵器工業(yè)試驗(yàn)測(cè)試研究院 測(cè)試技術(shù)研究中心,陜西 華陰 714200)

0 引 言

傳統(tǒng)的圖像融合技術(shù)研究主要集中在像素級(jí)、特征級(jí)和決策級(jí)算法的探索上。為追求更好的融合效果,研究者不斷加大算法的復(fù)雜度,同時(shí)尋求更加合適的數(shù)學(xué)理論作為融合的依據(jù)[1-3]。生物學(xué)的進(jìn)步為圖像融合的研究提供了新思路。

1953年Kuffler[4]證明了兩種基本受域類(lèi)型的存在:ON中心OFF環(huán)繞(ON-Center/OFF-Surround)受域和OFF中心ON環(huán)繞(OFF-Center/ON-Surround)受域。1978年Hartline等[5]通過(guò)電生理方法全面研究了蝮蛇(響尾蛇屬于蝮亞科)的視覺(jué)與紅外感知能力,指明了可見(jiàn)光和紅外感知神經(jīng)元在其視頂蓋的分布位置并確定了雙模式細(xì)胞的存在。Hodgkin[6]提出了描述中心-環(huán)繞對(duì)抗受域神經(jīng)網(wǎng)絡(luò)的被動(dòng)膜方程。響尾蛇的視頂蓋不僅接收視網(wǎng)膜傳來(lái)的信息,還能接收聲音信息和觸覺(jué)信息。Newman等[7]在1981年指出響尾蛇視頂蓋雙模式細(xì)胞能同時(shí)接收紅外和可見(jiàn)光圖像的信息,并自動(dòng)將它們進(jìn)行圖像配準(zhǔn)。響尾蛇對(duì)環(huán)境的感知來(lái)自可見(jiàn)光和紅外圖像融合后的圖像信息,對(duì)紅外和可見(jiàn)光信號(hào)的處理是6種雙模式細(xì)胞協(xié)同作用。中國(guó)科學(xué)院生物所對(duì)蝮蛇進(jìn)行了行為學(xué)研究,并通過(guò)部分感官屏蔽的實(shí)驗(yàn)證明紅外和可見(jiàn)光信息對(duì)目標(biāo)識(shí)別與定位有一定的協(xié)作加成和對(duì)側(cè)抑制的作用[8]。

在上述生物學(xué)研究的基礎(chǔ)上,研究者們進(jìn)行了基于效果的仿生紅外與可見(jiàn)光圖像融合,Waxman等[8]利用模仿響尾蛇雙模式細(xì)胞工作原理的視覺(jué)感受野模型,提出了微光和紅外圖像的融合結(jié)構(gòu)。有研究者將響尾蛇的6種雙模式細(xì)胞的數(shù)學(xué)模型和Waxman融合結(jié)構(gòu)應(yīng)用于多波段圖像假彩色融合[9-10]和通過(guò)改進(jìn)融合結(jié)構(gòu)實(shí)現(xiàn)紅外和可見(jiàn)光的偽彩色融合[11-13]。筆者使用中心-環(huán)繞對(duì)抗受域的被動(dòng)膜方程模擬雙模式細(xì)胞的融合,設(shè)計(jì)了基于融合效果的仿響尾蛇視覺(jué)成像系統(tǒng)的圖像融合算法,并與經(jīng)典的Waxman設(shè)計(jì)的算法進(jìn)行了比較,取得了比較滿(mǎn)意的效果。

1 仿生視覺(jué)成像機(jī)制數(shù)學(xué)模型

1.1 響尾蛇的雙模式細(xì)胞機(jī)制

研究發(fā)現(xiàn),在生物系統(tǒng)中存在許多處理多源信息的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在響尾蛇視頂蓋中,Hartline等[5]發(fā)現(xiàn)了處理可見(jiàn)光和紅外信息的6種雙模式細(xì)胞:可見(jiàn)光增強(qiáng)紅外細(xì)胞,可見(jiàn)光抑制紅外細(xì)胞,紅外增強(qiáng)可見(jiàn)光細(xì)胞,紅外抑制可見(jiàn)光細(xì)胞,AND(與)和OR(或)細(xì)胞。這些細(xì)胞會(huì)對(duì)可見(jiàn)光信息或紅外信息中的任意一種或是同時(shí)對(duì)兩種產(chǎn)生響應(yīng)。

通過(guò)組合6種雙模式細(xì)胞的不同非線(xiàn)性響應(yīng)方式,可以構(gòu)成響尾蛇視覺(jué)系統(tǒng)中可見(jiàn)光和紅外信息的融合結(jié)構(gòu)。如根據(jù)不同的目標(biāo)和環(huán)境采用不同的圖像融合方法,則有利于發(fā)展適合人眼觀(guān)察的圖像融合理論。6種雙模式細(xì)胞的數(shù)學(xué)模型[10]如下。

可見(jiàn)光增強(qiáng)紅外細(xì)胞

其中IV↑IR(i,j)為可見(jiàn)光增強(qiáng)紅外后的圖像。

可見(jiàn)光抑制紅外細(xì)胞

其中IV↓IR(i,j)為可見(jiàn)光抑制紅外后的圖像。

紅外增強(qiáng)可見(jiàn)光細(xì)胞

其中IIR↑V(i,j)為紅外增強(qiáng)可見(jiàn)光信號(hào)后的圖像。

紅外抑制可見(jiàn)光細(xì)胞

其中IIR↓V(i,j)為紅外信號(hào)抑制可見(jiàn)光信號(hào)的結(jié)果。

AND(與)細(xì)胞:當(dāng)紅外信號(hào)和可見(jiàn)光信號(hào)同時(shí)存在時(shí),細(xì)胞才產(chǎn)生明顯的響應(yīng)。因此用加權(quán)與模擬可見(jiàn)光圖像和紅外圖像的共同作用。

1)當(dāng)IV(i,j)

2)當(dāng)IV(i,j)>IIR(i,j)時(shí),融合結(jié)果為

其中m>0.5,n<0.5,IAND(i,j)為紅外圖像和可見(jiàn)光圖像的加權(quán)與作用。

OR(或)細(xì)胞:可見(jiàn)光信號(hào)或紅外信號(hào)的任意一種或兩種都存在時(shí),細(xì)胞都會(huì)產(chǎn)生明顯的響應(yīng)。所以用加權(quán)或模擬可見(jiàn)光圖像和紅外圖像的共同作用。

1)當(dāng)IV(i,j)

2)當(dāng)IV(i,j)>IIR(i,j)時(shí),融合結(jié)果為

其中m>0.5,n<0.5,IOR(i,j)為可見(jiàn)光圖像和紅外圖像的加權(quán)或作用。

1.2 視覺(jué)感受野的數(shù)學(xué)模型

基于生物視覺(jué)研究結(jié)果,視網(wǎng)膜中一個(gè)神經(jīng)元的反應(yīng)區(qū)域叫做感受野,神經(jīng)元從功能上分為興奮和抑制兩種作用[10],視覺(jué)神經(jīng)細(xì)胞的感受野分為兩種,如圖1所示,用同心圓表示這兩種感受野,中心正號(hào)環(huán)繞負(fù)號(hào)的為ON中心-OFF環(huán)繞感受野,中心負(fù)號(hào)環(huán)繞正號(hào)的為OFF中心-ON環(huán)繞感受野,正號(hào)表示興奮作用,負(fù)號(hào)表示抑制作用。

圖1 感受野模型Fig.1 Receptive field model

ON中心-OFF環(huán)繞對(duì)抗系統(tǒng)的輸出為[6]

OFF中心-ON環(huán)繞對(duì)抗系統(tǒng)的輸出為

其中Ck(i,j)和Sk(i,j)分別為興奮輸入圖像、抑制輸入圖像與高斯函數(shù)的卷積,A為衰減常數(shù),E為極化常數(shù)。Ck(i,j)為受域興奮區(qū)域

Sk(i,j)為受域抑制區(qū)域

其中Ik(i,j)為輸入圖像,*為卷積算子,Wc、Ws分別為中心區(qū)域和環(huán)繞區(qū)域的高斯分布函數(shù),高斯模板大小分別為m×n和p×q,σc、σs分別為中心和環(huán)繞區(qū)域的空間常數(shù)。

2 Waxman融合神經(jīng)網(wǎng)絡(luò)

經(jīng)典的融合神經(jīng)網(wǎng)絡(luò)是由Waxman等[8]在生物學(xué)理論基礎(chǔ)上建立的,如圖2所示。

圖2 Waxman融合神經(jīng)網(wǎng)絡(luò)Fig.2 Waxman fusion neural network

第1階段得到紅外圖像的ON和OFF增強(qiáng)結(jié)果,可見(jiàn)光圖像的ON增強(qiáng)結(jié)果;第2階段為融合階段,ON對(duì)抗系統(tǒng)增強(qiáng)可見(jiàn)光信號(hào)后分別饋入兩個(gè)ON對(duì)抗系統(tǒng)的興奮中心細(xì)胞,紅外圖像的OFF和ON增強(qiáng)圖像則分別饋入相應(yīng)神經(jīng)元的環(huán)繞抑制細(xì)胞,得到了兩個(gè)融合信號(hào)。這兩個(gè)信號(hào)分別模擬了紅外增強(qiáng)可見(jiàn)細(xì)胞響應(yīng)和紅外抑制可見(jiàn)細(xì)胞響應(yīng)。最后將得到的3個(gè)信號(hào)分別映射到R、G、B 3個(gè)通道,形成了假彩色融合圖像[14]。

3 筆者圖像融合視覺(jué)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

筆者使用中心-環(huán)繞對(duì)抗受域的被動(dòng)膜方程模擬雙模式細(xì)胞的融合,融合結(jié)構(gòu)如圖3所示。該融合網(wǎng)絡(luò)結(jié)構(gòu)分為5個(gè)階段:第1階段,分別利用6種仿雙模式細(xì)胞的數(shù)學(xué)模型對(duì)可見(jiàn)光和紅外圖像進(jìn)行或、與、紅外增強(qiáng)可見(jiàn)光、紅外抑制可見(jiàn)光、可見(jiàn)光增強(qiáng)紅外、可見(jiàn)光抑制紅外的處理,得到OR,AND,IR↑V,IR↓V,V↑IR,V↓IR的圖像信息,分別表示為f1,f2,f3,f4,f5,f6;第2階段,對(duì)f1,f3,f5進(jìn)行受域興奮處理,得到C(f1),C(f3),C(f5),對(duì)f2,f4,f6進(jìn)行受域抑制處理,得到S(f2),S(f4),S(f6);第3階段,把C(f1)和S(f2)信息分別饋入到ON-中心型對(duì)抗受域的中心和環(huán)繞區(qū)域,得到X1,把C(f3)和S(f4)信息分別饋入到ON-中心型對(duì)抗受域的中心和環(huán)繞區(qū)域,得到X2,把C(f5)和S(f6)信息分別饋入到OFF-中心型對(duì)抗受域 的中心和環(huán)繞區(qū)域,得到X3;第4階段,對(duì)X1,X3進(jìn)行受域抑制處理,得到S(X1),S(X3),對(duì)X2進(jìn)行受域興奮處理,得到C(X2);第5階段,把C(X2)和S(X1)信息分別饋入到ON-中心型對(duì)抗受域的中心和環(huán)繞區(qū)域,輸出結(jié)果映射到G通道,X2直接映射到B通道,把C(X2)和S(X3)信息分別饋入到ON-中心型對(duì)抗受域的中心和環(huán)繞區(qū)域,輸出結(jié)果映射到R通道,得到了假彩色融合圖像。

4 實(shí)驗(yàn)與結(jié)果分析

筆者對(duì)4組可見(jiàn)光圖像和紅外圖像進(jìn)行了融合實(shí)驗(yàn),圖4為4幅可見(jiàn)光圖像,圖5為對(duì)應(yīng)的紅外圖像。圖6為Waxman融合結(jié)果,圖7為筆者提出的方法對(duì)圖4和圖5所示4組源圖像進(jìn)行融合的結(jié)果。在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)空間常數(shù)σc、σs取較小數(shù)值,激化常數(shù)E取較大數(shù)值時(shí)實(shí)驗(yàn)效果較好,F取值的大小對(duì)結(jié)果影響很小。圖6和圖7中的實(shí)驗(yàn)結(jié)果是σc取7,σs為60,高斯模版大小為3×3,E為800時(shí)得到的。

圖4 可見(jiàn)光圖像Fig.4 Visible light images

圖5 紅外圖像Fig.5 Infrared image

圖6 Waxman圖像融合結(jié)果Fig.6 Waxman fusion image

圖7 筆者算法融合圖像Fig.7 Improved fusion image results

從實(shí)驗(yàn)結(jié)果可以看出,Waxman算法的融合圖像幾乎包含了可見(jiàn)光圖像的細(xì)節(jié)信息,但目標(biāo)信息并不突出。主要原因是雖然對(duì)紅外信號(hào)分別進(jìn)行了OFF對(duì)抗和ON對(duì)抗增強(qiáng)并傳入神經(jīng)節(jié)細(xì)胞的環(huán)繞區(qū)域,但實(shí)質(zhì)仍是抑制信號(hào),所以紅外信號(hào)對(duì)可見(jiàn)光信號(hào)的增強(qiáng)并不明顯。由圖7可見(jiàn),筆者的融合圖像與Waxman經(jīng)典融合結(jié)構(gòu)的處理結(jié)果相比較,目標(biāo)更為突出,細(xì)節(jié)信息也較好。表1為兩種方法圖像融合后的性能指標(biāo)。從表1可以看出,筆者的方法優(yōu)于經(jīng)典Waxman方法。

表1 融合性能指標(biāo)比較Tab.1 Comparison of fusion performance indicators

5 結(jié) 語(yǔ)

筆者設(shè)計(jì)的圖像融合神經(jīng)網(wǎng)絡(luò)基于仿生視覺(jué)成像機(jī)制,從融合結(jié)果可以看出,融合圖像結(jié)合了可見(jiàn)光圖像細(xì)節(jié)清晰和紅外圖像熱輻射信息的優(yōu)點(diǎn),既能看到可見(jiàn)光圖像中的細(xì)節(jié),又能看到被煙霧數(shù)目遮擋的人物,采用信息熵和平均梯度對(duì)融合結(jié)果進(jìn)行了評(píng)價(jià),信息熵和平均梯度越大,表明融合效果越好。