基于人眼視覺特性的紅外/可見光圖像突顯融合方法?

王雅芬 黃 猛 馬天舒 呂亞飛 苗 晶

（1.中國人民解放軍91977部隊(duì) 北京 102249）（2.航天恒星科技有限公司 北京 100095）

1 引言

可見光相機(jī)和長波紅外熱像儀（熱紅外）是現(xiàn)代艦載光電成像的關(guān)鍵設(shè)備。利用圖像融合技術(shù)，將熱紅外與可見光融合處理后的圖像既擁有可見光圖像豐富的細(xì)節(jié)和灰度，又能反映出場景中目標(biāo)的空間溫度場分布信息［1］。相較于單一傳感器，更有助于觀察者發(fā)現(xiàn)異常目標(biāo)［2］，尤其在處于電磁靜默的場合下，對于光電預(yù)警、觀瞄、監(jiān)視等應(yīng)用具有重要意義［3］。經(jīng)典的紅外/可見光圖像偽彩色融合算法有Teot算法［4］、改進(jìn)的Teot算法［5］、TNO算法［6］、MIT算法［7］等。這些算法追求融合后的圖像色彩自然、可視性好［8］。但熱目標(biāo)一般是紅外圖像中的高亮區(qū)域，而可見光圖像中的目標(biāo)常被復(fù)雜的背景或煙霧等人工偽裝所湮沒，較難從背景中分離識(shí)別［9］。因此傳統(tǒng)的可見光/紅外圖像融合算法無法在保留環(huán)境細(xì)節(jié)的同時(shí)使熱目標(biāo)與背景保持合理亮度差，因此往往對目標(biāo)區(qū)域表現(xiàn)得不夠明顯，不利于人眼識(shí)別［10］。

心理學(xué)研究表明，由于視覺神經(jīng)元細(xì)胞數(shù)量有限，人眼在觀察整個(gè)場景時(shí)，為了降低場景分析的復(fù)雜度會(huì)選擇一部分區(qū)域進(jìn)行更高級(jí)的視覺處理，而局部特征較強(qiáng)的區(qū)域比較容易引起觀察者的視覺注意［11］。利用人類視覺的這種選擇性感知能力，在圖像中對感興趣的目標(biāo)進(jìn)行突顯處理，能夠有效地減少目標(biāo)搜索的時(shí)間［11］。如圖1 所示，為了讓觀察者快速地將注意力集中到第2 排3 列的圖形，可采用的視覺突顯方法包括改變其形狀、亮度、顏色等［12］。

圖1 目標(biāo)突顯引導(dǎo)人眼視覺注意

基于此種思想，本文提出在紅外/可見光圖像融合的過程中對熱紅外目標(biāo)進(jìn)行恰當(dāng)?shù)耐伙@處理，以提高目標(biāo)的視覺檢測效率。由于圖像融合前后目標(biāo)的形狀不宜發(fā)生改變，所以本文主要是突顯目標(biāo)的亮度和顏色。

為了對目標(biāo)的突顯效果進(jìn)行評價(jià)，傳統(tǒng)的基于統(tǒng)計(jì)的圖像質(zhì)量客觀評價(jià)指標(biāo)［13］已無法滿足要求。為此本文引入簡化的Itti 視覺注意模型［11］，獲得融合圖像的顯著性圖，并通過計(jì)算目標(biāo)區(qū)域的平均顯著性值來評價(jià)突顯程度，以獲得符合人類主觀感受的評價(jià)效果。

2 熱紅外目標(biāo)的視覺突顯

我們提出的算法是通過增強(qiáng)目標(biāo)區(qū)域的亮度對比度和賦予其與眾不同的顏色，達(dá)到對目標(biāo)進(jìn)行突顯的效果。目標(biāo)突顯的程度與熱紅外圖像反映出的目標(biāo)溫度相關(guān)，目標(biāo)溫度越高突顯程度越大。此外，應(yīng)該盡量保留目標(biāo)的細(xì)節(jié)和非目標(biāo)區(qū)域的原貌。設(shè)待突顯的原圖像為Is，對應(yīng)的熱紅外圖像為Ir（兩幅圖像已經(jīng)過配準(zhǔn)）。算法流程如圖2 所示。

圖2 目標(biāo)突顯流程

1）圖像預(yù)處理。

首先對紅外圖像進(jìn)行去噪濾波，并將其灰度值歸一化至[0，1]，然后進(jìn)行圖3 所示的冪次變換。冪次變換后熱紅外圖像中灰度值較小的背景像素被抑制，而灰度值較大的目標(biāo)區(qū)域?qū)Ρ榷鹊玫搅嗽鰪?qiáng)。

圖3 冪次變換曲線（r=sγ，γ>1）

上述操作的結(jié)果由式（1）給出，其中Filter(.) 表示去噪濾波，Norm(.) 表示歸一化操作，冪次變換的伽馬值需滿足γ>1。

熱紅外目標(biāo)區(qū)域可通過對Ir′進(jìn)行閾值分割得到。設(shè)T為分割閾值，則目標(biāo)區(qū)域掩膜為

2）提取原圖像的亮度分量。

若原圖像是灰度圖像，那么其亮度分量就是圖像本身，即Vs=Is；若原圖像是包含Rs、Gs、Bs三個(gè)通道的彩色圖像，那么可采用通用的亮度分量計(jì)算公式：Vs=0.30Rs+0.59Gs+0.11Bs。

接下來，在亮度圖像中進(jìn)行目標(biāo)區(qū)域增強(qiáng)處理，提高細(xì)節(jié)對比度。而非目標(biāo)區(qū)域則保持原貌。為了適應(yīng)人類視覺系統(tǒng)對光強(qiáng)的主觀感受特征（主觀亮度與進(jìn)入人眼光強(qiáng)的對數(shù)成近似線性關(guān)系），需要對圖像亮度進(jìn)行對數(shù)變換［14］。具體公式為

式中，Enhance(.) 為通用的對比度增強(qiáng)函數(shù)，如線性拉伸、直方圖均衡化等方法［14］。

3）選擇一種突顯顏色對目標(biāo)進(jìn)行顏色突顯。李宏汀等［5］進(jìn)行的顏色突顯實(shí)驗(yàn)表明突顯顏色的選擇應(yīng)充分考慮到環(huán)境背景，通?？蛇x取紅、綠、藍(lán)、黃四種顏色。大多數(shù)實(shí)際情況下，圖像的背景是天空、植被、大地等自然景觀，且以灰白或者藍(lán)綠色為主色調(diào)，因此推薦選擇紅色為突顯顏色。此外紅色常常代表著高溫、危險(xiǎn)等含義，會(huì)對人類心理產(chǎn)生警示的作用。

用突顯顏色Ch對圖像Vs′進(jìn)行著色，得到具有單一色調(diào)的彩色圖像Ic，其像素點(diǎn)(i，j)處第k個(gè)顏色通道的值由下式給出：

式中，M、N分別表示圖像的高和寬。

4）逐像素處理原圖像，依據(jù)其在熱紅外圖像上的值進(jìn)行不同程度的突顯。

具體將圖像Ir′的像素值作為權(quán)重，對原圖像Is和單色圖像Ic進(jìn)行像素級(jí)加權(quán)融合，即：

考慮到RGB 顏色空間的非均勻性問題，上式應(yīng)在相對較均勻的顏色空間下進(jìn)行。

3 簡化的Itti視覺注意模型和顯著性圖

目標(biāo)突顯采用了Itti 的Bottom-Up 視覺注意機(jī)制模型實(shí)現(xiàn)［11］，該模型采用“中心-周邊”算子，考慮了顏色、強(qiáng)度和方向三種特征計(jì)算區(qū)域的突出程度，并根據(jù)“特征整合理論”得到顯著性圖?？紤]到具體的任務(wù)需求，本文對目標(biāo)的突顯方法并不涉及其形狀和方向，只選擇亮度和顏色兩類特征，簡化的Itti模型如圖4所示。

圖4 簡化的Itti模型

1）提取視覺特征

設(shè)圖像的紅、綠、藍(lán)三個(gè)通道的值為r、g、b，則圖像強(qiáng)度利用I將r、g、b的值進(jìn)行歸一化，并按照如下方式建立4 個(gè)寬調(diào)諧的顏色通道：紅色，綠色G=g-，藍(lán)色，黃色接著對每幅圖像進(jìn)行高斯金字塔分解，得到子圖像I(σ)、R(σ)、G(σ)、B(σ)和Y(σ)。

在金字塔中，取具有等級(jí)c的圖像作為“中心”，具有等級(jí)s=c+δ的圖像作為“周邊”。定義“中心-周邊”算子“?”為先對高等級(jí)的金字塔圖像進(jìn)行插值，使其與低等級(jí)的圖像具有相同的尺寸，然后再逐像素求差值。將該算子應(yīng)用到強(qiáng)度圖像上，可以得到強(qiáng)度特征圖：

根據(jù)顏色拮抗理論，在感受野中央的神經(jīng)元被一種顏色（如紅色）所激勵(lì)，并被另一種顏色（如綠色）所抑制，而在感受野的周邊則相反［7］。這里采用式來計(jì)算紅/綠拮抗，采用式來計(jì)算藍(lán)/黃拮抗，得到反映顏色變化的特征。

2）計(jì)算顯著性圖

各個(gè)特征圖之間具有一定的獨(dú)立性，某個(gè)特征圖中顯著的目標(biāo)在其他特征圖中可能并不顯著。因此在特征組合之前，Itti 提出了一種歸一化的方法N(.)。首先線性歸一化至特定的幅度范圍[0，M]；然后計(jì)算除全局最大值以外的所有局部極大值的均值；最后將整幅圖像乘以(M-)2。

將所有的強(qiáng)度特征圖組合成一副強(qiáng)度顯著性圖，所有的色彩特征圖組合成一副色彩特征圖，如式和式所示。其中，算子“⊕”的計(jì)算方法為按照第c級(jí)金字塔圖像的尺寸，對所有圖像進(jìn)行采樣，然后將對應(yīng)像素點(diǎn)的值累加起來。

最后，對所有特征顯著性圖進(jìn)行歸一化并取均值，得到顯著性圖：

4 突顯實(shí)驗(yàn)結(jié)果與分析

本節(jié)列舉了經(jīng)典的灰度圖像融合、偽彩色圖像融合和真彩色圖像融合算法，并采用本文提出的方法對熱紅外目標(biāo)進(jìn)行突顯，最后對突顯效果作了主客觀的分析。

圖5（a）、（b）、（c）分別為可見光圖像、熱紅外圖像和采用對比度金字塔算法［4］進(jìn)行灰度融合的結(jié)果。該算法的特點(diǎn)是保留了輸入圖像的細(xì)節(jié)，但是具有明顯溫度異常的區(qū)域（如坦克尾部的發(fā)動(dòng)機(jī)）卻很難引起人眼的視覺注意。對紅外圖像進(jìn)行目標(biāo)增強(qiáng)得到圖5（d），對灰度融合圖像進(jìn)行局部對比度增強(qiáng)和著色得到圖5（e），最后的色彩融合結(jié)果如圖5（f）。圖中坦克尾部的顯著性得到了明顯提高，且細(xì)節(jié)清晰。

圖5 灰度圖像融合中的目標(biāo)突顯

基于顏色傳遞算法的偽彩色融合圖像具有近似參考圖像的色彩，并且對紅外目標(biāo)也具有一定的突顯能力［5］。圖6（a）～（d）分別為可見光圖像、紅外圖像、參考圖像及偽彩色融合結(jié)果。采用本文算法進(jìn)一步對目標(biāo)進(jìn)行突顯的結(jié)果如圖6（e）。

圖6 偽彩色圖像融合中的目標(biāo)突顯

圖7 為Toet 真彩色融合算法［8］的實(shí)驗(yàn)結(jié)果，其中的突顯結(jié)果是直接在可見光圖像上進(jìn)行目標(biāo)突顯得到的。這里因?yàn)楸尘氨旧砑礊榧t色，故選擇黃色為突顯顏色。此外本例中的目標(biāo)是“冷目標(biāo)”，所以需要預(yù)先對熱紅外圖像進(jìn)行灰度值反轉(zhuǎn)。對比圖7（c）、（d）可以看出藏著的手槍呈現(xiàn)出了與衣服對比更加強(qiáng)烈的顏色，并且其余區(qū)域的可見光原貌得到了更好的保留。

圖7 真彩色圖像融合中的目標(biāo)突顯

針對不同算法的融合結(jié)果，采用簡化的Itti 模型得到的顯著性圖見圖8，其中目標(biāo)區(qū)域的平均顯著性值見表1。這些量化后的數(shù)據(jù)有力地證明了本文算法對目標(biāo)的實(shí)際突顯效果。

表1 突顯前后目標(biāo)區(qū)域平均顯著性值

圖8 突顯前后的顯著性圖

5 結(jié)語

本文基于視覺感知特性提出了一種對熱紅外目標(biāo)進(jìn)行視覺突顯的方法，并將其應(yīng)用于紅外/可見光圖像融合算法中。得到的圖像不但能真實(shí)地反映出可見光下場景豐富的細(xì)節(jié)和目標(biāo)與背景間的紅外溫差信息，同時(shí)將目標(biāo)突顯了出來。目標(biāo)區(qū)域細(xì)節(jié)清晰可辨，在較好地保留了非目標(biāo)區(qū)域原貌的同時(shí)，能根據(jù)目標(biāo)與背景的溫差變化來確定突顯程度。我們還通過簡化Itti視覺注意模型得到顯著性圖和計(jì)算目標(biāo)區(qū)域的平均顯著性值，實(shí)現(xiàn)了對突顯程度的客觀描述。

近年來，隨著深度學(xué)習(xí)等人工智能技術(shù)的發(fā)展，利用機(jī)器學(xué)習(xí)的手段來提升目標(biāo)凸顯的融合方法也日益得到關(guān)注［17～18］，也可以結(jié)合其它的顯著性評價(jià)指標(biāo)［16］來得到更加符合人眼主觀感受的評價(jià)效果，這也是未來紅外/可見光圖像融合研究的熱點(diǎn)方向之一［19］。