基于區(qū)域分割與提升小波變換的圖像融合算法

高穎, 王阿敏, 支朋飛, 葛飛

(1.西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710072; 2.中航金屬材料理化檢測科技有限公司, 陜西 西安 710018)

近幾年，隨著圖像傳感器技術(shù)的不斷發(fā)展，圖像融合已成為圖形分析領(lǐng)域研究的一個(gè)熱點(diǎn)話題[1]。紅外與可見光傳感器在成像原理及波譜上的差異性，使其在軍事偵查、電子產(chǎn)品檢測、資源探測等眾多領(lǐng)域備受重視并得到快速的發(fā)展。紅外傳感器“主動(dòng)”地獲取場景中的目標(biāo)信息，尤其是顯示隱藏的熱目標(biāo)，不受白天或黑夜的影響，實(shí)現(xiàn)全天候的工作，但卻因景物自身輻射、傳輸距離及大氣衰減等因素的影響，使得所成像對比度低，目標(biāo)細(xì)節(jié)的反映能力較差；而CCD傳感器恰恰彌補(bǔ)了紅外傳感器輸出圖像對比度低，目標(biāo)細(xì)節(jié)反映能力差等缺點(diǎn)，并能提供很好的光譜特性，由于是"被動(dòng)"地獲取場景中的目標(biāo)信息，使得在黑夜或者惡劣的天氣情況下，所獲得的圖像質(zhì)量會(huì)很差。因此利用紅外與CCD呈現(xiàn)的互補(bǔ)特性對偽裝及夜視目標(biāo)進(jìn)行識(shí)別是一項(xiàng)非常有意義的工作。

圖像融合算法可分為3個(gè)層次：像素級(jí)、特征級(jí)和決策級(jí)。由于像素級(jí)融合處理過程簡單，融合準(zhǔn)確性高，因此國內(nèi)外大多數(shù)研究都集中在這一層面。目前，像素級(jí)融合算法主要分2大類：一類是基于空間域的，另一類是基于變換域的圖像融合。前者主要針對圖像的像素灰度值進(jìn)行融合處理，如簡單的加權(quán)平均法、主成分分析(PCA)、顏色空間法以及基于HVS(human vision system)的圖像融合方法等。文獻(xiàn)[2]提出改進(jìn)的加權(quán)法對圖像進(jìn)行融合，此法過程簡單，融合速度快，但要求原圖像的對比度小，否則會(huì)使融合結(jié)果出現(xiàn)“方塊效應(yīng)”；文獻(xiàn)[3]采用一種自適應(yīng)權(quán)值的PCA方法對夜視圖像進(jìn)行處理，此法有效改善了圖像的信噪比并可突出顯示原圖像特征，但要求原圖關(guān)聯(lián)性強(qiáng)，另外，處理過程復(fù)雜，實(shí)時(shí)性差，對于弱邊緣檢測效果有待優(yōu)化；文獻(xiàn)[4]提出了一種基于顏色空間變換的方法，它可有效保持源圖像的邊緣信息，并能突顯目標(biāo)特性，但易導(dǎo)致光譜失真現(xiàn)象，且融合精度不高；目前比較偏向于后一種方法。這種算法可以將圖像在不同尺度下分解為不同分辨率的圖像，能夠取得較好的融合效果。常用的有金字塔變換法(拉普拉斯金字塔、形態(tài)學(xué)金字塔、梯度金字塔等)和小波變換法(曲波變換、輪廓波變換，提升小波變換等)。金字塔變換實(shí)質(zhì)是一種基于分層分解與合成的處理方法，它能夠逐層處理圖像信息，解決對比度信息較大的圖像，但隨著分辨率的改變導(dǎo)致目標(biāo)定位誤差增大，圖像邊界模糊，另外由于是一種冗余分解且缺乏方向性，導(dǎo)致難以提取融合圖像的結(jié)構(gòu)信息，使得融合結(jié)果不夠理想[5-7]。小波變換因其良好的時(shí)頻局部特征、尺度變化特征及方向性特征，克服了上述缺點(diǎn)，在保證視覺特性的前提下，還能突出顯示目標(biāo)信息與背景色彩，幾乎包含了所有的融合應(yīng)用場合，并且大都能取得較好的融合效果[8-10]。目前被認(rèn)為是最有效的研究方法。本文在上述基礎(chǔ)上提出了一種基于區(qū)域分割和提升小波變換相結(jié)合的紅外與可見光圖像融合算法。區(qū)域分割最大的優(yōu)點(diǎn)是能夠從背景復(fù)雜的區(qū)域中“摘除”目標(biāo)區(qū)域，Canny邊緣算子的“非極大值抑制”特性與區(qū)域生長法“獨(dú)特生長準(zhǔn)則”的完美結(jié)合，達(dá)到了最優(yōu)的提取目標(biāo)區(qū)域的目的；接著采用基于像素區(qū)域能量最大準(zhǔn)則法，合理地將紅外目標(biāo)映射到可見光背景中，獲得兼具2幅原圖像互補(bǔ)特性的融合圖像；為了保證更全面、準(zhǔn)確的融合效果，提出了基于提升小波變換的二次融合方法，采用低頻加權(quán)、高頻平均梯度的測度機(jī)制，充分防止了由分割出現(xiàn)的“拼接痕跡”而導(dǎo)致的重要信息丟失，在保證融合效果的前提下，改善了傳統(tǒng)小波算法的復(fù)雜性，增強(qiáng)了整個(gè)算法的魯棒性，通過實(shí)驗(yàn)比較證實(shí)了此方法的高效性。

1 圖像分割

圖像分割是一種重要的圖像處理技術(shù)，利用它可以將圖像劃分成具有多個(gè)不同特性的區(qū)域(紋理、顏色、灰度、邊緣等)[11]。由于灰度圖像更利于計(jì)算機(jī)的實(shí)時(shí)處理，目前針對灰度圖像的分割方法有邊緣檢測法、直方圖閾值法、基于區(qū)域的方法及數(shù)學(xué)形態(tài)學(xué)法等。在進(jìn)行圖像分割時(shí)，一般假設(shè)待分割圖像中的某一部分的特征是相同或相近的。分割結(jié)果的優(yōu)劣是由具體的場合及要求衡量的，目前還沒有唯一標(biāo)準(zhǔn)的分割方法。本文在充分分析了紅外圖像特征的基礎(chǔ)上提出了基于Canny邊緣檢測和區(qū)域生長相結(jié)合的紅外圖像分割方法。

1.1 邊緣檢測

圖像邊緣是圖像特征的一個(gè)重要屬性，邊緣常意味著一個(gè)區(qū)域的終結(jié)和另一個(gè)區(qū)域的開始[12]。由于2個(gè)具有不同灰度值的相鄰區(qū)域之間總存在著邊緣，因此首先利用檢測算子縮小判斷范圍進(jìn)行初次圖像分割非常必要。一種較好的邊緣檢測算子應(yīng)該不僅具有抑制噪聲邊緣的能力，同時(shí)還能保持目標(biāo)邊緣完備與連通的特性。Canny邊緣檢測算子又稱高斯算子，以其獨(dú)特最優(yōu)檢測準(zhǔn)則、定位準(zhǔn)則及單邊緣響應(yīng)準(zhǔn)則，在眾多算子中脫穎而出。整個(gè)處理流程如圖1所示，由于對噪聲有一定的抑制能力，在檢測弱邊界時(shí)性能最好，能準(zhǔn)確對階躍型邊緣定位，目前被認(rèn)為是一種最優(yōu)的邊緣檢測算子。

圖1 Canny算子邊緣檢測流程圖

1.2 區(qū)域生長法

1.3 基于區(qū)域生長的紅外圖像分割

區(qū)域生長法一次僅對一個(gè)目標(biāo)區(qū)域進(jìn)行生長,若圖像中有多個(gè)目標(biāo)區(qū)域,可采用循環(huán)的方法,每分割完一個(gè)目標(biāo)區(qū)域就進(jìn)行剔除,重新選擇可靠種子點(diǎn),直至所有目標(biāo)區(qū)域都被分割出來。本文僅對圖像中只有一個(gè)目標(biāo)區(qū)域的情況進(jìn)行討論,整個(gè)紅外圖像分割流程如圖2所示。

圖2 紅外圖像分割算法流程圖

2 基于互補(bǔ)的紅外與可見光圖像一次融合

為了將1.2節(jié)分割出來的重要的紅外目標(biāo)信息映射到可見光圖像中,本文提出了一種像素級(jí)的融合方法,以第一步的分割結(jié)果為融合決策依據(jù),對紅外目標(biāo)區(qū)域和背景區(qū)域分別采用不同的融合策略。由于像素區(qū)域能量的大小反映了圖像中的亮暗部分,對目標(biāo)區(qū)域可采用基于像素區(qū)域能量比較的法則,即比較紅外與可見光圖像對應(yīng)目標(biāo)區(qū)域內(nèi)像素點(diǎn)的區(qū)域能量;而對于非目標(biāo)區(qū)域,為了盡可能地保留可見光圖像中豐富的光譜信息,可以直接將可見光圖像各像素點(diǎn)作為一次融合圖像中對應(yīng)位置的像素值。這樣既突出了紅外圖像中的目標(biāo)區(qū)域,同時(shí)又能體現(xiàn)可見光圖像中的豐富光譜信息。具體算法如下:

1) 關(guān)于像素區(qū)域能量的計(jì)算

通過滑動(dòng)鄰域操作對圖像中每個(gè)像素點(diǎn)計(jì)算其區(qū)域能量。像素點(diǎn)的鄰域是與中心像素點(diǎn)相關(guān)的一系列像素點(diǎn),它是一個(gè)矩形塊,當(dāng)圖像矩陣上從一個(gè)元素移到下一個(gè)時(shí),鄰域塊在同一方向上滑動(dòng)[14]。基于像素區(qū)域的能量定義為:

(1)

(2)

式中：(x,y)為對應(yīng)中心像素的位置;W為以點(diǎn)(x,y)為中心的i×j大小的區(qū)域窗口;DI(x+i,y+j)為(x+i,y+j)位置處的局部能量;ωI(i,j)為窗口加權(quán)系數(shù)矩陣;下標(biāo)I代表了紅外或可見光圖像。

2) 融合準(zhǔn)則

若待融合的紅外源圖像為IR,可見光圖像為V,一次融合得到的融合結(jié)果為F1,根據(jù)1.3節(jié)所述的分割方法將紅外圖像分割為紅外熱目標(biāo)區(qū)域X和非目標(biāo)區(qū)域Y,則采用像素區(qū)域能量取大法得到的目標(biāo)區(qū)域?yàn)?

(3)

式中:(x,y)為遍歷整個(gè)紅外與可見光目標(biāo)區(qū)域?qū)?yīng)的像素;F1(x,y)、IR(x,y)、V(x,y)分別表示一次融合圖像、紅外圖像、可見光圖像在位置(x,y)處對應(yīng)的灰度值。

對于非目標(biāo)區(qū)域,其融合過程可描述為:

F1(x,y)=V(x,y)

(4)

式中:(x,y)∈Y,(x,y)遍歷整個(gè)非目標(biāo)區(qū)域,其它各字母表示含義與(3)式相同。該方法的最大優(yōu)點(diǎn)是過程簡單,計(jì)算量小,易于實(shí)現(xiàn)。

3 基于提升小波變換的二次融合

一次融合利用“整體法”對圖像的目標(biāo)與非目標(biāo)區(qū)域進(jìn)行融合,計(jì)算簡單,實(shí)時(shí)性好,在分割無誤時(shí)能夠體現(xiàn)很好的融合效果;實(shí)際情況中若由于噪聲等不必要干擾而造成分割錯(cuò)誤時(shí),將使得一次融合的效果出現(xiàn)“拼接痕跡”,因此,這里提出了基于多分辨率分析的提升小波變換。

3.1 提升小波變換的基本原理

傳統(tǒng)小波變換過程對傅里葉變換的依賴性大,導(dǎo)致構(gòu)造出合適的小波基非常困難[15]。1995 年W. Swelden等學(xué)者依據(jù)多項(xiàng)式內(nèi)插的思想,提出了提升小波變換,在不依賴傅里葉變換的基礎(chǔ)上,可在空間域上直接計(jì)算小波系數(shù),使得計(jì)算量和復(fù)雜度降低,滿足實(shí)時(shí)系統(tǒng)的處理,有著更廣泛的應(yīng)用前景。提升小波變換可分為4個(gè)步驟:分裂→預(yù)測→更新→重構(gòu),圖3給出某型飛機(jī)的3層提升小波變換分解圖:

圖3 某型飛機(jī)3層提升小波變換分解圖

圖4 提升小波變換原理圖

3.2 融合規(guī)則的選取

基于提升小波變換多分辨思想的算法一般都能取得較好的效果,但不同融合規(guī)則的選擇對融合效果有重要的影響,融合規(guī)則是圖像融合技術(shù)的核心[16]。對3幅待融合源圖像進(jìn)行提升小波分解后,得到各自的低頻分量和3個(gè)方向的高頻分量。圖像的低頻分量代表了原圖像濾除了細(xì)節(jié)之后的平滑版本,反映了原圖像在該分辨率上的概貌與結(jié)構(gòu)框架;圖像的高頻分量,則表征了圖像的主要特征和邊緣細(xì)節(jié)信息,對圖像的清晰度起著重要作用?；谶@個(gè)理論基礎(chǔ),分別對低頻和高頻部分采用如下不同的融合規(guī)則:

1) 對于低頻系數(shù)而言,由于3幅圖像的結(jié)構(gòu)信息基本相同,因此可采用加權(quán)平均算法。即對3幅待融合圖像各像素灰度值進(jìn)行加權(quán)平均,得到的結(jié)果作為融合圖像的低頻分量,即:

LLFl(i,j)=λ1LLEl(i,j)+λ2LLRl(i,j)+λ3LLVl(i,j)

(5)

式中：F、E、R、V分別表示二次融合圖像、一次融合結(jié)果、紅外源圖像以及可見光圖像;LLml(m∈F,E,R,V)表示第l層上的低頻系數(shù),(i,j)是遍歷整個(gè)低頻部分的所有位置;λ1、λ2、λ3分別為加權(quán)系數(shù)λ1+λ2+λ3=1,這里認(rèn)為一次融合所得到的圖像包含了比2幅原始圖像更重要的信息,因此λ1的取值應(yīng)大于λ2與λ3,實(shí)驗(yàn)中取λ1=0.5,λ2=λ3=0.25。

2) 對于高頻系數(shù)而言:由于高頻分量反映了圖像中的邊緣、輪廓和紋理等細(xì)節(jié)信息,融合所采用的測度參數(shù)必須能體現(xiàn)出灰度突變的程度,考慮到平均梯度反映了圖像中的微小細(xì)節(jié)反差與紋理變化特征,平均梯度越大,層次被劃分的越細(xì),圖像就越清晰,故可采用平均梯度作為測度參數(shù)指導(dǎo)高頻融合系數(shù)的選擇。

(6)

式中：mx(i,j)、my(i,j)分別表示圖像m在點(diǎn)(i,j)處沿x與y方向的一階差分。

則高頻系數(shù)的融合規(guī)則可表示為:

(7)

3.3 本文融合算法的整體描述

為了方便研究,以已配準(zhǔn)的紅外圖像R和可見光圖像V為例,對整個(gè)融合過程敘述如下:

首先,利用Canny算子與區(qū)域生長法將紅外圖像R分割為目標(biāo)區(qū)域X與非目標(biāo)區(qū)域Y。

其次,利用公式(1)分別求出目標(biāo)區(qū)域X與V圖像相應(yīng)位置像素點(diǎn)的區(qū)域能量,利用(3)式的判斷準(zhǔn)則確定一次融合圖像的目標(biāo)區(qū)域;對于非目標(biāo)區(qū)域,則直接用V圖像相應(yīng)的位置替換,這樣就得到一次融合結(jié)果E;

圖5 本文算法的整體設(shè)計(jì)框圖

4 仿真實(shí)驗(yàn)結(jié)果與評價(jià)分析

4.1 實(shí)驗(yàn)結(jié)果

本文所選待融合圖像為黃昏時(shí)刻攝取的、像素大小為256×256的、隱藏于云彩中的紅外圖像6a)與可見光圖像6b)，依據(jù)這2幅圖像所呈現(xiàn)的特性，分別采取目前主流的融合方法-主成分分析法、拉普拉斯金字塔變換法、傳統(tǒng)小波變換法與本文所提出的方法在VC++ 6.0條件下進(jìn)行仿真實(shí)驗(yàn)，其效果依次如圖6c)至圖6f)所示，本文算法以3.3節(jié)所提出的流程進(jìn)行。

圖6 不同算法的融合效果對比圖

通過上述實(shí)驗(yàn)可以清楚發(fā)現(xiàn)，圖6c)中的方法對比度明顯，可以識(shí)別目標(biāo)，但抑制噪聲能力弱，邊緣信息易丟失；圖6d)色彩鮮明，目標(biāo)輪廓清晰，但對比度小，不利于辨別；圖6e)中目標(biāo)特性顯著，可準(zhǔn)確定位，但邊緣不平滑，并且常出現(xiàn)“色彩扭曲”現(xiàn)象；圖6f)為本文所采用的算法，由于引進(jìn)分割與區(qū)域能量比技術(shù)，使得目標(biāo)輪廓清晰，細(xì)節(jié)信息明顯，背景自然，色彩鮮明，能夠快速識(shí)別并準(zhǔn)確的定位目標(biāo)，更利于人眼判決與機(jī)器視覺。

4.2 融合評價(jià)

目前，對于融合圖像的質(zhì)量評價(jià)還沒有統(tǒng)一、全面的標(biāo)準(zhǔn)。從視覺效果方面進(jìn)行了評價(jià)稱為主觀評價(jià)或定性評價(jià)如4.1節(jié)所示；為了使融合結(jié)果更具有說服力，這里采用一種量化的尺度準(zhǔn)則來評價(jià)融合圖像的質(zhì)量——客觀或定量評價(jià)。由于圖像空間細(xì)節(jié)信息的增強(qiáng)與光譜信息的保持是圖形融合研究重點(diǎn)[17]。針對這個(gè)問題，選取了描述空間細(xì)節(jié)信息的2個(gè)參數(shù)：信息熵和平均梯度以及反映光譜信息量的參數(shù)：光譜扭曲度和相關(guān)系數(shù)。圖像信息熵值越大表示包含的信息量越大，平均梯度越高代表圖像越清晰，光譜扭曲度越接近0表示光譜扭曲越小，相關(guān)系數(shù)表示與原圖像的相關(guān)程度，越接近1表明在光譜色彩上越相似。借助Matlab7.0的圖像處理工具箱中的相關(guān)函數(shù)，上述指標(biāo)均可容易得到。表1對文中所提融合算法的圖像效果做出定量評價(jià)。

表1 圖5中不同算法的融合效果客觀評價(jià)

從表1的客觀評價(jià)指標(biāo)中不難發(fā)現(xiàn)，本文算法包含了更高的信息量，圖像清晰度指數(shù)最高，色彩與相關(guān)性跟原圖像最接近，這表明本文算法能夠較好地綜合原圖像信息。

5 結(jié) 論

結(jié)合紅外與可見光圖像的特點(diǎn)，充分考慮其顯著的互補(bǔ)特性，本文提出了一種基于區(qū)域分割與提升小波變換相結(jié)合的圖像融合方法，與常用的基于空域及變換域的融合方法對比，該算法采用整體-局部的思路，從圖像的多分辨率、多尺度與多方向性入手，將圖像處理中的檢測與分割引入圖像融合過程，采用“雙步”、“異準(zhǔn)則”融合策略，突出了目標(biāo)特征，同時(shí)通過采用提升小波變換算法，加快了處理速度，增強(qiáng)了系統(tǒng)魯棒性。實(shí)驗(yàn)結(jié)果表明，利用該方法得到的融合圖像目標(biāo)指示性強(qiáng)，場景細(xì)節(jié)豐富，圖像亮度適中，更利于人眼判讀和機(jī)器視覺，在目標(biāo)識(shí)別與跟蹤、遙感及醫(yī)學(xué)圖像等多個(gè)領(lǐng)域有著廣泛的應(yīng)用前景。

參考文獻(xiàn)：

[1] Yu N N, Qiu T S. Fusion Technology of Infrared and Visible Images in Compressive Sensing[J]. Signal Processing, 2012, 28(5): 692-698

[2] 李勇燕. 基于加權(quán)平均的紅外圖像增強(qiáng)算法研究[J]. 長沙大學(xué)學(xué)報(bào)，2011, 5(3): 50-52

Li Yongyan. Research on Enhance Algorithm Based on Weighted Average about Infrared Image[J]. Journal of Changsha University, 2011, 25(2): 50-52 (in Chinese)

[3] 楊開睿. 一種自適應(yīng)權(quán)值的PCA算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(3): 189-191

Yang Kairui. Adaptively Weighted PCA Algorithm[J]. Computer Engineering and Applications, 2012, 48(3):189-191 (in Chinese)

[4] 王加, 蔣曉瑜. 基于感知顏色空間的灰度可見光與紅外圖像融合算法[J]. 光電子·激光, 2008, 19(9): 1261-1264

Wang Jia, Jiang Xiaoyu. An Algorithm to Fuse Gray-Scale Infrared and Visible Light Image Based on Perceptual Color Space[J]. Journal of Optoelectronics, 2008, 19(9):1261-1264 (in Chinese)

[5] Wang W C, Chang F L. A Multi-Focus Image Fusion Method Based on Laplacian Pyramid[J]. Journal of Computers, 2011, 6(12): 2559-2566

[6] 陳浩, 王延杰. 基于拉普拉斯金字塔變換的圖像融合算法研究[J]. 激光與紅外, 2009, 39(4):439-442

Chen Hao, Wang Yanjie. Research on Image Fusion Algorithm Based on Laplacian Pyramid Transform[J]. Laser & Infrared, 2009, 39(4):439-442 (in Chinese)

[7] Zhao J, Feng H, Xu Z, et al., Detail Enhanced Multi-Source Fusion Using Visual Weight Map Extraction Based on Multi Scale Edge Preserving Decomposition[]∥Optics Communications, 2012

[8] Saeedi J, Faez K. A New Pan-Sharpening Method Using Multiobjective Particle Swarm Optimization and the Shiftable Contourlet Transform[J]. Photogrammetry & Remote Sensing, 2011(66) :365-381

[9] Pajares G, Cruz J. A Wavelet-Based Image Fusion Tutorial[J]. Pattern Recognition, 2004, 37(9): 1855-1872

[10] Lewis J J, Ocallaghan R J, Nikolov S G. Pixel-and Region-Based Image Fusion with Complex Wavelets[J]. Information Fusion, 2007, 8(2):119-130

[11] Liu Kun, Guo Lei, Li Huihui, et al. Fusion of Infrared and Visible Light Images Based on Region Segmentation[J]. Chinese Journal of Aeronautics, 2009(22): 75-80

[12] 高穎, 王阿敏, 郭淑霞等. 改進(jìn)的小波變換算法在圖像融合中的應(yīng)用[J]. 激光技術(shù),2013,37(5):690-695

Gao Ying, Wang Amin, Guo Shuxia, et al. The Application of Improved Wavelet Transform Algorithm in Image Fusion[J]. Laser Technology,2013,37(5):690-695 (in Chinese)

[13] 葉傳奇, 王寶樹. 一種基于區(qū)域特性的紅外與可見光圖像融合算法[J]. 光子學(xué)報(bào), 2009, 38(6):1498-1502

Ye Chuanqi, Wang Baoshu. Fusion Algorithm of Infrared and Visible Images Based on Region Feature[J]. Acta Photonica Sinica, 2009, 38(6): 1498-1502 (in Chinese)

[14] 龔昌來. 一種改進(jìn)的基于局部能量圖像融合算法[J]. 光電工程, 2008, 35(11):106-110

Gong Changlai. Improved Image Fusion Algorithm Based on Local Energy[J]. Opto-Electronic Engineering, 2008, 35(11):106-110 (in Chinese)

[15] Lewis J, O’Callaghan R. Pixel and Region Based Image Fusion with Complex Wavelets[J]. Information Fusion, 2007, 8(2):119-130

[16] Petrovic V S, Xydeas C S. Gradient-Based Multi-Resolution Image Fusion[J]. IEEE Trans on Image Processing 2004, 13 (2):228-237

[17] Yin Chen. Theoretical Analysis of an Information-Based Quality Measure for Image Fusion[J]. Information Fusion, 2008, 9(2): 161-175