基于小波-Contourlet變換的偏振圖像融合算法

沈薛晨，劉 鈞，高 明

（西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021）

0 引言

偏振成像相對于傳統(tǒng)成像技術(shù)，其成像效果進(jìn)一步提高，偏振成像技術(shù)利用物質(zhì)材料間不同的偏振特性來探測目標(biāo)，提高了復(fù)雜背景下目標(biāo)的識別率。又因?yàn)槠裉匦詧D像能更加準(zhǔn)確地描述目標(biāo)特征，故而將偏振特性圖像進(jìn)行融合，將相互區(qū)別并互補(bǔ)的信息融合在一起。因此，偏振圖像融合成為圖像融合領(lǐng)域的研究熱點(diǎn)之一[1-2]。

融合后的偏振圖像場景信息更加豐富，融合了各源圖像獨(dú)有的圖像信息。關(guān)于偏振圖像的融合研究，不少學(xué)者做了許多研究，例如，申慧彥等[3]利用小波變換，對偏振圖像進(jìn)行融合；在紅外偏振方面，陳偉力[4]等人，以及虞文俊、顧國華[5]等人，皆采用與小波變換相關(guān)的融合變換方法；張肅等人[6]提出了一種基于小波提升算法的偏振信息融合方法，能夠提高目標(biāo)識別率；蔡懷宇等人[7]通過偏振融合，增強(qiáng)了人臉輪廓信息；朱達(dá)榮等[8]提出了一種基于非采樣剪切波偏振圖像融合方法提高圖像質(zhì)量。

這些融合圖像取得了不錯的效果，改善了圖像質(zhì)量，但卻尚有提升的空間，為進(jìn)一步提高圖像的融合效果，本文在小波-Contourlet變換[9]的基礎(chǔ)上，提出了區(qū)域特性能量與主成分分析（principal component analysis, PCA）變換相結(jié)合的融合規(guī)則，采用PCA變換對低頻進(jìn)行融合，不僅可以提取各源圖像中的重要成分，還具有較好的去干擾性；高頻部分，采用區(qū)域特性能量，最大限度地保留每個源圖像的細(xì)節(jié)信息，融合后的圖像不僅在主觀視覺上擁有良好的觀察效果，而且通過客觀評價函數(shù)的數(shù)據(jù)表明，細(xì)節(jié)紋理和場景信息保留較為充分。

1 圖像預(yù)處理

圖像融合是針對各源圖像的對應(yīng)像素進(jìn)行信息融合處理，所以圖像的精度和質(zhì)量在很大程度上決定了圖像融合的效果。為了減小像素位置差異和噪聲污染帶來的影響，需提前對圖像進(jìn)行去噪增強(qiáng)和配準(zhǔn)[1]。

通過實(shí)驗(yàn)獲得的4幅角度偏振圖像，噪聲較小，在此基礎(chǔ)上，進(jìn)一步提高實(shí)驗(yàn)精度，運(yùn)用中值濾波進(jìn)行去噪處理。以偏振角度為0°的圖像為參考圖像，采用SURF角點(diǎn)檢測算法，對其他3幅角度圖像（45°,90°,135°）進(jìn)行配準(zhǔn)；利用隨機(jī)采樣一致（RANdom sample consensus, RANSAC）方法提高配準(zhǔn)精度。最后，得到一組新的低噪聲、配準(zhǔn)度較高的不同角度的偏振圖像。

2 偏振特性圖像的獲取

偏振信息常用Stokes矢量(I,Q,U,V)T描述，其形式為(S0、S1、S2、S3)來表示，Iθ為該角度下光的強(qiáng)度[10]，其定義式表示如下：

利用上式可推導(dǎo)得到3幅偏振特性圖像：偏振強(qiáng)度圖像I(S0)、偏振度圖像（degree of polarization, DoP）和偏振角圖像（angle of polarization, AoP）。由于偏振角圖像AoP清晰度較低，將降低融合效果，故而只融合強(qiáng)度圖像I與偏振度圖像DoP。

在確定0°參考方向之后，任意一個偏振方向θ上的透過光強(qiáng)為：

通過上式可得到偏振強(qiáng)度圖像I(S0)。其次，結(jié)合Stokes矢量的I、Q、U三參量[11]，再根據(jù)下式(3)可計(jì)算出偏振度圖像和偏振角圖像：

又因圓偏振的及其稀少，通常默認(rèn)為0，此時轉(zhuǎn)化成線偏振度（degree of linear polarization, DoLP）：

將預(yù)處理后的4幅偏振角度圖像（圖1所示），經(jīng)上述理論公式計(jì)算后，可得出圖2所示的偏振強(qiáng)度圖像I(S0)和線偏振度圖像。

3 小波-Contourlet融合方法

小波-Contourlet變換（wavelet-based Contourlet transform, WBCT），是在Contourlet變換基礎(chǔ)之上，將小波變換與Contourlet變換相結(jié)合的一個改進(jìn)[12]，是一種有效且快速的圖像融合變換方法[13]。圖3為Contourlet變換流程框架圖。

WBCT由兩級濾波器組成。第一級，WBCT用小波變換進(jìn)行多尺度分解，每一層小波會獲得4個系數(shù)：一個低頻系數(shù)（LL），3個高頻子帶（LH、HL、HH），如圖4中間部分所示，每一層分解成4部分，即4個系數(shù)。第二級是方向?yàn)V波分解，對3個

圖1 預(yù)處理后4幅偏振角度圖像Fig.1 Four polarization angle images after preprocessed

圖2 偏振強(qiáng)度圖像和偏振度圖像Fig.2 Polarization intensity image and polarization degree image

圖3 Contourlet變換框架圖 Fig.3 Contourlet transform frame diagram

高頻子帶使用方向數(shù)相同的方向?yàn)V波器組[14]，如圖5所示，最后剩余一個低頻系數(shù)未進(jìn)行方向分解。其中，4組頻率-方向分層系數(shù)可由下式表達(dá)[15]：

式中：Φj(T)表示T方向上的尺度函數(shù)投影；Ψj(T)表示T方向上的小波函數(shù)投影。利用小波-Contourlet變換，將偏振強(qiáng)度圖像和偏振度圖像進(jìn)行分解，得到2個相對應(yīng)的低頻系數(shù)，以及若干個互相對應(yīng)的高頻系數(shù)。

4 偏振圖像的融合

4.1 融合步驟

本文融合算法的總體思路為：

首先，將預(yù)處理后得到的新的4幅不同角度偏振圖像進(jìn)行偏振計(jì)算，通過Stokes矢量法獲得DoLP和AoP圖像。

圖4 WBCT的框架圖Fig.4 The frame diagram of WBCT

圖5 WBCT變換示例圖 Fig.5 Sample diagram of WBCT transformation

其次，將得到的強(qiáng)度圖像I和線偏振度圖像DoLP進(jìn)行分解；分解得到的2個低頻系數(shù)基于PCA變換融合，高頻系數(shù)一一對應(yīng)，基于區(qū)域特性能量進(jìn)行融合。

最后，將融合后的高頻系數(shù)和低頻系數(shù)，進(jìn)行小波-Contourlet逆變化，得到最終圖像。流程示意圖如圖6所示。

4.2 融合規(guī)則的選取

融合規(guī)則的選取，是圖像融合過程中的重要部分，它直接決定了融合圖像質(zhì)量的優(yōu)劣。融合規(guī)則的要求如下：以保留源圖像中的重要信息為主，盡可能將相互區(qū)別并互補(bǔ)的信息兼容融合，無用信息盡可能地避免融入。同時，算法必須具有可靠性、穩(wěn)健性。

圖6 流程框架圖Fig.6 Flow chart of image fusion

4.2.1 低頻融合規(guī)則的選取

低頻融合規(guī)則：低頻信息代表著圖像中的主要成分，即除去圖像中灰度或亮度變化劇烈的部分外，剩余部分為低頻信息，描述了圖像的整體綜合強(qiáng)度。本文通過PCA主成分分析融合低頻信息。

經(jīng)過PCA變換之后，低頻信息中最重要的信息占比最大，成為融合的第一成分，其余冗余信息依照占比，分別依次處理，去除冗余，突出圖像的重要信息[16]。

設(shè)LA和LB分別為源圖像A和B的低頻信息，(a,b)T為LA和LB經(jīng)過PCA變換所得的特征量，則權(quán)重WA和WB分別為：

融合后的低頻信息為：

4.2.2 高頻融合規(guī)則的選取

高頻融合規(guī)則：高頻信息代表了圖像的細(xì)節(jié)紋理和邊緣輪廓場景等部分，是人眼對圖像最為關(guān)注的區(qū)域，反映了圖像中亮度或灰度值變化劇烈的成分。

由于圖像中像素與其鄰域間的像素，相關(guān)聯(lián)系程度比較大，所以采用區(qū)域特性能量的方法進(jìn)行高頻融合。

取中心像素及其鄰近區(qū)域的能量作為融合標(biāo)準(zhǔn)。將某像素點(diǎn)(x,y)的w區(qū)域(x－k,y－k;x＋k,y＋k)能量定義為其鄰域窗口內(nèi)的能量，公式如下：

式中：x－k≤a≤x＋k，y－k≤b≤y＋k，窗口上下左右寬度皆為w(w=2k＋1)個像素，W(a,b)為權(quán)值，離像素點(diǎn)(x,y)越遠(yuǎn)則權(quán)值越小，f(a,b)為(a,b)處灰度的數(shù)值。定義匹配度RAB(x,y)如下：

其值在0和1之間變化，接近0就說明兩區(qū)域的能量差別就大；接近1，說明差別較小。最終可歸納為以下公式：

式中：D為能量匹配度閾值[17]。

首先計(jì)算兩幅圖像的匹配度值，若匹配值接近設(shè)定的閾值，或匹配值超出閾值，如上式中的最后所示，說明兩幅圖像對應(yīng)的鄰近區(qū)域能量值差異較小，采用加權(quán)平均的融合方法；若閾值遠(yuǎn)大于匹配值，說明兩幅圖像對應(yīng)的鄰近區(qū)域能量值差異較大，如上式前兩者所示選取鄰近區(qū)域能量最大的高頻系數(shù)作為融合圖像的高頻系數(shù)[18]。

5 實(shí)驗(yàn)結(jié)果與分析

取偏振強(qiáng)度圖像I和偏振度圖像DoLP進(jìn)行融合實(shí)驗(yàn)，圖像大小為1024×1024，WBCT采用的小波分解為3級，DFB方向?yàn)?6-8-8，小波變換采用的是9-7小波。CT采用的LP分解為3級，DFB方向?yàn)?6-8-8，金字塔變換采用的是LP變換。在高頻和低頻都采用區(qū)域特性能量融合規(guī)則的基礎(chǔ)上，將WBCT與拉普拉斯金字塔變換、PCA、小波變換這幾種方法進(jìn)行比較，如圖7所示。

采用信息熵（entropy, E）、平均梯度（average gradient, AG）、邊緣強(qiáng)度（edge strength, ES）和交叉熵（cross entropy, CE）等客觀評價函數(shù)對融合效果進(jìn)行定量評價。評價指標(biāo)數(shù)據(jù)如表1所示。

另外，由于WBCT是在CT的基礎(chǔ)上發(fā)展而來的，為了驗(yàn)證此算法的有效性，也為了驗(yàn)證本文融合規(guī)則的有效性，在之前擬定的設(shè)定基礎(chǔ)上，選用更多的融合規(guī)則，對WBCT和CT進(jìn)行對比。采用的融合規(guī)則依次為：高頻和低頻都采用區(qū)域特性能量融合規(guī)則；低頻采用區(qū)域特性能量融合規(guī)則，高頻采用像素取絕對值最大；低頻采用PCA融合規(guī)則，高頻采取區(qū)域特性能量融合規(guī)則，如圖8所示。

圖7 不同方法的融合圖像Fig.7 Different common methods of image fusion

表1 融合方法的客觀評價Table 1 Objective evaluation of fusion methods

圖8 不同規(guī)則的融合圖像Fig.8 Image fused with different rules

客觀評價函數(shù)指標(biāo)與上述指標(biāo)一致，評價指標(biāo)數(shù)據(jù)如表2所示。

最后，再與參考文獻(xiàn)中的融合規(guī)則進(jìn)行比較，驗(yàn)證本文規(guī)則的有效性。選取的文獻(xiàn)方法為：文獻(xiàn)[5]中的融合規(guī)則，文獻(xiàn)[8]中的融合規(guī)則。選取的客觀評價函數(shù)指標(biāo)與前面一致，將這兩種融合規(guī)則與本文的融合規(guī)則作對比，如圖9所示，表3是對應(yīng)的客觀評價數(shù)據(jù)表。

5.1 主觀評價

以融合結(jié)果進(jìn)行分析，圖7中的4張圖像，分別依次采用主成分分析法（PCA）、拉普拉斯金字塔（LP）融合方法、小波變換（WT）融合方法和小波-Contourlet變換（WBCT）融合方法，這4種融合方法。各圖像間的亮度差距，無法利用人眼得出較為精確的結(jié)論；但各圖像的亮度令觀察者感到舒適，并不足以令觀察者感覺到刺眼；亮暗對比度較高，場景信息豐富，細(xì)節(jié)紋理清晰，足以輕易地利用肉眼辨別出場景細(xì)節(jié)的變化程度；從使用者的主觀角度出發(fā)，4張融合圖像均取得令人滿意的結(jié)果。

圖8中的前3張圖像是以Contourlet變換融合方法為基礎(chǔ)，采用不同的融合規(guī)則融合而成；相比圖7中的4張融合圖像，亮暗對比度的變化程度并不劇烈，肉眼無法分辨；圖像間的差別相差無幾，難以分辨其中的差異；后3張圖像是以小波-Contourlet變換融合方法為基礎(chǔ)，采用不同的融合規(guī)則融合而成，融合規(guī)則的順序與前3張圖像的融合規(guī)則一致；后3張圖像的前兩張圖像，與其余的圖像較為相似，無法通過主觀評價得出精準(zhǔn)的差異結(jié)論；但不同之處在于，采用本文方法融合后的圖像，相對而言整體的亮暗程度略微偏低，但清晰度依然良好，不妨礙觀察，皆有良好的視覺效果，整體畫面的觀察舒適性依舊良好，場景信息與紋理細(xì)節(jié)皆較為充分；其次，從主觀感官角度出發(fā)，此圖像的亮度更適合人眼觀察，觀察舒適性更勝一籌，圖7和圖8剩余圖像的亮度，對比之下，可能令觀察者感覺略微刺眼。

表2 融合規(guī)則的客觀評價Table 2 Objective evaluation of fusion rules

圖9 文獻(xiàn)規(guī)則與本文規(guī)則的對比Fig.9 Comparison of documentary rules with the rules of this article

表3 文獻(xiàn)融合方法的客觀評價Table 3 Objective evaluation of literature fusion methods

圖9皆是通過采用文獻(xiàn)中的方法融合而成，相對于圖7和圖8的圖像而言，通過文獻(xiàn)提供的融合規(guī)則融合的圖像，整體亮度皆偏暗，雖不妨礙觀察，場景信息均清晰可見，但觀察的舒適性進(jìn)一步下降。與采用本文方法融合的圖像對比，場景信息和紋理細(xì)節(jié)等差異頗小，但清晰度和舒適性皆略有所下降。

5.2 客觀評價

通過分析實(shí)驗(yàn)測得的客觀評價函數(shù)指標(biāo)數(shù)據(jù)，可以得出以下結(jié)論：首先，表1中所反映的是，采用常用方法融合的圖像的客觀評價指標(biāo)數(shù)據(jù)。依照融合圖像的順序，常用的融合方法依次為：主成分分析法、拉普拉斯金字塔融合方法、小波變換融合方法和小波-Contourlet變換融合方法。采用的客觀評價函數(shù)指標(biāo)為：信息熵（E）、平均梯度（AG）、邊緣強(qiáng)度（ES）和交叉熵（CE）。在相同融合規(guī)則的前提下，圖7(d)是采用WBCT方法的融合圖像，其信息熵的數(shù)值為最高，遠(yuǎn)高于其余3種方法的融合圖像，數(shù)值數(shù)據(jù)是最高的，表示圖像7(d)所包含的平均信息量最豐富，融合質(zhì)量最好。平均梯度反映了圖像的整體清晰程度，能夠較好地表達(dá)場景細(xì)節(jié)的灰度變化特性，邊緣強(qiáng)度代表了場景邊緣灰度變化程度的強(qiáng)弱，能夠較好地反映出對比度以及微小灰度的變化；圖7(d)的平均梯度與邊緣強(qiáng)度的數(shù)值皆為最高，這意味著圖7(d)相對于其他3張圖像而言，最為清晰，紋理細(xì)節(jié)信息保留較為充分，場景目標(biāo)的邊緣清晰度為最高。交叉熵反映了兩幅圖像間的差異，數(shù)值越小，融合效果越好，圖7(d)的交叉熵為最小，意味著該圖像從源圖像中提取的信息量最多。

其次，表2中反映的是，不同融合規(guī)則與本文融合規(guī)則的對比，以及Contourlet變換（CT）與小波-Contourlet變換（WBCT）的對比，兩者相結(jié)合。在相同融合規(guī)則的前提下，利用WBCT方法融合的圖像，在客觀評價函數(shù)指標(biāo)數(shù)據(jù)方面，皆優(yōu)于采用 CT方法融合的圖像；在相同的融合方法基礎(chǔ)上，采用本文融合規(guī)則的融合圖像，在信息熵、平均梯度和邊緣強(qiáng)度這3個評價指標(biāo)方面，皆比采用其余融合規(guī)則的融合圖像更有優(yōu)越性，在交叉熵上的表現(xiàn)略有差異。圖8(f)是采用本文融合方法融合的圖像，在評價數(shù)據(jù)上的表現(xiàn)，皆為最優(yōu)，證明了本文融合方法的有效性和優(yōu)越性。

最后，表3中反映的是，參考文獻(xiàn)中提供的融合方法與本文融合方法的對比，文獻(xiàn)[5]和文獻(xiàn)[8]皆為典型的小波融合方法和剪切波融合方法?？陀^評價函數(shù)的數(shù)據(jù)表明，4個評價指標(biāo)的數(shù)值皆為最優(yōu)，驗(yàn)證了本文方法的有效性和優(yōu)越性。

6 結(jié)束語

本文采用小波-Contourlet變換方法，對偏振強(qiáng)度圖像和偏振度圖像進(jìn)行融合研究，通過3種不同方面的對比，驗(yàn)證了本文方法的有效性，依次為：常用融合方法的對比，融合規(guī)則的對比，與參考文獻(xiàn)方法的對比。最后實(shí)驗(yàn)測得的客觀評價函數(shù)指標(biāo)數(shù)據(jù)表明，小波-Contourlet變換優(yōu)于常用融合方法；融合規(guī)則的對比驗(yàn)證了本文融合規(guī)則的有效性；與文獻(xiàn)方法的對比，驗(yàn)證了本文方法的優(yōu)越性。最后，在人眼主觀視覺上，圖像的觀察舒適性較好。