一種基于特征分析的偏振圖像融合方法

尹海寧，胡良梅，范之國(guó)

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥230009）

引言

偏振成像探測(cè)，較傳統(tǒng)光學(xué)成像，能夠提供更多關(guān)于物體表面粗糙度、紋理、材料的理化特性等信息［1］，因此，在軍事偵察、遙感探測(cè)、醫(yī)療和天文觀測(cè)等領(lǐng)域得到了廣泛的應(yīng)用。傳統(tǒng)的偏振信息解析方法主要通過(guò)計(jì)算Stokes參量圖像來(lái)反映偏振信息，但是，這容易丟失細(xì)節(jié)信息，并且不能完全反映目標(biāo)反射光的偏振信息。利用偏振圖像之間的信息冗余和互補(bǔ)性，研究者們提出了一些基于圖像融合的偏振信息解析方法，如張晶晶、方永華提出基于邊緣信息的偏振圖像融合算法［2］；Li Fucheng，Zhang Jin等提出基于多偏振圖像信息融合的合成孔徑雷達(dá)圖像的圖像分割方法［3］，通過(guò)watershed算法得到梯度圖像，基于紋理信息進(jìn)行區(qū)域融合；Yang Fengbao，Wei Hong提出基于SVT變換（SVT，support value transform）和模糊合并規(guī)則的方法［4］，對(duì)源圖像進(jìn)行SVT變換，得到圖像低頻和高頻成分，基于平均融合和區(qū)域能量最大的原則，將紅外偏振圖像和強(qiáng)度圖像進(jìn)行融合；Alexandre Jouan，Yannick Allard對(duì)偏振合成孔徑雷達(dá)和高光譜圖像提取邊緣和紋理特征，融合圖像的光譜特征等［5］。對(duì)于圖像特征的反映，灰度特征缺乏空間分布信息，紋理特征反映的是局部結(jié)構(gòu)化特征，形狀特征一般需要經(jīng)過(guò)圖像分割和邊緣提取后，才可以對(duì)圖像進(jìn)行基于邊緣或區(qū)域形狀特征的提取。本文對(duì)多幅源圖像，分別提取灰度、紋理和形狀特征，綜合特征信息計(jì)算權(quán)值，融合偏振圖像。

1 偏振圖像的獲取

光的偏振狀態(tài)常用Stokes參量I、Q、U、V 來(lái)描述，即S＝（I，Q，U，V）：

式中：Ex、Ey表示光矢量在沿x、y軸的振幅分量；δ為兩個(gè)振動(dòng)分量的相位差；〈E〉為對(duì)時(shí)間的平均效果；I表示光束的總強(qiáng)度；Q表示光束水平方向上的線偏振分量；U表示光束45°方向上的線偏振分量；V表示光束的圓偏振分量。光束主要以線偏振分量為主，圓偏振分量極少，一般取V＝0。

任意角度α的線偏振光強(qiáng)I（α）的計(jì)算公式為

或

式中α為線偏振片檢偏方向與水平方向的夾角。因此，通過(guò)旋轉(zhuǎn)偏振片可得到不同檢偏角度的線偏振光的光強(qiáng)I（α），本文實(shí)驗(yàn)所用偏振相機(jī)設(shè)定的α為0°、60°、120°。根據(jù)（3）式求解方程組，可得到（4）式。根據(jù)（4）式可計(jì)算得到Stokes參量I、Q、U，進(jìn)而由（5）式可得到目標(biāo)的偏振度Dop和偏振角Aop：

為直觀解析偏振信息，對(duì)獲得的Stokes參量I、Q、U 和Dop、Aop，進(jìn)行灰度線性變換，將偏振信息以圖像形式表示。

2 圖像特征提取

2.1 基于灰度直方圖的特征提取

灰度直方圖的定義：H（i）＝ni／N，i＝0，1，2，…，L－1。其中：ni表示灰度值為i的像素個(gè)數(shù)；N表示圖像的像素總數(shù)；L為圖像灰度級(jí)。在此基礎(chǔ)上，提取下列統(tǒng)計(jì)量來(lái)反映偏振圖像的灰度直方圖特征：

方差σ2：σ2＝表示灰度值的離散分布情況；

傾斜度μs：μs＝表示直方圖分布的不對(duì)稱程度，值越大則直方圖分布越不對(duì)稱；

峰態(tài)μk：μk＝表示在接近均值時(shí)灰度的分布狀態(tài)是否集中于平均灰度，值越小，則越集中；

能量μN(yùn)：μN(yùn)＝表示灰度分布的均勻程度，灰度分布較均勻時(shí)能量較大；

熵μE：μE＝表示直方圖灰度分布的均勻性。

2.2 基于Gabor小波的紋理特征提取

Gabor小波變換能夠精確地提取圖像的局部紋理特征，二維Gabor函數(shù)為

對(duì)g（x，y）進(jìn)行一定的伸縮和旋轉(zhuǎn)，得到自相似的一組Gabor小波濾波器，即

gnm（x，y）＝a－mg（x′，y′），a＞1，m，n∈Z

式中：x′＝a－m（xcosθ＋ysinθ）；y′＝a－m（－xsinθ＋ycosθ）；θ＝nπ／k；a－m為尺度因子；m、n分別為指定小波的尺度和方向，m ＝0，1，…，s－1（s為尺度數(shù)），n＝0，1，…，k－1（k為方向數(shù)）。M×N像素大小的圖像F（x，y），它的離散Gabor小波變換為

2.3 基于不變矩的形狀特征提取

大小為M×N像素的圖像F（x，y）的p＋q階幾何矩公式為

式中p、q為常數(shù)。令μpq＝Mpq／，其中r＝（p＋q＋2）／2。提取以下7個(gè)不變矩特征作為形狀特征：

3 具體融合步驟

通過(guò)實(shí)驗(yàn)獲取不同檢偏角度α的偏振圖像I（α），為了獲得良好的融合效果，對(duì)得到的偏振圖像進(jìn)行直方圖均衡化預(yù)處理。

3.1 基于灰度特征的偏振圖像融合

提取圖像的灰度特征，構(gòu)成灰度特征矢量h＝（μ，σ2，μs，μk，μN(yùn)，μE）。0°、60°、120°偏振圖像的灰度特征矢量分別為h1、h2、h3。一般基于灰度特征的圖像融合采用平均融合的方法，本文所用的3幅源偏振圖像亮度差異較小，平均融合可能會(huì)導(dǎo)致融合后圖像的灰度分辨率下降，為了提高圖像的灰度分辨率，本文在此基礎(chǔ)上進(jìn)行改進(jìn)，根據(jù)提取的源圖像的灰度特征值來(lái)計(jì)算融合權(quán)值：

wi（j）＝hi（j）／［h1（j）＋h2（j）＋h3（j）］

式中：i＝1，2，3；j＝1，2，3，…，6。計(jì)算偏振融合圖像FusImage1：

其中 Xi（i＝ 1，2，3）分別對(duì)應(yīng) 0°、60°、120°偏振圖像。

3.2 基于紋理特征的偏振圖像融合

對(duì)獲取的源偏振圖像進(jìn)行離散Gabor濾波，在相同的尺度下，用8個(gè)方向的Gabor濾波器對(duì)圖像進(jìn)行濾波，生成8個(gè)對(duì)應(yīng)的濾波系數(shù)矩陣。對(duì)這8個(gè)濾波系數(shù)矩陣根據(jù)紋理特征矩陣f＝（μmn）5×8進(jìn)行加權(quán)融合：得到融合系數(shù)矩陣。要得到不同尺度下的融合紋理圖像，只需重復(fù)上述步驟，然后對(duì)其求平均，得到最終的融合系數(shù)矩陣。該方法可以很好地綜合不同尺度和方向的濾波信息，從而獲得完整的圖像紋理信息。

分別對(duì)0°、60°、120°偏振圖像進(jìn)行 Gabor小波濾波，并對(duì)其不同尺度和方向下的系數(shù)矩陣進(jìn)行融合，對(duì)其求平均，得到最終的融合圖像FusImage2。

3.3 基于形狀特征的偏振圖像融合

提取0°、60°、120°偏振圖像的形狀特征矢量M ＝（m1，m2，m3，…，m7），分別為：M1、M2、M33幅源圖像的特征矢量構(gòu)成特征矩陣Mij＝（M1M2M3）T。設(shè)各列的最大值為ωj，j＝1，2，…，7，設(shè)各列最大值對(duì)應(yīng)的源圖像為Xj，其融合權(quán)值λj＝ωj／∑jωj，得到基于形狀特征的偏振融合圖像FusImage3＝

3.4 偏振特征圖像融合

通過(guò)3.1～3.3節(jié)的分析得到偏振圖像的基于灰度特征的融合圖像FusImage1、基于紋理特征的融合圖像FusImage2及基于形狀特征的融合圖像FusImage3。為突出FusImage2的紋理，對(duì)其像素值設(shè)定閾值，本文設(shè)定閾值為70，所有小于或等于閾值的像素點(diǎn)值設(shè)為0，大于閾值的像素點(diǎn)值設(shè)為255。在具體算法實(shí)現(xiàn)時(shí)，為了防止FusImage2會(huì)降低融合圖像的整體亮度，將圖像FusImage1和FusImage3進(jìn)行平均，再加上FusImage2，得到融合后的矩陣，即：

考慮到這樣融合后，會(huì)有部分矩陣元素值都超過(guò)了255，在圖像中顯示時(shí)會(huì)無(wú)法反映像素灰度值間的差異，因此進(jìn)行灰度線性變換，將其值域限定在0至255之間。這樣既可以突出圖像的紋理特征，又保留了基于灰度特征融合得到的灰度細(xì)節(jié)信息。

4 實(shí)驗(yàn)與分析

實(shí)驗(yàn)所用圖像為2013年5月29日10時(shí)，安徽合肥十五里河拍攝。

圖1 偏振圖像和第1步融合圖像Fig.1 Polarization images and step 1 fused images

1）對(duì)實(shí)驗(yàn)所得的偏振圖像I（α）進(jìn)行預(yù)處理后，如圖1（a）、1（b）、1（c）所示；第1步圖像融合結(jié)果分別為：FusImage1，F(xiàn)usImage2和FusImage3，如圖1（d）、1（e）、1（f）所示。

2）進(jìn)行第2步融合，得到融合圖像Fusion－Image，并與Stokes參量、Dop和Aop圖像進(jìn)行比較，如圖2所示，可見(jiàn)本文方法融合圖像Fusion－Image相較于Stokes參量、Dop和Aop圖像，在視覺(jué)效果上明顯較好，圖像的信息較為豐富，突出了細(xì)節(jié)信息，如圖2（f）中的高壓傳輸線清晰可見(jiàn)。

圖2 Stokes參量圖像和融合圖像Fig.2 Images of Stokes and fused image

3）普通光強(qiáng)圖像 NP（no polarization）與Aop和Dop圖像、本文融合圖像進(jìn)行對(duì)比，如圖3、4所示。從圖3的對(duì)比可以發(fā)現(xiàn)，圖3（d）較圖3（a）、3（b）、3（c）反映場(chǎng)景信息的效果更好；截取圖3中的相應(yīng)標(biāo)記部分進(jìn)行對(duì)比，如圖4所示。在圖4（d）中可以較清楚地看到標(biāo)牌上的文字“十五里河橋”，以及交通牌上的箍，而圖4（a）、4（b）、4（c）均不能辨別文字和標(biāo)記部分的細(xì)節(jié)，其中圖4（a）的反映細(xì)節(jié)的效果最差。

圖3 圖像效果對(duì)比Fig.3 Contrast of images

圖4 標(biāo)記部分效果對(duì)比Fig.4 Contrast of marks

4）利用參考文獻(xiàn)［2］方法對(duì)0°、60°、120°偏振圖像進(jìn)行小波分解，分別對(duì)低頻系數(shù)和高頻系數(shù)進(jìn)行融合，通過(guò)小波逆變換，得到最終的融合圖像［2］，并與本文方法得到的融合圖像進(jìn)行對(duì)比，如圖5和圖6所示，從圖5（a）、5（b）的對(duì)比可以看出本文方法較該方法反映場(chǎng)景的信息更為豐富，整體視覺(jué)效果較好，圖5（a）在細(xì)節(jié)上存在一定的模糊。從圖6標(biāo)記處的對(duì)比，可以看到本文方法對(duì)細(xì)節(jié)信息的反映更為清晰。

圖5 2種方法融合結(jié)果的比較Fig.5 Comparison between reference 2 image fusion method and image fusion method of this paper

圖6 兩種方法標(biāo)記處的比較Fig.6 Comparison of marks between reference 2 image fusion method and image fusion method of this paper

5）以上圖像的對(duì)比，主要從主觀上對(duì)圖像的融合效果進(jìn)行評(píng)價(jià)，為全面反映圖像的融合效果，根據(jù)圖像融合質(zhì)量的評(píng)價(jià)方法［2，9］對(duì)普通光強(qiáng)圖像、偏振參量圖像和融合圖像進(jìn)行客觀評(píng)價(jià)。采用以下參數(shù)進(jìn)行定量分析：均值（mean）、標(biāo)準(zhǔn)差（σ）、熵（entropy）和清晰度（圖像的梯度），如表1所示，可以看出，本文方法的融合圖像相較于普通光強(qiáng)圖像、偏振參量圖像及參考文獻(xiàn)［2］方法融合圖像，視覺(jué)效果較好，亮度適中，標(biāo)準(zhǔn)差較大即灰度分辨更好，熵值增大，信息豐富，平均梯度增大，更加清晰。進(jìn)一步計(jì)算可得，融合后的圖像相較于普通光強(qiáng)圖像，方差、信息熵分別提高了12.6%、17.5%。

表1 圖像的定量分析參數(shù)Table 1 Quantitative analysis parameters of images

6）由于本文方法涉及到的數(shù)據(jù)量較大，為了簡(jiǎn)化計(jì)算，選取的灰度特征為常用的均值均值μ、方差σ2和熵μE；為降低Gabor紋理特征的維數(shù)，選取的尺度數(shù)s＝4和方向數(shù)k＝6；由于獲取的偏振圖像是關(guān)于遠(yuǎn)處場(chǎng)景的靜態(tài)圖像，不存在目標(biāo)的平移和旋轉(zhuǎn)，為了簡(jiǎn)化計(jì)算，不考慮目標(biāo)的形狀特征，對(duì)獲取的偏振圖像進(jìn)行融合，結(jié)果如圖7所示。

圖7 簡(jiǎn)化融合算法后的處理效果Fig.7 Result after simplified

從圖7（a）與圖5（b）的對(duì)比可以看出，簡(jiǎn)化后，圖像融合的整體效果相近，但從圖7（b）與圖6（b）的對(duì)比，可以看出，本文方法簡(jiǎn)化后，圖像的細(xì)節(jié)信息不如簡(jiǎn)化前的處理效果，存在紋理模糊以及灰度分辨率降低的現(xiàn)象。為了定量分析簡(jiǎn)化前后的處理效果以及算法的耗時(shí)，分別計(jì)算相應(yīng)的參數(shù)，如表2所示。本文處理環(huán)境為Windows 7系統(tǒng)，CPU 為Intel（R）Core（TM）i5－3570＠3.4GHz＊2，RAM 8GB。

表2 簡(jiǎn)化前后的分析參數(shù)Table 2 Analysis parameters before and after simplified

由圖7和表2的對(duì)比和分析，可以看出，簡(jiǎn)化處理后，圖像的整體視覺(jué)效果與簡(jiǎn)化前相近，處理速度提高較大；但在細(xì)節(jié)顯示上有所下降，主要是由于基于Gabor紋理特征處理上的簡(jiǎn)化。

5 結(jié)論

本文在基于特征分析的基礎(chǔ)上，分別對(duì)偏振圖像的灰度特征、紋理特征和形狀特征進(jìn)行提取，并據(jù)此對(duì)偏振圖像進(jìn)行融合，通過(guò)與普通光強(qiáng)圖像，偏振角（Aop）和偏振度（Dop）圖像的對(duì)比可以看出，本文算法較好地融合了偏振信息。相較于基于邊緣的融合方法，較好地融合了圖像的特征信息。本文主要是針對(duì)偏振灰度圖像進(jìn)行融合，

在此基礎(chǔ)上，可以拓展對(duì)偏振彩色圖像的融合。

［1］ Wu Junyi，Yu Guoping，Tang Ruoyu，et al.Detection and processing of polarization image［J］.Optical Technique，2006，32（sup）：176－178，181.吳君毅，于國(guó)萍，唐若愚，等.偏振圖像的探測(cè)及處理［J］.光學(xué)技術(shù)，2006，32（增刊）：176－178，181.

［2］ Zhang Jingjing，F(xiàn)ang Yonghua.Algorithm and evaluation for polarization image fusion based on edge information［J］.Opto－Electronic Engineering，2007，34（11）：23－26.張晶晶，方勇華.基于邊緣信息的偏振圖像融合算法及評(píng)價(jià)［J］.光電工程，2007，34（11）：23－26.

［3］ Li Fucheng，Zhang Jin，Zhou Lili，et al.A new segmentation method of SAR image based on multipolarization information fusion［C］.USA：IEEE Computer Society，2009：99－103.

［4］ Yang Fengbao，Wei Hong.Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules［J］.Infrared Physics ＆ Technology，2013，60：235－243.

［5］ Jouan A，Allard Y.Land use mapping with evidential fusion of features extracted from polarimetric synthetic aperture radar and hyperspectral imagery［J］.Information Fusion，2004，5（4）：251－267.

［6］ Morita S，Sugiman Y.Generating reflection transparent image using image fusion space［M］.Germany：Springer Berlin Heidelberg，2008.

［7］ Zhao Yongqiang，Pan Quan，Zhang Hongcai.Calculation method of Stokes images based on sequence image fusion［J］.Journal of Optoelectronics·Laser，2005，16（3）：354－357.趙永強(qiáng)，潘泉，張洪才.基于圖像序列融合的Stokes圖像計(jì)算方法［J］.光電子·激光，2005，16（3）：354－357.

［8］ Shen Huiyan，Zhou Pucheng.Polarization imagery fusion method based on human visual characteristic［J］.Opto－Electronic Engineering，2010，37（8）：76－80.申慧彥，周浦城.一種基于人眼視覺(jué)特性的偏振圖像融合方法［J］.光電工程，2010，37（8）：76－80.

［9］ Zhao Gaopeng，Bo Yuming，Chen Yi.Region－based image fusion algorithm［J］.Computer Applications，2008，28（12）：152－157.趙高鵬，薄煜明，陳益.基于區(qū)域的圖像融合方法［J］.計(jì)算機(jī)應(yīng)用，2008，28（12）：152－157.

［10］Hu Liangmei，Gao Jun，He Kefeng.Research on quality measures for image fusion［J］.Acta Electronic Sinica，2004，32（S1）：222－225.胡良梅，高雋，何柯峰.圖像融合質(zhì)量評(píng)價(jià)方法的研究［J］.電子學(xué)報(bào)，2004，32（S1）：222－225.

［11］］Zhang Xiaoling，Xu Yan，Wang Xiaozhong，et al.Research on image fusion based on polarization of haze［J］.Journal of Xiamen University：Natural Science，2011，50（03）：520.張曉玲，許炎，王曉忠，等.基于薄霧偏振特性的圖像融合方法［J］.廈門大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，50（03）：520.

［12］Zhou Pucheng，Zhang Hongkun，Xue Mogen.Polarization image fusion method using color transfer and clustering－based segmentation［J］.Acta Photonica Sinica，2011，40（1）：149－153.周浦城，張洪坤，薛模根.基于顏色遷移和聚類分割的偏振圖像融合方法［J］.光子學(xué)報(bào)，2011，40（1）：149－153.

［13］Zhang P，Kong X.Detecting image tampering using feature fusion［C］.USA：IEEE，2009.

［14］Schlüter R，Zolnay A，Ney H.Feature combination using linear discriminant analysis and its pitfalls［C］.USA：IEEE，2006.

［15］Scalzo F，Bebis G，Nicolescu M，et al.Feature fusion hierarchies for gender classification［C］.USA：IEEE，2008.