基于融合協(xié)方差的紅外和可見光圖像特征融合方法

常春 房艷飛

【摘 要】考慮到不同特征代表了圖像的不同信息，融合后的特征更能體現(xiàn)圖像的本質(zhì)，重點(diǎn)闡述分析了基于融合區(qū)域協(xié)方差的特征融合方法，該方法可以自然地融合多個(gè)相關(guān)的特征，協(xié)方差計(jì)算本身具有濾波能力且效率高，最后通過設(shè)計(jì)合適的目標(biāo)特征，基于區(qū)域協(xié)方差融合特征實(shí)現(xiàn)艦船目標(biāo)識(shí)別。實(shí)驗(yàn)表明，融合協(xié)方差描述子可以較好地融合艦船可見光圖像和紅外圖像的聯(lián)合目標(biāo)特征，提高目標(biāo)識(shí)別能力。

【關(guān)鍵詞】特征融合;融合區(qū)域協(xié)方差;目標(biāo)識(shí)別

近年來，出現(xiàn)了用二階統(tǒng)計(jì)（比如協(xié)方差矩陣， Covariance）來表示圖像區(qū)域[1-3]。是因?yàn)槠淙缦聝?yōu)點(diǎn)：（1）自然地融合多個(gè)相關(guān)的特征;（2）計(jì)算過程中，去除了大部分噪聲;（3）維數(shù)低。因?yàn)閰f(xié)方差描述子的這些優(yōu)點(diǎn)，自從被提出之后，獲得了學(xué)者們的高度關(guān)注[4]?？紤]到協(xié)方差特征對(duì)噪聲、光照變化和尺度變化是魯棒的，文獻(xiàn)[4]提出用協(xié)方差特征來識(shí)別足球運(yùn)動(dòng)員衣服上的號(hào)碼，采用的特征包括：空間位置、灰度和高階梯度等。為了建模時(shí)間上變化和火焰中的亮光，文獻(xiàn)[5]引入時(shí)間擴(kuò)展的協(xié)方差描述子，提出了基于時(shí)空協(xié)方差矩陣的視頻火焰檢測方法。該方法將視頻劃分為時(shí)空模塊，然后計(jì)算這些模塊的協(xié)方差特征來檢測火焰。文獻(xiàn)[6]提出用協(xié)方差描述子來描述一組人，進(jìn)行人群匹配。圖像特征沒有使用RGB和灰度梯度，而是在Opponent顏色空間表示像素，這意味著包含了光照變化的不變性。文獻(xiàn)[7]將協(xié)方差描述子用于目標(biāo)跟蹤，跟蹤性能良好，但是效率偏低。為了改善協(xié)方差的計(jì)算效率，文獻(xiàn)[8]利用log歐氏距離度量來代替協(xié)方差計(jì)算中的黎曼空間度量。緊跟國際研究熱點(diǎn)，國內(nèi)近幾年也已將區(qū)域協(xié)方差描述子用于目標(biāo)跟蹤等領(lǐng)域[9]。

1 基本原理

令I(lǐng)是一維灰度或三維彩色圖像，F(xiàn)是從I提取的W×H×d維特征圖像，記作：F（x，y）=？覫（I，x，y）。其中，函數(shù)？覫可以是任何映射，比如：灰度、顏色、梯度和濾波器響應(yīng)等，W是區(qū)域?qū)挾?，H是區(qū)域高度，d是特征個(gè)數(shù)。對(duì)給定矩形區(qū)域，R？奐F，令{Z}是R內(nèi)部的d維特征點(diǎn)。我們用特征點(diǎn)的d×d維協(xié)方差矩陣來表示區(qū)域R為：

C=（z-μ）（z-μ）（1）

其中，μ是特征點(diǎn)的均值，n是區(qū)域像素?cái)?shù)。

協(xié)方差矩陣的對(duì)角線表示每個(gè)特征的方差，非對(duì)角線表示特征間的相關(guān)。在協(xié)方差計(jì)算過程中均值可以濾掉大部分噪聲點(diǎn)。由于對(duì)稱矩陣C僅有（d+d）/2個(gè)不同值，因此，協(xié)方差矩陣是低維的。試想，如果用原始像素值表示，需要n×d維，如果用聯(lián)合特征直方圖表示，則需要b維，其中b是代表每個(gè)特征的直方圖的級(jí)數(shù)。

2 積分圖像快速計(jì)算協(xié)方差

積分圖像思想首先在文獻(xiàn)[10]中被用于快速計(jì)算Haar特征。文獻(xiàn)[2]將積分圖像用于快速計(jì)算協(xié)方差，通過簡單的算術(shù)運(yùn)算即可求解協(xié)方差。

積分圖像的每個(gè)像素是當(dāng)前像素和圖像左上角像素所形成矩形區(qū)域的所有像素的和。對(duì)灰度圖像I來說，積分圖像定義為：

Integral Image（x′，y′）=I（x，y）（2）

基于公式（2），任何矩形區(qū)域的和的計(jì)算復(fù)雜度都是常量。根據(jù)積分圖像的思想，區(qū)域協(xié)方差的計(jì)算可以重新表述如下。

令R（x′，y′;x″，y″）是矩形區(qū)域，其中（x′，y′）是左上角坐標(biāo);（x″，y″）是右下角坐標(biāo)，每個(gè)點(diǎn)是一個(gè)d維向量。區(qū)域R（x′，y′;x″，y″）的協(xié)方差為：

C=[Q+Q-Q-Q-（P+P-P-P）（P+P-P-P）]（3）

其中，n=（x″-x′）（y″-y′）。因此，在重構(gòu)積分圖像后，任何矩形區(qū)域的協(xié)方差計(jì)算量為O（d）。

3 矩陣的距離計(jì)算

最近鄰算法僅需要計(jì)算兩個(gè)點(diǎn)之間的距離。因此，我們采用最近鄰算法來匹配特征向量。兩個(gè)協(xié)方差矩陣之間的相似度通過如下距離測度來衡量[9]：ρ（C，C）=。其中，{λ（C，C）}是C和C的廣義特征值，通過如下公式計(jì)算：λCx-Cx=0 i=1，…，d。這里x≠0，是廣義特征向量。

4 特征的設(shè)計(jì)

本文針對(duì)艦船目標(biāo)可見光圖像，設(shè)計(jì)了11個(gè)特征的協(xié)方差，包括：W不變量、彩色梯度不變量的x和y方向微分的大小以及方向，來表示感興趣區(qū)域。針對(duì)紅外圖像，設(shè)計(jì)了5個(gè)特征的協(xié)方差，包括：像素灰度、灰度的一階和二階梯度的范數(shù)，來表示感興趣區(qū)域。然后采用最近鄰算法對(duì)協(xié)方差融合特征進(jìn)行圖像匹配，實(shí)現(xiàn)艦船目標(biāo)識(shí)別。

對(duì)可見光圖像的每個(gè)像素，我們用如下d=11維向量表示：

F（x，y）=[（E（x，y）E（x，y）arctan）]（4）

其中，和是位置（x，y）處，定義在opponent 顏色空間的W不變量，具體如下：

OOO=（5）

另外，E和E是彩色梯度不變量的x和y方向微分，i=1，2，3分別對(duì)應(yīng)灰度、黃藍(lán)通道和紅綠通道，具體如下：

E（x，y）E（x，y）E（x，y）=0.06 0.630.270.30 0.04 -0.350.34 ?-0.60 ? ?0.17R（x，y）G（x，y）B（x，y）（6）

對(duì)紅外圖像的每個(gè)像素，我們提取如下幾個(gè)特征：圖像灰度、x和y方向一階和二階梯度的范數(shù)，這樣，每個(gè)像素映射為d=5維的特征空間。

F（x，y）=[I（x，y）]（7）

其中，I是圖像灰度，圖像梯度通過濾波器[-101]和[-12-1]來計(jì)算。

5 圖像目標(biāo)識(shí)別

5.1 紅外和可見光協(xié)方差矩陣的融合

首先將特征向量歸一化。假定y是Y中的一個(gè)樣本，歸一化過程為：y=（y-μ）/σ，其中，μ和σ是訓(xùn)練樣本集Y的均值和標(biāo)準(zhǔn)差，結(jié)果y就是可見光艦船圖像的歸一化特征向量。類似地，可以得到紅外艦船圖像的歸一化特征向量y。通過歸一化，y和y具有相同的均值（0）和相同的標(biāo)準(zhǔn)差（1）。然后，我們用相同的權(quán)重串行的結(jié)合可見光圖像特征向量y和紅外圖像特征向量y。

5.2 圖像目標(biāo)識(shí)別步驟

事先說明，訓(xùn)練樣本和測試樣本中的紅外和可見光圖像時(shí)一一對(duì)應(yīng)的，即對(duì)應(yīng)的兩幅圖像是同一目標(biāo)分別在不同傳感器模式下獲取的。

區(qū)域協(xié)方差表示融合圖像類的過程為：對(duì)訓(xùn)練樣本集中的每個(gè)紅外圖像采樣s個(gè)隨機(jī)位置和大小的矩形區(qū)域，記憶此位置和大小，對(duì)與之相對(duì)應(yīng)的可見光圖像采樣。然后使用積分圖像計(jì)算每個(gè)區(qū)域的協(xié)方差矩陣。之后將紅外和可見光圖像中對(duì)應(yīng)區(qū)域的協(xié)方差用相同權(quán)重融合。

目標(biāo)識(shí)別過程為：對(duì)給定測試的紅外圖像和可見光，用同樣的方法得到融合協(xié)方差。對(duì)每個(gè)協(xié)方差矩陣，根據(jù)公式計(jì)算到訓(xùn)練樣本集中所有協(xié)方差矩陣的距離，根據(jù)k個(gè)最近鄰中，少數(shù)服從多數(shù)的原則，預(yù)測分類結(jié)果。這個(gè)分類結(jié)果作為弱分類結(jié)果，真正分類結(jié)果則根據(jù)s個(gè)弱分類器中投票最多的原則來確定。

6 仿真實(shí)驗(yàn)

實(shí)驗(yàn)用兩組艦船紅外和可見光圖像見圖1。每類均5張，前3張作為訓(xùn)練集，后2張作為測試集。實(shí)驗(yàn)中，對(duì)訓(xùn)練和測試集中每個(gè)圖像，都采樣s=50個(gè)隨機(jī)協(xié)方差，KNN算法中k=5。由于窗口位置和大小的隨機(jī)性，進(jìn)行10次實(shí)驗(yàn)，然后取平均值來代表融合協(xié)方差描述子的分類性能，見表1。

圖1 實(shí)驗(yàn)圖像

表1 融合協(xié)方差描述子的識(shí)別率

從實(shí)驗(yàn)結(jié)果可以看出，融合協(xié)方差描述子具有較高的識(shí)別率。另外，為了具有較高的識(shí)別率，比如100%，可以考慮記憶隨機(jī)位置參數(shù)，然后針對(duì)某類圖像的識(shí)別問題，將識(shí)別率高時(shí)的位置參數(shù)就作為這類圖像的采樣位置。另外一個(gè)解決辦法是增加采樣窗口數(shù)，但這會(huì)增加計(jì)算量。

為了驗(yàn)證其優(yōu)越性，將此方法與單模的紅外和可見光協(xié)方差目標(biāo)識(shí)別進(jìn)行比較。采樣數(shù)同樣是s=50，也是進(jìn)行十次求其平均識(shí)別率。

表2 不同模式的協(xié)方差描述子識(shí)別性能比較

從實(shí)驗(yàn)結(jié)果可以看出，融合協(xié)方差描述子比單模協(xié)方差描述子可以更好的融合艦船圖像特征，具有相對(duì)更高的識(shí)別率。

7 結(jié)束語

圖像中的不同特征總是反映目標(biāo)的不同特性，對(duì)它們的優(yōu)化組合，既保留了參與融合的多特征的有效鑒別信息，又一定程度上消除了冗余信息，對(duì)提高目標(biāo)特征描述的準(zhǔn)確度無疑具有重要意義。因此，本文重點(diǎn)分析了如何將基于融合區(qū)域協(xié)方差的方法用于艦船紅外和可見光圖像聯(lián)合目標(biāo)識(shí)別。該方法的主要特點(diǎn)有：（1）用協(xié)方差表示圖像特征，維數(shù)更少;（2）用積分圖像來快速計(jì)算協(xié)方差，效率更高;（3）多傳感器圖像聯(lián)合識(shí)別可以融合更多有效的目標(biāo)特征，比單模效果更好。仿真實(shí)驗(yàn)表明，融合區(qū)域協(xié)方差可以較好地融合艦船可見光圖像和紅外圖像的目標(biāo)特征，目標(biāo)識(shí)別率較高。

【參考文獻(xiàn)】

[1]O. Tuzel， F. Porikli， P. Meer. Pedestrian detection via classification on Riemannian Manifolds[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2008， 30（10）： 1713-1727.

[2]Oncel Tuzel， Fatih Porikli， Peter Meer. Region covariance： a fast descriptor for detection and classification[C]//Proceedings of ECCV.Graz， Austria， 2006： 589-600.

[3]Ryuya Ando， Hidehiro Ohki， Yoneharu Fujita. A comparison with covariance features on player uniform number recognition[C]//Proceedings of FCV. Korea， 2011： 1-4.

[4]Yusuf Hakan Habiboglu， Osman Gunay， A. Enis Cetin. Flame detection method in video using covariance descriptors[C]//Proceedings of ICASSP.Prague， Czech， 2011： 1817-1820.

[5]Yinghao Cai， Valtteri Takala， Matti Pietikainen. Matching groups of people by covariance descriptor[C]//Proceedings of ICPR.Istanbul， Turkey， 2010： 2744-2747.

[6]F. Porikli， O. Tuzel， P. Meer. Covariance tracking using model update based on means on Riemannian manifolds[C]//Proceedings of CVPR. New York， USA， 2006： 728-735.

[7]Peihua Li， Guolong Wu. Iris Recognition Using Ordinal Encoding of Log-Euclidean Covariance Matrices[C]//Proceedings of ICPR.Tsukuba， Japan， 2012. 2420-2423.

[8]朱明清，陳宗海.基于橢圓區(qū)域協(xié)方差描述子和卡爾曼粒子濾波的魯棒視覺跟蹤方法[J].控制與決策，2011，26（5）：721-725.

[9]F¨orstner W.， Moonen B. A metric for covariance matrices[R]. Dept. of Geodesy and Geoinformatics， Stuttgart University， 1999.

[10]P. Viola， M. Jones. Rapid object detection using a boosted cascade of simple features[C]//Proceedings of CVPR. Kauai， HI， 2001： 511-518.

[責(zé)任編輯：楊玉潔]