基于馬氏度量的圖像譜特征描述

張?jiān)娗澹U文霞，2，余國(guó)芬

（1.安徽大學(xué)電子信息工程學(xué)院，安徽 合肥 230601；2.偏振光成像探測(cè)技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031）

基于馬氏度量的圖像譜特征描述

張?jiān)娗?，鮑文霞1，2，余國(guó)芬1

（1.安徽大學(xué)電子信息工程學(xué)院，安徽 合肥 230601；2.偏振光成像探測(cè)技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031）

傳統(tǒng)的譜特征描述過(guò)程中采用的是不能反映樣本間潛在關(guān)系的歐式距離進(jìn)行度量的.為更好地區(qū)分?jǐn)?shù)據(jù)之間的聯(lián)系，提出基于馬氏度量的圖像譜特征描述算法.首先，對(duì)特征點(diǎn)及其周?chē)卣鼽c(diǎn)按照馬氏距離進(jìn)行分層，并在每層上面構(gòu)造相應(yīng)的結(jié)構(gòu)圖及計(jì)算其關(guān)聯(lián)矩陣；接著，對(duì)關(guān)聯(lián)矩陣進(jìn)行譜分解得到其特征值向量和譜隙向量；然后分別用兩者的最大值、平均值和方差統(tǒng)計(jì)量得到最終的馬氏度量譜特征；最后，根據(jù)馬氏度量譜特征之間的相似性和特征點(diǎn)之間距離關(guān)系來(lái)構(gòu)建匹配數(shù)學(xué)模型，并用貪心算法求解得到特征點(diǎn)之間的匹配關(guān)系.實(shí)驗(yàn)結(jié)果表明，該算法提高匹配精度；同時(shí)將其應(yīng)用于偏振圖像的匹配問(wèn)題上，并取得較好的匹配結(jié)果.

譜特征描述；馬氏度量；馬氏度量譜特征；偏振圖像

0 引言

圖像特征匹配是圖像處理、計(jì)算機(jī)視覺(jué)、模式識(shí)別等領(lǐng)域中一項(xiàng)基本但非常困難的任務(wù)，對(duì)獲取的特征點(diǎn)進(jìn)行特征描述是匹配的一個(gè)重要步驟.近年來(lái)，譜圖理論［1］廣泛應(yīng)用于特征描述中，從而得到一種譜特征描述.Scott［2］和Shapiro［3］最早將譜圖理論用于構(gòu)造特征描述中，首先根據(jù)圖像特征點(diǎn)之間的歐式距離來(lái)構(gòu)造鄰接矩陣，然后進(jìn)行譜分解來(lái)得到譜特征描述，最后根據(jù)譜特征之間關(guān)系來(lái)獲得匹配關(guān)系；王年等［4］提出一種圖的Laplace譜，首先根據(jù)特征點(diǎn)集構(gòu)造規(guī)范化Laplace矩陣，接著對(duì)該矩陣進(jìn)行譜分解得到其特征向量用來(lái)構(gòu)造Laplace譜，最后用匹配來(lái)驗(yàn)證所構(gòu)造的Laplace譜提高匹配精度；唐俊等［5］提出一種多譜特征描述子，通過(guò)對(duì)構(gòu)造圖的不同矩陣求解得到特征值序列，然后對(duì)這些特征值序列通過(guò)多譜嵌入技術(shù)得到最終的局部結(jié)構(gòu)描述子；Tang等［6］構(gòu)造譜上下文描述子，首先根據(jù)特征點(diǎn)及其鄰域特征點(diǎn)來(lái)構(gòu)造圖，然后對(duì)圖計(jì)算矩陣并進(jìn)行譜分解，最后用特征值來(lái)得到譜上下文描述子，匹配結(jié)果表明該描述子對(duì)位置抖動(dòng)以及出格點(diǎn)具有較好的魯棒性；朱明等［7］將特征點(diǎn)的鄰域點(diǎn)進(jìn)行分層，并基于灰度信息在每層上構(gòu)造線圖，然后通過(guò)對(duì)圖的賦權(quán)鄰接矩陣進(jìn)行譜分解得到特征值，最后將每層得到的鄰接譜結(jié)合得到最終的譜特征，該譜特征對(duì)噪聲具有較高的魯棒性；Yan等［8］提出一種對(duì)亮度變化具有魯棒性的單調(diào)強(qiáng)度不變描述子，對(duì)有向圖的無(wú)符號(hào)Laplace矩陣進(jìn)行譜分解得到特征值向量及其譜隙向量，從而構(gòu)造描述子.

上述這些譜特征的構(gòu)造都是基于歐式距離進(jìn)行度量的，歐式距離假設(shè)樣本空間是各向同性的，但這種假設(shè)在實(shí)際應(yīng)用中是不成立的，因?yàn)樗鼪](méi)有充分體現(xiàn)樣本維度分量之間所包含的潛在聯(lián)系.因此，為使構(gòu)造的譜特征描述能滿(mǎn)足實(shí)際應(yīng)用情況，本文引入對(duì)樣本數(shù)據(jù)具有更好區(qū)分性的馬氏度量來(lái)代替歐式距離，從而提出一種基于馬氏度量的圖像譜特征描述算法.首先，對(duì)特征點(diǎn)按照距離關(guān)系進(jìn)行分層并在每層上面構(gòu)造結(jié)構(gòu)圖；然后，對(duì)結(jié)構(gòu)圖的鄰接矩陣進(jìn)行譜分解，從而得到其馬氏度量譜特征；最后，構(gòu)造匹配數(shù)學(xué)模型，并用貪心算法求解得到匹配關(guān)系，從而驗(yàn)證本文所提的基于馬氏度量的圖像譜特征的性能.

1 馬氏度量譜特征描述

1.1 馬氏度量

馬氏度量（Mahalanobis distance）是1936年由印度統(tǒng)計(jì)學(xué)家Mahalanobis提出的，它充分考慮樣本數(shù)據(jù)維度分量之間的相關(guān)性，即考慮樣本數(shù)據(jù)分布的統(tǒng)計(jì)特性—協(xié)方差矩陣，常用于計(jì)算兩個(gè)未知樣本數(shù)據(jù)之間相似度.馬氏度量具有3個(gè)性質(zhì)，分別為平移不變性、旋轉(zhuǎn)不變性和仿射不變性.

對(duì)于由n個(gè)樣本構(gòu)成的樣本空間X={xz:1≤z≤n}?Rn，其均值向量和協(xié)方差矩陣分別記為uX和CX，其各自的計(jì)算公式如下：

其內(nèi)任意兩個(gè)樣本點(diǎn)xa和xb之間的馬氏距離為：

馬氏度量滿(mǎn)足度量公理，即同時(shí)滿(mǎn)足如下4個(gè)條件：

1）非負(fù)性：dM(x,y)≥0；

2）同一性：dM(x,y)=0?x=y；

3）對(duì)稱(chēng)性：dM(x,y)?dM(y,x)；

4）三角不等式：dM(x,z)≤dM(x,y)+dM(y,z).

1.2 譜特征描述

在圖像中將像素點(diǎn)作為節(jié)點(diǎn)，節(jié)點(diǎn)之間的相互關(guān)系作為邊來(lái)構(gòu)造圖.假設(shè)有點(diǎn)集P，記點(diǎn)集P={pi,i=1,2,…,t}，首先對(duì)點(diǎn)集P構(gòu)造結(jié)構(gòu)圖，任意兩點(diǎn)之間的距離關(guān)系作為連接兩點(diǎn)邊的長(zhǎng)度，這樣就可以得到一個(gè)t階的結(jié)構(gòu)圖.點(diǎn)集P中的任意一點(diǎn)pi有t-1個(gè)點(diǎn)與其相連，即有t-1條邊與pi相連并可以構(gòu)造星圖Si，邊分別記之為：e1≤e2≤…≤et-1（按照大小順序進(jìn)行排列）.

其次，求解Si的線圖Li［9］，就是將邊轉(zhuǎn)換為點(diǎn)的過(guò)程.線圖中的點(diǎn)就是星圖中的邊，點(diǎn)連接的是原星圖中對(duì)應(yīng)關(guān)聯(lián)的邊，如圖1所示.pi的星圖如圖1（1）所示，其中e1、e2、e3是與pi相關(guān)聯(lián)的邊，長(zhǎng)度分別為1、2、3；構(gòu)造的線圖如圖1（2）所示，e1、e2、e3作為點(diǎn)，邊的權(quán)值分別為e1、e2、e3之間差的絕對(duì)值.

最后，根據(jù)線圖構(gòu)造鄰接矩陣.在一幅大小為m×n的圖像I上取非邊界點(diǎn)u，u的特征可以由u及其鄰域點(diǎn)的屬性之間的相互關(guān)系來(lái)表示.設(shè)u的i個(gè)鄰域點(diǎn)為x1,x2,…,xi，i=1,2,…,t(t=(2n+1)2-1,n=1,2,…,t)，構(gòu)造星圖S1，即u和所有鄰域點(diǎn)相連，邊uxi的權(quán)值ri=| |u-xi，i=1,2,…,t.對(duì)星圖S1求解線圖L1，對(duì)線圖L1構(gòu)造賦權(quán)鄰接矩陣H，其元素為：

其中，|.|表示一種距離度量.

H是一個(gè)對(duì)稱(chēng)的、半正定的矩陣，因此對(duì)H進(jìn)行譜分解得到：

其中，Δ=diag(λ1,λ2,…,λt)，其對(duì)角元素是H特征值的降序排列，U={U1,U2,…,}Ut是正交特征向量集合.因此，可以將特征值向量(λ1(u),λ2(u),…,λt(u))或者特征向量組合(U1,U2,…,Ut)作為點(diǎn)u的譜特征.

1.3 馬氏度量譜特征描述

對(duì)于圖像中任意特征點(diǎn)xi的特征屬性，可以通過(guò)該點(diǎn)以及其周?chē)卣鼽c(diǎn)之間的關(guān)系來(lái)進(jìn)行描述.假設(shè)I和J是兩幅待匹配的圖像，其中分別包含有s和s′個(gè)特征點(diǎn)，分別記為點(diǎn)集P={x1,x2,…,xs}和點(diǎn)集Q={y1,y2,…,ys′}.點(diǎn)集P中任一特征點(diǎn)xi的馬氏度量譜特征描述如下：

首先，在點(diǎn)集P中計(jì)算平均最小馬氏距離d，并根據(jù)平均最小馬氏距離定義半徑集R={|

rφrφ=φd,φ=1,2,…,5}，其中平均最小馬氏距離計(jì)算如下：

以xi為圓點(diǎn)，r?∈R為半徑在點(diǎn)集P上選擇特征點(diǎn)來(lái)構(gòu)成子點(diǎn)集Ωi?，即Ωi?={xl:xl∈PanddM(xi,xl)＜r?}.

其次，對(duì)子點(diǎn)集Ωi?構(gòu)造無(wú)向加權(quán)圖，并計(jì)算其關(guān)聯(lián)矩陣為：

其中：β是常數(shù)因子，用來(lái)控制特征點(diǎn)之間的相互作用.

對(duì)關(guān)聯(lián)矩陣Hiφ進(jìn)行SVD分解可得：

對(duì)特征值向量和譜隙向量分別計(jì)算其最大值、平均值和方差3個(gè)統(tǒng)計(jì)量來(lái)獲得固定長(zhǎng)度的馬氏度量譜特征，從而避免長(zhǎng)度不等的向量比較問(wèn)題.對(duì)特征值向量Ai?進(jìn)行統(tǒng)計(jì)量計(jì)算如下：

同樣，可以計(jì)算得到譜隙向量A′i?的3個(gè)統(tǒng)計(jì)量Fm(A′i?)、Fa(A′i?)、Fv(A′i?). 最終，用一個(gè)30維的特征向量來(lái)表示特征點(diǎn)xi的馬氏度量譜特征，即

2 特征匹配

將上述所構(gòu)造的馬氏度量譜特征應(yīng)用于特征匹配上來(lái)檢驗(yàn)其性能，具體的匹配過(guò)程如下.對(duì)于點(diǎn)集P和Q中的特征點(diǎn)ui和vj，其馬氏度量譜特征分別記為Ai和Bj，則可以定義如下的匹配關(guān)系矩陣M，其中Ai和Bj之間的相似性關(guān)系定義為對(duì)角元素Mij,ij，非對(duì)角元素Mij,i′j′表示特征點(diǎn)之間的幾何距離，計(jì)算公式如下：

因此，對(duì)上述構(gòu)造的匹配關(guān)系矩陣用匹配數(shù)學(xué)模型［10］來(lái)求解，求得分配向量x*，使下式的目標(biāo)函數(shù)最大化：

其中：x∈{0,1}ss′×ss′是表示匹配關(guān)系的匹配向量.當(dāng)x=1時(shí)表示匹配，否則x=0時(shí)表示不匹配，從而得到特征點(diǎn)集P和Q之間的匹配關(guān)系.

最后用貪心算法［11］求解該匹配的數(shù)學(xué)模型，得到匹配結(jié)果.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 基于馬氏度量的圖像譜特征實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的基于馬氏度量的圖像譜特征的性能，本文在CMU/VASC圖像數(shù)據(jù)庫(kù)的long-hotel序列圖像上進(jìn)行圖像匹配實(shí)驗(yàn)，下面給出部分的實(shí)驗(yàn)結(jié)果.本文取第10、30、50、70、90幀圖像分別與第1幀圖像進(jìn)行匹配，首先在每幀圖像上提取40個(gè)特征點(diǎn)，然后分別用本文提出的算法與文獻(xiàn)［5］、文獻(xiàn)［11］以及文獻(xiàn)［12］的算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖2所示，圖2（a）-（c）分別表示第10、50、70幀與第1幀進(jìn)行匹配的實(shí)驗(yàn)結(jié)果.表1給出具體的實(shí)驗(yàn)數(shù)據(jù).實(shí)驗(yàn)結(jié)果表明，本文提出的基于馬氏度量的圖像譜特征的匹配精度最高，當(dāng)幀差數(shù)達(dá)到90幀時(shí)仍然能夠達(dá)到100%的正確匹配率；而其他3種算法的準(zhǔn)確率隨著幀差數(shù)的增加逐漸下降.

圖2 圖像匹配實(shí)驗(yàn)結(jié)果

表1 實(shí)驗(yàn)的匹配數(shù)據(jù)

3.2 偏振圖像匹配實(shí)驗(yàn)結(jié)果與分析

本文將所提出的基于馬氏度量的圖像譜特征描述算法應(yīng)用于偏振圖像匹配中，下面給出部分的實(shí)驗(yàn)結(jié)果.首先，分別取近景和遠(yuǎn)景采集所需的偏振圖像數(shù)據(jù)；然后，在每張圖像上提取40個(gè)特征點(diǎn)，接著用本文提出的基于馬氏度量的圖像譜特征對(duì)特征點(diǎn)進(jìn)行特征描述，最后用本文提出的特征匹配算法進(jìn)行圖像匹配.實(shí)驗(yàn)結(jié)果如圖3所示，其中（a）是近景圖像及其匹配結(jié)果，（b）是遠(yuǎn)景圖像及其匹配結(jié)果.從實(shí)驗(yàn)結(jié)果可知，對(duì)近景和遠(yuǎn)景的偏振圖像進(jìn)行匹配時(shí)都達(dá)到100%的匹配正確率，因此表明本文提出的基于馬氏度量的圖像譜特征描述能夠有效地描述圖像特征.

圖3 偏振圖像匹配實(shí)驗(yàn)結(jié)果

4 結(jié)論

文中提出一種基于馬氏度量的圖像譜特征描述算法，該算法在圖像譜特征描述過(guò)程中用馬氏度量代替歐式距離進(jìn)行度量，并利用特征點(diǎn)之間的位置關(guān)系來(lái)獲得譜特征向量以及譜隙向量，最后用兩者的統(tǒng)計(jì)量來(lái)定義馬氏度量譜特征.實(shí)驗(yàn)結(jié)果表明，本文提出的基于馬氏度量的圖像譜特征在匹配問(wèn)題上具有較高的匹配精度，并且在偏振圖像匹配問(wèn)題上具有較好的效果.

［1］CHUNG FAN R K.Spectral graph theory［M］.Washington D C：American Mathematical Society，1997.

［2］SCOTT G L，LONGUET-HIGGINS H C.An algorithm for associating the features of two image［J］.Proc of Royal Society of London：Biological B，1991 ，244（1309）：21-26.

［3］SHAPIRO L S，BRADY J M.Feature-based correspondence：an eigenvector approach［J］.Image Vision Computing，1992，10（5）：283-288.

［4］王年，范益政，韋穗，等.基于圖的Laplace譜的特征匹配［J］.中國(guó)圖象圖形學(xué)報(bào)，2006，11（3）：332-336.

［5］唐俊，劉志忠，梁棟，等.基于多譜特征表示的點(diǎn)模式匹配算法［J］.光學(xué)學(xué)報(bào)，2013，33（12）：154-161.

［6］TANG Jun，SHAO Ling，ZHEN Xiantong.Robust point pattern matching based on spectral context［J］.Pattern Recognition，2014，47（3）：1469-1484.

［7］朱明，梁棟，范益政，等.基于譜特征的圖像匹配算法［J］.華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，43（9）：60-66.

［8］YAN Pu，LIANG Dong，TANG Jun，et al.Local feature descriptor invariant to monotonic illumination changes［C］∥SPIE，2016，013023：1-12.

［9］朱明，梁棟，唐俊，等.基于線圖Q-譜的點(diǎn)模式匹配算法［J］.華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，39（7）：102-108.

［10］MINSU C，JIAN S，OLIVIER D，et al.Finding matches in a haystack：a max-pooling strategy for graph matching in the presence of outliers［C］∥Proc of Computer Vision and Pattern Recognition，2014：2091-2098.

［11］LEORDEANU M，HEBERT M.A spectral technique for correspondence problems using pairwise constraints［C］∥Proc of International Conference on Computer Vision，Beijing，IEEE，2005：1482-1489.

［12］梁棟，童強(qiáng)，王年，等.一種基于Laplacian矩陣的圖像匹配算法［J］.計(jì)算機(jī)工程與應(yīng)用，2005，36：31-32.

Image Spectral Feature Description Based on Mahalanobis Metric

ZHANG Shiqing1，BAO Wenxia1，2，YU Guofen1
（1.School of Electronics and Information Engineering，Anhui University，230601，Hefei，Anhui，China;2.Key Laboratory of Polarization Imaging Detection Technology Anhui Province，230031，Hefei，Anhui，China）

The traditional spectral features in the process of description use the European distance metric that can not reflect the potential relationship between the samples.In order to better distinguish the relation be?tween data，the image spectral feature description algorithm based on mahalanobis metric is proposed in this paper.Firstly，the feature points and their surrounding points are layered according to the Mahalanobis dis?tance，and the corresponding structure graph is constructed on each layer and the correlation matrix is calcu?lated.Secondly，the eigenvalue vector and the spectral gap vector are obtained by spectral decomposition of the correlation matrix.And then，the maximum，mean and variance of the two vectors are calculated respective?ly to obtain the final mahalanobis metric spectral features.Finally，a matching mathematical model is con?structed based on the similarity between the mahalanobis metric spectral and the distance between feature points，and the matching relation between feature points is obtained by greedy algorithm.A large number of experimental results show that the proposed algorithm improves the matching accuracy.At the same time，it is applied to the matching of polarimetric images and a good matching result is obtained.

spectral feature description；Mahalanobis metric；Mahalanobis metric spectral feature；polarimetric image

TP 391.9

A

2095-0691（2017）04-0038-06

2017-06-13

國(guó)家自然科學(xué)基金項(xiàng)目（61401001，61501003）；安徽省重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目（2017KJQ010001）；安徽大學(xué)2016年大學(xué)生科研訓(xùn)練計(jì)劃資助項(xiàng)目

張?jiān)娗澹?997- ），女，安徽安慶人，研究方向?yàn)閳D像處理.通信作者：鮑文霞（1980- ），女，安徽銅陵人，副教授，研究方向?yàn)閳D像處理、計(jì)算機(jī)視覺(jué)方向等.