聚類分析的紅外與可見光融合質(zhì)量指標(biāo)相似性研究①

朱亞輝

(陜西學(xué)前師范學(xué)院 數(shù)學(xué)系,西安 710077)

紅外與可見光圖像融合在公共安全方面均有廣泛的應(yīng)用,特別是在國(guó)家和社會(huì)安全監(jiān)控等民用領(lǐng)域[1].圖像融合評(píng)估有助于研究人員設(shè)計(jì)出更為科學(xué)、精度更高的圖像融合方法.圖像融合質(zhì)量評(píng)價(jià)分為主觀評(píng)價(jià)和客觀評(píng)價(jià)[2].主觀評(píng)價(jià)是由觀察者的主觀感覺和統(tǒng)計(jì)結(jié)果對(duì)融合圖像的優(yōu)劣做出主觀定性評(píng)價(jià).例如,Petrovixc[3]建立一個(gè)包含120組圖像的數(shù)據(jù)集,其中110組為遙感圖像融合,6組為紅外與可見光融合,4組為可見光與可見光圖像融合,每組圖像包含2幅源圖像和2幅融合圖像,并提供組內(nèi)兩幅融合圖像獲得的投票數(shù),客觀評(píng)價(jià)采用數(shù)學(xué)公式定量評(píng)價(jià)圖像融合質(zhì)量.常用的客觀評(píng)價(jià)指標(biāo)有很多種,大致分為四類:1)基于統(tǒng)計(jì)特性的評(píng)價(jià)指標(biāo);2)基于信息論的評(píng)價(jià)指標(biāo);3)基于結(jié)構(gòu)相似度的評(píng)價(jià)指標(biāo);4)基于人眼視覺系統(tǒng)的評(píng)價(jià)指標(biāo).

張小利等人[4]在Petrovixc圖像融合數(shù)據(jù)庫(kù)的基礎(chǔ)上,研究了評(píng)價(jià)指標(biāo)的正確率排名,結(jié)果表明:大部分評(píng)價(jià)指標(biāo)的正確率排名均小于0.8,故單個(gè)評(píng)價(jià)指標(biāo)很難完成準(zhǔn)確評(píng)估融合質(zhì)量的任務(wù),需要進(jìn)行綜合評(píng)價(jià).因此面臨的主要問(wèn)題在于:所選的評(píng)價(jià)指標(biāo)必須滿足非冗余性原則.雖然文獻(xiàn)[4]研究了融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性,但結(jié)合紅外與可見光圖像融合質(zhì)量評(píng)價(jià),該研究存在以下不足:1)Petrovixc圖像融合主觀數(shù)據(jù)庫(kù)中遙感圖像的個(gè)數(shù)占91.7%,文獻(xiàn)[4]側(cè)重分析遙感圖像圖像融合質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性;2)文獻(xiàn)[4]采用的融合方法比較陳舊,已經(jīng)無(wú)法滿足現(xiàn)階段融合方法質(zhì)量評(píng)價(jià)的需求;3)文獻(xiàn)[4]采用閾值分類對(duì)評(píng)價(jià)指標(biāo)進(jìn)行聚類分析,所選閾值具有隨機(jī)性,無(wú)法保證分類的有效性.

借鑒文獻(xiàn)[4]總結(jié)的融合圖像質(zhì)量評(píng)價(jià)指標(biāo),本文從斯皮爾曼等級(jí)相關(guān)系數(shù)和灰色關(guān)聯(lián)分析理論研究評(píng)價(jià)指標(biāo)在紅外與可見光圖像融合質(zhì)量評(píng)價(jià)的相關(guān)性.

1 客觀評(píng)價(jià)指標(biāo)

根據(jù)圖像融合質(zhì)量評(píng)價(jià)原理,將圖像融合質(zhì)量評(píng)價(jià)方法分為4類:基于統(tǒng)計(jì)特性的評(píng)價(jià)指標(biāo)、基于信息論的評(píng)價(jià)指標(biāo)、基于結(jié)構(gòu)相似度的評(píng)價(jià)指標(biāo)、基于人眼視覺系統(tǒng)的評(píng)價(jià)指標(biāo).

設(shè)A,B分別表示兩源圖像,采用融合算法將兩源圖像進(jìn)行融合,得到融合圖像F,圖像的大小均為M×N,圖像中的灰度級(jí)數(shù)為L(zhǎng).

1.1 基于統(tǒng)計(jì)特性評(píng)價(jià)指標(biāo)

本文主要介紹常用的統(tǒng)計(jì)特性評(píng)價(jià)指標(biāo),包括:平均梯度(Average Gradient,AG)、空間頻率(Spatial Frequency,SF)、均方誤差(Mean Square Error,MSE)、峰值信噪比(peak signal to noise ratio,PSNR)、相關(guān)系數(shù)(Correlation Coefficient,CC).其中,AG反映圖像微小細(xì)節(jié)變化與紋理變化的反差特征,SF反映圖像灰度的變化率,MSE反映變量之間的差異,PSNR衡量有效信息與噪聲之間的比率,CC衡量變量間相關(guān)關(guān)系密切的程度.上述評(píng)價(jià)指標(biāo)的計(jì)算公式詳見文獻(xiàn)[4].

1.2 基于信息論的評(píng)價(jià)指標(biāo)

信息熵作為圖像融合質(zhì)量評(píng)價(jià)指標(biāo),用于衡量融合圖像信息豐富程度.但該指標(biāo)只是衡量了融合圖像自身的信息量,無(wú)法衡量源圖像傳遞給融合圖像的信息量,評(píng)價(jià)結(jié)果具有片面性.互信息用于衡量融合圖像保留源圖像信息量的多少,較為準(zhǔn)確地反映圖像融合質(zhì)量.故本文介紹源圖像與融合圖像間的互信息及其改進(jìn)算法.

(1)互信息

對(duì)于圖像X,Y,它們間的互信息計(jì)算公式如下:

式中,pXY(x,y)是圖像X,Y間的歸一化聯(lián)合灰度直方圖,pX(x)和pY(y)分別為圖像X,Y的概率密度分布.

在已知源圖像A,B和融合圖像F的基礎(chǔ)上,基于互信息的融合質(zhì)量評(píng)價(jià)指標(biāo)計(jì)算公式如下:

融合圖像的互信息越大,融合圖像質(zhì)量越優(yōu),反之,則融合圖像質(zhì)量越差.

(2)Taillis熵

Cvejic[5]利用Taillis熵改進(jìn)了互信息,其計(jì)算公式如下所示:

融合圖像的Taillis熵越大,則融合圖像質(zhì)量越優(yōu),反之,則融合圖像質(zhì)量越差.

1.3 基于結(jié)構(gòu)相似度的圖像融合評(píng)估指標(biāo)

結(jié)構(gòu)相似度理論是一種關(guān)于圖像質(zhì)量評(píng)價(jià)的新思想.它自頂向下地模擬HVS整體功能,使得測(cè)量結(jié)構(gòu)信息的改變與感知圖像質(zhì)量的變化非常接近.圖像X,Y間的結(jié)構(gòu)相似度表達(dá)式如下:

這里,μX,μY,σX,σY分別為圖像X,Y的均值和標(biāo)準(zhǔn)差,σXY是圖像X,Y的協(xié)方差,C1,C2,C3為常數(shù).

在此基礎(chǔ)上,Piealla[6]提出了三個(gè)融合圖像質(zhì)量評(píng)價(jià)指標(biāo):Q,Qw,QE.融合圖像的評(píng)價(jià)指標(biāo)Q,Qw,QE值越大,表明融合圖像質(zhì)量越優(yōu);反之,則評(píng)價(jià)指標(biāo)質(zhì)量越差.

下面對(duì)三個(gè)指標(biāo)進(jìn)行描述:

(1)評(píng)價(jià)指標(biāo)Q

評(píng)價(jià)指標(biāo)Q的計(jì)算思想:首先分別計(jì)算融合圖像F和源圖像A,B在局部窗口w內(nèi)的結(jié)構(gòu)相似度SSIM(A,F|w)和SSIM(B,F|w);然后利用輸入圖像的局部顯著度構(gòu)成歸一化局部權(quán)重系數(shù)λ(w),表示源圖像之間的相對(duì)重要程度;最后通過(guò)加權(quán)乘法獲得融合圖像質(zhì)量.其表達(dá)式如式(1).

其中,|W|是W的基數(shù).λ(w)是源圖像的局部顯著度構(gòu)成的歸一化權(quán)重,其表達(dá)式如下:

這里,s(A|w),s(B|w)分別表示圖像A,B在窗口w的顯著性.

(2)評(píng)價(jià)指標(biāo)Qw

Piella考慮到窗口重要性不同,對(duì)式(1)進(jìn)行改進(jìn),得到加權(quán)結(jié)構(gòu)相似度Qw(A,B,F):

其中,c(w)是圖像塊w在整個(gè)圖像中的重要程度:

(3)評(píng)價(jià)指標(biāo)QE

考慮到圖像質(zhì)量?jī)?yōu)劣與邊緣的完整度、清晰度有關(guān),Piella在獲得評(píng)價(jià)指標(biāo)Qw(A,B,F)的基礎(chǔ)上,分別獲取源圖像和融合圖像的邊緣圖像A,B,F,然后求出Qw(A,B,F),得到基于邊緣結(jié)構(gòu)相似指標(biāo)QE:

1.4 基于人眼視覺系統(tǒng)的評(píng)價(jià)指標(biāo)

基于人眼視覺系統(tǒng)的評(píng)價(jià)指標(biāo)是模仿人眼對(duì)像素層絕對(duì)差值的認(rèn)知機(jī)制,通過(guò)掩蓋低于人眼感知能力的差異修正評(píng)測(cè)結(jié)果.該類指標(biāo)主要被劃分為2部分:1)基于顯著性幾何評(píng)價(jià)指標(biāo);2)基于邊緣保持度的評(píng)價(jià)指標(biāo).

1.4.1 基于顯著性幾何評(píng)價(jià)指標(biāo)

Luo等人[7]利用圖像區(qū)域顯著性對(duì)結(jié)構(gòu)相似度進(jìn)行改進(jìn),提出了基于顯著性幾何評(píng)價(jià)指標(biāo).該指標(biāo)的計(jì)算過(guò)程如下:

首先,分別計(jì)算源圖像A,B的顯著性,將所得結(jié)果存入到SA,SB中,當(dāng)源圖像A,B在點(diǎn)(x,y)處的顯著性大于閾值t,則認(rèn)為此處是顯著性位置;否則,則認(rèn)為是非顯著性位置.

然后,分別統(tǒng)計(jì)源圖像A,B與融合圖像F在顯著性區(qū)域、非顯著性區(qū)域的相似度.以源圖像A和融合圖像F為例,計(jì)算方法如下所示:

式中,m1,m2分別表示顯著性區(qū)域、非顯著區(qū)域中像素的個(gè)數(shù).

其次,將它們進(jìn)行整合,得到源圖像A和融合圖像F的整體相似度為:

同樣,獲得源圖像B和融合圖像F的整體相似度FIQRO(F,B).

結(jié)合FIQRO(F,A)和FIQRO(F,B),基于顯著性幾何評(píng)價(jià)指標(biāo)表達(dá)式為:

其中,a1,a2為參數(shù),通常取a1=a2=1.

1.4.2 基于邊緣保持度的評(píng)價(jià)指標(biāo)

根據(jù)視覺系統(tǒng)特性,Xydeas等人[8]提出了一種衡量邊緣信息量從源圖像到融合圖像多少的客觀評(píng)價(jià)指標(biāo).其實(shí)質(zhì)是通過(guò)Sobel算子分別計(jì)算輸入、輸出圖像的邊緣信息,得到邊緣信息傳遞的量化值,然后對(duì)源圖像的邊緣保持度加權(quán)求和得到最終值.其計(jì)算步驟如下:

Step 1.計(jì)算源圖像A,B到融合圖像F的邊緣信息保留值QAF(x,y)和QBF(x,y).

以QAF(x,y)的計(jì)算過(guò)程為例進(jìn)行說(shuō)明.

首先,應(yīng)用式(2)計(jì)算源圖像A和融合圖像F在點(diǎn)(x,y)處的邊緣強(qiáng)度gA(x,y)和gF(x,y):

再應(yīng)用式(3)計(jì)算源圖像A和圖像F在點(diǎn)(x,y)處的邊緣方向αA(x,y),αF(x,y):

然后,應(yīng)用式(4)計(jì)算源圖像A相對(duì)于融合圖像F的相對(duì)邊緣強(qiáng)度GAF(x,y)和邊緣方向AAF(x,y):

應(yīng)用式(5)得到源圖像A到融合圖像F的邊緣信息保留值QAF(x,y):

其中,Γg,kg,σg,Γα,kα,σα均為常量.

同樣,應(yīng)用式(2)至式(5)得到源圖像B到融合圖像F的邊緣信息保留值QBF(x,y).

Step 2.計(jì)算基于邊緣保持度的質(zhì)量評(píng)價(jià)指標(biāo)QAB/F.

這里,ωA(x,y)和ωB(x,y)分別是源圖像A,B的邊緣強(qiáng)度,其表達(dá)式分別為:

式中,L是常數(shù).

Xydeas等人[9]在進(jìn)一步考慮人眼視覺感知性能后,通過(guò)對(duì)融合圖像與源圖像之間各像素點(diǎn)上的邊緣強(qiáng)度添加閾值Tg和計(jì)算各鄰域內(nèi)像素方向的一致性程度來(lái)分辨融合圖像中出現(xiàn)的噪聲和邊緣情況,在此基礎(chǔ)上,改進(jìn)了加權(quán)系數(shù)ωA(x,y)和ωB(x,y),具體表達(dá)式見式(7).

這里,W是中心處在(x,y),且大小為k×l的窗口,窗口,δ為常數(shù).

2 相關(guān)性指標(biāo)

本文采用斯皮爾曼等級(jí)相關(guān)系數(shù)和灰色關(guān)聯(lián)理論分析圖像融合質(zhì)量評(píng)價(jià)指標(biāo)在紅外與可見光圖像融合中的相關(guān)性.

2.1 基于灰色關(guān)聯(lián)度的相關(guān)性分析

灰色系統(tǒng)理論對(duì)樣本數(shù)據(jù)量的要求不高、設(shè)計(jì)思路相對(duì)簡(jiǎn)單,能夠解決因統(tǒng)計(jì)資料不足而造成的信息不完善的問(wèn)題.灰色關(guān)聯(lián)分析理論是灰色系統(tǒng)理論的重要組成部分,它通過(guò)各個(gè)樣本序列的曲線幾何形狀的相似度來(lái)判斷序列之間的關(guān)系.

2.2 斯皮爾曼相關(guān)系數(shù)

設(shè)兩變量X和Y,它們的長(zhǎng)度均為N.X和Y均按降序排列后分別記為Xsort和Ysort.X’和Y’分別記錄X和Y中元素在Xsort和Ysort中的位置,并稱其為秩次.記di=X(i)-Y(i),斯皮爾曼相關(guān)系數(shù)ρs表示為式(10).

ρs反映客觀評(píng)價(jià)指標(biāo)的單調(diào)性,ρs∈ [-1,1].當(dāng)ρs=1時(shí),表示X和Y秩次完全相同;當(dāng)ρs=-1時(shí),表示X和Y的秩次完全相反;當(dāng)ρs=0時(shí),X和Y不相關(guān).當(dāng)ρs越接近1,表明客觀評(píng)價(jià)指標(biāo)單調(diào)性越好.

2.3 選取聚類閾值

取閾值θ=θk,當(dāng)rij≥ θk(i≠j),則認(rèn)為指標(biāo)ui和指標(biāo)uj具有相同特性并將其分為一類.

設(shè)B1,B2是聚類閾值為θk時(shí)的兩個(gè)類,若B1∩B2≠?,稱它們是相似的,將所有相似的類合并成一個(gè)類,最后得到的分類就是閾值θk時(shí)的等價(jià)分類.

Zhang[10]采用θ 的變化率Ci確定聚類閾值 θ:

其中,i為 θ從大到小的聚類次數(shù),ni和ni-1分別為第i次和第i-1次聚類的對(duì)象個(gè)數(shù),θi和θi-1分別為第i次和第i-1次聚類時(shí)的閾值,若

則認(rèn)為第i次聚類對(duì)應(yīng)閾值為最優(yōu)聚類閾值.

從公式(12)可以看出:閾值θ的變化率Ci越大,表明類別之間的差異越大,類與類之間的邊界就越明顯.因此,取最大Ci對(duì)應(yīng)的θi為最優(yōu)聚類閾值.

3 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)相關(guān)性分析

實(shí)驗(yàn)圖像來(lái)源于美國(guó)麻省理工學(xué)院林肯實(shí)驗(yàn)室、荷蘭人力資源研究所、美國(guó)海軍研究生院在網(wǎng)絡(luò)上提供的紅外與可見光源圖像,共計(jì)10組圖像,見圖1.

圖1 10組紅外與可見光源圖像

本文采用融合方法包括:基于奇異值分解的PCNN融合方法[11]、基于Tetrolet變換的融合方法[12]、基于非下采樣Contourlet變換和稀疏表示的融合方法[13]、基于對(duì)比度增強(qiáng)的融合方法[14]、基于多特征的融合方法[15]和基于剪切波變換的圖像融合方法[16].上述融合方法既具有代表性,且融合效果比較好.由于篇幅限制,圖2給出了第七組源圖像及其融合圖像.

采用的評(píng)價(jià)指標(biāo)有:峰值信噪比(u1)、顯著性幾何評(píng)價(jià)指標(biāo)VIFF(u2)、平均梯度(u3)、指標(biāo)Q(u4)、互信息(u5)、指標(biāo)Qw(u6)、邊緣保持度QAB/F(u7)、指標(biāo)QE(u8)、Taillis熵(u9)、空間頻率(u10)、相關(guān)系數(shù)(u11).

圖2 源圖像與融合圖像

3.1 評(píng)價(jià)指標(biāo)規(guī)范化處理

圖像融合質(zhì)量評(píng)價(jià)指標(biāo)的物理意義和計(jì)量單位不相同,在對(duì)融合圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行相關(guān)性分析時(shí),需要對(duì)評(píng)價(jià)指標(biāo)進(jìn)行規(guī)范化處理.根據(jù)評(píng)價(jià)指標(biāo)與融合圖像質(zhì)量的關(guān)系,除了均方誤差屬于“越小越優(yōu)型”外,其它評(píng)價(jià)指標(biāo)均屬于“越大越優(yōu)型”.本文采用公式(14)對(duì)評(píng)價(jià)指標(biāo)值進(jìn)行規(guī)范化處理.

這里,T1,T2分別表示指標(biāo)屬于“越大越優(yōu)型”和“越小越優(yōu)型”.

3.2 基于灰色關(guān)聯(lián)度的相關(guān)性分析

本文利用數(shù)據(jù)集內(nèi)10組融合圖像,分別計(jì)算兩兩客觀評(píng)價(jià)指標(biāo)間的灰色關(guān)聯(lián)度,并求其均值.計(jì)算結(jié)果見表1所示.

表1 客觀評(píng)價(jià)指標(biāo)的相關(guān)系數(shù)

圖3給出了基于灰色關(guān)聯(lián)度的動(dòng)態(tài)聚類圖.由公式(12)和公式(13)確定聚類閾值θ=0.9,由圖3可知的聚類結(jié)果為:

3.3 基于斯皮爾曼等級(jí)相關(guān)系數(shù)的分析

圖4給出了基于斯皮爾曼相關(guān)系統(tǒng)的動(dòng)態(tài)聚類圖.

圖3 動(dòng)態(tài)聚類圖

圖4 動(dòng)態(tài)聚類圖

確定聚類閾值θ=0.9,由圖4可以看出聚類結(jié)果為:

顯然,上述兩種聚類結(jié)果不一致,這是因?yàn)榛诨疑P(guān)聯(lián)度的聚類方法反映兩變量間的相關(guān)系數(shù);基于斯皮爾曼等級(jí)相關(guān)系數(shù)的聚類分析法反映兩變量之間聯(lián)系的強(qiáng)弱程度.結(jié)合上述兩種分類結(jié)果,將上述11個(gè)評(píng)價(jià)指標(biāo)分為6類,即:

因此,在建立紅外與可見光圖像融合質(zhì)量評(píng)價(jià)指標(biāo)體系時(shí),可以選擇相關(guān)性較低的評(píng)價(jià)指標(biāo),保證了評(píng)價(jià)指標(biāo)的合理性和非冗余性,既提高了綜合評(píng)價(jià)的速度,同時(shí)也保證了綜合評(píng)價(jià)的合理性.

4 結(jié)論與展望

紅外與可見光圖像融合質(zhì)量評(píng)價(jià)能夠進(jìn)一步豐富和完善圖像融合理論框架.單個(gè)評(píng)價(jià)指標(biāo)往往不能準(zhǔn)確地評(píng)價(jià)圖像融合質(zhì)量,需要進(jìn)行綜合評(píng)價(jià).評(píng)價(jià)指標(biāo)體系是進(jìn)行綜合評(píng)價(jià)的關(guān)鍵,它的建立應(yīng)該滿足非冗余性原則.本文選取有代表性的評(píng)價(jià)指標(biāo)共計(jì)11個(gè),采用斯皮爾曼相關(guān)等級(jí)系數(shù)和灰色關(guān)聯(lián)度研究評(píng)價(jià)指標(biāo)的相關(guān)程度,在此基礎(chǔ)上分析閾值變化率選取最優(yōu)聚類閾值,將評(píng)價(jià)指標(biāo)進(jìn)行分類.為后續(xù)研究紅外與可見光圖像融合質(zhì)量綜合評(píng)價(jià)提供理論支持.

1張寶輝.紅外與可見光的圖像融合系統(tǒng)及應(yīng)用研究[博士學(xué)位論文].南京:南京理工大學(xué),2013.

2夏明革,何友,黃曉東.多傳感器圖像融合效果評(píng)價(jià)方法研究.電光與控制,2003,10(2):31-35.

3Petrovi? V.Subjective tests for image fusion evaluation and objective metric validation.Information Fusion,2007,8(2):208-216.[doi:10.1016/j.inffus.2005.05.001]

4張小利,李雄飛,李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估.自動(dòng)化學(xué)報(bào),2014,40(2):306-315.

5Cvejic N,Canagarajah CN,Bull DR.Image fusion metric based on mutual information and Tsallis entropy.Electronics Letters,2006,42(11):626-627.[doi:10.1049/el:20060693]

6Piella G,Heijmans H.A new quality metric for image fusion.Proceedings of the 2003 IEEE International Conference on Image Processing.Barcelona,Spain.2003.173-176.

7Luo XY,Zhang J,Dai QH.Saliency-based geometry measurement for image fusion performance.IEEE Transactions on Instrumentation and Measurement,2012,61(4):1130-1132.[doi:10.1109/TIM.2011.2174898]

8Xydeas CS,Petrovic V.Objective image fusion performance measure.Electronics Letters,2000,36(4):308-309.[doi:10.1049/el:20000267]

9Xydeas CS,Petrovic VS.Objective pixel-level image fusion performance measure.Proceedings of SPIE 4051,Sensor Fusion:Architectures,Algorithms,and Applications IV.Orlando,FL,USA.2000.89-98.

10Zhang ZG.An approach to multiple attribute group decision making for supplier selection.Proceedings of 2011 IEEE International Conferenc on Advanced Management Science.Chengdu,China.2010.536-539.

11陳廣秋,高印寒,段錦,等.基于奇異值分解的PCNN紅外與可見光圖像融合.液晶與顯示,2015,30(1):126-136.

12沈瑜,黨建武,馮鑫,等.基于Tetrolet變換的紅外與可見光融合.光譜學(xué)與光譜分析,2013,33(6):1506-1511.

13王珺,彭進(jìn)業(yè),何貴青,等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法.兵工學(xué)報(bào),2013,34(7):815-820.

14周渝人,耿愛輝,王瑩,等.基于對(duì)比度增強(qiáng)的紅外與可見光圖像融合.中國(guó)激光,2014,41(9):0909001.

15楊桄,童濤,陸松巖,等.基于多特征的紅外與可見光圖像融合.光學(xué)精密工程,2014,22(2):489-496.

16鄭紅,鄭晨,閆秀生,等.基于剪切波變換的可見光與紅外圖像融合算法.儀器儀表學(xué)報(bào),2012,33(7):1613-1619.