一種參數(shù)化影像多目標(biāo)檢索的相似度評(píng)估模型

曾 志，周永福，杜震洪，劉仁義

(1.惠州學(xué)院計(jì)算機(jī)科學(xué)系，惠州 516007;2.河源職業(yè)技術(shù)學(xué)院電子與信息工程學(xué)院，河源 517000;3.浙江大學(xué)地理信息科學(xué)研究所，杭州 310028)

0 引言

近年來(lái)，我國(guó)遙感技術(shù)在空－天－地一體化應(yīng)用領(lǐng)域取得了長(zhǎng)足的進(jìn)步，然而在信息提取與目標(biāo)識(shí)別領(lǐng)域，通過(guò)有限的專(zhuān)家進(jìn)行目視解譯遠(yuǎn)不能滿足對(duì)海量數(shù)據(jù)的及時(shí)識(shí)別和處理，同時(shí)也難以對(duì)信息提取與目標(biāo)識(shí)別的精度做出準(zhǔn)確的定量分析，致使遙感技術(shù)的應(yīng)用受到一定的限制。為更好地實(shí)現(xiàn)影像查詢的高效率與匹配的高精度，目前已經(jīng)提出了一系列相似度評(píng)估模型，有通過(guò)語(yǔ)義處理的場(chǎng)景匹配模型［1］，也有關(guān)注各匹配目標(biāo)固有特征的相似度匹配模型［2－3］。有關(guān)分析表明，傳統(tǒng)的圖像目標(biāo)識(shí)別與信息提取精度的計(jì)算方法相對(duì)單一［4］，缺乏對(duì)目標(biāo)識(shí)別與信息提取過(guò)程的考慮。而面向?qū)ο蟮倪b感圖像處理方法則是一種融合了圖像的光譜特征、幾何信息和結(jié)構(gòu)信息等的綜合處理方法;這種方法使用對(duì)象作為處理的最小單元，通過(guò)提取對(duì)象的多維特征，建立對(duì)象與對(duì)象和對(duì)象與圖像之間的空間拓?fù)渑c邏輯關(guān)系，并從局部和全局2個(gè)層面對(duì)圖像目標(biāo)進(jìn)行分析乃至信息提取，是目前研究人員較普遍應(yīng)用的影像處理方法［5－7］。

考慮到像元級(jí)的影像處理方法缺乏對(duì)圖像的空間特征和對(duì)象的拓?fù)潢P(guān)系的考量，尤其是忽視了高分辨率遙感影像中豐富的地物與空間信息(如地物的光譜值、形狀、紋理、層次和專(zhuān)題屬性乃至地物間的空間拓?fù)潢P(guān)系等)，給圖像處理的定量分析帶來(lái)了一定的困難。鑒于此，本文假定在圖像預(yù)處理均已完成、且每景影像按一定的描述方式已組織入庫(kù)的情況下，采用當(dāng)前較為普遍的面向?qū)ο蟮膱D像處理方法，依據(jù)用戶偏好(即關(guān)注點(diǎn)的不同)，針對(duì)影像固有的特征，探討一種參數(shù)化影像多目標(biāo)信息檢索的，既考慮影像目標(biāo)全局的空間關(guān)系、又顧及影像目標(biāo)局部特征的相似度評(píng)估模型，為定量解決影像提取精度而進(jìn)行多目標(biāo)提取提供依據(jù)。

1 參數(shù)化影像多目標(biāo)檢索的相似度評(píng)估模型

當(dāng)前，面向海量影像庫(kù)的多目標(biāo)提取方法普遍采用基于對(duì)象的方法，其最終提取精度評(píng)估方法大多以查全率與查準(zhǔn)率指標(biāo)來(lái)衡量。由于對(duì)象方法在目標(biāo)提取時(shí)相似度計(jì)算的側(cè)重點(diǎn)不同，尤其是多目標(biāo)提取不但與目標(biāo)固有的多維特征有關(guān)，而且還與目標(biāo)間的空間拓?fù)潢P(guān)系相關(guān)，因此在相似度評(píng)估時(shí)，既要考慮影像目標(biāo)全局的空間關(guān)系，又要顧及影像目標(biāo)的局部特征。

1.1 影像多目標(biāo)檢索的過(guò)程設(shè)計(jì)

多目標(biāo)檢索是圖像基于內(nèi)容檢索的擴(kuò)充，它是建立在多個(gè)目標(biāo)對(duì)象與空間關(guān)系表達(dá)基礎(chǔ)之上的應(yīng)用。一般地，用戶對(duì)圖像內(nèi)容的檢索有樣例檢索和草圖檢索2種形式，這種以圖找圖、按相似度排列的關(guān)鍵是以計(jì)算影像多維特征的相似度值作為衡量影像目標(biāo)匹配的標(biāo)準(zhǔn)。面對(duì)影像目標(biāo)的顏色、形狀、紋理及目標(biāo)間的拓?fù)潢P(guān)系等多維特征，依據(jù)特征模型組織導(dǎo)入影像庫(kù)，生成影像元數(shù)據(jù)及矢量特征庫(kù)等信息;再與檢索樣本的查詢矢量特征進(jìn)行相似度計(jì)算與匹配，得到相關(guān)影像結(jié)果集。檢索步驟如下:

1)對(duì)影像進(jìn)行分類(lèi)，利用Roberts算子進(jìn)行邊緣檢測(cè)，獲得面向?qū)ο笫噶繄D;

2)利用矢量圖對(duì)原影像進(jìn)行切割;

3)求出相對(duì)左下角各對(duì)象的質(zhì)心坐標(biāo);

4)依次自底向上從左向右掃描矢量圖，對(duì)多邊形進(jìn)行標(biāo)注;

5)采用質(zhì)心半徑法對(duì)目標(biāo)形狀進(jìn)行描述;

6)分別計(jì)算目標(biāo)對(duì)象的顏色、形狀、紋理和空間拓?fù)涞忍卣髦?

7)根據(jù)用戶偏好，設(shè)定各特征權(quán)重系數(shù);

8)計(jì)算相似度距離，獲得影像結(jié)果集。

1.2 影像矢量特征描述符

為更好地快速實(shí)現(xiàn)多目標(biāo)提取，通常采用的方法是在影像入庫(kù)時(shí)就創(chuàng)建影像特征矢量庫(kù)，因此特征描述符就顯得非常關(guān)鍵。對(duì)于基于內(nèi)容的影像提取，多目標(biāo)檢索大多與目標(biāo)對(duì)象固有的特征(包括地物的顏色、形狀、紋理以及空間關(guān)系等)相關(guān)。

特征表達(dá)模型是用于提供信息表達(dá)和操作手段的形式結(jié)構(gòu)，是數(shù)據(jù)模型的一部分［8］;因?yàn)閿?shù)據(jù)模型還包括諸如經(jīng)緯度坐標(biāo)、分辨率、衛(wèi)星類(lèi)型等元數(shù)據(jù)信息。文獻(xiàn)［9］采用動(dòng)態(tài)圖像專(zhuān)家組－7(MPEG7)基于內(nèi)容的圖像層次化描述模式的層次分析法(analytic hierarchy process，AHP)描述影像的多維特征，可以用4元組描述，由影像標(biāo)識(shí)(IMage-ID、元數(shù)據(jù)MetaData、對(duì)象集Objs以及對(duì)象間的空間關(guān)系Rspace組成。用形式化方法表示為

式中:MeatData=(Location，Scal，IMageID);Objs={obj1，obj2，…，objn)，其中obji=(objID，objName，…，F(xiàn)obj)，2≤i≤n，F(xiàn)obj=(objID，V，EA，MA)，EA為對(duì)象提取算法描述，MA為對(duì)象匹配算法描述，V=

對(duì)1景圖像中的多目標(biāo)檢索，首先要從整體上考慮目標(biāo)間空間結(jié)構(gòu)。對(duì)多目標(biāo)空間關(guān)系的描述在二維圖像中本質(zhì)上為面對(duì)象，而連接各目標(biāo)對(duì)象的質(zhì)心可以形成空間多邊形。實(shí)際上，基于對(duì)象級(jí)的內(nèi)容檢索，形狀是區(qū)別對(duì)象最基本的特征。為簡(jiǎn)便起見(jiàn)，空間關(guān)系仍采用單個(gè)目標(biāo)對(duì)象形狀特征的描述方法。當(dāng)前，形狀特征的描述有參數(shù)法和幾何法2類(lèi)，本文采用幾何法［10］描述形狀特征(如圖1中的質(zhì)心半徑表達(dá)模型所示)。則有

式中:k=? 360°/θ」;0≤i≤k－1;lkθ為遞時(shí)針旋轉(zhuǎn)θ角邊界與軸的長(zhǎng)度。

圖1 多邊形重采樣質(zhì)心半徑表達(dá)模型Fig.1 M odel of radii－center for polygon re－sampling

為了保證該方法形狀的尺度不變性，在計(jì)算從質(zhì)心到每個(gè)頂點(diǎn)的歐氏距離時(shí)，需要把這些值歸一化。這里考慮在2個(gè)特征向量間所有可能的變換，也就是2個(gè)形狀相互間所有可能的旋轉(zhuǎn)角度θ，使距離與旋轉(zhuǎn)角度θ和起始點(diǎn)位置均無(wú)關(guān)。即

1.3 影像多目標(biāo)提取評(píng)估模型

相似度距離的計(jì)算是目標(biāo)匹配的必要手段。由于各特征值在目標(biāo)匹配中的重要性不同，為更好地體現(xiàn)用戶關(guān)注點(diǎn)的不同，在模型中可以設(shè)置各維特征權(quán)重系數(shù)，用以計(jì)算每景圖像的整體相似度。查詢草圖與影像庫(kù)中各影像目標(biāo)特征距離D的評(píng)估模型為

式中:i為特征維數(shù);pi為特征Fi的權(quán)重系數(shù)(在此表示用戶偏好的程度);Fi∈V(V同上一節(jié)定義);為對(duì)應(yīng)查詢目標(biāo)的特征值;D為草圖與影像庫(kù)中各影像間2個(gè)特征向量間的距離。

需要指出的是，由于在創(chuàng)建矢量特征庫(kù)的過(guò)程中，其對(duì)應(yīng)的元數(shù)據(jù)信息已經(jīng)標(biāo)注了影像的分辨率和經(jīng)緯度等信息，因此在基于對(duì)象的圖像處理過(guò)程中針對(duì)多維特征值的計(jì)算，均盡量采用歸一化處理，以便使本文提出的評(píng)估模型不受分辨率的影響，最終保證相似度匹配的通用性。

現(xiàn)選取影像的HSV顏色空間計(jì)算變換，對(duì)影像中的每一個(gè)對(duì)象進(jìn)行像元掃描(假定像元總數(shù)為n)，將各像元的顏色分量R，G，B值轉(zhuǎn)換為H，S，V值，并計(jì)算各分量的顏色均值ˉμ和顏色均方差σ，即

式中:Ii(x，y)為對(duì)象內(nèi)像元點(diǎn)(x，y)的第i個(gè)顏色分量;pw和ph分別為影像圖幅的寬度和高度值。

需要指出的是，針對(duì)分割后目標(biāo)產(chǎn)生的多邊形，對(duì)象間的空間形狀相似度可通過(guò)對(duì)象質(zhì)心半徑特征、幾何形狀和多邊形的方向性來(lái)確定。幾何形狀參數(shù)通常采用多邊形的周長(zhǎng)/面積比計(jì)算［11］，即

式中:C為多邊形的周長(zhǎng);S為多邊形的面積。

首先，形狀參數(shù)在一定程度上反映了區(qū)域的緊湊性，無(wú)量綱，對(duì)尺度和旋轉(zhuǎn)變化不敏感，它沒(méi)有一個(gè)固定的取值范圍，數(shù)值越大，形狀一般越不緊湊規(guī)整;其次，多邊形的方向性也很重要，依據(jù)質(zhì)心半徑描述符選取半徑最長(zhǎng)的邊作為坐標(biāo)的X軸，保證匹配半徑數(shù)目方向一致;以所有質(zhì)心半徑距離的直方圖作為相似度計(jì)算的參數(shù)，檢索目標(biāo)與影像中目標(biāo)的相似度特征(計(jì)算方法可參考文獻(xiàn)［12］)。

影像紋理特征值的計(jì)算通常采用坐標(biāo)(x，y)位置的灰度值p(x，y)計(jì)算濾波的能量值，該坐標(biāo)點(diǎn)的能量值Ek，l(x，y)的計(jì)算公式為

為使能量信息中每個(gè)目標(biāo)的能量值不受圖像實(shí)際尺寸的影響，必須對(duì)Ek，l(x，y)進(jìn)行歸一化處理。目標(biāo)對(duì)象(假定為n像元×n像元)的能量均值ˉμ和均方差σ分別為

其中，紋理特征計(jì)算的參數(shù)選擇可參照文獻(xiàn)［13］所述方法。對(duì)于多個(gè)目標(biāo)在圖像中的空間特征值的計(jì)算，仍可以采用空間相似度計(jì)算

針對(duì)上述各類(lèi)特征，可以按照用戶的偏好設(shè)置不同的權(quán)重參數(shù)，對(duì)多維特征向量求和，以構(gòu)成多目標(biāo)信息提取與識(shí)別的總體相似度指標(biāo)。這種方式靈活性較大，但因參數(shù)設(shè)置不同，得到的匹配結(jié)果差異較大。為避免該問(wèn)題，應(yīng)對(duì)檢索的影像進(jìn)行多次確認(rèn)與反饋。從整體角度來(lái)看，多目標(biāo)提取首先以目標(biāo)間的空間關(guān)系相似為主線提取影像;然后針對(duì)1景圖像中各個(gè)目標(biāo)的具體形狀、顏色、紋理等特征進(jìn)行匹配。這樣就避免了算法在參數(shù)設(shè)定上的隨意性，提高了匹配的穩(wěn)定性。

2 多目標(biāo)檢索精度的評(píng)估方法

基于多目標(biāo)檢索算法的精度評(píng)價(jià)方法與序列的相似性評(píng)價(jià)方法有所不同。由于檢索的特殊性與復(fù)雜性，評(píng)估的依據(jù)是相似度評(píng)估模型的各維量化的特征值，并依據(jù)用戶的偏好設(shè)置權(quán)重系數(shù)。因此，從檢索效率的角度出發(fā)，針對(duì)各特征值給定不同容差，定量化計(jì)算出檢索的歸一化查全率Pnorm和歸一化查準(zhǔn)率Rnorm，并用查全率與查準(zhǔn)率來(lái)衡量目標(biāo)檢索的精度［14］。具體計(jì)算方法為

式中:N為影像庫(kù)中影像總數(shù);R為提取的影像數(shù);i為提取影像的位置;ranki為提取影像的實(shí)際排行。

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本文相似度評(píng)估模型的適用性，以某市轄區(qū)100景已經(jīng)做過(guò)幾何糾正和輻射校正且加工為6級(jí)產(chǎn)品的高分遙感圖像和包含2個(gè)類(lèi)別1～4個(gè)目標(biāo)對(duì)象的模擬場(chǎng)景作為測(cè)試數(shù)據(jù)集。為保證模擬場(chǎng)景具有代表性，假定在基于內(nèi)容的目標(biāo)檢索過(guò)程中，描述影像內(nèi)容的多維特征矢量庫(kù)通過(guò)導(dǎo)入影像庫(kù)生成影像元數(shù)據(jù)及特征庫(kù)等信息構(gòu)建已經(jīng)完成，且已保存。在此基礎(chǔ)上，實(shí)驗(yàn)從單個(gè)目標(biāo)檢索開(kāi)始，逐步增加對(duì)象個(gè)數(shù)，并針對(duì)用戶偏好進(jìn)行特征權(quán)重系數(shù)的調(diào)整;最終通過(guò)各特征的相似度計(jì)算實(shí)現(xiàn)影像的匹配，進(jìn)而對(duì)檢索的影像按相似度完成排序。

多目標(biāo)查詢時(shí)，本文采用了以圖找圖的方法。實(shí)驗(yàn)采用C++語(yǔ)言和Matlab實(shí)現(xiàn)草圖檢索和界面生成。用戶可以從影像庫(kù)中選取入庫(kù)時(shí)已提取的目標(biāo)對(duì)象構(gòu)建查詢目標(biāo)的空間關(guān)系，通過(guò)對(duì)檢索目標(biāo)在給定分辨率下的選擇與定位，形成具有目標(biāo)形狀、紋理與空間關(guān)系的檢索草圖(圖2)。

圖2 試驗(yàn)系統(tǒng)檢索草圖生成界面Fig.2 User interface of testing system for retrieval draft

針對(duì)畫(huà)板生成的檢索草圖，4個(gè)目標(biāo)對(duì)象的空間關(guān)系基本確定，且每一檢索目標(biāo)的形狀、顏色和紋理特征為已知?，F(xiàn)依據(jù)整體到局部原則，分別計(jì)算出各目標(biāo)對(duì)象的多維特征值;然后依據(jù)用戶偏好，設(shè)定各特征的權(quán)重系數(shù)(表1)。

表1 參數(shù)化權(quán)重系數(shù)示例Tab.1 Sample of parameterized weighting coefficients

如圖3所示，依據(jù)不同容差匹配條件，將系統(tǒng)檢索結(jié)果按相似度距離進(jìn)行排序，以每頁(yè)20景影像的布局顯示其縮略圖。

圖3 部分檢索結(jié)果示例Fig.3 Partial sample results of image retrieval

從實(shí)驗(yàn)結(jié)果可以看出，本實(shí)驗(yàn)所涉及的多目標(biāo)檢索是針對(duì)影像庫(kù)中不同場(chǎng)景進(jìn)行的，各目標(biāo)的分類(lèi)、分割等預(yù)處理操作均已完成。關(guān)于查詢精度的評(píng)價(jià)，一般通過(guò)查全率和查準(zhǔn)率進(jìn)行衡量。需要說(shuō)明的是，由于本實(shí)驗(yàn)的目標(biāo)影像數(shù)量、類(lèi)別與目標(biāo)個(gè)數(shù)均較小，即使N很大，但經(jīng)過(guò)N!/(N－R)!的約簡(jiǎn)運(yùn)算，實(shí)際上采用式(11)和(12)進(jìn)行歸一化查全率和歸一化查準(zhǔn)率的計(jì)算，其效率仍能得到保證。查全率和查準(zhǔn)率之間存在著相反的相互依賴關(guān)系，即如果提高輸出的查全率，就會(huì)降低其查準(zhǔn)率，反之亦然。然而，隨著查找目標(biāo)的增多，目標(biāo)本身及目標(biāo)間空間關(guān)系的復(fù)雜度也相應(yīng)增加，導(dǎo)致查全率與查準(zhǔn)率呈下降趨勢(shì)。此外，增加相似度容差值，會(huì)使可提取的影像數(shù)量也相應(yīng)增加，同時(shí)特征向量距離D也會(huì)相應(yīng)減少，查全率與查準(zhǔn)率則會(huì)略微增加。圖4表明，隨著查找目標(biāo)數(shù)的增加，系統(tǒng)的平均查全/查準(zhǔn)率總體呈現(xiàn)一定的下降趨勢(shì)，查全率在50%左右，查準(zhǔn)率在30%左右。

圖4 同一影像查找不同目標(biāo)數(shù)的平均查全(準(zhǔn))率Fig.4 Average recall(precision)for searching different number of targets in an image

圖5表明，在查找目標(biāo)數(shù)一定的前提下，相似度容差在增加1% ～10%時(shí)，查全率與查準(zhǔn)率略顯增加。經(jīng)比較可知，圖5中的查全(準(zhǔn))率總體符合圖4中查全(準(zhǔn))率的均值情況。

圖5 同一影像不同容差查找不同目標(biāo)數(shù)的歸一化查全(準(zhǔn))率Fig.5 Normal recall(precision)with different allowance for different number of targets in an image

4 結(jié)論

1)本文從高分辨率遙感影像對(duì)象級(jí)內(nèi)容檢索的角度，在影像多目標(biāo)檢索過(guò)程的指引下，從影像本身固有的形狀、紋理、顏色和空間特征著手，探討了基于對(duì)象的影像內(nèi)容多維特征描述方法。

2)從多目標(biāo)檢索的角度提出了一種相似度評(píng)估模型，并通過(guò)試驗(yàn)從查全(準(zhǔn))率2個(gè)定量指標(biāo)驗(yàn)證了該模型的可行性與有效性。

3)考慮到影像之間在分辨率與地物類(lèi)別復(fù)雜度、數(shù)據(jù)量等的不同，在查找目標(biāo)所耗費(fèi)的時(shí)間上有較大的差異，性能評(píng)價(jià)會(huì)有一定缺陷，有待進(jìn)一步地探討。

此外，為不斷提高影像目標(biāo)檢索的效率與準(zhǔn)確度，多維特征的提取與相似度測(cè)度計(jì)算仍將是進(jìn)一步研究的重點(diǎn)。

［1］ 宋騰義，汪 閩.多要素空間場(chǎng)景相似性匹配模型及應(yīng)用［J］.中國(guó)圖象圖形學(xué)報(bào)，2012，17(10):1274－1282.Song T Y，Wang M.Multi－ feature based spatial scene matching model and its application［J］.Journal of Image and Graphics，2012，17(10):1274－1282.

［2］ 呂金建，文貢堅(jiān)，李德仁，等.一種新的基于空間關(guān)系的特征匹配方法［J］.測(cè)繪學(xué)報(bào)，2008，37(3):367－373，379.Lv JJ，Wen G J，LiDR，etal.A newmethod based on spatial relations for feature matching［J］.Acta Geodaetica et Cartographica Sinica，2008，37(3):367－373，379.

［3］ 孫 顯，王宏琦，楊志峰.基于形狀統(tǒng)計(jì)模型的多類(lèi)目標(biāo)自動(dòng)識(shí)別方法［J］.電子與信息學(xué)報(bào)，2009，31(11):2626－2631.Sun X，Wang H Q，Yang Z F.Automaticmulti－categorical objects recognition using shape statisticalmodels［J］.Journal of Electronics ＆ Information Technology，2009，31(11):2626－2631.

［4］ 李蘇梅，韓國(guó)強(qiáng).感興趣區(qū)域的確定及相似度計(jì)算方法［J］.湖南工業(yè)大學(xué)學(xué)報(bào)，2008，22(4):48－52.Li SM，Han G Q.Methods on ROI confirmed and similarity computation［J］.Journal of Hunan University of Technology，2008，22(4):48－52.

［5］ Walter V.Object－ based classification of remote sensing data for change detection［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2004，58(3/4):225－238.

［6］ Drǎgut L，Blaschke T.Automated classification of landform elements using object－ based image analysis［J］.Geomorphology，2006，81(3/4):330－344.

［7］ 薄樹(shù)奎，韓新超，丁 琳.面向?qū)ο笥跋穹诸?lèi)中分割參數(shù)的選擇［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2009，34(5):514－517.Bo SK，Han X C，Ding L.Automatic selection of segmentation parameters for object oriented image classification［J］.Geomatics and Information Science ofWuhan University，2009，34(5):514－517.

［8］ Zhi Z，Du Z H，Liu R Y.An object－ level feature representation model for themulti－ target retrieval of remote sensing images［J］.Journal of Computing Science and Engineering，2014，8(2):65－77.

［9］ Manjunath B S，Philippe S，Thomas S.Introduction to MPEG－7:Multimedia Content Description Interface［M］.Wiley ＆ Sons，2002.

［10］ Tan K L，Ooi B C，Thiang L F.Indexing shapes in image databases using the centroid－ radiimodel［J］.Data ＆ Knowledge Engineering，2000，32(3):271－289.

［11］ Foley H.AMultiple Criteria Based Approach to Performing Conflation in Geographical Information Systems［D］.New Orleans:Tulane University，1997.

［12］ Kindratenko V V.On using functions to describe the shape［J］.Journal of Mathematical Imaging and Vision，2003，18(3):225－245.

［13］ Grigeorescu SE，Petkov N，Kruizinga P.Comparison of texture features based on Gabor filters［J］.IEEE Transactions on Image Processing，2002，11(10):1160－1167.

［14］ Salton G，McGillM J.Introduction to Modern Information Retrieval［M］.New York:McGraw－ Hill，1983.