基于顯著性特征的圖像檢索相關(guān)反饋算法研究

張戎秋

（1.安徽大學 計算機科學與技術(shù)學院，安徽 合肥 230038；2.淮南師范學院 計算機與信息工程系，安徽 淮南 232038）

1 前言

近年來基于內(nèi)容的圖像檢索技術(shù)（CBIR）日益受到了人們的廣泛關(guān)注，它的目的是實現(xiàn)自動地、智能地檢索圖像，研究重點就是對圖像內(nèi)容的視覺特征（如顏色、紋理、形狀、空間關(guān)系等底層特征）進行檢索。由于圖像的低層特征同高層語義的非一致性使得CBIR結(jié)果并不是每次都能讓用戶滿意，因此相關(guān)反饋（relevance feedback，RF）技術(shù)被引入到圖像檢索技術(shù)中來。

RF技術(shù)是一種利用先前的檢索結(jié)果信息進行反饋來自動調(diào)節(jié)當前查詢，或借助人機交互細化低級特征表達的高層查詢技術(shù)。它根據(jù)用戶先前檢索結(jié)果與需求相關(guān)性的反饋信息自動地調(diào)整已有的查詢使之更好地吻合用戶的需求①Salton G,McGill MJ.1983.Introduction to Modern Information Retrieval，New York:McGrawHill。

基于顯著性特征的圖像檢索相關(guān)反饋算法是在Rui所提出的基于特征權(quán)重調(diào)整的相關(guān)反饋算法的基礎上提出的一種新的反饋策略，以提高圖像數(shù)據(jù)庫檢索的效果②Rui Y,Huang TS,Ortega M,et al.1998b.Relevance feedback:a power tool for interactive contenet-bas-ed image retrieval，IEEE CSVT,8(5):644-655。

2 顯著性特征的相關(guān)反饋算法的基本思想

設用戶提交的圖像Q，IP、IN分別為經(jīng)用戶反饋后檢索到的圖像集合中的相關(guān)圖像集合和無關(guān)圖像集合，若圖像Q'∈IP，且Q'也能被Q通過某個特征（如顏色直方圖）檢索到，顯然用戶的需求能通過 Q'的這個特征表示。再次檢索時，把圖像Q'的這個特征向量作為檢索標準。同樣經(jīng)過用戶反饋，可以得到多條檢索標準，用它們構(gòu)造新的查詢向量，這個查詢向量我們稱為相關(guān)反饋中的顯著性特征向量，它所對應的特征稱為顯著性特征。再輪檢索中，我們用新的顯著特征向量為中心，結(jié)合特征權(quán)重調(diào)整方法，處理反饋正例集合中的其它正例圖像和反饋負例圖像，改進相似性度量公式。通過這種方法進行檢索，既有效地滿足用戶的需求，也提高了系統(tǒng)的檢索性能。

3 顯著性特征的相關(guān)反饋的算法

圖像特征向量若滿足相似性度量中的正定性、對稱性和三角不等性度量公理，它們之間的相似程度可以采用距離度量或統(tǒng)計學方法來進行圖像相似性判斷[3]。因此在用戶反饋后，調(diào)整相似度計算公式或參數(shù)，重新計算相似度，以提高系統(tǒng)的檢索性能。下面我們直接討論反饋后相似度的計算。

用戶提交圖像Q，用特征1檢索，排序得到檢索到的前T幅圖像集合T1；……；用特征k檢索，排序得到檢索的前T幅圖像集合TK；綜合以上特征進行檢索，排序得到檢索到的前N幅圖像集合I，將此N幅圖像顯現(xiàn)給用戶，用戶在其中指定正例和負例，得到用戶反饋正例集合和反饋負例集合分別記為 IP、IN。

對反饋正例集合IP進行分類：

IPi是單一特征檢索到的圖像集合與綜合特征檢索到圖像正例集合的交集，用來估計各單一特征的檢索準確率并確定其相應權(quán)重。實際計算中，為取得比較準確的權(quán)重，令T〉N（例如T=2*N）；IP'表示用戶反饋的正例集合中存在但各特征單獨檢索沒檢索到的圖像正例集合，即綜合特征新檢索出的正例圖像集合，這個值一般比較小，據(jù)統(tǒng)計，為0的幾率大于90%。

設 c1，c2，c3分別為 IP1，IP2……IPk中的元素個數(shù)。

W1，……，Wk為估計到的各特征的權(quán)重。對反饋負例集合IN進行分類：

INK為綜合特征檢索到而單一特征m(1≤m≤k)沒有檢索到的負例集合。集合中的圖像，用綜合特征檢索到，卻被用戶反饋為負例，而用特征m沒有檢索到，說明其與查詢圖像Q在特征m上不相似，故應該在特征m上遠離它。

此次反饋后，對圖像庫中每一幅圖像P，計算其相似性公式為：

Sk(P,M)表示圖像P與圖像M按特征k計算出的相似度，δ為反饋負例的權(quán)重系數(shù)，起始為1/k，因反饋負例不聚類，加入反饋有時不能提高系統(tǒng)檢索性能，故具體應該根據(jù)反饋前后的系統(tǒng)檢索性能進行調(diào)整。

由上述公式算出的相似度按降序排列即為此次反饋后的檢索結(jié)果，根據(jù)需要返回相似的N幅圖像，供用戶評價。

第二次及以后各次反饋后的檢索計算，我們用以下公式進行簡化，實驗證明，使用簡化公式并不降低反饋后的檢索性能。

INP表示此次反饋的正例集合與上次反饋的正例集合之差，即本次檢索出而上次沒有檢索出的圖像集合。

4 實驗及結(jié)果分析

為了客觀地評價顯著性特征的相關(guān)反饋方法的性能，我們與Rui所提出的經(jīng)典算法進行比較，并在此基礎上進行了編程實現(xiàn)。考慮到用戶的耐心程度，本實驗只進行三次反饋。通過大量檢索實驗，結(jié)果如圖所示：

圖1 兩種相關(guān)反饋算法檢索性能比較

從圖中分析看出，本文提出的基于圖像顯著性特征的反饋方法在三次反饋后，檢索性能平均提高34%—41%。

5 結(jié)束語

本文首先對相關(guān)反饋（relevance feedback）進行闡述，然后提出的基于圖像顯著性特征的反饋方法，并給出具體算法加以實現(xiàn)，最后與Rui所提出的經(jīng)典算法進行比較。通過實驗加以驗證，基于顯著性特征的相關(guān)反饋算法比Rui所提出的經(jīng)典算法檢索的性能有了很大提高，結(jié)果更加準確。