基于內(nèi)容的圖像檢索相關(guān)反饋

杜飛

（商丘師范學(xué)院，河南 商丘 476000）

基于內(nèi)容的圖像檢索相關(guān)反饋

杜飛

（商丘師范學(xué)院，河南 商丘 476000）

隨著多媒體、網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,圖像信息的應(yīng)用日益廣泛,對(duì)規(guī)模越來越大的圖像數(shù)據(jù)庫、可視信息進(jìn)行有效的管理成為迫切需要解決的問題,靈活、高效、準(zhǔn)確的圖像檢索策略是解決這一問題的關(guān)鍵技術(shù)之一。

圖像；檢索；反饋

隨著多媒體、網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,圖像信息的應(yīng)用日益廣泛,對(duì)規(guī)模越來越大的圖像數(shù)據(jù)庫、可視信息進(jìn)行有效的管理成為迫切需要解決的問題,靈活、高效、準(zhǔn)確的圖像檢索策略是解決這一問題的關(guān)鍵技術(shù)之一。傳統(tǒng)的圖像檢索基于文本方式,使用關(guān)鍵字或自由文本描述圖像數(shù)據(jù)庫中的每幅圖像,采用文本匹配檢索。但目前計(jì)算機(jī)視覺技術(shù)還不成熟,達(dá)不到對(duì)圖像的描述性關(guān)鍵字和語意信息的自動(dòng)提取,而人工提取一方面費(fèi)時(shí),另一方面帶有主觀性;同時(shí),圖像的某些可視信息,例如紋理、形狀等,很難用文本準(zhǔn)確描述。因此,人們提出了基于圖像內(nèi)容的圖像檢索(CBIR)技術(shù)。這種技術(shù)由機(jī)器自動(dòng)提取包含圖像內(nèi)容的可視特征:顏色、紋理、形狀、對(duì)象的位置和相互關(guān)系等,對(duì)數(shù)據(jù)庫中圖像和查詢樣本圖像在特征空間進(jìn)行相似匹配,檢索出與樣本相似的圖像。此技術(shù)的核心是包含圖像內(nèi)容的可視特征,稱為基于內(nèi)容的圖像檢索技術(shù)?；趦?nèi)容的圖像檢索融合了圖像理解、模式識(shí)別等技術(shù),克服了傳統(tǒng)檢索方法的缺陷,具有無法比擬的優(yōu)越性,該技術(shù)的研究已成為當(dāng)前的熱點(diǎn)。

一、在圖像檢索相關(guān)反饋方面國(guó)內(nèi)外的研究情況

目前比較流行的相關(guān)反饋圖像檢索方法有以下幾種:（1）基于前向傳播神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)稱FP神經(jīng)網(wǎng)絡(luò))進(jìn)行自學(xué)習(xí)的圖像檢索方法。（2）基于支持向量機(jī)的相關(guān)反饋圖像檢索算法。（3）異種特征的組合查詢和相關(guān)反饋。

二、系統(tǒng)總體設(shè)計(jì)

本系統(tǒng)主要是由檢索與反饋兩部分組成。系統(tǒng)開始時(shí)進(jìn)行圖像的特征提取，然后進(jìn)行相似匹配，返回匹配結(jié)果時(shí)要由用戶判斷是否滿意，如果滿意則輸出結(jié)果程序終止，若不滿意則根據(jù)反饋特征信息重新調(diào)整相似匹配特征再次進(jìn)行形似匹配，最終達(dá)到用戶滿意。

本系統(tǒng)運(yùn)用了異種特征的組合查詢和相關(guān)反饋技術(shù)，與其他反饋算法相比，有效地增強(qiáng)了CBIR系統(tǒng)的靈活性，改進(jìn)了系統(tǒng)的檢索性能。使用異種特征的組合查詢的關(guān)鍵在于正確設(shè)定個(gè)別特征的權(quán)重，該方法對(duì)復(fù)雜圖像的檢索性能有明顯的改善。當(dāng)用戶使用不恰當(dāng)?shù)奶卣鳈?quán)重值來組合查詢時(shí)，系統(tǒng)能夠通過相關(guān)反饋技術(shù)來調(diào)整特征權(quán)重值，能夠更加有效地組合異種特征來提高系統(tǒng)檢索的準(zhǔn)確性。反饋的次數(shù)沒有限制，原則上直到用戶滿意為止，但一般使用三次反饋就已經(jīng)接近能獲得的最優(yōu)性能。

三、數(shù)據(jù)庫的建立和連接

本系統(tǒng)的數(shù)據(jù)庫是在Access 2000下建立并連接的。Access 2000作為Office 2000的有機(jī)組成部分，與其他組件共同組成Office 2000家族，為辦公軟件提供了相當(dāng)完善的解決方案。Access 2000提供了表生成器，查詢生成器、報(bào)表設(shè)計(jì)器等許多便捷的可視化操作工具以及數(shù)據(jù)庫向?qū)?、表向?qū)А⒉樵兿驅(qū)?、窗體向?qū)А?bào)表向?qū)У缺姸嘞驅(qū)?，這些工具和向?qū)闃?gòu)造功能完善的數(shù)據(jù)庫管理系統(tǒng)提供了極大便利。對(duì)于初級(jí)用戶和簡(jiǎn)單應(yīng)用，不必編寫任何代碼，只需通過直觀的可視化操作就能完成大部分?jǐn)?shù)據(jù)管理任務(wù)。同時(shí)，Access 2000為專業(yè)數(shù)據(jù)庫開發(fā)人員提供 Visual Basic for Application (VBA)程序設(shè)計(jì)語言，完善兼容Visual Basic，便于高級(jí)用戶開發(fā)完善界面豐富多彩的面向?qū)ο蟮臄?shù)據(jù)庫管理系統(tǒng)。本系統(tǒng)需要事先在Access 2000中建立一個(gè)用來存放圖像特征的特征數(shù)據(jù)庫，該數(shù)據(jù)庫命名為Mydb，在“我的文檔”數(shù)據(jù)庫中新建“數(shù)據(jù)表視圖”命名為“Pictureprop，先在Windows中注冊(cè)，因?yàn)槲唇?jīng)注冊(cè)的數(shù)據(jù)庫是不能夠被程序調(diào)用的。

創(chuàng)作步驟如下：

1.進(jìn)入Access 2000選擇建立一個(gè)空的Access數(shù)據(jù)庫。

2.命名為Mydb存放在“我的文檔”中，單擊創(chuàng)建。

3.在數(shù)據(jù)表視圖中新建一個(gè)名為Pictureprop的數(shù)據(jù)表視圖。并將事先已經(jīng)提取好的圖像特征存入表中。

4.在控制面板中，可以找到一個(gè)叫ODBC數(shù)據(jù)源的可執(zhí)行命令，雙擊該命令后彈出一對(duì)話框，選擇“Microsoft Access Driver(＊.mdb),單擊完成。在彈出的對(duì)話框中的“數(shù)據(jù)源名”中寫入剛剛創(chuàng)建的Mydb后，該數(shù)據(jù)庫的創(chuàng)建和注冊(cè)已經(jīng)完成。

四、相關(guān)反饋算法的簡(jiǎn)介

在很多情況下，用戶的查詢目標(biāo)很難通過一幅或幾幅示例圖像來精確表達(dá)。檢索系統(tǒng)需要一種手段以更大程度地利用用戶的知識(shí)來輔助查詢。信息檢索領(lǐng)域的研究已經(jīng)證明：讓用戶交互式地參與檢索的整個(gè)過程，使系統(tǒng)充分利用用戶的知識(shí)能力，可以明顯地改進(jìn)檢索的性能。相關(guān)反饋就是一種由用戶指引計(jì)算機(jī)去找到相關(guān)信息的機(jī)制。其過程是，系統(tǒng)按用戶的查詢要求檢索出一組圖像返回給用戶。用戶瀏覽結(jié)果集合，挑選出滿意和不滿意的結(jié)果，并把對(duì)結(jié)果的評(píng)估反饋給系統(tǒng)，系統(tǒng)從用戶的標(biāo)注中分析用戶的查詢需要，并自動(dòng)調(diào)整查詢特征形成一個(gè)新的查詢。如此循環(huán)，直到用戶滿意查詢結(jié)果為止?？梢?，它是一個(gè)逐步精益求精的過程，通過特征調(diào)整、重新匹配的循環(huán)過程來定位用戶所期望的圖像。用戶不必負(fù)責(zé)分配特征的權(quán)重值，只要告訴系統(tǒng)對(duì)檢索到的圖像滿意或者不滿意即可。系統(tǒng)通過分析用戶的反饋來了解用戶最感興趣的是哪些特征，并在檢索過程中通過動(dòng)態(tài)調(diào)整特征的權(quán)重值來精化查詢。

下面將討論如何根據(jù)用戶的相關(guān)反饋來調(diào)整特征權(quán)重。設(shè)用戶的組合查詢中組合了r種特征，系統(tǒng)基于單個(gè)特征檢索出K個(gè)最相似的圖像集合：

用戶的反饋信息Score=[Scorel,……Scorei，……Scorek]返回給系統(tǒng)。

系統(tǒng)要根據(jù)用戶反饋重新計(jì)算特征fj的權(quán)重值wj，該值應(yīng)該反映出特征fj的檢索與用戶的檢索需求之間的對(duì)應(yīng)程度。

系統(tǒng)首先求出RTj中的第i個(gè)圖像的相關(guān)系數(shù)：如果出現(xiàn)在RT中則，就等于用戶為該圖像指定的相關(guān)系數(shù)；如果落在RT之外，我們就認(rèn)為它是部分相關(guān)的其為0特征fj的權(quán)重值wj按以下公式來計(jì)算：

可以看出，當(dāng)同時(shí)出現(xiàn)在RTj這兩個(gè)圖像集合中的相關(guān)圖像數(shù)目越多時(shí)，特征fj的權(quán)重值wj就越高，也就是說，特征越能反映用戶的信息需求，在檢索過程中的重要性越大。系統(tǒng)按照計(jì)算出來的權(quán)重值重構(gòu)查詢特征，進(jìn)行下一次檢索。重復(fù)以上過程，查詢被逐漸精化而接近用戶的期盼。

1.相關(guān)反饋算法的具體實(shí)現(xiàn)

（1）基于紋理檢索

在數(shù)據(jù)庫中的圖像每個(gè)圖像有14個(gè)屬性，前7個(gè)為紋理屬性，后7個(gè)為形狀屬性。定義了一個(gè)二維數(shù)組data[50][14]用來存放數(shù)據(jù)庫中的圖像屬性。對(duì)于已經(jīng)打開的示例圖像的屬性存放在prop[14]數(shù)組中。首先在代碼的最開始定義一些變量。

（2）基于形狀檢索

數(shù)據(jù)庫中圖像與示例圖像形狀差值

然后對(duì)數(shù)據(jù)庫中的圖像與示例圖像的差值進(jìn)行比較排序，比較出差值最少的5幅圖像作為形狀檢索最接近的5幅圖像。這樣就可以獲得紋理和形狀2組檢索后最接近的圖像代號(hào)。

（2）紋理+形狀綜合檢索

（4）獲取權(quán)重值

獲取權(quán)重值的過程包括將用戶的反饋信息傳達(dá)給系統(tǒng)→分析用戶的反饋信息→通過比較算出重新分配的權(quán)重值。

程序流程圖如下：

因?yàn)樵诖绑w上定義了10個(gè)按扭，在每幅圖像下面有（yes和no）兩個(gè)選項(xiàng)，用戶可以選擇圖像是否滿意。自定義的變量number表示最終用戶所滿意的圖像的個(gè)數(shù)，k則表示用戶不滿意的圖像的個(gè)數(shù)。通過以上比較，可以最終確定用戶滿意與不滿意的圖像個(gè)數(shù)和圖像對(duì)應(yīng)代號(hào)。

2.按照重新分配的權(quán)重值重新檢索

重新檢索的過程實(shí)際于基于（紋理+形狀）的過程和做法很相似，并且在最終排序過程時(shí)根據(jù)用戶已經(jīng)給予肯定的圖像數(shù)目進(jìn)行削減。假如用戶在第一次檢索中已經(jīng)選擇了3幅圖片可用，那么在二次再檢索中只要在檢索出2幅最相似的就可以。

3.多次檢索反饋?zhàn)罱K達(dá)到滿意的結(jié)果

如果兩次檢索還不能夠達(dá)到用戶滿意的結(jié)果，那么可以多次檢索不斷修正特征權(quán)重值來達(dá)到最終用戶滿意的結(jié)果。

TN

A

1673-0046（2010）5-0165-02