粒子群優(yōu)化結(jié)合相關(guān)反饋的花卉圖像檢索

朱丹紅， 柯 逍, 2， 葉 菁

(1. 福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院， 福建 福州　350116；2. 福建省網(wǎng)絡(luò)計(jì)算與智能信息處理重點(diǎn)實(shí)驗(yàn)室， 福建 福州　350116)

?

粒子群優(yōu)化結(jié)合相關(guān)反饋的花卉圖像檢索

朱丹紅1， 柯 逍1, 2， 葉 菁1

(1. 福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院， 福建 福州350116；2. 福建省網(wǎng)絡(luò)計(jì)算與智能信息處理重點(diǎn)實(shí)驗(yàn)室， 福建 福州350116)

摘要：針對(duì)花卉圖像特性， 為平衡花卉圖像檢索系統(tǒng)的檢索精度與速度， 提出一種將粒子群優(yōu)化結(jié)合于花卉檢索相關(guān)反饋的算法. 算法以2RGB為花卉圖像的顏色模型， 選取計(jì)算量較小的圖像低層特征描述， 按用戶的滿意度對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)， 指導(dǎo)反饋過程中粒子的最優(yōu)運(yùn)動(dòng)方向. 實(shí)驗(yàn)結(jié)果表明， 該算法能有效提高系統(tǒng)的檢索效率.

關(guān)鍵詞：花卉圖像檢索； 粒子群優(yōu)化； 相關(guān)反饋； 檢索效率

0引言

基于內(nèi)容的圖像檢索(content based image retrieval, CBIR) 是利用圖像自身所包含的豐富視覺內(nèi)容， 提取蘊(yùn)涵的特征信息(如顏色、 紋理、 形狀、 空間布局、 語義等)， 對(duì)圖像數(shù)據(jù)庫進(jìn)行檢索， 從而獲得用戶感興趣的圖像. 但上述低層特征與高層語義信息之間存在語義鴻溝[1]， 加之用戶對(duì)圖像理解的主觀易變性， 使得檢索結(jié)果常常偏離用戶的需求. 為此， 相關(guān)反饋(relevance feedback)技術(shù)被引入CBIR領(lǐng)域[2]. 通過RF技術(shù)， 實(shí)現(xiàn)了人機(jī)交互， 大大提高了檢索性能.

CBIR的RF過程是系統(tǒng)根據(jù)用戶的反饋信息進(jìn)行相應(yīng)調(diào)整， 指導(dǎo)新一輪檢索， 本質(zhì)是一種查詢優(yōu)化技術(shù). 而粒子群優(yōu)化(particle swarm optimization, PSO)算法具有優(yōu)越的搜索性能， 收斂速度很快， 且它的“并行搜索”和“具有記憶”的特殊尋優(yōu)機(jī)理， 使之能夠很好地適用于CBIR的RF技術(shù)中. 將PSO算法引入到RF領(lǐng)域， 能夠很好地保證檢索的實(shí)時(shí)性與準(zhǔn)確性， 從而提高檢索效率[3].

基于內(nèi)容的植物花卉圖像檢索是CBIR在植物性領(lǐng)域的重要應(yīng)用[4]. 由于花卉圖像的多樣性與不同類別花卉的相似性， 系統(tǒng)通常難以取得檢索精度與檢索速度之間的平衡， 因此檢索效率不夠理想. 文獻(xiàn)[5]融合視覺注意模型與區(qū)域增長(zhǎng)算法提取出感興趣區(qū)域作為花卉區(qū)域代表整幅圖像實(shí)現(xiàn)檢索， 雖然減小了檢索匹配的計(jì)算量， 但對(duì)于部分花卉圖像， 所提取的感興趣區(qū)域與實(shí)際花卉區(qū)域存在誤差， 從而影響檢索的準(zhǔn)確度. 文獻(xiàn)[6]對(duì)花卉圖像進(jìn)行縮放后， 結(jié)合摳像技術(shù)， 將圖像的不同區(qū)域賦以權(quán)值并進(jìn)行檢索匹配， 雖然獲得了較好的準(zhǔn)確度， 但是檢索時(shí)間耗費(fèi)較長(zhǎng)， 且縮放后圖像產(chǎn)生一定的失真， 也在一定程度上影響了檢索結(jié)果. 本研究提出將PSO算法應(yīng)用到花卉圖像檢索的RF過程中， 并進(jìn)行相應(yīng)實(shí)驗(yàn)， 實(shí)驗(yàn)結(jié)果表明, 該方法檢索時(shí)間短， 準(zhǔn)確性高， 具有很好的檢索效率.

1花卉圖像的特征提取

1.12RGB顏色模型[7]

由于花卉圖像受光照強(qiáng)弱的影響， 產(chǎn)生顏色變化和陰影問題， 所以采用常用的彩色圖像顏色模型進(jìn)行描述， 檢索效果不夠理想.

文獻(xiàn)[7]通過對(duì)大量花卉圖像觀察， 發(fā)現(xiàn)花卉主體顏色分布多為單色， 且偏向于紅色(R分量)， 因此提出適用于花卉圖像的2RGB混合顏色模型. 研究表明, 2RGB模型能夠很大程度上減小光照和陰影的影響.

2RGB顏色模型描述的灰度圖像中， (i,j)像素點(diǎn)的灰度值φ(i,j)計(jì)算如下：

(1)

(2)

(3)

首先， 利用公式(1)進(jìn)行計(jì)算. 公式(1)主要針對(duì)顏色偏紅的花卉. 而實(shí)際中， 有些花卉顏色是偏白或是偏藍(lán)， 因此偏紅運(yùn)算后， 需記錄偏紅面積TR， 若TR

1.2特征提取

RGB花卉圖像經(jīng)過上述2RGB顏色模型處理， 生成了相應(yīng)的灰度圖像. 為減少檢索時(shí)間， 提高檢索的實(shí)時(shí)性， 本文選擇計(jì)算量較小的顏色直方圖與基于灰度共生矩陣的紋理特征作為圖像的低層特征表達(dá)[8].

1.2.1顏色直方圖

1.2.2基于灰度共生矩陣的紋理特征

灰度共生矩陣記錄了圖像中兩個(gè)位置的灰度像素的聯(lián)合概率密度， 是定義一組紋理特征的基礎(chǔ). 由一幅圖像的灰度共生矩陣MN×N可以得到的紋理特征如下：

從而， 圖像的紋理特征向量為： Vtexture=(Con, Ent, Asm, Cor).

2基于粒子群優(yōu)化相關(guān)反饋的花卉圖像檢索

2.1粒子群優(yōu)化(PSO)算法[9]的基本思想

(4)

每個(gè)粒子的個(gè)體極值更新為：

(5)

整個(gè)粒子群的全局極值為：

(6)

PSO算法具有高效學(xué)習(xí)和快速收斂的優(yōu)勢(shì)， 將其應(yīng)用于花卉圖像檢索的相關(guān)反饋過程中， 可以很好地保證檢索效率.

首先，明確她所擁有的技能與客戶需要的服務(wù)相比，有多大的差距，要告訴她們努力的方向、要達(dá)到的目標(biāo)，避免她們以個(gè)人經(jīng)驗(yàn)植入給客戶的服務(wù)。

2.2花卉圖像檢索的PSO相關(guān)反饋的算法分析

花卉圖像檢索過程中， 由于花卉本身復(fù)雜多樣， 以及有些類別不同的花卉之間具有一定相似性， 初次檢索結(jié)果通常不夠理想， 需要進(jìn)行進(jìn)一步調(diào)整， 因此將相關(guān)反饋引入檢索過程. 文獻(xiàn)[10]提出了PSO-RF算法， 能夠?qū)SO有效結(jié)合圖像的檢索反饋， 取得了較好效果. 本文針對(duì)花卉圖像的特殊性， 對(duì)花卉圖像檢索的PSO相關(guān)反饋進(jìn)行了詳細(xì)探討， 給出了更合理的參數(shù)設(shè)定， 具體如下：

1) 花卉圖像庫中圖片Xi的特征提取采用第1節(jié)所述的2RGB顏色模型、 顏色直方圖以及基于灰度共生矩陣的紋理特征. 本文將花卉圖像的灰度級(jí)數(shù)L歸一化為32級(jí). 將共生矩陣的4個(gè)統(tǒng)計(jì)量(慣性矩、 熵、 能量、 相關(guān))的均值和標(biāo)準(zhǔn)差[11], 即μcon,σcon，μent,σent，μasm,σasm，μcor,σcor作為8個(gè)紋理特征分量. 因此， 對(duì)Xi特征提取后得到的特征向量進(jìn)行相應(yīng)的實(shí)數(shù)編碼， 從而得到圖片Xi的初始粒子編碼.

2) 全局極值g通常用公式(6)定義. 由于花卉自身特性， 雖然花卉類別不同， 但有的圖像極其相似， 比如玫瑰花與月季花， 有時(shí)甚至一般人也難以區(qū)分， 所以檢索更要著眼于用戶的需求與理解， 應(yīng)讓用戶定義反饋圖像的滿意程度. 從而設(shè)定g為反饋圖像特征按滿意度的加權(quán)平均值， 具體為：

用戶對(duì)檢索結(jié)果進(jìn)行反饋時(shí)， 對(duì)結(jié)果中選取的n幅圖像按滿意度進(jìn)行排序， 依次記為：R1,R2, …,Rn， 則

(7)

其中： m1>m2>…>mn且m1, m2, …, mn取值為[0, 1]之間的隨機(jī)值， m1+m2+…+mn=1.

具體產(chǎn)生的方法如下：

(8)

2.3花卉圖像檢索的PSO相關(guān)反饋的算法設(shè)計(jì)

2.4基于PSO相關(guān)反饋的花卉圖像檢索的算法流程

基于PSO相關(guān)反饋的花卉圖像檢索算法流程如圖1所示. 首先對(duì)花卉圖像庫進(jìn)行2.2節(jié)所述的特征提取. 而后輸入查詢圖像， 利用歐式距離進(jìn)行相似度匹配計(jì)算， 輸出初次檢索結(jié)果， 并由用戶對(duì)結(jié)果進(jìn)行評(píng)價(jià)反饋. 反饋時(shí)先讓用戶按滿意度依次從中選取n幅圖像， 再執(zhí)行2.3節(jié)所述的反饋算法， 直至結(jié)果滿意， 檢索過程結(jié)束.

3實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)條件為： 采用MATLAB 7．0版本進(jìn)行軟件編程； 計(jì)算機(jī)CPU為Intel Pentium4， 主頻2．6 GHz； 內(nèi)存為2 GB； 圖像數(shù)據(jù)庫由網(wǎng)絡(luò)收集的3 000幅花卉圖片構(gòu)成， 包括牡丹、 月季、 玫瑰、 蘭花、 荷花、 菊花、 芙蓉、 芍藥、 茶花、 櫻花、 郁金香等共40個(gè)類別.

實(shí)驗(yàn)3.1分別測(cè)試不同的迭代次數(shù)與不同的反饋輪數(shù)對(duì)檢索結(jié)果的影響. 由于命中準(zhǔn)確率是一種較為簡(jiǎn)便的圖像檢索性能評(píng)測(cè)指標(biāo)[13]， 故本文采用多次檢索的平均命中準(zhǔn)確率進(jìn)行衡量. 命中準(zhǔn)確率定義為：

實(shí)驗(yàn)3.2分別從檢索速度和檢索精度兩個(gè)方面對(duì)本文提出的方法進(jìn)行測(cè)試.

3.1迭代次數(shù)與反饋輪數(shù)對(duì)檢索結(jié)果影響的測(cè)試實(shí)驗(yàn)

1)各輪反饋設(shè)置的迭代次數(shù)與檢索結(jié)果的相關(guān)實(shí)驗(yàn). 本實(shí)驗(yàn)對(duì)花卉圖像庫隨機(jī)抽取100幅圖片進(jìn)行檢索反饋， 測(cè)試其過程. 其中設(shè)置的粒子群最大迭代次數(shù)為N=100. 實(shí)驗(yàn)結(jié)果如圖2所示. 可以看出， 在第一、 二輪反饋中， 隨著迭代次數(shù)增加， 平均準(zhǔn)確率單調(diào)遞增， 表明算法逐步迭代尋優(yōu). 而在第三輪反饋中， 由于用戶反饋的個(gè)別花卉圖片內(nèi)容較雜亂， 主要體現(xiàn)在花卉主體區(qū)域被部分遮擋， 故導(dǎo)致優(yōu)化迭代次數(shù)在40或80代產(chǎn)生了一定波動(dòng)， 影響了平均結(jié)果. 但是該曲線圖仍能顯現(xiàn)出來， 在每輪反饋中， 隨著迭代的次數(shù)越增多， 平均命中準(zhǔn)確率逐步提高， 直至次數(shù)為80次左右時(shí)收斂并趨于平穩(wěn).

2)反饋輪數(shù)與檢索結(jié)果的相關(guān)實(shí)驗(yàn). 選取圖像庫中10大類具有典型意義的花卉圖片， 各進(jìn)行30次檢索， 反饋5輪， 統(tǒng)計(jì)檢索的平均值. 如圖3所示. 隨著各輪反饋的依次進(jìn)行， 檢索準(zhǔn)確率逐漸提高. 反饋達(dá)到第3輪趨于穩(wěn)定， 得到的平均準(zhǔn)確率在75%以上.

3.2檢索速度與檢索精度的相關(guān)實(shí)驗(yàn)

1)統(tǒng)計(jì)檢索時(shí)間， 分析評(píng)價(jià)本文方法的檢索速度. 本實(shí)驗(yàn)對(duì)圖像庫的40類花卉分別各任取一幅圖片進(jìn)行檢索， 統(tǒng)計(jì)耗費(fèi)時(shí)間， 計(jì)算平均值. 初次檢索平均耗時(shí)7 248 ms, PSO三輪相關(guān)反饋平均耗時(shí)分別為6 365、 5 237、 3 223 ms. 故本文方法平均總耗時(shí)22 s.

用相同的實(shí)驗(yàn)方法分別對(duì)文獻(xiàn)[5]、 [6]、 [7]進(jìn)行測(cè)試. 文獻(xiàn)[5]、 [6]平均耗費(fèi)時(shí)間分別為26 s、 75 s. 文獻(xiàn)[7]是針對(duì)花卉圖像檢索的多特征融合方法， 在花卉檢索領(lǐng)域做出了較好貢獻(xiàn)， 理論和實(shí)驗(yàn)部分都比較充分， 可作為主要的參考對(duì)比， 其平均耗時(shí)為53 s. 上述文獻(xiàn)雖均無相關(guān)反饋過程， 但耗費(fèi)時(shí)間都比本文方法多. 實(shí)驗(yàn)表明， 本研究提出的花卉圖像檢索方法能取得不錯(cuò)的檢索速度.

2)采用查全率-查準(zhǔn)率曲線評(píng)價(jià)本文方法的檢索精度. 實(shí)驗(yàn)任選圖像庫中的1 000幅不同花卉圖片作為查詢圖片進(jìn)行檢索， 查全率分別為10%、 20%、 30%、 40%、 50%、 60%、 70%、 80%、 90%、 100%時(shí)的平均查準(zhǔn)率值見圖4所示.

從圖4中曲線可以看出， 文獻(xiàn)[5]的算法基于圖像感興趣區(qū)域， 提取區(qū)域往往與實(shí)際花卉區(qū)域存在偏差， 影響結(jié)果的準(zhǔn)確性. 文獻(xiàn)[6]以摳像技術(shù)為基礎(chǔ)， 在檢索準(zhǔn)確度上有了一定的提高. 而文獻(xiàn)[7]以圖像的多特征融合為基礎(chǔ)， 結(jié)合SVM分類， 對(duì)花卉圖像檢索已經(jīng)比較有效. 但本文算法通過用戶進(jìn)行反饋， 以用戶理解與需求為基礎(chǔ)， 檢索效果更優(yōu). 圖5給出查詢圖像為牡丹時(shí)的檢索結(jié)果， 顯示該結(jié)果可以符合用戶要求， 驗(yàn)證本文方法的檢索性能.

4結(jié)論

本研究以提高花卉圖像檢索系統(tǒng)的檢索效率為目的， 針對(duì)花卉圖像的特殊性， 提出一種將粒子群優(yōu)化有效結(jié)合于花卉檢索相關(guān)反饋中的算法. 該算法以花卉圖像為基礎(chǔ)， 合理選用計(jì)算量較小的特征向量進(jìn)行描述， 反饋過程以用戶需求為指導(dǎo)， 極大發(fā)揮PSO的優(yōu)越搜索性能， 取得了較快的檢索速度和較高的檢索精度， 大大改善了花卉圖像檢索系統(tǒng)的檢索效率. 本研究單純對(duì)花卉圖像檢索進(jìn)行探討， 其中的PSO反饋采用全局最優(yōu)值對(duì)整個(gè)種群所有粒子進(jìn)行引導(dǎo)， 而在其他多類別圖像庫的實(shí)際檢索過程中， 是否可以選用合適的拓?fù)浣Y(jié)構(gòu)劃分若干子種群， 用子種群的局部最優(yōu)解引導(dǎo)所屬粒子運(yùn)動(dòng)， 從而提高檢索性能， 將成為今后進(jìn)一步的研究?jī)?nèi)容.

參考文獻(xiàn)：

[1] DATTA R, JOSHI D, LI J,etal. Image retrieval.Ideas,influences,and trends of the new age[J]. ACM Computing Surveys, 2008, 40(2): 1-60.

[2] RUI Y, HUANG T S, MEHROTRA S. Content-based image retrieval with relevance feedback in MARS[C]//IEEE International Conference on Image Processing. Santa Barbara: IEEE Computer Society, 1997: 815- 818.

[3] 許向莉. 基于智能計(jì)算的圖像檢索算法研究[D]. 吉林: 吉林大學(xué)， 2011.

[4] 陳小芬. 基于內(nèi)容的植物花卉圖像檢索[D]. 廈門: 廈門大學(xué)， 2009.

[5] 吳清鋒. 基于內(nèi)容的中草藥植物故鄉(xiāng)檢索關(guān)鍵技術(shù)研究[D]. 廈門: 廈門大學(xué)， 2007.

[6] 馮振, 王宇新, 郭禾, 等. 結(jié)合摳像技術(shù)的圖像分類方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2011, 16(6): 1 045-1 050.

[7] 柯逍, 陳小芬, 李紹滋. 基于多特征融合的的花卉圖像檢索[J]. 計(jì)算機(jī)科學(xué), 2010, 37(11): 282-286.

[8] 章毓晉. 基于內(nèi)容的視覺信息檢索[M]. 北京: 科學(xué)出版社, 2003.

[9] 郭文忠. 離散粒子群優(yōu)化算法及其應(yīng)用[M]. 北京: 清華大學(xué)出版, 2012.

[10] 許相莉, 張利彪, 劉向東, 等. 基于粒子群的圖像檢索相關(guān)反饋算法[J]. 電子學(xué)報(bào), 2010, 38(8): 1 935-1 940.

[11] 劉忠偉, 章毓晉. 綜合利用顏色和紋理特征的圖像檢索[J]. 通信學(xué)報(bào), 1999, 20(5): 36-40.

[12] ANDRIES P E. 計(jì)算智能導(dǎo)論[M]. 譚營(yíng)， 譯. 北京: 清華大學(xué)出版社, 2010.

[13] 韋娜, 耿國(guó)華, 周明全. 基于內(nèi)容的圖像檢索系統(tǒng)性能評(píng)價(jià)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2004, 9(11): 1 271-1 276.

(責(zé)任編輯： 林曉)

Particle swarm optimization combined with relevance feedback for flower image retrieval

ZHU Danhong1, KE Xiao1, 2, YE Jing1

(1. College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China;2. Fujian Provincial Key Laboratory of Network Computing and Intelligent Information Processing, Fuzhou, Fujian 350116, China)

Abstract:Aiming at flower image characteristics and balancing retrieval accuracy and speed of flower image retrieval system, this paper proposes an algorithm for flower image retrieval relevance feedback combined with particle swarm optimization. The algorithm uses 2RGB color model for flower images, selects some less computational low-level image features, evaluates user satisfaction with the retrieval results to guide the optimal direction of particles motion in feedback process. Experiments show that the algorithm can improve the retrieval efficiency.

Keywords:flower image retrieval; particle swarm optimization; relevance feedback; retrieval effciency

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

基金項(xiàng)目：福建省自然科學(xué)基金資助項(xiàng)目(2013J05088)； 福州大學(xué)科技發(fā)展基金資助項(xiàng)目(650064)； 福建省中青年教師教育科研基金資助項(xiàng)目(JA15082)

通訊作者:朱丹紅(1981-), 講師， 主要從事圖像處理、 圖像檢索等方面研究， zhudh@fzu.edu.cn

收稿日期:2014-06-21

文章編號(hào)：1000-2243(2016)02-0182-06

DOI:10.7631/issn.1000-2243.2016.02.0182