基于移動終端圖像內(nèi)容檢索系統(tǒng)的設(shè)計

李　鑫，蒲東兵，呂健雄

(1.長春工業(yè)大學(xué)應(yīng)用技術(shù)學(xué)院，吉林 長春 130012；

2.東北師范大學(xué)計算機科學(xué)與信息技術(shù)學(xué)院，吉林 長春 130117)

?

基于移動終端圖像內(nèi)容檢索系統(tǒng)的設(shè)計

李鑫1，蒲東兵2，呂健雄1

(1.長春工業(yè)大學(xué)應(yīng)用技術(shù)學(xué)院，吉林 長春 130012；

2.東北師范大學(xué)計算機科學(xué)與信息技術(shù)學(xué)院，吉林 長春 130117)

[摘要]在移動終端下對基于內(nèi)容的圖像檢索技術(shù)進行了研究與探討，運用HSV顏色特征、灰度共生矩陣紋理特征的圖像檢索算法及查詢點移動相關(guān)反饋等技術(shù)設(shè)計一種運行于手持移動終端的便攜式圖像檢索系統(tǒng).系統(tǒng)采用上位機運算處理，下位機與用戶進行交互，并呈現(xiàn)檢索結(jié)果的策略.結(jié)果表明，系統(tǒng)運行穩(wěn)定，檢索速度較快，準確率較高，對移動終端下的圖像檢索應(yīng)用技術(shù)起到了推動作用.

[關(guān)鍵詞]移動終端；內(nèi)容；HSV；灰度共生矩陣；相關(guān)反饋

圖像自動檢索是檢索領(lǐng)域的難點，目前常用的方法是基于標注的圖像檢索和基于內(nèi)容的圖像檢索(CBIR).基于標注的圖像檢索需要人工標注圖像，檢索效果受標注人的影響，無法滿足大規(guī)模數(shù)字圖像自動檢索的需求.CBIR不需要事先標注，僅根據(jù)圖像的顏色、紋理或空間關(guān)系等底層特征在圖像數(shù)據(jù)庫或互聯(lián)網(wǎng)中檢索相似圖像[1].但現(xiàn)有的CBIR系統(tǒng)都基于大規(guī)模集成電路的計算機系統(tǒng)，不便于用戶實時檢索圖像，而且使用成本相對較高.在移動計算設(shè)備已經(jīng)普及的大環(huán)境下，本文設(shè)計了一種基于移動終端的CBIR系統(tǒng).該系統(tǒng)可運行于手機或PAD等移動計算終端(稱為“下位機”)，采用經(jīng)典算法提取圖像的HSV顏色特征和灰度共生矩陣紋理特征[2-8]，在上位機服務(wù)器或本地檢索相似的圖像，并按相似度降序返回檢索結(jié)果.為了使檢索出的圖像更加接近用戶需求，本文采用查詢點移動相關(guān)反饋技術(shù)，將用戶檢索意圖融入檢索過程中，形成一種交互式檢索機制.CBIR利用用戶反饋回來的正、反例圖像信息，自動對查詢向量進行調(diào)整，使其更加接近于正例圖像，然后對調(diào)整后的向量進行再次檢索，從而提高系統(tǒng)檢索的準確性.

1系統(tǒng)工作流程及相關(guān)反饋

1.1系統(tǒng)工作流程

CBIR是一種基于圖像底層特征的檢測方法，其工作流程如圖1所示.

圖1　CBIR工作流程

系統(tǒng)對圖像進行預(yù)處理，然后對每幅圖像進行特征提取，最后把圖像及其特征存儲到數(shù)據(jù)庫中(圖像庫、特征庫)并建立索引.當(dāng)檢索圖像時，需要把待檢索圖像進行預(yù)處理、特征提取，將獲得的特征向量與特征庫中的特征向量進行相似性匹配，并按照相似度降序排序，根據(jù)給定的閾值返回圖像庫的對應(yīng)圖像.待檢索圖像的特征值可以根據(jù)檢索策略直接提取，也可以利用相關(guān)反饋技術(shù)來獲取.

1.2檢索算法

本文主要采用HSV分塊顏色直方圖與灰度共生矩陣算法提取圖像的顏色特征和紋理特征.其中，HSV分塊顏色直方圖算法的思想是對圖像進行分塊后，計算每塊的顏色特征，然后根據(jù)每塊圖像空間信息的重要度設(shè)置權(quán)值為

G=HQSQV+SQV+V，

(1)

其中QS和QV分別是S和V的量化級數(shù).灰度共生矩陣算法一般用對比度(Con)、能量(Asm)、熵(Ent)、相關(guān)性(Corr)等特征向量表示紋理特征，其計算方法分別為：

(2)

(3)

(4)

(5)

算法處理步驟如下：

(1) 將各顏色分量通過公式Gray=0.3R+0.59G+0.11B轉(zhuǎn)化為灰度，應(yīng)用顏色分量的加權(quán)和計算等效的灰度，這里所用圖像灰度級均為256，R，G和B分別對應(yīng)圖像的紅色分量、綠色分量和藍色分量；

(2) 對原始圖像進行灰度等級壓縮，將Gray量化成16級，目的是減少計算量，從而提高移動終端運行的效率；

(3) 計算4個共生矩陣P， 距離取1，角度分別為0°，45°，90°和135°；

(4) 對共生矩陣計算對比度、能量、熵、相關(guān)性4個紋理參數(shù)；

(5) 求對比度、能量、熵、相關(guān)性的均值和標準差作為最終8維紋理特征.

1.3相關(guān)反饋

相關(guān)反饋是用戶對系統(tǒng)檢索到的圖像進行評估，設(shè)置正、反例圖像，系統(tǒng)根據(jù)用戶的設(shè)置重新計算特征向量，然后進行再次檢索，從而達到用戶的檢索意圖.

本文采用查詢點移動相關(guān)反饋技術(shù)[9]，該技術(shù)根據(jù)公式(6)對查詢向量進行調(diào)整[10]，從而建立新的查詢向量，以便獲取到理想的檢索結(jié)果.

(6)

其中：α，β和γ為常數(shù)，是調(diào)節(jié)參數(shù)；Qi+1和Qi分別為第i+1次和第i次查詢點的位置；NR′，NN′分別為正反饋集合DN′與負反饋集合DR′中的反饋圖像個數(shù).

根據(jù)查詢點移動方法計算相關(guān)反饋后的新特征向量，需要分別計算所有正、反例圖像特征向量的平均值，然后分別對待檢索圖像特征值及正、反例圖像特征向量的平均值進行加權(quán).為了選取3個向量權(quán)值的合理值，本文做了大量的測試，最終選擇1.00，0.75和0.15分別為待檢索圖像、正例圖像、反例圖像的權(quán)值.最后通過加權(quán)后待檢索圖像的特征向量與加權(quán)后正例圖像的特征向量進行相加，減去加權(quán)后反例圖像的特征向量，從而得到新的特征向量.

2系統(tǒng)功能與框架

2.1系統(tǒng)功能

系統(tǒng)上位機開發(fā)基于Web Service的SSH框架[11]，下位機基于Android平臺，運用Android圖形布局、數(shù)據(jù)存儲[12-13]、網(wǎng)絡(luò)通信等技術(shù)實現(xiàn)了基于本地與遠程的圖像檢索功能.主要提取圖像的HSV顏色特征和基于灰度共生矩陣的紋理特征，可以單獨利用HSV或灰度共生矩陣檢索圖像，也可以融合2種特征進行檢索.在融合2種特征時，先通過灰度共生矩陣提取圖像的對比度、能量、熵、相關(guān)性等紋理特征向量，并通過曼哈頓距離計算庫中圖像與待檢索圖像的相似度，根據(jù)給定的閾值篩選出相似度高的圖像，然后根據(jù)圖像的HSV顏色特征進行再次匹配，從而得出檢索結(jié)果.為了提高檢索的準確性，系統(tǒng)采用查詢點移動相關(guān)反饋技術(shù)，讓用戶參與其中，形成一種交互式檢索機制，根據(jù)用戶反饋回來的正、反例圖像信息，對查詢向量進行調(diào)整，使其向正例方向移動，遠離反例方向，使得檢索結(jié)果更加符合用戶需求.

2.2系統(tǒng)框架

圖2　整體框架

本文主要功能框架如圖2所示.上位機用于存儲數(shù)據(jù)(圖像、圖像特征)和處理算法等，宜采用運算性能較高的計算機，本文采用臺式機作為測試上位機；下位機與用戶進行交互，同時支持基于服務(wù)器的遠程圖像查詢和基于本地的圖像查詢.所有運行Android 2.3系統(tǒng)以上的手機或平板電腦等都可以作為下位機，本文采用平板電腦作為測試下位機.上位機與下位機之間通過無線網(wǎng)絡(luò)進行通信，無線網(wǎng)絡(luò)可以是Wi-Fi或3G.本文采用Wi-Fi實現(xiàn)上位機與下位機之間數(shù)據(jù)的傳輸.

3系統(tǒng)設(shè)計、實現(xiàn)與測試

3.1開發(fā)工具與數(shù)據(jù)庫

上位機使用Tomcat、JDK、Eclipse和MyEclipse等開發(fā)工具，下位機需要JDK、Eclipse與SDK工具.上位機采用MySql數(shù)據(jù)庫，用于存儲用戶資料及圖像信息；下位機采用SQLite數(shù)據(jù)庫，用于存儲本地圖像信息.

3.2上位機功能模塊設(shè)計

上位機系統(tǒng)模塊主要包括圖像添加接口、管理接口、特征提取、信息處理、信息庫管理及數(shù)據(jù)存儲，如圖3所示.它主要用于處理下位機提交上來的圖像信息，包括圖像的檢索以及增、刪、改、查、下載等操作.

圖3　上位機系統(tǒng)模塊組成

圖像添加模塊接收來自下位機的圖像原始文件，然后對其進行預(yù)處理并提取相應(yīng)的特征，將獲得的圖像信息及特征向量分別存儲到相應(yīng)的數(shù)據(jù)庫.圖像管理模塊用于響應(yīng)下位機發(fā)出的檢索、瀏覽、下載等請求，并借助信息處理模塊對接收的請求信息進行校對，最后通過信息庫管理模塊對下位機請求的圖像信息進行處理，并把處理結(jié)果經(jīng)由管理接口模塊傳遞到下位機呈現(xiàn)給用戶.

3.3下位機功能模塊設(shè)計

下位機主要分為圖像檢索模塊與遠程圖像管理模塊，其中圖像檢索模塊主要用于基于本地或遠程圖像信息的檢索，如圖4所示.圖像管理模塊主要用于遠程圖像信息的增、刪、改、查等操作.

主UI界面用于選擇待檢索圖像(也稱為“樣本圖像”)、檢索算法以及本地或遠程圖像檢索數(shù)據(jù)庫.樣本圖像是本地圖像，也可以從下位機相機實時獲取.預(yù)處理模塊用于對圖像進行灰度校正、噪聲處理或大小規(guī)整等處理，以提高檢索的準確性.本文采用中值濾波預(yù)處理方法，即用像素點鄰域灰度值的中值來替代該像素點的值，以達到增強圖像感興趣區(qū)域，削弱不感興趣的區(qū)域.本文分別采用了基于HSV分塊顏色直方圖算法、基于灰度共生矩陣的紋理特征算法及融合顏色和紋理特征算法.相似度檢測用于計算圖像特征向量之間的相似度，并按相似度降序排列.本文采用了曼哈頓距離計算相似度,利用查詢點移動相關(guān)反饋技術(shù)來進一步提高檢索準確率，即允許用戶對檢索到的結(jié)果進行正、反例標記，并將標記后的結(jié)果再次送入檢索系統(tǒng)重新檢索，從而使檢索結(jié)果更加符合用戶的需求.

圖4　圖像檢索模塊設(shè)計示意圖

如果用戶選擇的是遠程檢索，則提取的圖像特征信息傳遞給上位機，待上位機分析處理后，把檢索到的圖像按相似度由高到低的順序傳遞給下位機，由下位機檢索結(jié)果展示UI給用戶，如圖5所示.如果用戶選擇的是本地檢索，則進行基于本地圖像庫的圖像檢索.

圖5　遠程圖像管理模塊設(shè)計流程

圖像接口模塊主要負責(zé)上位機與下位機信息的交互，包括圖像文件的上傳、瀏覽、修改、下載、刪除等接口.UI、圖像信息添加模塊主要用來選擇需要向上位機上傳的圖像源文件，由圖像接口模塊將圖像源文件上傳到上位機，上位機運算處理后再通過此模塊把返回信息呈現(xiàn)給用戶.UI、遠程圖像操作模塊主要用來對上位機圖像庫進行操作管理，包括遠程圖像的瀏覽、編輯、下載、刪除.

3.4下位機與上位機的數(shù)據(jù)交互

下位機與上位機通過Web Service進行信息傳輸[14].Web Service是指駐留在Internet上的某種計算機應(yīng)用程序，可以解析HTTP協(xié)議.通過基于Android版本的jar包獲取服務(wù)器端Web Service的調(diào)用.具體步驟如下：

(1) 下載KSOAP的jar包，并引用到要開發(fā)的Android項目中；

(2) 實例化SoapObject對象，并設(shè)定Web Service的命名空間和調(diào)用的方法名稱；

(3) 假設(shè)方法有參數(shù)的話，通過addProperty(“參數(shù)名稱”，“參數(shù)值”)設(shè)置調(diào)用方法參數(shù)；

(4) 設(shè)置SOAP請求信息(注：參數(shù)中SOAP協(xié)議版本號與Web Service中保持一致)；

(5) 注冊Envelope；

(6) 構(gòu)建傳輸對象，并指明WSDL文檔URL；

(7) 調(diào)用Web Service(其中參數(shù)1為命名空間+方法名稱，參數(shù)2為Envelope對象)；

(8) 解析返回數(shù)據(jù)，獲取請求信息.

3.5相關(guān)反饋技術(shù)的實現(xiàn)

本文根據(jù)查詢點移動方法計算相關(guān)反饋后的新特征向量，需要分別計算所有正、反例圖像特征向量平均值，然后分別對樣本圖像特征值及正、反例圖像特征向量的平均值進行加權(quán)，3個向量的權(quán)值需要進行大量的測試實驗才能獲取相對合理的值，本文設(shè)置的樣本圖像、正例圖像、反例圖像的權(quán)值分別為1，0.75和0.15，最后通過加權(quán)后樣本圖像的特征向量與加權(quán)后正例圖像的特征向量進行相加，減去加權(quán)后反例圖像的特征向量，從而得到新的特征向量.

3.6系統(tǒng)測試

系統(tǒng)測試采用的圖像庫是Corel圖像庫的一個子庫，其中包括恐龍、花朵、建筑物等10類圖像，每類圖像100幅，共1 000幅，都是384像素×256像素的圖像.上位機采用系統(tǒng)為I3/3.30 GHz臺式機，下位機是運行Android4.0系統(tǒng)的基于ARM核的平板電腦，網(wǎng)絡(luò)環(huán)境為TP-LINK無線路由器搭建的無線局域網(wǎng).

圖6所示的是下位機主UI界面.首先進行的是不帶相關(guān)反饋的圖像檢索.通過點擊本地圖像按鈕，打開本地文件夾，從中選取樣本圖像，對樣本圖像進行基于HSV顏色直方圖、灰度共生矩陣以及融合這2種特征的方法進行檢索.檢索結(jié)果如圖7—9所示.

圖6　下位機主界面

圖7　顏色特征檢索

圖8　紋理特征檢索

圖9　融合顏色和紋理檢索

圖10　顏色+反饋后檢索

圖11　紋理+反饋后檢索

圖12　融合+反饋檢索

進行相關(guān)反饋時，可在檢索結(jié)果顯示UI中單擊其中任意一張圖像都會彈出一個正、反例圖像標記的對話框，用戶通過選擇正例或反例對圖像進行標記，進行再次檢索，從而形成一種用戶參與其中的交互檢索機制，即相關(guān)反饋.圖10—12所示的是相關(guān)反饋后，再次采用3種檢索策略所獲得的檢索結(jié)果.

在測試時，通過對數(shù)據(jù)庫中花朵、恐龍、公交車、宮殿建筑4類圖像的檢索對比，結(jié)果顯示恐龍結(jié)構(gòu)比較簡單，圖像利用顏色特征會獲得較高的檢索準確率，其查準率和查全率分別為92%和46.3%；而基于灰度共生矩陣紋理特征的查準率和查全率分別為66.7%和33.3%；融合2種特征的查準率和查全率分別為94.7%和47.3%.對宮殿建筑這類結(jié)構(gòu)復(fù)雜的圖像檢索準確性較低，其基于HSV顏色特征的查準率、查全率分別為40%和20%；基于灰度共生矩陣紋理特征的查準率、查全率分別為26.7%和13.3%；上述2種特征綜合算法的查準率、查全率分別為41.3%和20.7%.另一方面，在1 000幅的圖像庫中，系統(tǒng)在遠程檢索同一幅圖像時大約需要7.8 s，圖像緩存到本地后，再次檢索只需2.1 s，而基于本地的圖像檢索平均需要2.3 s.

4結(jié)束語

本文通過HSV顏色特征及灰度共生矩陣的紋理特征算法實現(xiàn)了基于手持移動終端設(shè)備的圖像檢索系統(tǒng)，并采用查詢點移動相關(guān)反饋技術(shù)，對檢索結(jié)果進行了優(yōu)化，使得檢索結(jié)果更加符合用戶需求.用戶通過該系統(tǒng)可進行本地或遠程的圖像檢索，使基于內(nèi)容圖像檢索更加方便，同時解決了上位機體積大不便于攜帶與下位機存儲空間不足的問題.通過該系統(tǒng)還可以對遠程圖像信息進行增、刪、改、查管理，提升了其實用性.從實驗過程及結(jié)果可以看出，HSV顏色特征對空間復(fù)雜及維數(shù)較高的圖像容易造成誤檢，基于灰度共生矩陣的紋理特征算法對紋理復(fù)雜的圖像檢索性能較差，后續(xù)工作將重點研究和實現(xiàn)多模態(tài)下的圖像檢索.

[參考文獻]

[1]黃祥林，沈蘭蓀. 基于內(nèi)容的圖像檢索技術(shù)研究[J]. 電子學(xué)報，2002，30(7)：1065-1071.

[2]孫君頂，毋小省. 基于顏色分布特征的圖像檢索[J]. 光電子·激光，2006，17(8)：1009-1013.

[3]陳海霞，崔茜. 基于Gabor小波和PCA的人臉識別[J]. 東北師大學(xué)報(自然科學(xué)版). 2014，46(4)：77-90.

[4]李向陽，莊越挺，潘云鶴，等. 基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng)[J]. 計算機研究與發(fā)展，2001，8(3)：344-354.

[5]李丙春. 基于共生矩陣的圖像紋理特征提取及應(yīng)用[J]. 喀什師范學(xué)院學(xué)報， 2006，27(6)：35-37.

[6]姜蘭池，沈國強，張國煊. 基于HSV分塊顏色直方圖的圖像檢索算法[J]. 機電工程，2009，26(11)：54-57.

[7]宋嚴，趙永哲. 改進的HFEM公鑰密碼方案在數(shù)字簽名上的應(yīng)用設(shè)計[J]. 東北師大學(xué)報(自然科學(xué)版)，2014，46(3)：69-74.

[8]孟繁靜，王連明. 視頻人臉識別系統(tǒng)中的最佳人臉捕獲[J]. 東北師大學(xué)報(自然科學(xué)版)，2015，47(3)：90-95.

[9]黎琳，趙英. 基于內(nèi)容的圖像檢索反饋技術(shù)概述[J]. 圖書情報工作，2006，50(11)：95-98.

[10]RICARDO B， BERTHIER R. Modem information retrieval [J]. Addison Wesley Longman，1999， 47(7)：173-257.

[11]沈鏞. 軟件開發(fā)中SSH框架技術(shù)研究與應(yīng)用[J]. 福建電腦，2010，26(6)：82-83.

[12]張恒喜，史爭軍. 基于SQLite的Android數(shù)據(jù)庫編程[J]. 電腦編程技巧與維護，2011 (21)：30-31.

[13]孫語澤，遲嘉，胡亮. 一種基于DES加密算法的Adnroid平臺與服務(wù)器通信加密的實現(xiàn)[J]. 東北師大學(xué)報(自然科學(xué)版)，2015，47(3)：78-83.

[14]孟瓊. 基于Spring Java Bean的Web Service服務(wù)[J]. 計算機與現(xiàn)代化，2012 (1)：194-195，198.

(責(zé)任編輯：石紹慶)

Design of content-based image retrieval system on mobile terminal

LI Xin1， PU Dong-bing2， Lü Jian-xiong1

(1.School of Applied Technology， Changchun University of Technology， Changchun 130012， China;2.School of Computer Science and Information Technology， Northeast Normal University， Changchun 130117， China)

Abstract:This paper firstly researches on the technology of content-based image retrieval (CBIR). And then gives the Design and implementation of a portable CBIR system (CBIRS) on handheld mobile terminals. The CBIRS can successfully find similar images by their features including HSV (Hue， Saturation， and Value)， gray level co-occurrence matrix and relevance feedback technology. The whole system consists of an upper computer and several lower computers. Retrieval algorithms are processed on the upper computer. Users can interact with the lower computer and check the result of image retrieval. Experiments show the CBIRS runs stably. It can find those similar images fleetly and accurately. The work of this paper will push forward the technology of CBIR on mobile terminals.

Keywords:mobile terminal；content-based；HSV；gray level co-occurrence matrix；relevance feedback

[中圖分類號]TP 274+.2[學(xué)科代碼]490·10

[文獻標志碼]A

[作者簡介]李鑫(1977—)，女，講師，主要從事軟件工程研究；通訊作者：蒲東兵(1970—)，男，博士，副教授，主要從事智能控制與嵌入式系統(tǒng)、模式識別研究.

[基金項目]吉林省科技發(fā)展計劃項目(201105056)；吉林省發(fā)改委資助項目(JF2012C004，2014Y101)；吉林省教育廳“十二五”科學(xué)技術(shù)研究項目(2015102).

[收稿日期]2014-09-03

[文章編號]1000-1832(2016)01-0072-06

[DOI]10.16163/j.cnki.22-1123/n.2016.01.016