張子恒
(湖北工業(yè)大學,湖北 武漢 430068)
圖像理解以及圖像識別研究的不斷深入,使得各領(lǐng)域能夠充分利用圖像語義信息進行目標信息的檢索。因此,探尋高效快捷的圖像檢索方法成為急需解決的問題。低照度圖像[1]具有光亮強度小和圖片質(zhì)量低的缺點,會出現(xiàn)檢索特征不明顯等因素,導致相似度檢索的正確率降低。因此,很多相關(guān)領(lǐng)域研究者已在這方面開展。
在低照度圖像特征相似度檢索的過程中,受不同外在因素的影響,很大程度上會降低圖像品質(zhì)。最常使用的是文本圖像檢索技術(shù),其主要在數(shù)據(jù)庫領(lǐng)域進行檢索研究,例如建立數(shù)據(jù)模型、多維度領(lǐng)域探索、查詢評價指標等。但是,該方法所需完成的前期準備量較大,且在相似度檢索中存在主觀性和不確定性,檢索結(jié)果會存在一定誤差。
針對上述問題,柯勝才[2]等人提出基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督核哈希的圖像檢索方法。首先,利用所提方法挖掘被檢索圖像內(nèi)容間的隱藏關(guān)系,通過提取到的圖像特征,用于增強視覺表達能力和區(qū)分能力;然后,將圖像深層高維特征映射到低維空間中,最終完成對圖像的有效檢索。實驗結(jié)果表明,該方法可效增強圖像特征表達能力,提高檢索效率。王春靜[3]等人為了提高基于內(nèi)容的圖像檢索(CBIR)性能,提出基于圖像k近鄰的相似度測量檢索方法。通過計算查詢圖像與檢索圖像的相似度,衡量同一語義的聯(lián)合概率,隨之分析檢索圖像間的圖像距離得到概率數(shù)值,并與其它方法進行對比實驗,結(jié)果表明,所提方法可有效提高檢索性能。
雖然上述方法在圖像檢索方面取得了一定的進展,但仍在存在特征提取單一、檢索結(jié)果有誤差、效率低等缺點。本文通過五叉樹分解下低照度圖像特征相似檢索,充分利用五叉樹分解技術(shù)完成圖像顏色特征相似度計算,實現(xiàn)低照度圖像檢索。實驗結(jié)果證明,對于分析圖像語義信息及提高檢索效率,該方法可行性強。
低照度圖像分解[4]是指將一幅度低照度圖像拆分成若干塊小圖像,從而進行管理的活動。因分解方式不同,導致獲取到的子塊具有一定差異性。
五叉樹分解則是將低照度圖像分解成為5個層次,各層次中的子圖大小相等。通常,圖像主體定為0層。將圖像以從上至下、從左至右的順序,按照二分之一邊長,平均劃分四份,順時針方向編碼為1、2、3、4,以圖像中心為起點,擴展二分之一邊長至周圍,編碼為5,為第1層次的5個子塊。在第2個層次中,依據(jù)第1層分解方法將得到的1—4個子圖進行迭代分解,由于編碼為5的子圖與其它相同,所以不對其分解,共得到20個子塊。重復上述方法,逐層進行分解。選取五叉樹分解低照度圖像,可有效避免資源浪費,節(jié)約成本。
結(jié)合上述五叉樹分解理論,對子塊圖像進行檢索,子圖重疊概率[5]越高,則檢索精度越高。
以尺寸2L×2L的低照度圖像為例,可用S表示,分解后成為4個子塊,如圖1所示,S至原圖像的橫向距離為x(x 圖1 圖像重疊率 PS=(L-x)(L-y)/(L×L)×100% (1) 如圖2所示,為五叉樹分解原理圖,分解圖像直至子塊大小均為m×m則結(jié)束分解。其中,m的數(shù)值一般定為4、8、16、32等,依此類推。若m數(shù)值偏小,會降低檢索精度,對于低照度圖像,圖像質(zhì)量低,m數(shù)值大則會造成混合物多,經(jīng)多次研究實驗,m的合理數(shù)值定為16。 圖2 五叉樹分解原理 通過五叉樹分解得到16×16子圖,作為特征提取最小單元,用于構(gòu)建檢索圖像顏色特征直方圖,以及相似度的計算基礎(chǔ)。 五叉樹分解法具有操作便捷、檢索效率高的優(yōu)勢,且面積重疊率高,分解過程一目了然,后續(xù)的檢索計算更為便捷。 針對低照度圖像[6],最為明顯的特征是顏色及紋理,其中,圖像顏色特征主要概括為:顏色直方圖和主要色彩特征。為了更加直觀簡潔的表明五叉樹分解下低照度圖像特征提取,構(gòu)建如下圖3所示特征提取流程圖。 圖3 特征提取流程 根據(jù)圖3流程,低照度圖像特征提取步驟如下所示: 第一步,信息分解。設(shè)置M為檢索圖像的樣本個數(shù),對其中分解的子圖像Ai(1≤i≤M)開始進行信息分解,得到三個灰度圖像,用ARi(1≤i≤M),AGi(1≤i≤M),ABi(1≤i≤M)表示。 第二步,特征預設(shè)提取。首先將低照度圖像Ai中的R個分量ARi,視為一個圖像矩陣,可得 (2) 其中,最大特征數(shù)值對應(yīng)的特征向量為UR1,UR2,…,URt,則 UR=[UR1,UR2,…,URt] (3) 得到的結(jié)果為ARi的左側(cè)矩陣,因此,求 (4) 最大特征數(shù)值相對的向量為[VR1,VR2,…VRt],則 VR=[VR1,VR2,…VRt] (5) 所得結(jié)果為ARi的右側(cè)矩陣,將AGi與ABi視為二維矩陣,在得到左側(cè)矩陣和右側(cè)矩陣:UR、UG、VG、VR后,可得到特征矩陣FRi(1≤i≤M),F(xiàn)Gi(1≤i≤M)以及FBi(1≤i≤M),可列為 (6) (7) (8) 第三步,重構(gòu)二維矩陣[7]。將低照度圖像特征構(gòu)建三個矩陣,分別為FRi,F(xiàn)Gi,F(xiàn)Bi,由此構(gòu)建二維矩陣 (9) 上述公式中,vec(*)代表重構(gòu)矩陣的向量化,構(gòu)成列的長度為m×n。 第四步,特征提取。將Pi視為低照度圖像的二維矩陣,在求得左側(cè)和右側(cè)矩陣后,最終求得特征矩陣,如下 Yi=UTPiV (10) 因此,當使用五叉樹分解對圖像大尺度構(gòu)造特征提取時,可驅(qū)除噪聲[8]對構(gòu)造特征的影響。然而低照度圖像中該方法不能對小尺度構(gòu)造特征進行劃分,這時要選擇一個合適的小函數(shù)只對細節(jié)范圍實行小范圍分解,經(jīng)過對小函數(shù)的剖析,能夠精確定位細節(jié)特征。 選用五叉樹分解提取圖像特征,在提取較少特征情況下,也能保證不影響后續(xù)檢索效果,可大幅度減少耗時并降低計算復雜程度。 顏色特征在低照度圖像中噪聲大、尺寸多,相較于其它種類特征較為明顯。因此,本文通過計算顏色相似度[9]來實現(xiàn)圖像檢索。 在圖像特征提取結(jié)束后,依據(jù)視覺對圖像信息的感知,得到如下概括: 第一,一幅低照度圖像被少許色彩[10]概括,人們僅重視肉眼所見的主要顏色。 第二,顏色比重占據(jù)大的色彩,有較大的圖像意義,被稱為“主色”。 第三,圖像相似部分:色彩相似、圖案相似、所占比重相似。 當待檢索圖像特征提取完成后,可得到如下圖4所示結(jié)果,根據(jù)不同顏色特征比例依次遞減排列,得到顏色相似度。 圖4 顏色相似度排列 通過圖4所示,首先,針對圖像特征相似度使用歸一化[11]方式進行處理,其中包括極值、標準差、高斯等歸一化。使用五叉樹分解的基礎(chǔ)上,將極值歸一化的個特征數(shù)值反映到[0,1]中,如下所示 (11) 式(11)中,Vnew表示歸一化后的向量數(shù)值,Vold表示原始數(shù)值,min(v)表示某種圖像特征在數(shù)據(jù)信息中的最小值,其中的最大值用max(v)代表。 由此可得,圖像的特征相似度的加權(quán)和為 S(Q,I)=Wtexture+WcolorScolo (12) Wtexture表示圖像紋理特征相似度部分,Wcolor表示顏色特征相似度部分,Stexture及Scolor表示相似程度大小。特征相似度計算方法繁多,常用方法如中心距、x2距離統(tǒng)計等,但檢索結(jié)果有一定誤差。采用五叉樹分解下圖像特征想地府檢索,選取分解得到的最小子圖為基礎(chǔ),構(gòu)建低照度圖像和數(shù)據(jù)信息中與低照度圖像尺寸相對應(yīng)的特征圖。在檢索中,將大小相似的數(shù)據(jù)信息中的子圖與低照度圖像進行對比。 式(13)中,P(Q,I)代表特征相似程度,L表示特征向量數(shù)值,在使用歸極化方法后,特征數(shù)值都歸入到[0,1]中。 構(gòu)建頻數(shù)直方圖,如下 (13) 因此可將此定為級數(shù)指標。可自定義此級數(shù),為了提高檢索效率[12]以及精確度,將分級數(shù)值定為20,從而計算紋理信息及色彩特征,進行累計,可得到兩種特征相似度大小,在進行求和,最終得出低照度圖像特征相似度數(shù)值完成檢測。 為了判定所提檢索方法的有效性,選擇查全率和查準率兩種方式,以此為基礎(chǔ)進行繪制數(shù)據(jù)曲線作為評價指標。查準率代表圖像檢索結(jié)果中的相似比例,判斷目標的準確程度。查全率表示檢索出的圖像特征相似度與總數(shù)的比值,指確定目標的能力。在圖像檢索中,查準率和查全率不會同時得到最大數(shù)值,查全率越高的情況下,查準率則越低,因此需盡量優(yōu)化這兩個數(shù)值。 對于檢索得到的結(jié)果,以相似程度由大至小的順序進行排列。在檢索時間上,五叉樹分解得到的子圖可提前進行特征相似度提取,僅比其它圖像檢索方式多了歐式距離,不會浪費太多時間。 低照度圖像檢索的結(jié)果很大程度上取決于圖像特征的提取與相似度計算方法。在使用五叉樹分解提取顏色特征后,可使提取到的圖像特征相似度更符合人類視覺感知。對于檢索結(jié)果,可得知該方法是否可被應(yīng)用于更加先進的圖像檢索中。 為了驗證五叉樹分解下低照度圖像特征相似度檢索的精準度,參照不同方法進行比較實驗,將顏色特征相似度作為檢索衡量參數(shù),如圖5所示,將檢索率設(shè)為0.1時,用于觀測不同顏色數(shù)量下的精準度。 圖5 不同顏色數(shù)量下精準度 由圖5可知,當提取色彩的數(shù)量從3提升至8的時候,效果有了比較明顯的提升。然而,當?shù)玫降念伾珨?shù)量超出20的時候,效果不升反降。是由于所攝取的多余顏色對于五叉樹分解下,在相似度的檢索中,所起到的作用反而與非常細節(jié)的顏色更加相近,因此,產(chǎn)生出更多的噪聲性質(zhì)使效果下降,所以在經(jīng)過測試,本文選擇攝取顏色的數(shù)量為15,指低照度圖像特征相似度不必提取過多的顏色。 將五叉樹分解下圖像檢索與其CHIC方法進行比較,選擇相同數(shù)量顏色提取的比較結(jié)果如圖6所示。 圖6 相同數(shù)量下實驗結(jié)果 通過圖6可知,在檢索率較低時,五叉樹分解下檢索方法優(yōu)于其它方法,是因為五叉樹分解下將圖像中顏色的不同獻率考慮其中,計算差異小,因此結(jié)果更加全面。得到的檢索結(jié)果精確度更高。 由圖7可看出,五叉樹分解檢索在精準度上有了明顯的提升,通過提取低照度圖像顏色特征相似度,在檢索中效果更加顯著,魯棒性強,這也體現(xiàn)出五叉樹分解下顏色特征相似度檢索尤為重要。 圖7 檢索率及精準度曲線 對比其它方法的ANMRR數(shù)值如表1所示: 表1 對比ANMRR數(shù)值 ANMRR數(shù)值代表檢索方法的好壞, 數(shù)值越小證明檢索效果越好。從表1中可看出,五叉樹分解檢索。實現(xiàn)最佳效果,其一,提高了檢索的精確性;其二,將分解的子圖像返至較前位置,與檢索要求一致。 通過上述仿真結(jié)果可看出,所提五叉樹分解下低照度圖像特征相似度檢索可行性更強,得到的檢索率更佳。除此之外,五叉樹分解下圖像特征相似度的提取,相較其它方法,更有效地降低計算復雜難度及所需時間。在理解圖像表達的語義信息同時,在視覺特征相近基礎(chǔ)上實現(xiàn)低照度圖像檢索,檢索方法的智能化程度和檢索精度有了明顯提高。 本文針對五叉樹分解下低照度圖像特征相似度檢索進行仿真研究,通過實驗結(jié)果表明,所提方法與其它方法對相同圖像檢索結(jié)果進行對比時,所提方法獲得到的檢索結(jié)果最佳,不僅在檢測精度上有所提高,同時具備了良好的評定指標,提高了檢索結(jié)果的智能化程度與精準度,在低照度圖像檢索中可被廣泛應(yīng)用。3 圖像特征提取
4 圖像特征相似度檢索
5 檢索結(jié)果評價指標
6 實驗分析
7 結(jié)論