GIST結(jié)合圖像結(jié)構(gòu)細節(jié)特征的現(xiàn)勘圖像檢索算法

蘭 蓉，馬 威

(1.西安郵電大學 通信與信息工程學院，陜西 西安 710121； 2.電子信息現(xiàn)場勘驗應用技術(shù)公安部重點實驗室，陜西 西安 710121；3.陜西省無線通信與信息處理技術(shù)國際合作研究中心，陜西 西安 710121)

現(xiàn)場勘驗(現(xiàn)勘)圖像檢索是進行證據(jù)圖像比對以獲取證物信息的重要手段之一[1]?，F(xiàn)勘圖像源于真實的案發(fā)現(xiàn)場，圖像的局部紋理信息豐富并且不同類型圖像的邊緣信息各自具有不同特點[2]，如指紋類圖像的局部紋理基本呈橢圓形分布，輪胎類圖像的局部紋理呈邊塊形和線條形分布，鞋印類圖像多數(shù)呈邊塊形、交織形、點狀、圓形、波折形和線條形分布，窗口類圖像多呈邊塊形、線條形分布等，這給現(xiàn)勘圖像識別與檢索帶來了挑戰(zhàn)。

在針對現(xiàn)勘圖像的紋理特征提取算法中，文獻[3]利用灰度共生矩陣提取現(xiàn)勘圖像的紋理特征，其使用的灰度共生矩陣是描述圖像亮度變化的二階統(tǒng)計量，不僅反映了亮度的分布特性，也反映了具有同樣亮度或接近亮度的像素之間的位置分布特性[4]，這種方法與人類視覺模型脫節(jié)，并缺少圖像紋理結(jié)構(gòu)細節(jié)的描述，其應用于現(xiàn)勘圖像檢索時，檢索的準確率有待提高。文獻[5]利用雙樹復小波變換方法結(jié)合灰度共生矩陣提取現(xiàn)勘圖像的紋理特征，雙樹復小波變換雖然能彌補統(tǒng)計法與人類視覺模型脫節(jié)的不足，能夠更具體地從多方向分析圖像的紋理特征，但是，其仍未有效地刻畫圖像的結(jié)構(gòu)細節(jié)。文獻[6]利用改進雙樹復小波結(jié)合灰度-梯度共生矩陣提取圖像的紋理特征，該算法對圖像進行非均勻分塊，使得當圖像紋理分布不明顯、不均勻以及圖像包含大塊的平滑區(qū)域時，不能有效地反映圖像的紋理信息，進而影響算法的檢索準確率。文獻[7]使用旋轉(zhuǎn)不變局部二值模式(rotation invariant local binary patterns,RILBP)方法提取現(xiàn)勘圖像的紋理特征，該方法利用局部二值模式(local binary patterns,LBP)編碼后的特征圖會出現(xiàn)邊緣細節(jié)損失的情況，并且該算法也未有效地刻畫圖像的整體結(jié)構(gòu)，導致其應用于現(xiàn)勘圖像檢索時檢索精度仍然有待提高。

針對上述算法對現(xiàn)勘圖像紋理結(jié)構(gòu)細節(jié)描述不足的問題，擬提出一種通用搜索樹(generalized search trees,GIST)結(jié)合圖像結(jié)構(gòu)細節(jié)特征的現(xiàn)勘圖像紋理特征提取算法。首先，對圖像進行均勻分塊，利用多級區(qū)域局部二值模式(multi-block local binary patterns,MB-LBP)[8]提取圖像的紋理結(jié)構(gòu)細節(jié)，考慮到局部二值模式對圖像進行特征編碼時會出現(xiàn)圖像邊緣細節(jié)損失，采用梯度計算方法對圖像的邊緣細節(jié)進行補充描述；其次，利用GIST描述子提取圖像的場景分布特征；最后，將圖像的紋理結(jié)構(gòu)細節(jié)特征與場景分布特征相結(jié)合，并根據(jù)圖像的紋理結(jié)構(gòu)復雜度對刻畫的圖像特征進行優(yōu)選，以期算法應用于現(xiàn)勘圖像檢索時能夠取得較好的檢索結(jié)果。

1 基于MB-LBP的圖像細節(jié)特征描述

基于MB-LBP的圖像細節(jié)特征描述，主要包括圖像分區(qū)、使用MB-LBP算子提取圖像特征信息以及對圖像的邊緣細節(jié)信息的處理。

1.1 MB-LBP

在提取圖像的MB-LBP特征時，為了包含圖像紋理結(jié)構(gòu)，提出一種基于9×9矩形區(qū)域劃分的MB-LBP特征提取方法，圖像結(jié)構(gòu)區(qū)域劃分示意圖如圖1所示。通過這樣的區(qū)域劃分，然后分別提取每個區(qū)域的MB-LBP特征，能夠有效地刻畫圖像紋理結(jié)構(gòu)特征。

圖1 圖像結(jié)構(gòu)區(qū)域劃分示意

圖2 示例圖像處理效果圖

1.2 圖像的邊緣細節(jié)特征

圖像的梯度[13]是對在一個特定方向上不同像素之間差異的描述，其平均梯度則能反映圖像的細節(jié)反差和紋理變化。假設(shè)用f(x,y)表示一幅圖像，則圖像在點(x,y)處的梯度(即一階微分)可以表示為

其中，Gx與Gy分別表示沿圖像x方向和y方向的梯度，則f(x,y)的幅度可以表示為

其方向角度可以表示為

θ(

現(xiàn)勘圖像的紋理邊緣復雜而特殊，該類圖像的邊緣區(qū)域往往具有較豐富的梯度信息。構(gòu)造圖像9個區(qū)域像素簡化模型示意圖如圖3所示。分別使用黑色圓點和白色圓點表示圖像9個區(qū)域的像素，其中，白色圓點表示圖像中心區(qū)域的像素，黑色圓點表示圖像邊緣區(qū)域的像素，分別求出黑色圓點區(qū)域以x方向、y方向的平均梯度及其均值，然后按圖1中區(qū)域1-區(qū)域9順序級聯(lián)，以此作為圖像的邊緣細節(jié)信息。

圖3 圖像9區(qū)域像素簡化模型

2 GIST特征的提取

采用全局GIST描述子[14-15]來量化圖像的場景分布特征，以此來刻畫圖像的場景分布內(nèi)容。GIST描述子常用一系列統(tǒng)計屬性來描述圖像，如粗糙度、自然度，開放度、膨脹度和險峻度等，多用于場景分類。

假設(shè)一幅灰度圖像f(x,y)的大小為h×w。使用卷積尺度為m，方向數(shù)為n的濾波器組，組成nc個通道的濾波器對圖像進行卷積濾波，將濾波后的圖像劃分為4×4規(guī)格的小塊，對每個小塊的灰度取平均得到一個特征，將特征級聯(lián)可得圖像的GIST特征，即

(1)

3 利用特征優(yōu)選的圖像檢索

提取基于MB-LBP的圖像結(jié)構(gòu)細節(jié)特征，然后與GIST特征結(jié)合，并通過對圖像的檢索特征進行優(yōu)選的方式進一步提高現(xiàn)勘圖像檢索算法的檢索精度。

3.1 特征歸一化

將圖像的結(jié)構(gòu)細節(jié)特征和GIST特征簡單地聯(lián)合在一起，會因為使用多特征提取算法帶來多個特征之間量綱級別不同的問題。為此，需要對提取的兩個部分的圖像特征進行線性歸一化處理[16]，將原始數(shù)據(jù)轉(zhuǎn)換為界于某一特定范圍的數(shù)據(jù)，消除量綱和數(shù)量級的影響。設(shè)一幅圖像可提取出L個特征值，歸一化操作有以下3個步驟。

首先，將提取的圖像特征組成矩陣形式。假設(shè)提取的數(shù)據(jù)特征形成的矩陣為

其中：N表示數(shù)據(jù)庫中圖像的總數(shù)；L表示提取的每幅圖像特征的維數(shù)。

其次，選取特征矩陣每列的最大值，記為矩陣FG=(fG1,fG2,…,fGL)；選取特征矩陣每列最小值記為矩陣FM=(fM1,fM2,…,fML)。

最后，進行特征歸一化，組成歸一化矩陣。歸一化矩陣的計算公式為

其中：fij為圖像特征矩陣F中的元素，i=1,2,…,N，j=1,2,…,L；fMj和fGj分別為矩陣FM和FG中的元素。

3.2 特征優(yōu)選

為進一步提高檢索算法的檢索精度，提出一種可以根據(jù)圖像的紋理結(jié)構(gòu)復雜度對待表達圖像特征進行優(yōu)選的紋理特征提取算法，基于特征優(yōu)選的圖像檢索算法原理示意圖如圖4所示。

圖4 基于特征優(yōu)選的圖像檢索原理

1)提取數(shù)據(jù)庫圖像紋理特征，并建立圖像紋理特征庫。

對圖像進行檢索時，按照如下步驟提取數(shù)據(jù)庫圖像紋理特征，并建立圖像的紋理特征庫1和特征庫2。

步驟1將所有圖像轉(zhuǎn)換為灰度圖像，然后對圖像進行均勻分塊，將圖像統(tǒng)一規(guī)范成大小為255×255的規(guī)格，使得行、列均能被3整除。

步驟2根據(jù)本文第一部分的原理，忽略邊緣區(qū)域的梯度特征，提取圖像的結(jié)構(gòu)細節(jié)信息，提取單幅圖像特征維數(shù)為531維，建立紋理特征庫1。

步驟3根據(jù)本文第一部分的原理，提取圖像的結(jié)構(gòu)細節(jié)特征，根據(jù)式(1)提取原灰度圖像的GIST特征，并進行級聯(lián)操作。

步驟4對級聯(lián)特征進行線性歸一化操作，完成聯(lián)合特征的提取。提取單幅圖像的特征維數(shù)為1 067維，建立圖像的紋理特征庫2。

2)優(yōu)選待查詢圖像特征。

按照如下步驟對待查詢圖像的特征進行優(yōu)選，用于現(xiàn)勘圖像檢索。

步驟1計算圖像各個區(qū)域所有方向梯度值的均值，然后求出這9個均值的方差，記為圖像的結(jié)構(gòu)復雜度α。

步驟2根據(jù)圖像庫自身的特點設(shè)定復雜度閾值k。

步驟3若α≤k，則提取圖像的紋理結(jié)構(gòu)細節(jié)信息作為圖像的檢索特征，然后進入步驟4檢索待查詢圖像；若α>k，則說明圖像紋理結(jié)構(gòu)分布復雜，并含有豐富的場景特征，則提取圖像的聯(lián)合特征作為圖像的檢索特征，然后進入步驟4檢索待查詢圖像。

步驟4使用街區(qū)距離度量待查詢圖像與數(shù)據(jù)庫圖像紋理特征的相似性[17]，返回與查詢圖像相關(guān)的圖像。

設(shè)Vdata、Vquery分別表示數(shù)據(jù)庫圖像和待查詢圖像，按照所提算法提取數(shù)據(jù)庫圖像和待查詢圖像的紋理特征向量可以分別表示為

Vdata=(d1,d2,…,di,…dL)，Vquery=(q1,q2,…,qi,…qL)

其中：di表示提取數(shù)據(jù)庫圖像特征的第i個分量；qi表示提取查詢圖像特征的第i個分量；L為特征向量的維數(shù)。

則街區(qū)距離D(Vdata,Vquery)的計算表達式為

距離D(Vdata,Vquery)的值越小，表明兩幅圖像越相似。

4 實驗結(jié)果及分析

實驗所用計算機的處理器為Intel(R) Core(TM) i5-3230M，內(nèi)存4 GB，使用的操作系統(tǒng)是 Windows10 Professional 64位版本，程序仿真環(huán)境為Matlab 2018a-64位。實驗所用的測試數(shù)據(jù)庫為現(xiàn)勘圖庫和Outex_TC_00010-r紋理數(shù)據(jù)庫。其中，現(xiàn)勘圖庫的所有圖像均來自真實案發(fā)現(xiàn)場。由于保密要求，實驗所使用的圖像與原始圖像相比略有改動[5]。實驗使用的現(xiàn)堪圖像共包括輪胎、汽車、現(xiàn)場、鞋印、指紋、窗口、槍和刀具8類，每類共有50幅圖像，現(xiàn)勘圖庫中部分示例圖像如圖5所示。

圖5 現(xiàn)勘圖庫中部分示例圖像

紋理數(shù)據(jù)庫Outex_TC_00010-r是Outex數(shù)據(jù)庫中紋理分類算法常用的測試庫之一，可以用于評估算法對紋理圖像旋轉(zhuǎn)不變性的有效性。該圖庫有24類紋理圖像，每類共有180種，分別包括0°、5°、10°、15°、30°、45°、60°、75°和90°等9個不同旋轉(zhuǎn)角度的圖像[18]。將該圖庫用于算法的測試圖庫，以整個圖庫的平均檢索準確率評估所提算法對紋理圖像旋轉(zhuǎn)不變性的有效性。

以準確率和檢索率[19]作為評價算法性能的指標。設(shè)經(jīng)過檢索返回的Nreturn幅圖像中有Na幅圖像是相關(guān)的，圖庫中與待檢索圖像相關(guān)的圖像共有Ndata幅，則準確率P與檢索率R的計算表達式分別為

使用準確率-檢索率(P-R)曲線及檢索準確率曲線來檢驗算法的性能。

圖6 現(xiàn)勘庫中不同k值對應的檢索準確率

圖7 Outex_TC_00010-r庫中不同k值對應的檢索準確率

從圖6可以看出，刑偵現(xiàn)勘圖像庫中不同k值對應的檢索準確率不同。當k=0時，提取的僅為圖像的聯(lián)合特征，未進行特征優(yōu)選，此時檢索準確率為85.48%；當k=4時，檢索準確率達到了86.13%，提高了0.65%。

從圖7可以看出Outex_TC_00010-r數(shù)據(jù)庫中閾值k對檢索準確率的影響。當k=0時，提取的僅為聯(lián)合特征，此時檢索準確率達到了95.67%，但是當k=1時，檢索準確率達到了97.03%，相比較提高了1.36%。

由此可見，算法復雜度閾值k對表達圖像的特征并進行優(yōu)選有一定的影響。根據(jù)實驗結(jié)果，在刑偵圖像庫中取k=4，在Outex_TC_00010-r數(shù)據(jù)庫中取k=1時，算法的準確率最高，此時對于相關(guān)數(shù)據(jù)庫圖像紋理的分辨性能最佳。

為了驗證算法的旋轉(zhuǎn)不變性，使用Outex_TC_00010-r數(shù)據(jù)庫進行實驗。由于Outex_TC_00010-r數(shù)據(jù)庫圖像的種類和數(shù)量較多，選擇返回前20和前30幅圖像的平均檢索準確率作為有效數(shù)據(jù)進行測量。GIST算法[15]、MB-LBP算法[8]和所提算法在Outex_TC_00010-r數(shù)據(jù)庫的平均檢索準確率結(jié)果如表1所示。可以看出，本文算法返回前20和前30幅圖像的平均檢索準確率，相比GIST算法分別提高了4.23%和8.85%，相比MB-LBP算法分別提高了1.36%和0.59%。可見，所提算法的旋轉(zhuǎn)不變性較高。

表1 3種算法Outex_TC_00010-r圖庫的檢索準確率

為檢驗算法對圖像紋理特征的刻畫性能，特將基于MB-LBP特征、GIST特征、紋理結(jié)構(gòu)細節(jié)特征1(所提的紋理結(jié)構(gòu)細節(jié)特征提取方法，記為9MBLBP-8G)、紋理結(jié)構(gòu)細節(jié)特征2(所提的紋理結(jié)構(gòu)細節(jié)信息提取方法，但不級聯(lián)邊緣區(qū)域的梯度信息，記為9MBLBP)、GIST結(jié)合MB-LBP特征(記為GIST-MB LBP)和所提算法檢索現(xiàn)勘圖像庫，并對得到的圖像檢索結(jié)果進行對比分析，6種不同算法的P-R曲線如圖8所示。

圖8 6種算法的P-R曲線

從圖8可以看出，相比于其他5種算法，所提算法的檢索性能較好，說明所提算法對現(xiàn)勘圖像紋理特征的刻畫能力更強。另外，對比圖8中的MB-LBP和9MBLBP算法的P-R曲線可以看出，對圖像進行分塊，然后提取每個塊的MB-LBP特征并級聯(lián)的做法行之有效，使得提取的特征具備圖像的結(jié)構(gòu)信息，增強了MB-LBP描述子對圖像紋理特征的描述性能，從而提高了檢索率和檢索的準確率。對比圖8中的9MBLBP與9MBLBP-8G算法的P-R曲線可以看出，提取圖像邊緣區(qū)域梯度信息彌補MB-LBP描述子提取圖像紋理特征造成邊緣信息損失的做法是有效的，能夠提高圖像檢索的準確率和檢索率。從圖8中的基于MB-LBP特征、GIST特征和GIST-MBLBP特征檢索算法的P-R曲線可以看出，單獨使用MB-LBP特征和GIST特征算法提取圖像紋理特征對現(xiàn)勘圖像的檢索能力要弱于聯(lián)合使用兩個特征的GIST-MBLBP算法。

所提算法與基于灰度共生矩陣結(jié)合顏色特征(gray-level co-occurrence matrix and HSV,GLCM-HSV)[3]、灰度共生矩陣與雙樹復小波變換結(jié)合形狀特征(dual-tree complex wavelet transform and gray-level co-occurrence matrix and Hu,DT-GLCM-Hu)[5]和改進雙數(shù)復小波結(jié)合灰度-梯度共生矩陣特征(dual-tree complex wavelet transform and gray-gradient co-occurrence matrix,DTCW-GGCM)[6]對現(xiàn)勘圖庫的圖像進行檢索，4種算法的P-R曲線如圖9所示。從圖9可以看出，所提算法的檢索率與準確率高于GLCM-HSV、DT-GLCM-Hu和DTCW-GGCM算法。這是因為，現(xiàn)勘圖像本身存在較為明顯的紋理特征，所提算法能夠分析并挖掘現(xiàn)勘圖像的紋理特征，能夠在一定程度上實現(xiàn)對現(xiàn)勘圖像內(nèi)容的有效描述，從而對現(xiàn)勘圖像檢索的性能較好。

圖9 4種算法的P-R曲線

進一步比較所提算法和旋轉(zhuǎn)不變局部二值模式結(jié)合新空間關(guān)系下的顏色特征(rotation invariant local binary patterns combining with color under new space relationship,RILBP-CNSR)算法[7]對現(xiàn)勘圖庫的圖像進行檢索時，提取單幅圖像特征的維度數(shù)以及返回前10幅圖像的F1測度值。其中，維度指提取單幅圖像的特征維度，F(xiàn)1測度值指返回前10幅圖像的檢索率與查準率的綜合結(jié)果值，F(xiàn)1測度值越高，說明方法的檢索性能越好[20]。RILBP-CNSR與所提算法的維度及F1測度值對比如表2所示。

表2 RILBP-CNSR與本文算法的維度及F1測度值

可以看出，相較于RILBP-CNSR算法，一方面，所提算法的F1測度值大于RILBP-CNSR算法，說明所提算法能夠更加有效地描述圖像的紋理分布情況，檢索性能較優(yōu)。另一方面，RILBP-CNSR算法提取單幅圖像的底層特征維度為2 075維，而所提算法的特征維度為1 067維，所提算法僅涉及現(xiàn)勘圖像的紋理特征，提取方法簡單，檢索效率較高。

5 結(jié)語

考慮到現(xiàn)勘圖像紋理結(jié)構(gòu)細節(jié)豐富，提出一種可以根據(jù)圖像結(jié)構(gòu)復雜度對表達圖像的特征進行優(yōu)選的紋理特征提取算法。該算法首先通過對圖像進行均勻分塊，利用多級區(qū)域局部二值模式和圖像梯度對圖像的紋理結(jié)構(gòu)細節(jié)特征進行刻畫;然后，將圖像的結(jié)構(gòu)細節(jié)特征與圖像的場景分布特征相結(jié)合，使得提取的現(xiàn)堪圖像紋理特征具備圖像的結(jié)構(gòu)細節(jié)信息；最后，為了進一步提高算法對圖像紋理特征的刻畫能力，利用圖像的結(jié)構(gòu)復雜度對表達圖像的特征進行優(yōu)選，使得算法的紋理分辨性能進一步提高。實驗結(jié)果表明，所提算法的紋理圖像旋轉(zhuǎn)不變性較好，現(xiàn)堪圖像檢索效果較好。