基于LBP的加權(quán)分布紋理熵的圖像檢索算法

朱慧敏

(廣東工業(yè)大學(xué) 信息工程學(xué)院 ，廣東 廣州 510006)

基于LBP的加權(quán)分布紋理熵的圖像檢索算法

朱慧敏

(廣東工業(yè)大學(xué) 信息工程學(xué)院 ，廣東 廣州 510006)

通過對目前存在的一些基于紋理的圖像檢索算法的分析，指出了它們存在的不足，提出一種基于LBP的加權(quán)分布紋理熵的圖像檢索算法。首先，該算法依據(jù)圖像關(guān)鍵興趣區(qū)域分布特點將圖像分成不均勻的9塊子圖，接著單獨對各個子圖塊根據(jù)Uniform Pattern LBP計算個子圖塊的紋理特征，并結(jié)合信息論統(tǒng)計各個子圖的紋理熵，然后把9塊子圖的紋理熵合并作為整個圖像的紋理特征向量，最后依據(jù)特征向量元素對應(yīng)各個興趣區(qū)域的重要性加權(quán)進行圖像檢索。該算法相對傳統(tǒng)LBP算法，保留圖像空間信息，且區(qū)域偏重權(quán)系數(shù)能弱化不相關(guān)信息，同時9維度的特征向量能加快圖像的檢索效率。實驗結(jié)果表明，該算法能獲得較好的檢索性能。

圖像檢索；LBP；不均勻分布；紋理熵；均勻模式

0 引言

隨著計算機的普遍應(yīng)用和移動互聯(lián)網(wǎng)的高速發(fā)展，在數(shù)以億萬計的海量數(shù)據(jù)中快速、準(zhǔn)確地檢索到所需的圖像已是越來越迫切的任務(wù)。早期基于文本的圖像檢索算法(Text-Based Image Retrieval, TBIR)[1]只適合小量的數(shù)據(jù)庫，有其明顯的缺點。而目前基于內(nèi)容的圖像檢索算法(Content Based Image Retrieval, CBIR)[2-3]已成為海量圖像檢索中一個重要而且有效的方法，在圖像信息處理研究領(lǐng)域成為研究的熱點。紋理在圖像檢索中是一個重要的圖像特征，相比于形狀和顏色特征，紋理表述的圖像特征包含更多的信息量[4-6]。因此通過紋理獲取圖像特征對圖像進行有效的圖像表述是一個值得研究的課題。

紋理是基本視覺特征之一，基于紋理的分析方法大體可分為三大類：基于統(tǒng)計、基于結(jié)構(gòu)和基于模型。MANJUNATH B S等人使用Gabor小波變換提取紋理特征進行圖像檢索并獲得很好的性能[7]，然而GLUCKMAN J研究了多種圖像變換的頻域特性[8]，其中包括Gabor變換，發(fā)現(xiàn)可以根據(jù)圖像變換的頻域特性構(gòu)造出完全相同的統(tǒng)計特征，但在視覺感觀上是完全不同的兩個圖像，GLUCKMAN J的研究說明了這類紋理描述子的缺憾性。Maenpaa等為使LBP紋理具有旋轉(zhuǎn)不變性，對LBP進行了改進。其思想是將傳統(tǒng)的LBP編碼的高位起始位按同一個方向循環(huán)旋轉(zhuǎn)一周，每旋轉(zhuǎn)一次得到一個LBP的二進制編碼，當(dāng)整個循環(huán)完成，取這些LBP值中最小的一個作為當(dāng)前鄰域的LBP值，但這種做法丟棄了部分紋理模式。HEIKKILA M等人[9]提出的CS-LBP通過比較以中心像素為中心對稱的4對領(lǐng)域像素的灰度值來定義圖像的局部紋理模式，然而其不能完全描述圖像灰度過度區(qū)域以及有對圖像鄰域內(nèi)信息反映較弱的缺點。Liao Shu等人[10]提出的主要局部二值模式( Dominant LBP，DLBP) 算法將LBP 特征直方圖降序排列，并選取主要模式作為LBP特征。DLBP認為主要模式占所有模式的80%能有效表述圖像的紋理，而其依然存在類似CS-LBP的問題。

受這些思想的啟發(fā)，本文提出一種基于圖像局部二值模式( Local Binary Patterns, LBP)的加權(quán)分布紋理熵的圖像檢索算法。先將圖像不均勻分割成9個子區(qū)域，然后基于LBP計算每個子區(qū)域的均勻模式，并統(tǒng)計均勻模式的直方圖，然后歸一化，接著依據(jù)信息論的熵定義在歸一化后的均勻模式直方圖計算每個子區(qū)域的紋理熵，最后按每個子區(qū)域不同興趣程度加權(quán)計算圖像的相似度。實驗證明，該算法具有很好的性能，且因是9個維度的向量，其檢索效率也大大提高。

1 圖像的紋理特征

1.1 局部二值模式LBP

局部二值模式(Local Binary Pattern, LBP)是通過計算圖像當(dāng)前像素點和其鄰域內(nèi)各個像素點之間的灰度值差異來描述圖像的局部紋理特征[11-12]。使用線性插值在不同尺度下描述圖像的LBP紋理特征，(P,R)數(shù)值對表示以當(dāng)前像素M(x,y)為中心、半徑為R的圓環(huán)鄰域內(nèi)均勻間隔分布的P個像素點。這P個像素點構(gòu)成了一個以R為半徑的中心對稱環(huán)形的局部結(jié)構(gòu)，也稱為P鄰域，如圖1所示。

圖1 不同鄰域的LBP算子

圖1所示是兩個LBP算子，圖1(a)是(8,1)鄰域的算子，其以當(dāng)前像素為中心，半徑為1個單位的圓環(huán)中均勻分布上采樣8個像素點作為LBP算子。圖1(b)是(16,2)鄰域的LBP算子，其原理類似(8,1)的LBP算子。圖中圓環(huán)上的點對應(yīng)的坐標(biāo)為：

(1)

當(dāng)圓環(huán)上的像素點不是落在整數(shù)坐標(biāo)時，對該像素點進行線性插值。根據(jù)LBP的定義，中心像素點M(x,y)的LBP值可由公式(2)計算：

(2)

其中s(z)是一個閾值函數(shù)，其定義為：

(3)

圖2是(8,1)領(lǐng)域LBP算子的計算過程。其中圖2(a)為假設(shè)的原圖像的像素分布，圖2(b)是在原圖像的基礎(chǔ)上根據(jù)公式(2)計算的結(jié)果，圖2(c)為每個二進制位的權(quán)值。

圖2 (8，1)鄰域的LBP計算過程

圖2中(8,1)鄰域的LBP算子的模式為：Patten=11110001,對應(yīng)的LBP值為：LBP=1+16+32+64+128=241。

1.2 均勻模式

不同的LBP算子對圖像的運算會產(chǎn)生不同的二進制模式，半徑為R的圓環(huán)區(qū)域內(nèi)采用P個采樣點的LBP算子將會產(chǎn)生P2種二進制模式。很明顯隨著采樣點的增加，二進制模式的種類會出現(xiàn)指數(shù)性的增加。例如20個采樣點，將高達220=1 048 576種二進制模式。如此巨量的紋理二進制模式無論是對于紋理的提取，還是對于紋理的識別和距離計算等都是不利的。

針對這種情況采用一種均勻模式(Uniform Pattern)來對LBP算子的模式種類進行降維。均勻模式就是一個二進制序列，從0到1或是從1到0的變化不超過2次。比如00000000(0次跳變)，00000111(只含一次從0到1的跳變)，10001111(先由1跳到0，再由0跳到1，共兩次跳變)都是均勻模式。除均勻模式類以外的模式都歸為另一類，稱為混合模式類。(8,1)鄰域的LBP算子的均勻模式共有58個，加上一個混合模式，總共就有59種模式，這大大降低了圖像檢索的維度，同時相比于DLBP在紋理上也沒有造成損失。均勻模式的計算如下：

(4)

其中：

(5)

2 圖像的加權(quán)分布紋理熵

2.1 對圖像進行非均勻劃分

對圖像進行子塊的劃分，是基于圖像紋理空間分布的差異性。文中對原始圖像進行的子塊劃分，同時考慮到圖像檢索中感興趣的目標(biāo)往往分布于圖像中央附近的特點以及LBP紋理具有統(tǒng)計的特性，因此對圖像的分塊進行不均勻化處理。如圖3(a)所示，以圖像4邊的8個4分位點(4分位點就是到最近頂點的距離為所在邊長的四分之一的點)為基點把原始圖像分為9個大小不均的子塊(s_0,s_1,…,s_8)，中央?yún)^(qū)域s_0為關(guān)鍵區(qū)域，其面積最大，該區(qū)域的紋理特征最有代表性。同時其他區(qū)域面積的大小也與該區(qū)域紋理的重要性成正比，這符合圖像檢索中興趣目標(biāo)的分布特點。

圖3 子圖劃分及權(quán)值分布

人眼在看一幅圖片的時候，對感興趣區(qū)域的關(guān)注程度與其面積成反比，而且往往都是先關(guān)注圖像中央部分的信息，邊緣部分的信息就被弱化了，為此對每個子圖塊賦予權(quán)值：

(6)

其中i表示子圖塊i，w_i表示其各個子圖塊的權(quán)值，而s_0區(qū)域的權(quán)值為α+w_0，α為區(qū)域偏重權(quán)值。α越大，中央?yún)^(qū)域的紋理特征對圖像檢索貢獻越大，就越弱化圖像周邊的信息，本文算法中α取為0.2。

2.2 紋理熵提取

LBP紋理直方圖描述的是不同紋理模式在整幅圖像中的分布情況，其具有旋轉(zhuǎn)不變性、平移不變性和尺度不變性。圖像的LBP直方圖可以定義為：

(7)

其中k=0,1,…,n-1，n表示不同LBP模式的總數(shù)量，也等于直方圖的bin數(shù)。其中k表示一個LBP模式，其值取決于所使用的LBP算子。I(u)函數(shù)的定義如下：

(8)

由此計算得到圖像的直方圖向量(H0,H1,…,Hn)，依據(jù)公式(9)將紋理直方圖歸一化為(h1,h2,…,hn)。

(9)

將其看作不同紋理模式在圖像中出現(xiàn)的概率密度函數(shù)，根據(jù)信息熵的概念，圖像的紋理熵可表示為公式(10)，其中hn為該紋理在圖像中出現(xiàn)的概率。因其把圖像紋理直方圖由多維降到一維，所以提高了圖像的檢索效率。

(10)

3 相似性度量

圖像的相似性度量在圖像的檢索技術(shù)中是一個比較關(guān)鍵的環(huán)節(jié)，它描述了圖像相似的程度，直接影響到圖像的檢索結(jié)果。馬氏(Manhanttan)距離能準(zhǔn)確匹配噪聲圖像和遮擋圖像，具有很高的可靠性和穩(wěn)定性，同時相比歐氏距離具有更低的時間復(fù)雜度。在數(shù)據(jù)集中對每一個圖像提取N維的特征值X，其中X={x1,x2,…,xN}，查詢圖像的特征值Y，其中Y={y1,y2,…,yN}。則馬氏距離的計算公式如下：

(11)

由公式(11)可以看出，向量X和向量Y越相似，則D(X,Y)越小，反之則越大。

4 算法步驟

算法步驟如下：

(1)對三通道的RGB圖像使用公式(12)把數(shù)據(jù)庫的圖像和查詢圖像轉(zhuǎn)換為灰度圖。

I(i,j)=0.3R(i,j)+0.59G(i,j)+0.11B(i,j)

(12)

(2)根據(jù)上述圖像分塊方法把數(shù)據(jù)庫圖像和查詢圖像分為(s_0,s_1,…,s_8)共9個子塊圖像。并根據(jù)公式(6)結(jié)合區(qū)域偏重權(quán)值α計算各個子塊圖像的權(quán)值(α+w_0,w_1,…,w_8)。

(3)根據(jù)上述圖像LBP的紋理提取方法采用(8,1)鄰域?qū)γ總€圖像各個子塊單獨提取Uniform Pattern LBP紋理，依據(jù)公式(7)統(tǒng)計每個子塊圖的LBP模式直方圖(H0,H1,…,Hn)，其中直方圖每一個bin表示一個LBP模式。

(4)對步驟(3)中求得的各個子塊圖的直方圖(H0,H1,…,Hn)進行歸一化得到(h0,h1,…,hn)，依據(jù)公式(10)求得各個子塊圖的紋理熵TE，接著對每個圖像子塊圖的紋理熵按固定次序組合為整個圖像的紋理熵向量(TE0,TE1,…,TE8)。

(5)將由步驟(4)求得的查詢圖像紋理熵query(TE0,TE1,…,TE8)和數(shù)據(jù)庫圖像紋理熵依據(jù)公式(11)并對應(yīng)結(jié)合步驟(2)中求得的子塊分布權(quán)值(α+w_0,w_1,…,w_8)計算查詢圖像和數(shù)據(jù)庫各個圖像的相似度距離(d0,d1,…,dm)。

(6)對(d0,d1,…,dm)從小到大進行排序，取其前N個相似度距離值對應(yīng)的圖像返回作為檢索結(jié)果。

5 實驗結(jié)果與分析

本文實驗所使用的配置為：型號是Lenovo 的Z500，Intel(R) Core(TM) i7-2635QM CPU @2.00 GHz的4核CPU，8.00 GB的RAM，64 bit Windows 10操作系統(tǒng)，使用MATLAB R2014a 進行算法實現(xiàn)和分析。

本文實驗使用的數(shù)據(jù)集為Corel數(shù)據(jù)集共5 000張。其中包含50類圖像，分別是風(fēng)景、馬、人物、汽車、花朵、建筑、大山、恐龍、食物、大象，老虎、蔬菜、人物、杯子等，每一類圖像都包含100張不一樣的圖像。

圖6 汽車檢索結(jié)果

在本文中使用查準(zhǔn)率(Precision)和查全率(Recall)評估圖像檢索算法的性能。Precision是指檢索到與查詢圖像相似的圖像數(shù)P與當(dāng)前檢索結(jié)果中圖像總數(shù)T的比值，用于評估圖像檢索算法檢索結(jié)果的準(zhǔn)確性。Recall是指檢索到與查詢圖像相似的圖像數(shù)P與數(shù)據(jù)集中所有與查詢圖像相似的圖像總數(shù)R的比值。計算Precision和Recall的公式如下:

Precision=P/T

(13)

Recall=P/R

(14)

實驗中，從數(shù)據(jù)集中的每一類隨機抽取10張圖像作為查詢圖像，隨機抽取30個類別。統(tǒng)計所有查詢圖像的查準(zhǔn)率和查全率的平均值作為最后的評估結(jié)果。

從圖4中可以看出兩種算法的平均查準(zhǔn)率都隨著圖像的返回數(shù)量的增加而減少。而本文算法在同等的圖片返回數(shù)量時其查準(zhǔn)率要優(yōu)于LBP算法。

圖4 查準(zhǔn)率隨返回圖像數(shù)量的對比

圖5為本文算法和原LBP算法的查全率和查準(zhǔn)率對比圖，可以看出本文算法要優(yōu)于LBP算法。

圖5 查準(zhǔn)率和查全率的關(guān)系對比

圖6為應(yīng)用本文算法在Corel數(shù)據(jù)集上檢索汽車的結(jié)果，此時的查準(zhǔn)率為100%。

6 結(jié)論

針對一些基于紋理的圖像檢索算法上存在的不足，本文提出一種基于LBP的不均勻加權(quán)紋理熵的圖像檢索算法。該算法先對圖像作不均勻的分塊，然后對每個子塊使用均勻模式的LBP計算其紋理熵并用來描述其紋理特征，最后基于各個子塊的重要性加權(quán)計算圖像的相似度。該算法的優(yōu)點在于，相對于傳統(tǒng)的LBP算法，保留了圖像空間分布的信息，同時也不因為圖像的分塊而增加特征的維數(shù)。因為該算法的特征維度只有9個，大大提升了圖像的檢索效率。該算法基于均勻模式LBP提取圖像紋理熵,克服了CS-LBP和DLBP缺失部分紋理模式的缺點。同時不均勻子塊的分割，符合大部分圖像的關(guān)鍵興趣點區(qū)域特征，偏向權(quán)重的設(shè)置弱化圖像不相關(guān)信息的干擾。實驗結(jié)果表明，本文算法具有較好的檢索效果。

[1] Zhang Ming, Zhang Ke, Feng Qinghe, et al. A novel image retrieval method based on hybrid information descriptors[J]. Journal of Visual Communication and Image Representation, 2014, 25 (7):1574-1587.

[2] Guo Jingming, PRASETYO H. Content-based image retrieval using features extracted from halftoning-based block truncation coding[J]. IEEE Transactions on Image Processing, 2015, 24(3): 1010-1024.

[3] 孫晉.基于概率密度和ASIFT的彩色圖像檢索方法[J].微型機與應(yīng)用,2014,33(13):32-34.

[4] Guo Xian, Huang Xin, Zhang Liangpei. Three-dimensional wavelet texture feature extraction and classification for multi/hyperspectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2183-2187.

[5] Hong Xiaopeng, Zhao Guoying, PIETIKAINEN M, et al. Combining LBP difference and feature correlation for texture description[J]. IEEE Transactions on Image Processing, 2014, 23(6):2557-2568.

[6] ARASHLOO S R, KITTLER J.Dynamic texture recognition using multiscale binarized statistical image features[J]. IEEE Transactions on Multimedia, 2014,16(8):2099-2109.

[7] MANJUNATH B S, MA W Y. Texture features for browsing and retrieval of image data[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(8):837-842.

[8] GLUCKMAN J. Visually distinct patterns with matching subband statistics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2):252-264.

[9] HEIKKILA M, PIETIKAINEN M, SCHMID C. Description of interest regions with local binary pattern[J]. Pattern Recognition,2009,42(3):425-436.

[10] Liao Shu, CHUNG A C S. Dominant local binary patterns for texture classification [J].IEEE Transactions on Image Processing， 2009， 18(5): 1107-1118．

[11] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[12] OJALA T, PIETIKAINEN M, MAENPAA T, et al. Outex-new framework for empirical evaluation of texture analysis algorithms[C]. 16thInternational Conference on Pattern Recognition,2002:701-706.

Image retrieval algorithm based on LBP weighting distributed texture entropy

Zhu Huimin

(College of Information Engineering, Guangdong University of Technology, Guangzhou 510006，China)

By analyzing the current researches of the texture-based image retrieval algorithm，we point out the defect of each algorithm. This paper proposes a new image retrieval algorithm based on LBP weighting distributed texture entropy. Firstly, based on the distribution of key region of interest, the image is divided into nine sub-graphs. Then we extract texture features of each sub-graph according to the Uniform Pattern LBP and texture entropy is calculated combined with information theory in each sub-graph. After that the texture entropies of the nine sub-graphs are merged as the texture feature vector of the whole image. Finally, the image vector is weighted according to the importance of the feature vector elements corresponding to each region of interest for image retrieval. Compared with the traditional LBP algorithm, this algorithm preserves the image space information, and the region weight weakens the irrelevant information. At the same time the 9-dimension feature vector accelerates the image retrieval efficiency. The experimental results show that this algorithm can obtain better retrieval performance.

image retrieval; LBP; non-uniform distribution; texture entropy; uniform pattern

TP391.4

A

10.19358/j.issn.1674- 7720.2017.16.013

朱慧敏.基于LBP的加權(quán)分布紋理熵的圖像檢索算法[J].微型機與應(yīng)用，2017,36(16)：44-47，52.

2017-02-27)

朱慧敏(1989-)，通信作者，女，碩士研究生，主要研究方向：圖像處理、圖像檢索、模式識別。E-mail: yenzhu@126.com。