基于抗噪聲局部二值模式的紋理圖像分類

冀　中　　　聶林紅

(天津大學電子信息工程學院　天津　300072)(jizhong@tju.edu.cn)

基于抗噪聲局部二值模式的紋理圖像分類

冀中聶林紅

(天津大學電子信息工程學院天津300072)(jizhong@tju.edu.cn)

摘要局部二值模式(local binary pattern, LBP)特征是一種簡單有效的紋理特征描述符,但是它的抗噪聲能力較差.針對這一問題，提出一種對噪聲較為魯棒的紋理特征表示方法——抗噪聲的完整增強局部二值模式(noise-tolerant complete enhanced LBP, CELBPNT).該特征基于局部二值模式特征,對光照、旋轉和噪聲均具有較好的魯棒性.其提取過程如下：1)根據(jù)LBP中各模式的結構和出現(xiàn)頻率對特征中的模式重新分類，提出增強局部二值模式(enhanced LBP, ELBP)特征；2)添加差值的模值信息與中心像素信息，并根據(jù)圖像尺寸自適應地調整其中的閾值，提出完整增強局部二值模式(complete ELBP, CELBP)特征；3)進一步將該特征進行多尺度下的表示，從而最終提出具有抗噪聲能力的紋理特征——CELBPNT.通過在常用的紋理數(shù)據(jù)庫上添加不同強度和不同類型噪聲的情況進行實驗，結果表明：CELBPNT不僅能夠顯著提升無噪聲紋理圖像的分類性能，而且對含有噪聲的紋理圖像分類也有顯著的性能提高.

關鍵詞局部二值模式；圖像噪聲；紋理圖像分類；特征提?。欢喑叨确治?/p>

圖像的視覺表示技術是多媒體分析、機器視覺等領域的研究基礎，而紋理是其中重要的一類特征.紋理在自然界中普遍存在，幾乎所有自然界事物的表面都是一種紋理.一類重要的紋理特征表示方法是由Ojala等人[1]提出的局部二值模式(local binary pattern, LBP).該特征通過比較鄰域像素和中心像素灰度值的差異性從而生成代表圖像局部特征的二進制編碼，是一種能夠簡單、有效地描述圖像局部模式的特征.因此，以LBP算法為代表的一類紋理分析方法得到越來越多的關注[2-3]，并廣泛應用于人臉識別[4-5]、目標跟蹤[6]、指紋識別[7]、紋理分類[8-9]等領域.近年來已經(jīng)提出了多種LBP的改進算法,例如有局部差分模式(local gradient pattern， LGP)[10]、局部最大邊緣二值模式(local maximum edge binary pattern， LMEBP)[11]、主導的局部二值模式(dominant local binary pattern， DLBP)[12].

LBP雖然計算簡單、對單一灰度變化具有較好的魯棒性，但是其僅僅通過比較某區(qū)域內中心像素與其鄰域像素在灰度值上的二值關系，與灰度變化強度無關，這導致其在紋理特征的提取上易受噪聲影響.因此，在圖像含有噪聲特別是噪聲強度較大的情況下，其視覺特征表示能力會迅速下降.近年來，為提高LBP對噪聲的魯棒性，已有研究人員對其抗噪聲能力進行了初步研究，并提出了一些具有一定抗噪聲能力的LBP算法，例如FLBP(fuzzy LBP)[13]，LSEP(local shearlet-based energy pattern)[14].特別地，LSEP特征通過shearlet變換的方法對圖像的局部能量進行分析，形成了能夠表示圖像特征的局部能量直方圖，且由于shearlet變換對噪聲具有較好的魯棒性從而使得LSEP能夠部分地克服噪聲的影響.

本文旨在改進LBP以增強其抗噪聲能力.首先，根據(jù)特征中不同模式的出現(xiàn)概率和特征結構對特征中的模式進行重新分類，并在此基礎上引入旋轉不變的思想，提出了增強局部二值模式(enhanced LBP, ELBP)特征；其次，對ELBP中包含信息的完整性進行分析，通過添加差值的模值信息以及中心像素信息，并根據(jù)圖像尺寸自適應的調整閾值，提出完整增強局部二值模式(complete ELBP, CELBP)特征；最后，通過均值降采樣的方法將CELBP在多尺度下表示，得到抗噪聲的完整增強局部二值模式(noise -tolerant CELBP, CELBPNT)特征，使特征的抗噪聲能力得到顯著提升.

1算法描述

紋理廣泛存在于自然界事物的表面，而自然界中采集到的紋理圖像大都含有不同程度的噪聲，在一些特定場合(例如低照度情況下拍攝的圖像)，圖像中的噪聲更多.

本文提出抗噪聲的完整增強局部二值模式(簡稱CELBPNT)特征，其形成過程如圖1所示.1)通過對LBP的改進提出增強局部二值模式特征(ELBP)；2)通過添加差值的模值信息與中心像素信息，提出完整增強局部二值模式特征(CELBP)；3)經(jīng)過降采樣提出多尺度下的CELBP特征，最終形成CELBPNT特征.下面首先簡要介紹LBP，然后分別介紹CELBPNT的3個重要步驟.

Fig. 1　The flowchart of the proposed CELBPNT.圖1　所提抗噪聲局部二值模式特征的提取流程圖

1.1局部二值模式(LBP)

局部二值模式LBP[1]是一種具有代表性的局部算子，該特征通過比較鄰域內像素點與中心像素點灰度值的差異性，生成能夠表示圖像局部特征的二進制編碼，并將其按照確定的方向轉換成相應的十進制數(shù).LBP的具體提取過程如圖2所示，其計算為

(1)

其中，gc為中心像素點的灰度值；gn為鄰域內像素點的灰度值；P為鄰域內像素點的個數(shù)；R為鄰域的半徑，本文選取P=8，R=1.

Fig. 2　The LBP encoding scheme.圖2　LBP的提取過程

1.2增強局部二值模式(ELBP)

由式(1)可以看出，LBP特征共有28=256種不同模式.研究表明，在256種不同模式中，只有部分模式的出現(xiàn)概率較高，對特征的表征能力具有較大影響；且在所有模式中，01的變換次數(shù)越少其出現(xiàn)的概率越大，對特征性能的影響也相對越大.文獻[15]中提出統(tǒng)一局部二值模式(ULBP)特征，根據(jù)LBP特征中01的變換次數(shù)，對特征的模式進行分類.但它僅考慮了LBP特征中01變換次數(shù)小于等于2的模式，忽視了01變換次數(shù)等于4的情況下所包含圖像中的線段信息，如圖3所示:

Fig. 3　The texture primitives in the proposed enhanced LBP.圖3　所提ELBP中包含的特征模式

因此，為提高特征的判別能力，同時降低特征的維度，本文根據(jù)LBP特征中01變換的次數(shù)，對LBP特征模式進行重新分類，具體如下：

文獻[16]中特征的旋轉不變性是由旋轉后所得的特征模式最小值決定的，其計算為

0,1,…,P-1}.

(2)

通過引入文獻[16]中旋轉不變的思想，可得ELBP特征的計算為

(3)

其中，P為鄰域內像素點的個數(shù)；R為鄰域的半徑；U(LBPP,R)表示特征模式中01的變換次數(shù)，其計算如式(4)所示；N表示模式中包含1的個數(shù)，它的值為2～6，具體計算如式(5)所示：

U(LBPP,R)=|s(gP-1-gc)-s(g0-gc)|+

(4)

(5)

由式(3)可以看出，形成的ELBP特征模式為0～2P-2，即0～14，可得ELBP特征維度為15維.因此，該特征不僅實現(xiàn)了旋轉不變性，并且在保持特征有用信息的基礎上降低了LBP的維度.

1.3完整增強局部二值模式(CELBP)

ELBP特征的形成過程，僅僅將鄰域內像素的灰度值與中心像素點的灰度值進行比較，即只統(tǒng)計了灰度值的差異性，而并未涉及到差值信息.因此，本文進一步借鑒文獻[17]中的思想，在ELBP特征的基礎上添加差值信息與中心像素信息，并對特征中的閾值進行改進，提出完整增強局部二值模式CELBP特征，如圖4所示.

Fig. 4　The proposed CELBP encoding scheme.圖4　所提CELBP特征的提取示意圖

CELBP特征共包含3個子特征，分別為CELBP_Sign(記為CELBP_S),CELBP_Magnitude(記為CELBP_M)和CELBP_Center(記為CELBP_C)，其中,CELBP_S通過比較鄰域內像素點與中心像素點灰度值的差異性獲得，如圖4(c)所示，它與ELBP特征的提取過程相同.圖4(d)為圖像塊差值的模值信息.CELBP_M由差值的模值信息與給定閾值之間的差異性獲得，如圖4(e)所示.其計算為

(6)

其中，U表示獲得的二進制模式中01的變換次數(shù)；

N表示獲得的二進制模式中包含1的個數(shù)；mn=|gn-gc|表示圖像塊差值的模值信息；c表示與mn進行比較的閾值.本文中閾值的選取共包含2種情況：1)局部閾值.即c=1mn；2)全局閾值.即c為整幅圖像中所有圖像塊的模值的均值.其中，閾值的選取由圖像的尺寸決定，當圖像尺寸較大時，則選取局部閾值；反之，則選取全局閾值.

CELBP_C由圖像塊中心元素的灰度值與整幅圖像灰度值均值的差異性獲得，其計算為

(7)

Fig. 5　The scheme of the proposed CELBP.圖5　所提CELBP特征的形成示意圖

此處最終提取的特征為CELBP_SC_MC，它由3個子特征的級聯(lián)獲得，如圖5所示.即先將CELBP_S，CELBP_M分別與CELBP_C并聯(lián)，分別得到CELBP_SC和CELBP_MC；再將得到的這2個特征串聯(lián)，從而得到CELBP_SC_MC，簡稱CELBP.CELBP的維度為15×2+15×2=60維.

1.4抗噪聲的完整增強局部二值模式(CELBPNT)

為了克服圖像中噪聲對特征表征性能的影響，本文提出采用均值降采樣的方法提高CELBP特征的抗噪能力.經(jīng)實驗分析得知CELBP對椒鹽噪聲的抵抗性較好，對高斯噪聲的抵抗性較差.而鄰域平均法能夠有效地降低高斯噪聲對圖像的影響，因此采用均值降采樣恰好能彌補這種不足.此外，圖像的紋理還與尺度有密切的關系.研究表明，不同的紋理具有不同的變化尺度，在進行紋理分類時，采用多尺度的紋理信息比單一尺度的紋理信息可獲得更高的分類精度.因此通過均值降采樣獲得多尺度下的特征，既能保持原特征抵抗椒鹽噪聲的良好性能，又能提升其抵抗高斯噪聲的性能.

本文采取的均值降采樣的具體過程如圖6所示，共經(jīng)過2次降采樣，形成3種不同尺度下的紋理圖像.原始圖像如圖6(a)所示，第1次對原圖中2×2大小的塊進行處理，經(jīng)過無重疊區(qū)域的降采樣后，新圖像的尺寸變?yōu)樵瓐D像的12，如圖6(b)所示；第2次對原圖像中3×3大小的塊進行處理，同樣經(jīng)過無重疊區(qū)域的降采樣后，新圖像尺寸變?yōu)樵瓐D像的13，如圖6(c)所示.其計算為

(8)

其中，s×s為選取的圖像塊的大?。籫i為圖像塊中對應元素的灰度值；gnew為生成的新元素的灰度值.

最后，對3種不同尺度下的紋理圖像分別提取CELBP特征，并將獲得的3個特征串聯(lián)，形成具有抗噪聲能力的CELBP特征，即CELBPNT(noise-tolerant CELBP)特征，該特征的維度為60×3=180維.

Fig. 6　Image down-sampling process in the proposed CELBPNT.圖6　CELBPNT中圖像的降采樣過程示例

2實驗結果及分析

為了驗證本文提出特征的有效性，本節(jié)在常用紋理數(shù)據(jù)庫Outex上進行紋理分類以及抗噪聲性能的測試.該數(shù)據(jù)庫共包含24類不同的紋理，每類紋理圖像均包含9種不同的旋轉角度(0°,5°,10°,15°,30°,45°,60°,75°,90°).本文選取其中典型的3個子數(shù)據(jù)庫：Outex_TC10，Outex_TC12_000和Outex_TC12_001進行測試，如表1所示.由表1可知Outex_TC10數(shù)據(jù)庫僅包含旋轉變換；Outex_TC12_000和Outex_TC12_001數(shù)據(jù)庫包含旋轉與光照2種變換.本文采用卡方距離與最近鄰分類器進行紋理的分類.

Table 1　　　The Size of the Texture Outex Database Used in the

“√” stands for “contain” and “×” stands for “not contain”.

首先為了驗證所提ELBP特征的有效性，將其與LBP等特征進行比較，如表2所示.其中LBPriu2(旋轉不變的統(tǒng)一局部二值模式)[15]是在ULBP基礎上增加旋轉不變性之后形成的特征.可以看出，ELBP較LBP的分類性能提升了約20%，較ULBP的分類性能提升了約18%.性能提升的主要原因在于ELBP對LBP模式中出現(xiàn)概率較高的模式進行分析，降低了出現(xiàn)概率較低、作用較小的一些模式對分類的錯誤影響，并對ULBP包含的特征模式進行補充，提高了算法的有效性.此外，與LBPriu2相比，ELBP性能分別提升了2.49%，3.71%，3.89%，進一步說明了特征模式中01變換次數(shù)等于4的模式對特征的性能有較為重要的影響.

Table 2Classification Accuracies of ELBP with Several LBP Variances

表2所提ELBP與其他LBP改進算法的分類準確率比較

%

其次，為了驗證本文提出的CELBP和CELBPNT的有效性，分別在：無噪聲、添加不同強度椒鹽噪聲以及添加不同強度高斯噪聲3種情況下對其分類性能進行測試，如表3～5所示.目前現(xiàn)有的紋理數(shù)據(jù)庫都是在特定的條件下采集的，包含不同的尺度、光照、角度等的變化，并未發(fā)現(xiàn)含有噪聲的自然紋理圖像數(shù)據(jù)庫.目前LBP改進的算法對特征抗噪聲能力的測試均是人為添加高斯白噪聲或椒鹽噪聲來進行測試[13-14].實際上這2種噪聲也是自然圖像(包括紋理圖像)中最為常見的噪聲模型[18]，因此人為添加噪聲這種操作是合理的.為此，本文通過添加不同程度的椒鹽噪聲和高斯噪聲測試所提算法對噪聲的魯棒性.

表4和表5分別給出了在添加不同強度椒鹽噪聲和高斯噪聲的情況下各算法分類的準確率.其中ρ表示添加椒鹽噪聲的分布密度；Var表示添加高斯噪聲的方差，例如Var=0.01表示為圖像添加均值為0、方差為0.01的高斯噪聲.表6給出了CELBPNT與當前最新的具有抗噪聲能力的特征LESP的比較結果，其中，SNR表示為圖像添加高斯噪聲的信噪比.

Table 3　　　Classification Accuracies of Each Algotithm without

Table 4　Classification Accuracies of Each Algotithm with Salt and Pepper Noise

Table 5　Classification Accuracies of Each Algotithm with Gaussian Noise

Table 6　Classification Accuracies of CELBPNT and LESP with Gaussian Noise

由于均值處理方法對高斯噪聲具有較好的魯棒性，且多尺度的紋理信息比單一尺度的紋理信息可以獲得更高的分類精度，因此本文采用均值降采樣的方法提取多尺度下的CELBP，形成最終的CELBPNT特征.這樣，就可以在保持CELBP對椒鹽噪聲的魯棒性的同時，提升其對高斯噪聲的魯棒性.由表4和表5中的數(shù)據(jù)可以看出，在添加高斯噪聲的情況下CELBPNT的性能較CELBP提升了將近25%，且在添加椒鹽噪聲較小的情況下CELBPNT的性能較CELBP亦提升了約3%.但在添加較大椒鹽噪聲的情況下，例如ρ≥0.3 時，CELBPNT的性能較CELBP下降了約1%.這是由于均值處理方法對椒鹽噪聲的魯棒性能一般，隨著添加噪聲強度的增大，均值方法對椒鹽噪聲的處理能力減弱.因此，通過均值降采樣后得到的聯(lián)合特征CELBPNT可能包含部分錯誤的干擾信息.所以，在添加較大椒鹽噪聲的情況下，CELBP的性能略優(yōu)于CELBPNT.但就抗椒鹽噪聲的平均性能而言，CELBPNT較CELBP仍提升了約0.5%.由此可說明CELBPNT不僅保持了原CELBP抵抗椒鹽噪聲的良好性能，并且使其抗高斯噪聲的性能得到大幅度提升，進一步說明了采用均值降采樣的方法提取不同尺度下的特征的重要性.

最后，為進一步驗證本文提出的CELBPNT的抗噪聲能力，將其與當前最新的具有抗噪聲能力的特征——LESP相比較，如表6所示.由表6中數(shù)據(jù)可以看出，在添加不同程度噪聲的情況下，CELBPNT的分類性能較LSEP均有不同程度的提升.在無噪聲的情況下，CELBPNT的分類性能相比于LSEP有0.81%的提升；在添加噪聲較大，例如SNR=30 dB和SNR=5 dB的情況下，性能分別提升了3.8%，2.21%.由此可得出結論，CELBPNT特征不僅對無噪聲圖像分類性能有所提升，并且對含有不同程度不同種類噪聲圖像的分類性能也有顯著提升.

3結論

本文在LBP的基礎上提出了一種具有抗噪聲能力的視覺紋理特征表示方法.該方法首先通過分析LBP不同模式下特征的結構信息以及特征的重要性，根據(jù)不同結構下特征的重要性對特征進行重新分類；接著添加差值的模值信息與中心像素信息，并自適應地調整全局閾值與局部閾值的選?。蛔詈笸ㄟ^對不同尺度下的特征進行分析，提出了對噪聲較為魯棒的CELBPNT特征.實驗結果表明，本文提出的算法不僅能夠提升無噪聲情況下紋理圖像分類的性能，而且對包含不同強度和不同類型噪聲的紋理圖像的分類也較為有效和魯棒.

參考文獻

[1]Ojala T, Pietik?inen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59

[2]Nanni L, Brahnam S, Lumini A. Local ternary patterns from three orthogonal planes for human action classification[J]. Expert Systems with Applications, 2011, 38(5): 5125-5128

[3]Gao Hua, Zhao Chunxia, Zhang Haofeng. A traversablity detection method dealing with shaded terrains[J]. Journal of Computer Research and Development, 2013, 50(11): 2304-2314 (in Chinese)(高華, 趙春霞, 張浩峰. 一種陰影區(qū)域的可通行性檢測方法[J]. 計算機研究與發(fā)展, 2013, 50(11): 2304-2314)

[4]Suruliandi A, Meena K, Reena Rose R. Local binary pattern and its derivatives for face recognition[J]. Computer Vision, 2012, 6(5): 480-488

[5]Chen D, Cao X, Wen F, et al. Blessing of dimensionality: High-dimensional feature and its efficient compression for face verification[C]Proc of the 26th IEEE Int Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 3025-3032

[6]Li Shanqing, Tang Liang, Liu Keyan, et al. A fast and adaptive object tracking method[J]. Journal of Computer Research and Development, 2012, 49(2): 383-391 (in Chinese)(李善青, 唐亮, 劉科研, 等. 一種快速的自適應目標跟蹤方法[J]. 計算機研究與發(fā)展, 2012, 49(2): 383-391)

[7]Nanni L, Lumini A. Local binary patterns for a hybrid fingerprint matcher[J]. Pattern Recognition, 2008, 41(11): 3461-3466

[8]Khellah F M. Texture classification using dominant neighborhood structure[J]. IEEE Trans on Image Processing, 2011, 20(11): 3270-3279

[9] Liu L, Zhao L, Long Y, et al. Extended local binary patterns for texture classification[J]. Image and Vision Computing, 2012, 30(2): 86-99

[10]Jun B, Choi I, Kim D. Local transform features and hybridization for accurate face and human detection[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1423-1436

[11]Subrahmanyam M, Maheshwari R, Balasubramanian R. Local maximum edge binary patterns: A new descriptor for image retrieval and object tracking[J]. Signal Processing, 2012, 92(6): 1467-1479

[12]Liao S, Law M, Chung A. Dominant local binary patterns for texture classification[J]. IEEE Trans on Image Processing, 2009, 18(5): 1107-1118

[13]Iakovidis D K, Keramidas E G, Maroulis D. Fuzzy local binary patterns for ultrasound texture characterization[G]Image Analysis and Recognition. Berlin: Springer, 2008: 750-759

[14]He J, Ji H, Yang X. Rotation invariant texture descriptor using local shearlet-based energy histograms[J]. Signal Processing Letters, 2013, 20(9): 905-908

[15]Pietik?inen M, Ojala T, Xu Z. Rotation-invariant texture classification using feature distributions[J]. Pattern Recognition, 2000, 33(1): 43-52

[16]Ojala T, Pietik?inen M, M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987

[17]Guo Z, Zhang D. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Trans on Image Processing, 2010, 19(6): 1657-1663

[18]Tang Guangming, Liu Jing. Discrimination research on image steganography and natural noise[J]. Computer Engineering, 2011, 37(4): 150-151 (in Chinese)(湯光明, 劉靜. 圖像隱寫與自然噪聲辨識研究[J]. 計算機工程, 2011, 37(4): 150-151)

[19]Tan X, Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Trans on Image Processing, 2010, 19(6): 1635-1650

[20]Guo Z, Zhang L,Zhang D. Rotation invariant texture classification using LBP variance (LBPV) with global matching[J]. Pattern Recognition, 2010, 43(3): 706-719

Ji Zhong, born in 1979. PhD and associate professor. Member of China Computer Federation. His research interests include feature learning, computer vision, and multimedia analysis and retrieval.

Nie Linhong, born in 1991. Master. Her research interests include feature learning and pattern recognition.

Texture Image Classification with Noise-Tolerant Local Binary Pattern

Ji Zhong and Nie Linhong

(SchoolofElectronicInformationEngineering,TianjinUniversity,Tianjin300072)

AbstractThe local binary pattern (LBP) is a simple and effective texture descriptor. However, it is very sensitive to image noise. To deal with this problem, we propose an efficient texture feature named noise-tolerant complete enhanced local binary pattern (CELBPNT) to enhance the discriminant ability against the noisy texture images. Derived from the local binary pattern, CELBPNTis robust to illumination, rotation and noise. Its feature extraction process involves the following three steps. First, different patterns in LBP are reclassified to form an enhanced LBP (ELBP) based on their structures and frequencies. Then, in order to describe the local feature completely and sufficiently, the difference of modulus value and center pixel information is added to ELBP to develop a complete ELBP feature, named CELBP. Meanwhile, the adaptive threshold of CELBP is determined by the image size. Finally, CELBPNTis proposed by using the favorable characteristics of multi-scale analysis on CELBP. The features are evaluated on the popular Outex database with different intensity and different types of noise. Extensive experimental results show that CELBPNTnot only demonstrates better performance to a number of state-of-the-art LBP variants under no-noise condition, but also effectively improves the performance of texture classification containing noise due to its high robustness and distinctiveness.

Key wordslocal binary pattern (LBP); image noise; texture image classification; feature extraction; multi-scale analysis

收稿日期：2014-12-02；修回日期：2015-10-29

基金項目：國家自然科學基金項目(61271325,61472273)；天津大學“北洋學者-青年骨干教師”基金項目(2015XRG-0014)

中圖法分類號TP391.4

This work was supported by the National Natural Science Foundation of China (61271325,61472273) and the Elite Scholar Program of Tianjin University (2015XRG-0014).