基于紋理特征匹配的快速目標(biāo)分割方法

陳寧，楊永全

（西安工程大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，陜西西安710048）

基于紋理特征匹配的快速目標(biāo)分割方法

陳寧，楊永全

（西安工程大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，陜西西安710048）

目標(biāo)分割方法是工業(yè)自動(dòng)化、在線(xiàn)產(chǎn)品檢驗(yàn)、生產(chǎn)過(guò)程控制等領(lǐng)域的關(guān)鍵技術(shù)之一?；谔卣髌ヅ洳呗?，研究了如何增強(qiáng)紋理特征的區(qū)分能力以及如何快速分割特定的目標(biāo)。在紋理特征提取方面，首先通過(guò)形態(tài)學(xué)處理獲取圖像細(xì)節(jié)信息，然后對(duì)細(xì)節(jié)信息進(jìn)行過(guò)濾進(jìn)而得到魯棒的局部信息，最后融合局部二值模式用于增強(qiáng)特征的區(qū)分能力。在目標(biāo)分割方面，基于紋理特征和變化分解窗口框架，根據(jù)目標(biāo)窗口和待定目標(biāo)窗口間的特征距離分等級(jí)的變化分解窗口的尺度，從而快速定位到目標(biāo)。最后，在紋理數(shù)據(jù)集上驗(yàn)證了方法的有效性。

紋理特征提??；局部二值模式；特征融合；目標(biāo)分割

目標(biāo)分割方法廣泛的應(yīng)用于工業(yè)自動(dòng)化、在線(xiàn)產(chǎn)品檢驗(yàn)、生產(chǎn)過(guò)程控制等領(lǐng)域。紋理以其對(duì)物體表面的粗糙性、方向性和規(guī)則性等視覺(jué)特征明顯的反映，是基于特征匹配的目標(biāo)分割方法中的重要特征之一。

局部二值模式[1]（local binary pattern，LBP）紋理特征提取方法，近年來(lái)一直是研究的熱點(diǎn)，在圖像分割[2-4]、人臉識(shí)別[5-8]、紋理分類(lèi)[9-10]、圖像檢索[11-12]等領(lǐng)域得到廣泛應(yīng)用。在過(guò)去的十幾年中各國(guó)研究學(xué)者提出了多種LBP改進(jìn)方法。Guo[13]等人提出完整局部二值模式（Completed LBP，CLBP），在基本LBP算子的基礎(chǔ)上增加了局部梯度二值模式和局部灰度二值模式兩種算子，通過(guò)對(duì)3種算子進(jìn)行聯(lián)合特征統(tǒng)計(jì)得到了較好的紋理分類(lèi)效果。劉[14]等人對(duì)CLBP進(jìn)一步發(fā)展，提出了灰度梯度差異描述算子，更加精細(xì)的描述了圖像局部紋理。S[15]等人提出一種尺度和方向自適應(yīng)的LBP，提高了對(duì)紋理在尺度和方向變化場(chǎng)景下的分類(lèi)準(zhǔn)確率。不同于局部原始灰度值對(duì)比方法，L[16]等人采用局部灰度中值對(duì)比方法來(lái)計(jì)算二值模式，在基準(zhǔn)測(cè)試[17]中取得了高水平的效果。盡管LBP本身對(duì)光照線(xiàn)性變化具有一定的魯棒性且目前也有眾多的改進(jìn)方案，然而當(dāng)光照非線(xiàn)性變化導(dǎo)致背景不均時(shí)，這些方法的分類(lèi)能力往往會(huì)被降低。

基于紋理特征匹配的目標(biāo)分割的經(jīng)典方法將圖像分解成固定尺度像素的子窗口。通過(guò)提取每個(gè)子窗口的紋理特征，然后將每個(gè)子窗口和目標(biāo)窗口的特征進(jìn)行匹配，如果特征距離在設(shè)定的閾值范圍內(nèi)則認(rèn)為該子窗口是目標(biāo)。該方法難于確定分解窗口的尺度，且易于出現(xiàn)目標(biāo)漏檢及誤檢。變化分解窗口的方法的提出，很好的克服了經(jīng)典方法中的窗口漏檢及誤檢的問(wèn)題，然而分解窗口以固定尺度變化造成了算法時(shí)間效率低。

為此，本文在紋理特征提取方面通過(guò)形態(tài)學(xué)處理融合LBP算子來(lái)增強(qiáng)特征的區(qū)分能力。在目標(biāo)分割方面采用分等級(jí)的變化分解窗口的尺度來(lái)提高時(shí)間效率。

1 紋理特征提取

基本LBP算子通過(guò)對(duì)比像素點(diǎn)與其領(lǐng)域像素點(diǎn)的灰度值的差異性來(lái)描述局部紋理

其中，g為像素灰度值，c為中心下標(biāo)，p為鄰域下標(biāo)，P表示鄰域像素點(diǎn)數(shù)目，R表示圓形鄰域的半徑。通過(guò)不斷旋轉(zhuǎn)鄰域二值序列并取最小值作為中心點(diǎn)的LBP響應(yīng)，進(jìn)而提取到具有旋轉(zhuǎn)不變的特征，表達(dá)式為

其中ROR（x）表示對(duì)x進(jìn)行循環(huán)移位。為了獲取更具統(tǒng)計(jì)意義的特征直方圖，將二進(jìn)制位串視為循環(huán)，如果其中從0到1或者從1到0的轉(zhuǎn)變不多于兩個(gè)，則稱(chēng)該二值串為均勻模式。在特征直方圖統(tǒng)計(jì)過(guò)程中，只為均勻模式分配獨(dú)立的收集箱，而所有的非均勻模式都放入一個(gè)公用收集箱，使得LBP特征模式大大減少而不至于得到一個(gè)稀疏的統(tǒng)計(jì)直方圖。進(jìn)一步的，結(jié)合旋轉(zhuǎn)不變和均勻模式有:

這樣不僅提取到具有旋轉(zhuǎn)不變性的特征而且同時(shí)減少了特征模式。

然而，當(dāng)因光照非線(xiàn)性變化而導(dǎo)致圖像灰度梯度分布不均勻時(shí)，即相比于圖像的大部分區(qū)域，小部分區(qū)域變化幅度劇烈時(shí)，LBP及其變種就顯現(xiàn)出了它的局限性，容易丟失圖像局部細(xì)節(jié)信息。為了保留這些具有較強(qiáng)區(qū)分能力的細(xì)節(jié)信息，首先通過(guò)頂帽變換獲取圖像f的細(xì)節(jié)分量h。頂帽變換是形態(tài)學(xué)處理的重要應(yīng)用之一，f的頂帽變換h定義為f與f的灰度開(kāi)運(yùn)算之差，表達(dá)式為

其中b為開(kāi)運(yùn)算模板。經(jīng)過(guò)頂帽變換變換后得到的分量h便獲取到原圖像在特定形態(tài)下的細(xì)節(jié)信息。其次，通過(guò)局部二值化的方式對(duì)h進(jìn)行過(guò)濾

其中S取值為圖像寬度的八分之一，t的取值為15。最后，對(duì)h2進(jìn)行LBP特征提取（detailed LBP，DLBP）

并對(duì)圖像f進(jìn)行LBP特征提取

二值化h的原因在于，LBP本身對(duì)不均勻背景具有一定的魯棒性，因此使用未二值化的h而得到的DLBP的特征統(tǒng)計(jì)直方圖與原圖像f的LBP的特征統(tǒng)計(jì)直方圖在標(biāo)準(zhǔn)化后會(huì)具有一定的相似度，進(jìn)而導(dǎo)致出現(xiàn)特征冗余。通過(guò)（5）對(duì)h進(jìn)行二值化，即對(duì)細(xì)節(jié)信息進(jìn)一步過(guò)濾，會(huì)使得DLBP能夠提取到圖像更為魯棒的局部細(xì)節(jié)，并減少了DLBP與LBP之間的統(tǒng)計(jì)相似度以及避免了出現(xiàn)特征冗余，有利于對(duì)DLBP和LBP進(jìn)行特征聯(lián)合統(tǒng)計(jì)（Union，U）

這樣，U在保持原圖像LBP特征信息的同時(shí)也融入了具有較強(qiáng)區(qū)分能力的圖像局部細(xì)節(jié)信息，進(jìn)而能夠提高分類(lèi)能力。更一般的，U可以推廣到LBP特征的其他變種，如 CLBP[11]、ICLBP[12]、MRELBP[14]等。

2 快速目標(biāo)分割

分等級(jí)變化主窗口尺度的思想是:當(dāng)距離小于設(shè)定閾值時(shí)具有最高等級(jí)；當(dāng)距離大于設(shè)定閾值時(shí)，差異越大等級(jí)越低；等級(jí)越低，變化尺度d越大反之則越小；變化主窗口時(shí)優(yōu)先選擇高等級(jí)下的像素尺度d對(duì)主窗口進(jìn)行減小?？焖倌繕?biāo)分割方法描述如下:

1）確定主窗口（MW）。

2）用MW尺度生成盡可能多的窗口（window）。

3）For each window。

①用U（DLBP，LBP）計(jì)算窗口紋理特征直方圖；

②計(jì)算窗口特征直方圖和目標(biāo)特征直方圖的距離量距離Dis；

③如果Dis小于設(shè)定的閾值λ，則保存該窗口的坐標(biāo)和其特征直方圖到一個(gè)向量V中，MW變化等級(jí)最高；如果Dis大于等于設(shè)定的閾值λ，差異越大MW變化等級(jí)越低；MW變化等級(jí)越低，MW減小的尺度d越大。

5）優(yōu)先考慮使用較高等級(jí)下的尺度d減小MW。

6）如果MW的大小小于設(shè)定的最小窗口大小μ，標(biāo)記保存的那些窗口后退出程序。

7）否則跳轉(zhuǎn)到3）。

快速目標(biāo)分割方法的框架圖如圖1所示，每一循環(huán)中主窗口的尺度減小d并且生成和新主窗口尺度相同的一些窗口。主窗口減小的尺度d是由當(dāng)前循環(huán)層中所確定的MW變化等級(jí)決定。通過(guò)有效的利用當(dāng)前子窗口與目標(biāo)紋理之間的相似度信息分等級(jí)的變化分解窗口的尺度，進(jìn)而能夠快速的定位到目標(biāo)，提高算法的時(shí)間效率。

圖1 目標(biāo)分割框架圖

3 實(shí)驗(yàn)與分析

在Outex和CURet數(shù)據(jù)集上，對(duì)比了不同特征提取方法 LBP[1]、CLBP[13]、ICLBP[14]、MRELBP[15]以及本文方法U的分類(lèi)準(zhǔn)確率。Outex數(shù)據(jù)集由24類(lèi)不同紋理圖像，采用9種不同的旋轉(zhuǎn)角度及3種不同光照拍攝得到。鑒于篇幅有限，在其中的TC11和TC12圖像集上進(jìn)行了分類(lèi)實(shí)驗(yàn)。分類(lèi)結(jié)果見(jiàn)表1，其中TC12下的“t”和“h”分別代表測(cè)試數(shù)據(jù)光照條件為“t184”和“horizon”。

CURet數(shù)據(jù)集中包含61種類(lèi)別的自然紋理圖，每種類(lèi)別含有在不同光照強(qiáng)度以及不同角度下拍攝得到的205幅圖像。實(shí)驗(yàn)中，將每個(gè)類(lèi)別中92幅拍攝角度小于60°的圖像轉(zhuǎn)換為灰度圖像，選取其中N幅圖像作為訓(xùn)練樣本，剩余圖像作為測(cè)試樣本進(jìn)行分類(lèi)實(shí)驗(yàn)，實(shí)驗(yàn)重復(fù)200次后求取均值，分類(lèi)結(jié)果見(jiàn)表2。

表1 Outex數(shù)據(jù)庫(kù)的分類(lèi)準(zhǔn)確率

表2 CURet數(shù)據(jù)庫(kù)的分類(lèi)準(zhǔn)確率

表1中LBP的平均分類(lèi)準(zhǔn)確率僅為72.29，而通過(guò)融合DLBP和LBP的U（DLBP，LBP）則取得了超過(guò)85.36的平均分類(lèi)準(zhǔn)確率，有了大幅度的提高。但U（DLBP，LBP）相比于CLBP、ICLBP及MRELBP方法，分類(lèi)效果仍然遜色不少。然而融合DLBP的U（DLBP，CLBP）、U（DLBP，ICLBP）以 及 U（DLBP，REMLBP）卻又小幅度的提高了對(duì)應(yīng)方法的平均分類(lèi)準(zhǔn)確率。在表2中，隨著訓(xùn)練樣本N的增大，各特征提取算法的分類(lèi)準(zhǔn)確率均不斷提高。通過(guò)為不同方法融入DLBP，表2基本保持了表1中的規(guī)律，提高了各方法的分類(lèi)能力。在兩大數(shù)據(jù)集上的比較實(shí)驗(yàn)驗(yàn)證了本文通過(guò)為特征統(tǒng)計(jì)中融入具有區(qū)分能力的圖像細(xì)節(jié)信息是的有效性。

為了評(píng)價(jià)分等級(jí)變化窗口算法的時(shí)間效率，本文從Outex數(shù)據(jù)庫(kù)24種中隨機(jī)選擇6種紋理，用其中的2到5種不同紋理合成測(cè)試圖像，如圖2（a）所示。測(cè)試時(shí)，首先選擇一種紋理作為目標(biāo)，然后基于特征匹配策略從測(cè)試圖像中分割出該目標(biāo)紋理，分割結(jié)果如圖5（b）所示。

圖2 測(cè)試圖像及分割結(jié)果示例

隨機(jī)選擇的6種紋理可以分別合成包含2到5種紋理的測(cè)試圖像30、120、360及720幅。分割準(zhǔn)確率定義為分割區(qū)域與目標(biāo)區(qū)域的交集面積和它們的并集面積之間的比值。由于篇幅有限，本文僅給出6次隨機(jī)選擇紋理下不同分割方法的分割結(jié)果，平均分割準(zhǔn)確率及平均時(shí)間效率則是在重復(fù)試驗(yàn)100次后求取均值，如表3所示。

表3 不同分割算法的準(zhǔn)確率和時(shí)間效率

從表3中可以看出，盡管固定分解窗口方法時(shí)間效率很高，但是因存在漏檢及誤檢的情況而獲得了較低的分割準(zhǔn)確率。變化分解窗口方法從不同尺度下對(duì)目標(biāo)進(jìn)行了定位，因此取得了比固定分解窗口方法更好的分割精度。然而，以固定尺度變化分解窗口的策略導(dǎo)致產(chǎn)生的子窗口數(shù)量巨大，算法時(shí)間效率低。本文通過(guò)繼承變化分解窗口方法的優(yōu)點(diǎn)，進(jìn)而獲得了較好的分割精度，僅略低于變化分解窗口方法。然而，本文方法通過(guò)有效利用當(dāng)前子窗口與目標(biāo)紋理之間的距離信息分等級(jí)的變化分解窗口的尺度，進(jìn)而獲得了更好的時(shí)間效率。

4 結(jié)論

首先，本文針對(duì)LBP對(duì)非線(xiàn)性光照變化分類(lèi)能力降低的問(wèn)題，利用形態(tài)學(xué)處理獲取圖像細(xì)節(jié)信息，進(jìn)一步通過(guò)對(duì)細(xì)節(jié)信息過(guò)濾得到魯棒的圖像局部信息進(jìn)而用于提高特征分類(lèi)能力。更一般的，該方法可以推廣到其他LBP變種。其次，基于紋理特征和變化分解窗口框架，本文利用目標(biāo)紋理特征與待定紋理特征間的距離信息分等級(jí)的變化分解窗口有效的提高了目標(biāo)分割的時(shí)間效率。最后，一系列實(shí)驗(yàn)證實(shí)本文方法準(zhǔn)確率高且速度快，具有一定的應(yīng)用價(jià)值。

[1]Ojala T.Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）:971-987.

[2]Choi I，KimA D.Variety of local structure patterns and their hybridization for accurate eye detection[J].Pattern Recognition，2017（61）:417-432.

[3]Petranek K，Janecka P，Vanek J.Using local binary patterns for object detection in images[J].Toxicology Letters，2015，5（1）:S320-S320.

[4]Jia X，Yang X，Cao K.Multi-scale local binary pattern with filters for spoof fingerprint detection[J].Information Sciences，2014，268（6）:91-102.

[5]Liu L，F(xiàn)ieguth P，Zhao G.Extended local binary patterns for face recognition[J].Information Sciences，2016，s358-359（C）:56-72.

[6]Li J，Sang N，Gao C.Face recognition with riesz binary pattern[J].Digital Signal Processing，2016（51）:196-201.

[7]Zhang Z，Zhang W，Liu J.Hierarchical facial landmark localization via cascaded random binary patterns[J].Pattern Recognition，2015，48（4）:1277-1288.

[8]RenS，Cao X，Wei Y.Face alignment at 3000 FPS via regressing localbinary features[J].IEEE Transactions on Image Processing，2014，25（3）:1685-1692.

[9]Hafiane A，Palaniappan K，Seetharaman G.Joint adaptive median binary patterns for texture classification[J].Pattern Recognition，2014，48（8）:2609-2620.

[10]Hegenbart S，Uhl A.A scale-and orientation-adaptive extension of local binary patterns for texture classification[J].Pattern Recognition，2015，25（8）:2633-2644.

[11]Dubey SR，Singh SK，Singh RK.Multichannel decoded local binary patterns for content based image retrieval[J].IEEE Transactions on Image Processing，2016，25（9）:4018-4032.

[12]Cao Z，Dong E.Distinctive local binary pattern for non- rigid registration of lung computed tomography images[J].Electronics Letters，2015，51（22）:1742-1744.

[13]Guo Z，Zhang L，Zhang D.A completed modeling oflocalbinary pattern operator for texture classification[J].IEEE Transactions on Image Processing，2010，6（19）:1657-1663.

[14]劉豪，楊永全，郭仙草，等.用于紋理特征提取的改進(jìn)的LBP算法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（6）:182-185.

[15]Hegenbart S，Uhl A.A scale-and orientationadaptive extension of local binary patterns for texture classification[J].Pattern Recognition，2015，25（8）:2633-2644.

[16]Liu L，Lao S，F(xiàn)ieguth PW.Median robust extended local binary pattern for texture classification[J].IEEE Transactions on Image Processing，2016，25（3）:1368-1381.

[17]Liu L，F(xiàn)ieguth P，Guo Y.Local binary features for texture classification:Taxonomy and experimental study[J].Pattern Recognition，2016（62）:135-160.

Fast object segmentation based on texture matching

CHEN Ning，YANG Yong-quan
（School of Computer Science，Xi’an Polytechnic University，Xi’an710048，China）

Target segmentation is widely applied to automated areas.Based on feature matching strategy，we focus on extraction of discriminative feature and fast segmentation of target.To extract more discriminative feature，we propose to fuse detailed information of image obtained from morphological processing with local binary pattern.To efficiently locate the target，we propose to change the size of decomposing widow in a rated way，according to feature distance between the target and the candidate window.Experiments demonstrate that our method achieves better performance.

texture extraction；local binary pattern；feature fusion；object segmentation

TP311

A

1674-6236（2017）23-0039-04

2016-11-11稿件編號(hào)：201611088

西安工程大學(xué)研究生創(chuàng)新基金（CX201622）

陳寧（1970—），男，河南滎陽(yáng)人，博士，副教授。研究方向：智能信息處理、模式識(shí)別。