基于MB－LBP紋理信息手勢(shì)識(shí)別

趙 瑩， 史東承

（長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，吉林 長(zhǎng)春 130012）

0 引 言

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，應(yīng)用領(lǐng)域的不斷深入，計(jì)算機(jī)對(duì)現(xiàn)代社會(huì)的發(fā)展起到舉足輕重的作用，建立和諧良好的人機(jī)交互環(huán)境，使計(jì)算機(jī)技術(shù)更好地為生產(chǎn)和生活服務(wù)是近年來許多科研工作者一直不懈努力和鉆研的方向。鼠標(biāo)、鍵盤、按鍵、無(wú)線輸入設(shè)備［1］等是常用的人機(jī)交互方式，而這些傳統(tǒng)的方式不能滿足一些實(shí)際的人機(jī)交互需求，手勢(shì)語(yǔ)言是一種自然、靈活、使用頻率高、使用方便的人機(jī)交互方式，目前已經(jīng)成為一個(gè)熱門的研究領(lǐng)域。

在手勢(shì)識(shí)別的諸多方法中，基于外觀的手勢(shì)識(shí)別方法較為廣泛，基于外觀的手勢(shì)特征建模有兩種：提取圖像外觀特征和提取紋理信息特征的方法，其中外觀特征主要有輪廓特征、形狀特征、膚色特征等。文獻(xiàn)［2－3］應(yīng)用輪廓特征匹配進(jìn)行手勢(shì)識(shí)別，文獻(xiàn)［4］應(yīng)用膚色模型進(jìn)行手勢(shì)識(shí)別，但是它們的識(shí)別精度很容易受光線和復(fù)雜背景影響?；诩y理信息描述是一種主流方法，其識(shí)別精度高，且具有很高的魯棒性。紋理信息描述時(shí)，要對(duì)圖像進(jìn)行求取直方圖均值、標(biāo)準(zhǔn)差、熵、平滑度等紋理信息，文獻(xiàn)［5］采用紋理直方圖信息完成手勢(shì)識(shí)別?？偟膩砜?，基于紋理信息描述的識(shí)別方法更為優(yōu)秀，識(shí)別精度更高。

文中在紋理信息描述的局部二值模式方法應(yīng)用基礎(chǔ)上，將MB－LBP算法應(yīng)用到手勢(shì)識(shí)別中，提出一種分塊紋理描述的新方法，用來解決LBP方法中全局紋理灰度信息使用局限、誤識(shí)別情況多的問題，文中方法最終將分塊圖像的灰度直方圖信息整合成多維直方圖向量，即復(fù)合LBP直方圖向量，作為主要識(shí)別參數(shù)，很好地保證了手勢(shì)識(shí)別的精度問題，值得推廣。

1 分塊紋理信息描述

對(duì)于手勢(shì)識(shí)別問題來說，最為重要的問題就是提取出圖像中目標(biāo)手勢(shì)不變的特征，紋理信息是目標(biāo)手勢(shì)自身固有的特征，而傳統(tǒng)的直方圖方法不能把握住手勢(shì)圖像的結(jié)構(gòu)信息，手勢(shì)圖像中各個(gè)部分的差異也比較大，如果單一的對(duì)LBP圖像進(jìn)行像素點(diǎn)灰度數(shù)量進(jìn)行計(jì)算，得到直方圖將缺失很多結(jié)構(gòu)信息，而基于分塊思想的紋理信息描述可以很好地解決這一問題。

1.1 基本LBP

LBP（Local Binary Patterns）算子的原理與濾波過程中的模板操作相近，逐一掃描圖像中的所有像素點(diǎn)，以每一個(gè)像素點(diǎn)的灰度作為對(duì)該點(diǎn)周圍3×3的8鄰域二值化的閾值，有順序的把二值化結(jié)果轉(zhuǎn)化為對(duì)應(yīng)的8位二進(jìn)制數(shù)，把范圍在0～255的8位二進(jìn)制二值化結(jié)果記作該點(diǎn)的LBP處理結(jié)果［6－7］，其算法操作過程如圖1所示。

圖1 基本LBP算子

基本LBP算子自身帶有操作范圍小且半徑固定的不足，不能達(dá)到操作尺寸變化和紋理粗度不同的要求，為了滿足不同紋理粗度以及灰度和旋轉(zhuǎn)不變性，Ojala［8］等用圓形鄰域半徑以及鄰域像素點(diǎn)數(shù)量靈活的優(yōu)點(diǎn)取代了3×3的正方形鄰域［9］，應(yīng)用圓形鄰域的半徑為R，圓形鄰域內(nèi)含有P個(gè)像素點(diǎn)，則基于圓形鄰域的LBP算子記作LBPP，R，而（8，2）鄰域圓形LBP算子原理圖如圖2所示。

圖2 圓形的LBP8，2算子

LBP直方圖在實(shí)際應(yīng)用中都是對(duì)各個(gè)分塊進(jìn)行計(jì)算的，對(duì)于一幅圖像，對(duì)每一個(gè)分塊應(yīng)用LBP算子得到的8位二進(jìn)制數(shù)數(shù)目很大，而圖像的分塊數(shù)也很大，但真正位于分塊區(qū)域中的目標(biāo)像素?cái)?shù)目卻較少，從而使獲得的直方圖不緊湊，滿足不了實(shí)際需求，因此，統(tǒng)一化LBP（Uniform LBP）思想應(yīng)運(yùn)而生，成為L(zhǎng)BP算子的又一重大突破，對(duì)于LBP算子操作后獲得的8位二進(jìn)制模式，將獲得的所有8位二進(jìn)制串看作一個(gè)循環(huán)，如果0和1之間的轉(zhuǎn)變?cè)?個(gè)以內(nèi)，則把這樣的局部二進(jìn)制模式記作統(tǒng)一化模式，在實(shí)際LBP直方圖應(yīng)用中，只把統(tǒng)一模式算作直方圖收集箱內(nèi)的成員，其它的計(jì)入公用收集箱，從而使LBP特征的數(shù)目直線下降，統(tǒng)一化的LBP算子記為

1.2 基于圖像分塊和紋理信息描述

應(yīng)用傳統(tǒng)的LBP紋理直方圖進(jìn)行手勢(shì)識(shí)別，主要是對(duì)紋理圖像中的像素點(diǎn)灰度等級(jí)進(jìn)行統(tǒng)計(jì)，該方法簡(jiǎn)單高效，但是隨之而來的是忽略了紋理圖像自身的空間結(jié)構(gòu)信息，如果不同手勢(shì)紋理圖像中的像素點(diǎn)灰度等級(jí)相似，就會(huì)造成誤判。利用圓形LBP算子的優(yōu)點(diǎn)和圖像分塊的思想，文中 選 擇（Multi－block Local Binary Patterns）算法，其中S表示圖像分塊的數(shù)目為S算子克服了傳統(tǒng)LBP算子針對(duì)像素值的操作，轉(zhuǎn)化為不同圖像塊灰度均值的比較，這種方法增加了對(duì)圖像整體信息的粗粒度把握程度，很好地克服LBPP，R算子描述局部紋理信息能力強(qiáng)，而對(duì)圖像自身結(jié)構(gòu)特征把握不好的缺陷。由算法，我們將分塊圖像灰度直方圖信息進(jìn)行順序整合，得到一個(gè)復(fù)合LBP直方圖向量，這個(gè)復(fù)合LBP直方圖向量將作為手勢(shì)識(shí)別過程中的關(guān)鍵參數(shù)。

2 手勢(shì)識(shí)別方法

采用基于相關(guān)的模板匹配算法，對(duì)于大小為M×N的樣本圖像f（x，y），大小為J×K的待檢測(cè)圖像w（x，y），則f與w的基于匹配的相關(guān)計(jì)算公式如下：

匹配率計(jì)算公式為：

式中：x＝0，1，2，…，N－K；y＝0，1，2，…，M－J。

相關(guān)是通過計(jì)算模板圖像像素與待檢測(cè)圖像像素之間的關(guān)系得到的，為使紋理信息能較好地應(yīng)用于基于模板的匹配算法，將f與w分別對(duì)應(yīng)于MBS－LBPμ2P，R算法中得到的復(fù)合LBP直方圖向量a，b（a代表模板圖像復(fù)合LBP直方圖向量，b代表待檢測(cè)圖像復(fù)合LBP直方圖向量），因此式（1）可以簡(jiǎn)化為：

式中：θ——a、b之間的夾角。

a、b的模值為一個(gè)固定值，因此，a·b的大小取決于cosθ的大小，cosθ大小就成為復(fù)合LBP直方圖向量匹配程度的衡量標(biāo)準(zhǔn)，因此得到匹配率計(jì)算公式：

因?yàn)閏osθ的取值范圍是［0～1］，故匹配率r（a，b）的取值范圍為［0～1］。

3 實(shí)驗(yàn)分析

首先選用Massey University手勢(shì)數(shù)據(jù)庫(kù)［10］作為實(shí)驗(yàn)對(duì)象，該數(shù)據(jù)庫(kù)內(nèi)含有來自5個(gè)人在不同光照下的36種手勢(shì)，共2 425張圖像，在這里列舉出4張?jiān)际謩?shì)圖像，以及應(yīng)用傳統(tǒng)LBP方法進(jìn)行處理得到的紋理圖像和直方圖，如圖3所示。

圖3 數(shù)據(jù)庫(kù)中4幅圖像經(jīng)傳統(tǒng)LBP處理后灰度直方圖

在列舉出來的直方圖信息中，第2種手勢(shì)和第4種手勢(shì)的直方圖過于相似，導(dǎo)致實(shí)驗(yàn)過程中發(fā)生誤判率較高，為了保證直方圖信息更加豐富，將圖像分塊方法引入，獲得復(fù)合LBP直方圖向量，經(jīng)MB－LBP算法處理后復(fù)合LBP直方圖向量如圖4所示。

圖4 經(jīng)MB－LBP算法處理后復(fù)合LBP直方圖向量

從兩幅圖像的復(fù)合LBP直方圖向量可以看出圖像自身紋理空間結(jié)構(gòu)信息的不同，通過實(shí)驗(yàn)表明，手勢(shì)識(shí)別誤判率明顯降低，應(yīng)用復(fù)合LBP直方圖向量作為識(shí)別參數(shù)的手勢(shì)識(shí)別率較高?；贛assey University手勢(shì)數(shù)據(jù)庫(kù)中36種手勢(shì)分別應(yīng)用傳統(tǒng)LBP和MB－LBP兩種方法進(jìn)行特征提取后的識(shí)別率對(duì)比如圖5所示。

圖5 傳統(tǒng)LBP和MB－LBP兩種方法進(jìn)行特征提取后識(shí)別率對(duì)比

從圖5可以看出，MB－LBP算法的識(shí)別率得到了較好地提高。

下面在實(shí)驗(yàn)室內(nèi)采集單一背景手勢(shì)圖像進(jìn)行識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)室內(nèi)采集的8幅常見手勢(shì)圖像如圖6所示。

圖6 A～H 8幅常見手勢(shì)圖像

將采集到的8幅常見手勢(shì)圖像傳統(tǒng)LBP直方圖向量與復(fù)合LBP直方圖向量作為手勢(shì)識(shí)別的參數(shù)模板使用，記為A1～H1與A2～H2。識(shí)別率的求取方法是：首先，通過匹配率方法求取待識(shí)別的30幅同一手勢(shì)圖像與每一個(gè)模板的匹配率，而后選取待匹配圖像模板中匹配率最高的一組匹配作為識(shí)別結(jié)果，統(tǒng)計(jì)30幅同一手勢(shì)待匹配圖像的最終正確識(shí)別結(jié)果，最后求得識(shí)別率，傳統(tǒng)LBP算法與文中算法匹配率和識(shí)別率對(duì)比結(jié)果見表1。

表1 傳統(tǒng)LBP算法與文中算法匹配率和識(shí)別率對(duì)比結(jié)果

從表1中的匹配率數(shù)據(jù)中可以看出，傳統(tǒng)LBP算法匹配率較文中算法匹配率低。

4 結(jié) 語(yǔ)

提出一種基于MB－LBP算法的手勢(shì)識(shí)別方法，很好地克服了傳統(tǒng)LBP紋理灰度直方圖對(duì)圖像空間結(jié)構(gòu)信息把握能力差，導(dǎo)致手勢(shì)識(shí)別精度低的問題。

文中算法與傳統(tǒng)LBP算法進(jìn)行了對(duì)比，識(shí)別率有了較大的提高，該方法可以很好地應(yīng)用到人機(jī)交互系統(tǒng)中，值得推廣。

［1］ 王真水，李琳，劉曉平.支持自定義的多粒度動(dòng)態(tài)手勢(shì)識(shí)別方法研究［J］.電子測(cè)量與儀器學(xué)報(bào)，2014，28（4）：416－423.

［2］ Bretzner L，Laptev I，Lindeberg T.Hand gesture recognition using multi－scale colour features，hierarchical models and particle filtering［C］／／Automatic Face and Gesture Recognition，2002.Proceedings.Fifth IEEE International Conference on.IEEE，2002：423－428.

［3］ Barczak A L C，Gilman A，Reyes N H，et al.Analysis of feature invariance and discrimination for hand images：Fourier descriptors versus moment invariants［C］／／International Conference Image and Vision Computing.New Zealand：IVCNZ，2011.

［4］ 鐘文濤.基于顏色模型和紋理特征的膚色識(shí)別系統(tǒng)的研究［J］.科技廣場(chǎng)，2012（3）：6－9.

［5］ 柴秀娟，汪孔橋.基于分塊局部紋理描述的手勢(shì)識(shí)別［J］.高技術(shù)通訊，2010（5）：487－492.

［6］ 王瑋，黃非非，李見為，等.使用多尺度LBP特征描述與識(shí)別人臉［J］.光學(xué)精密工程，2008，16（4）：696－705.

［7］ 林似水，鄭力新.聯(lián)合LBP與SOM的多分辨率織物疵點(diǎn)檢測(cè)［J］.微型機(jī)與應(yīng)用，2012，31（23）：45－47.

［8］ Ojala T，Pietikainen M，Maenpaa M.Multircsolution gray－scale and rotation invariant texture classification width local binary patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971－987.

［9］ 季戰(zhàn)領(lǐng)，馮曉毅，閻昆.一種ISAR圖像中飛機(jī)目標(biāo)識(shí)別的新特征［J］.計(jì)算機(jī)工程，2010，36（23）：192－193.

［10］ Barczak A，Reyes N H，Abastillas M，et al.A new 2Dstatic hand gesture colour image dataset for asl gestures［J］.Research Letter Information Math Science，2011（15）：12－20.