基于形態(tài)學(xué)處理與模式識(shí)別的手部圖像分割

羅偉等

摘 要： 為了更有效地分割手部圖像，提出一種基于彩色閾值變換、形態(tài)學(xué)處理與模式識(shí)別的手部識(shí)別算法。利用手部與周圍背景在RGB顏色分量上存在一定的差異，先通過RGB閾值變幻將彩色圖像二值化，然后進(jìn)行閉運(yùn)算與孔洞填充，最后根據(jù)周長面積比去除背景中的孤立點(diǎn)集以提取手部。實(shí)驗(yàn)證明，該算法能夠較為有效地將手部從背景中提取出來。

關(guān)鍵詞： 手部圖像分割； 彩色閾值； 形態(tài)學(xué)處理； 特征提??； 模式識(shí)別

中圖分類號(hào)： TN911.73?34； TP751 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）12?0080?03

0 引 言

手部識(shí)別屬于模式識(shí)別問題，其中涉及圖像處理和特征提取操作。由于手部識(shí)別的應(yīng)用范圍廣闊，許多學(xué)者及研究機(jī)構(gòu)都在對(duì)此進(jìn)行研究。

在已有的研究成果和算法中，最常使用的方法是機(jī)器視覺技術(shù)[1]，很多研究者通過諸多不同的機(jī)器視覺技術(shù)實(shí)現(xiàn)了精確有效地手部識(shí)別。Bhuyan.M.K等人提出一組新的描述手部連續(xù)姿態(tài)的特征集[2]。郭訓(xùn)力等人提出一種融合膚色模型和三維深度信息的手部識(shí)別方法[3]。覃文軍等人提出了通過手部形狀特征檢測(cè)的手勢(shì)感興趣區(qū)提取方法[4]。魏來等人利用Kinect的關(guān)節(jié)點(diǎn)信息和膚色顏色模型提取出手部區(qū)域[5]。柴功博等人提出一種基于手掌分割的攝像機(jī)陣列手部定位技術(shù)[6]。DE.STEFANO.C等人將遺傳算法應(yīng)用于模式識(shí)別中對(duì)手部圖像的處理[7]。此外，還有通過外部設(shè)備獲取生物電信號(hào)實(shí)現(xiàn)手部識(shí)別的方法，如郭一娜等人提出一種基于肌電信號(hào)與柔性神經(jīng)樹（Flexible Neural Trees）FNT模型的實(shí)時(shí)手勢(shì)識(shí)別模型[8]。

以上這些算法都過于復(fù)雜，不利于工程實(shí)現(xiàn)。本文意在尋找一種簡(jiǎn)單且復(fù)雜度較低的算法來解決手部的識(shí)別問題。本文根據(jù)手部與周圍背景在RGB顏色分量上的差異，對(duì)彩色圖像閾值變換所得到的二值圖像，進(jìn)行開閉操作及特征提取，最后完成手部的識(shí)別過程。實(shí)驗(yàn)結(jié)果表明，該方法能夠較為有效地實(shí)現(xiàn)手部與周圍背景的分割。

1 數(shù)據(jù)來源

這里手動(dòng)采集了27幅手部圖像，其中包含了男性和女性樣本，年齡在18～20歲之間，擺出不同的姿態(tài)。圖1給出了數(shù)據(jù)庫的4幅示意圖。

2 方 法

本文方法分為3個(gè)步驟如圖2所示。在采集原始手部圖像后，首先通過多通道閾值分割，得到二值圖像；接著通過形態(tài)學(xué)操作，填充孔洞；最后通過模式識(shí)別方法，去除圖像中的孤立點(diǎn)集，此時(shí)得到的就是最終的分割圖像。

2.1 基于通道的閾值分割

物體表面的顏色即表面色是因光照而呈現(xiàn)的顏色[9]。在自然光照射及其他因素的影響下，手部和其他物體形成不同的表面色，且推測(cè)手部表面色會(huì)處于某個(gè)色彩范圍內(nèi)，本文正是利用手部和周圍環(huán)境在RGB顏色分量上的差異進(jìn)行識(shí)別。截取樣本圖像中的感興趣區(qū)域ROI（Region of Interest），即圖像中的手部部分，對(duì)其進(jìn)行RGB顏色分量統(tǒng)計(jì)，得到顏色分量直方圖，如圖 3所示?？梢?，手部圖像在RGB顏色分量直方圖上均存在波峰，可進(jìn)一步劃分彩色閾值。

由上述顏色分量直方圖可得出手部的RGB顏色分量分布區(qū)域，根據(jù)這些信息將圖像二值化。設(shè)R（m，n），G（m，n），B（m，n）分別代表（m，n）處的R、G、B分量值，而bw（m，n）代表該點(diǎn)的二值化值，則：

[bwm，n=1， Rm，n in 100，130& Gm，n in 60，90 & Bm，n in （40，70）0， otherwise] （1）

2.2 形態(tài)學(xué)操作

彩色閾值分割后，手部可能會(huì)因?yàn)楸砻婕y理造成圖像中存在孔洞，所以，對(duì)變換后的二值圖像先進(jìn)行孔洞填充操作。然后，以白色手部區(qū)域?yàn)榍熬?，其余黑色部分為背景，?duì)得到的二值圖像進(jìn)行閉運(yùn)算，閉運(yùn)算即先膨脹再腐蝕的結(jié)果，將圖像中狹窄的缺口連接起來，并填充比結(jié)構(gòu)元素小的洞，平滑對(duì)象的輪廓。進(jìn)行閉運(yùn)算后，再進(jìn)行一次孔洞填充，補(bǔ)完圖像。

2.3 模式識(shí)別

在孔洞填充之后，圖像中還有可能出現(xiàn)孤立的局部點(diǎn)集，這是由于拍攝時(shí)受噪聲影響。為此，將所有互相連接的點(diǎn)集標(biāo)號(hào)，提取對(duì)應(yīng)的特征，建立規(guī)則選取符合手部圖像的點(diǎn)集。

圖像特征是指圖像中可以用來標(biāo)志的屬性[10]，在其提取過程中，一般包括面積、周長、重心等。對(duì)手部圖像進(jìn)行特征提取，考慮到手指部分的形狀，整個(gè)手部的周長面積比會(huì)與其他物體有所區(qū)分，所以根據(jù)周長面積比將手部從背景中提取出來。

面積：指物體區(qū)域包含的像素?cái)?shù)，用符號(hào)s表示。

周長：物體輪廓線上像素間距離之和，用符號(hào)c表示。在進(jìn)行周長計(jì)算時(shí)，需根據(jù)像素間的連接方式，分別計(jì)算距離。像素間距離可分為并列連接像素與傾斜連接像素2種方式。并列有上下左右4個(gè)方向，像素間距離為1；傾斜方向有左上角、左下角、右上角、右下角，其像素間距離等于單位正方體的對(duì)角線長度。本文使用8向鏈碼求二值圖像的周長。周長面積比用r表示，有[r=cs]。

表中數(shù)據(jù)0.048 276偏差較大，是由于取樣過程中，拍攝樣本圖片角度過于傾斜導(dǎo)致。排除異常數(shù)據(jù)后，表中周長面積比的最小值min=0.067 697，最大值max=0.110 470，據(jù)此設(shè)置手部提取的特征參數(shù)區(qū)間。若用h代表手部，1和0分別代表該對(duì)象被保留或舍棄，則定義手部提取公式為：

[h=1， rin（0.068，0.110）0， otherwise] （2）

3 實(shí) 驗(yàn)

編程語言采用Matlab 2014a，在主頻為3 GHz、CPU為Intel Core i3、內(nèi)存為8 GB的HP Pavilion g6筆記本電腦上運(yùn)行。這里設(shè)計(jì)了如下3個(gè)實(shí)驗(yàn)任務(wù)。限于篇幅，選擇以圖 4（a）為例，詳細(xì)描述本文算法的每一步結(jié)果。

3.1 預(yù)分割二值圖像

基于RGB三通道得到的手部預(yù)分割的二值圖像如圖 4（b）所示，可見式（1）能夠有效地初步提取彩色手部圖像。手部的大致邊緣均包含在得到的二值圖像內(nèi)。缺陷在于，手部存在孔洞，同時(shí)背景部分存在獨(dú)立點(diǎn)集。這將通過下述兩個(gè)步驟予以校正。

3.2 孔洞填充

圖 4（c）是對(duì)二值圖像進(jìn)行孔洞填充、閉運(yùn)算、再次孔洞填充后得到的變換圖。可見，經(jīng)過形態(tài)學(xué)操作后，前景圖像（手部）中的孔洞已較好的予以填充，能夠完整地反映手部的形狀。

3.3 去除孤立點(diǎn)集

對(duì)孔洞填充后的圖像進(jìn)行模式識(shí)別以去除孤立點(diǎn)集，得到最終結(jié)果如圖 4（d）所示?？梢姡藭r(shí)得到的分割結(jié)果不僅在手部區(qū)域沒有孔洞，而且在背景區(qū)域也沒有孤立點(diǎn)集，較理想地完成了本文的設(shè)計(jì)任務(wù)。

4 結(jié) 語

本文根據(jù)手部和背景在RGB顏色分量上的差異所提出的基于分量值的彩色閾值變換圖像分割算法，較單色分量的閾值變換具有明顯的優(yōu)勢(shì)。同時(shí)引入形態(tài)學(xué)操作與模式識(shí)別算法，能夠較好地填充孔洞與去除孤立點(diǎn)集。實(shí)驗(yàn)結(jié)果顯示該算法具有較高的準(zhǔn)確率，能夠很好地將手部從背景中提取出來。

本文方法的缺點(diǎn)在于，在采集的樣本圖像中有部分提取后偏差較大，尤其是背景色彩復(fù)雜、光照過強(qiáng)或過弱的樣本，此次樣本有限，未能做進(jìn)一步分析。另外，算法評(píng)價(jià)過于主觀，需要進(jìn)一步采用客觀的量化評(píng)價(jià)方法。今后的工作將繼續(xù)完善本算法，考慮引入紋理特征和邊緣檢測(cè)，以進(jìn)一步提高該算法的魯棒性，保證該算法在各種條件下都能適用。

注：本文通訊作者為張煜東。

參考文獻(xiàn)

[1] NOUAOURIA N， BOUKADOUM M. Improved global?best particle swarm optimization algorithm with mixed?attribute data classification capability [J]. Applied Soft Computing， 2014， 21（2）： 554?567.

[2] BHUYAN M K， KUMAR D A， MACDORMAN K F， et al. A novel set of features for continuous hand gesture recognition [J]. Journal on Multimodal User Interfaces， 2014， 8（4）： 333?343.

[3] 郭訓(xùn)力，俞揚(yáng).一種基于膚色和深度的第一人稱人手識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2014（12）：133?136.

[4] 覃文軍，楊金柱，趙大哲.基于形狀特征檢測(cè)的手勢(shì)感興趣區(qū)提取方法[J].機(jī)器人技術(shù)與應(yīng)用，2012（6）：39?41.

[5] 魏來，王迪，邢程，等.基于kinect的手指定位[J].電腦知識(shí)與技術(shù)，2014（28）：6713?6715.

[6] 柴功博，顧宏斌，吳東蘇，等.基于手掌分割的攝像機(jī)陣列手部定位技術(shù)研究[J].儀器儀表學(xué)報(bào)，2012（11）：2535?2545.

[7] DE STEFANO C， FONTANELLA F， MARROCCO C， et al. A GA?based feature selection approach with an application to handwritten character recognition [J]. Pattern Recognition Letters， 2014， 35（2）： 130?141.

[8] 郭一娜，王清華，艾杰特·亞伯拉罕.基于柔性神經(jīng)樹和表面肌電信號(hào)的手勢(shì)識(shí)別模型[J].計(jì)算機(jī)應(yīng)用與軟件，2012（4）：170?173.