一種新的室內(nèi)機器人手勢指令識別系統(tǒng)

魏志蓮，汪劍鳴，竇汝振，冷 宇

（1.天津工業(yè)大學(xué) 信息與通信工程學(xué)院，天津 300160；2.中國汽車技術(shù)研究中心，天津 300162；3.蘇州出入境檢驗檢疫局，江蘇蘇州 215021）

一種新的室內(nèi)機器人手勢指令識別系統(tǒng)

魏志蓮1，汪劍鳴1，竇汝振2，冷 宇3

（1.天津工業(yè)大學(xué) 信息與通信工程學(xué)院，天津 300160；2.中國汽車技術(shù)研究中心，天津 300162；3.蘇州出入境檢驗檢疫局，江蘇蘇州 215021）

針對室內(nèi)機器人手勢指令識別系統(tǒng)識別率低、算法復(fù)雜等問題，提出一種新的設(shè)計方案．利用固定在室內(nèi)某一位置的圖像采集設(shè)備獲取手勢圖像，采用YCbCr皮膚顏色模型進行手勢分割，再通過八鄰域邊界追蹤及傅里葉變換得到特征向量，最后通過最小距離法進行識別，并以此為基礎(chǔ)，給出了手勢指令識別的基本框架．實驗表明，該系統(tǒng)的識別率較高，在90%以上，是一種簡單合理的識別系統(tǒng)．

智能人機接口；室內(nèi)機器人；手勢指令識別

人機交互技術(shù)[1-2]，主要研究用戶與計算機之間的交互方式．隨著模式識別、計算機視覺等智能技術(shù)的發(fā)展，智能人機交互技術(shù)逐漸成為當(dāng)前研究的一個熱點問題．手勢識別就是要把手勢這種自然、直觀的交流方式引入人機接口中，實現(xiàn)更符合人類行為習(xí)慣的人機交互，這是實現(xiàn)新一代智能人機交互所不可缺少的一項關(guān)鍵技術(shù)．本文主要研究利用手勢識別來實現(xiàn)對室內(nèi)機器人控制的問題．對于室內(nèi)機器人來說，視覺傳感器安裝在機器人身上，隨同機器人一起運動．由于機器人的運動使得視覺傳感拍攝的圖像中背景物體也在運動，對圖像的內(nèi)容分析復(fù)雜，對手勢的正確識別率低，限制了手勢識別在機器人指令系統(tǒng)中的實際應(yīng)用．鑒于上述原因，本文提出一種新的室內(nèi)機器人手勢指令識別系統(tǒng)，該系統(tǒng)將視覺傳感器固定到室內(nèi)某一位置，并研究手勢指令識別的框架結(jié)構(gòu)，最后利用實驗證明該指令識別系統(tǒng)的識別率較高，且易于實現(xiàn)．

1 手勢指令控制系統(tǒng)結(jié)構(gòu)

本文利用手勢對機器人的控制過程如圖1所示.首先將攝像頭安裝在某一固定位置，當(dāng)實驗者對攝像頭做出手勢時，攝像頭將采集的手勢傳給手勢識別模塊，該模塊對圖像進行分割、邊界追蹤、特征提取及手勢的識別．通過無線模塊向機器人控制器發(fā)送控制指令，控制器接收到指令后，向機器人發(fā)送相應(yīng)的指令，使其產(chǎn)生動作．

圖1 手勢對機器人的控制過程Fig.1 Control process of gesture according to robot

2 手勢識別算法

為了對室內(nèi)機器人進行實時有效的指令控制，本文設(shè)計了一種簡單有效的手勢識別算法．主要包括：基于YCbCr皮膚顏色模型的手勢分割、八鄰域邊界追蹤、傅里葉系數(shù)的特征提取及基于最小距離的手勢識別這4個部分．

2.1 手勢分割

YCbCr空間具有將色度與亮度分離的特點，其中Y是亮度，而Cb和Cr是色度信息．在YCbCr色彩空間中膚色的聚類特性比較好，受亮度變化的影響小，而且是兩維獨立分布，能較好地限制膚色分布區(qū)域，并且受人種的影響不大．本文選擇YCbCr色彩空間模式進行手勢區(qū)域分割[3-6]．YCbCr格式與RGB格式線性變化關(guān)系如（1）所示：

通過對大量皮膚像素的統(tǒng)計分析發(fā)現(xiàn)膚色聚類在色度空間中的一個很小的范圍內(nèi)．傳統(tǒng)的膚色分割方法就是在二維的Cb-Cr子平面中尋求膚色的聚類區(qū)域，根據(jù)統(tǒng)計結(jié)果設(shè)定閾值從而將膚色區(qū)域與非膚色區(qū)域分離．

因為YCbCr色彩格式直接由RGB色彩格式通過線性變換得到，所以其亮度分量Y并不是完全獨立于色度信息而存在的，所以膚色的聚類區(qū)域也是隨Y的不同而呈非線性變化的趨勢．

經(jīng)研究發(fā)現(xiàn)，膚色聚類是呈兩頭尖的紡錘形狀，也就是在Y值較大和較小的部分，膚色聚類區(qū)域也隨之縮減．由此得到結(jié)論，簡單的排除Y分類，按照傳統(tǒng)的做法在二維的Cb-Cr子平面中尋求膚色的聚類區(qū)域是不可行的，必須考慮Y值不同造成的影響，從而對YCbCr色彩格式進行非線性分段色彩變換．

Anil K Jain等的研究表明，在膚色聚類的邊界上，Cb和Cr兩分量隨Y變化的情況可以用4個邊界來限制膚色聚類區(qū)域．這樣可以很好地適應(yīng)亮度過明或過暗的區(qū)域，從而使膚色模型的魯棒性大大提高．

經(jīng)過了非線形分段色彩變換得到的色彩空間用YCb′Cr′來表示．YCbCr坐標(biāo)空間到Y(jié)Cb′Cr′坐標(biāo)空間的轉(zhuǎn)換公式如（2）～（5）所示：

式中：Kl=125，Kh=188（非線性分段色彩變換的分段值域）；Ymin=16，Ymax=235（膚色聚類區(qū)域中Y分量的最小和最大值）；WCb=46.97，WLCb=23，WHCb=14，WCr= 38.76，WLCr=20，WHCr=10是試驗得到的常數(shù)．

根據(jù)膚色在Cb′～Cr′子空間上的投影建立膚色橢圓模型[7]，由公式（6）和（7）給出：

式中：cx=109.38，cy=152.02，θ=2.53（rad），ecx=1.60，ecy=2.41，a=25.39，b=14.03，以上各值皆由Cb′～Cr′空間的膚色聚集區(qū)域計算得到．

由于光照不均勻和人為因素的影響，會造成拍攝的手勢模糊，一般可使用微分運算對圖像進行銳化，使圖像的邊緣變得清晰，有利于手勢的分割．本文在手勢分割前，先對圖像進行Laplacian銳化．

銳化及分割效果如圖2所示.由圖2可見，通過該方法能把手從復(fù)雜背景中有效地分割出來．

圖2 YCbCr皮膚模型分割效果Fig.2 Segmentation results of YCbCr skin model

2.2 邊界追蹤

經(jīng)過皮膚顏色模型分割得到的是關(guān)于手的黑白二值圖像，手區(qū)域像素值為1，背景區(qū)域像素值為0．在邊緣提取的多種方法中，可以采用的邊緣檢測方法很多．如使用微分算子方法進行手的邊緣提取時，由于上下方向等問題，使得外邊緣與內(nèi)邊緣的區(qū)分發(fā)生混淆，而本文感興趣的是手區(qū)域的外邊緣．為此，本文采用一種八領(lǐng)域搜索的外邊緣跟蹤算法[8-9]，該算法既能有效地跟蹤外邊界又能克服內(nèi)邊界的存在對算法的影響，其具體算法如下：

（1）按從上到下、從左到右的順序掃描圖像，尋找第一個像素值為1的像素點作為邊界起始點A[0]，記錄A[0]點的坐標(biāo)（A[0]·x，A[0]·y）．A[0]是具有最小行和列值的邊界點，再定義一個掃描方向變量dir．該變量用于記錄上一步中沿著前一個邊界點到當(dāng)前邊界點的移動方向，其初始化取值為A[0]·dir=7．

假設(shè)當(dāng)前坐標(biāo)為（x，y），則其8個鄰域坐標(biāo)見表1.

表18 個鄰域坐標(biāo)Tab.1 Eight-neighborhood coordinates

（2）按逆時針方向搜索當(dāng)前象素的3×3的鄰域，其起始搜索方向設(shè)定如下：

若A[n-1]，dir為奇數(shù)，則取（dir+7）mod8；

若A[n-1]，dir為偶數(shù)，則取（dir+6）mod8．

在3×3鄰域中搜索到的第1個像素值為1的象素點便為新的邊界點A[n]，同時更新記錄從上一點搜索到邊界點A[n]的方向變量A[n]·dir，記錄新的邊界點的坐標(biāo)（A[n]·x，A[n]·y）．

（3）如果邊界點A[n]等于第一個邊界點A[0]，即（A[n]·x==A[0]·x&&A[n]·y==A[0]·y）．則停止搜索，結(jié)束跟蹤，否則重復(fù)步驟（2）．由邊界點A[0]，A[1]，A[2]，…，A[n]構(gòu)成的邊界便為要跟蹤的邊界．

本文在進行邊界追蹤之前，先對分割出來的二值手勢圖像進行剪切和調(diào)整大小，然后進行先膨脹后腐蝕的閉運算．該運算能夠填充手內(nèi)細小空洞，填平狹窄的斷裂、細長的溝壑以及輪廓的缺口，在平滑其邊界的同時并不明顯改變其面積．對圖像進行閉運算后，再進行邊界追蹤的結(jié)果如圖3中（a）、（b）所示．

2.3 特征提取

對于一個物體的邊緣即形狀來說，可將其看作是平面在空間坐標(biāo)系下的點集構(gòu)成的閉合曲線，這樣就可用周期函數(shù)來描述其外形，可以進行離散傅里葉變換，將圖像由空域表示轉(zhuǎn)換到頻域表示，變換后的函數(shù)可由傅里葉變換系數(shù)來描述[10-12]．對于數(shù)字圖像的頻譜來說，低頻分量的分布反映了圖像主體的基本形狀，高頻分量的分布反映圖像的細節(jié)，去掉細節(jié)，即去掉高頻成分并不會破壞物體的形狀特征．而且圖像低頻部分代表了圖像的主體信息，因而可以引用低頻分量的系數(shù)來分析其形狀的相似度．

通過邊界追蹤得到邊界點A[0]，A[1]，A[2]，…，A [n]，將這些邊界點組成序列p[n]={A[n]·x，A[n]·y}，其中n=0，1，2，…，N-1．用復(fù)數(shù)來表示每一點坐標(biāo)，即p[n]=A[n]·x+i A[n]·y．對復(fù)數(shù)序列進行離散傅里葉變換，得到傅里葉系數(shù)，取傅里葉系數(shù)的幅值作為特征向量．

在此去掉第1個系數(shù)，即直流分量，來防止噪聲干擾，實現(xiàn)旋轉(zhuǎn)不變．取2～11這10個系數(shù)，并將這10個系數(shù)除以邊緣點總數(shù)N，實現(xiàn)特征向量正則化，從而實現(xiàn)尺度不變．這樣就得到了一組十維的滿足旋轉(zhuǎn)不變性和尺度不變性的特征向量．

2.4 基于最小距離的手勢識別

最小距離分類器[13-14]是對訓(xùn)練集中的樣本進行訓(xùn)練，得到每一類的中心．分別計算待識別手勢與每一類中心的距離，哪一個距離最近則待識別手勢屬于哪一類．基本思想：設(shè)圖像類Ωi的樣本集為，它們都是向量，平均值如公式（8）所示：

用di表示任何一個圖像樣本與平均值之間的距離如式（9）：

求出di的最小值，則判決X屬于Ωi類．

3 手勢指令識別

如何正確獲取并識別手勢指令是室內(nèi)機器人手勢指令控制系統(tǒng)的關(guān)鍵．目前在手勢指令識別上還存在一些問題．一方面，由于室內(nèi)人員較多，容易造成手勢指令誤判；另一方面由于在指令手勢沒有穩(wěn)定后就進行手勢采集，造成指令誤判，從而導(dǎo)致識別率較低．

為此本文設(shè)計了一種手勢指令激活及手勢指令穩(wěn)定的判斷方法，具體實現(xiàn)步驟為：

（1）攝像頭對視區(qū)不斷進行實時監(jiān)控，檢測視區(qū)中是否存在運動物體，存在則轉(zhuǎn)到（2）；否則，繼續(xù)進行步驟（1）．

（2）等待物體靜止，獲取靜態(tài)圖片，判斷是否存在激活指令手勢，存在則激活無線指令收發(fā)模塊，并轉(zhuǎn)到（3）；否則延遲1 s，轉(zhuǎn)到（1）．

（3）對視區(qū)繼續(xù)進行實時監(jiān)控，檢測視區(qū)中是否存在運動物體，存在則轉(zhuǎn)到步驟（4）；否則，繼續(xù)進行步驟（3）．

（4）等待物體靜止，并獲取靜態(tài)圖片，判斷是否存在指令手勢，存在則轉(zhuǎn)到步驟（5）；否則，延遲1 s后，轉(zhuǎn)到步驟（3）．

（5）對指令手勢進行識別，將指令通過無線模塊向機器人控制器發(fā)送控制指令，控制器接收到指令后，向機器人發(fā)送相應(yīng)的指令，使其產(chǎn)生動作．延遲1 s，然后轉(zhuǎn)到（1）．

4 實驗結(jié)果

為了驗證手勢識別算法的性能，本文采用由瑞士的Sebastien Marcel創(chuàng)建的手勢數(shù)據(jù)庫[15]對該算法進行測試，該數(shù)據(jù)庫中共有5 818幅手勢圖片，包含了10個人的6種手勢．本文從中隨機抽取100幅彩色圖片，其中共包含了如圖4所示的4種手勢，其中40幅用于訓(xùn)練樣本，60幅用于測試樣本．測試結(jié)果如表2所示.

圖44 種手勢Fig.4 Four kinds of gestures

手勢 測試圖片數(shù) 錯誤判別數(shù) 誤判手勢 識別率/ % A 1 5 0 － 1 0 0 C 1 5 1 F i v e 9 3 . 3 F i v e 1 5 1 P o i n t 9 3 . 3 P o i n t 1 5 2 F i v e 8 6 . 7

通過實驗發(fā)現(xiàn)存在手勢誤判的情況，錯誤識別的主要原因有2個：

（1）數(shù)據(jù)庫中圖片分辨率較低，手的輪廓模糊，導(dǎo)致分割出來的手形發(fā)生形變，造成手勢誤判．

（2）手形比較接近，容易造成錯誤判別．

總之，該識別算法基本上能正確地識別出手勢，其性能是十分可靠的．

在保證了識別算法的可靠有效后，就將進一步驗證該手勢指令系統(tǒng)是否能實現(xiàn)對機器人的有效控制．為了避免手勢誤判，本文采用了如圖5所示的手形差別較大的5種手勢，分別代表了激活、前進、后退、左轉(zhuǎn)、右轉(zhuǎn)這5種指令，來控制機器人的運動．

圖55 種手勢指令Fig.5 Five kinds of gesture instructions

本實驗共做了40次測試，其測試過程為：每次手握拳緩緩置于攝像頭視區(qū)內(nèi)，靜止1 s后，變換另一種手勢，手勢靜止后，觀察機器人的運動情況.經(jīng)反復(fù)測試后，其實驗結(jié)果如表3所示.

表3 指令控制實驗結(jié)果Tab.3 Results of instruction controlling

從表3可以看出，該系統(tǒng)的識別率較高，能夠?qū)崿F(xiàn)手勢指令對室內(nèi)機器人的有效控制．

5 結(jié)束語

本文提出了一種簡單合理的手勢指令識別系統(tǒng)，通過手勢來控制室內(nèi)機器人的運動．識別算法采用皮膚顏色模型進行手勢分割，通過八鄰域邊界追蹤和傅里葉變換得到滿足旋轉(zhuǎn)不變性和尺度不變性的特征向量，最后用最小距離法進行識別，識別率較高．同時，提出了一種新的指令識別框架，從而實現(xiàn)了對室內(nèi)機器人運動的有效控制．由于室內(nèi)環(huán)境較為復(fù)雜，且室內(nèi)光線不均勻，給手勢分割帶來了一定難度，所以本文將圖像采集設(shè)備固定在室內(nèi)某一位置，但這給手勢識別系統(tǒng)帶來了一定的局限性．因此，研究出一種更有效的手勢分割算法是本文下一步研究的重點．

[1]孫麗娟，張立材，郭彩龍.基于視覺的手勢識別技術(shù)[J].計算機技術(shù)與發(fā)展，2008，18（10）：214-216，221.

[2]李清水，方志剛，沈模衛(wèi)，等.手勢識別技術(shù)及其在人機交互中的應(yīng)用[J].人類工效學(xué)，2002，8（1）：27-29.

[3]HSU Rein-Lien，MOHAMED Abdel-Mottaleb，JAIN Anil K. Face detection in color images[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2002，24（5）：696-706.

[4]王金庭，楊 敏.基于YCbCr空間的亮度自適應(yīng)膚色檢測[J].計算機系統(tǒng)應(yīng)用，2007（6）：99-102.

[5] HIDEKI Noda，MICHIHARU Niimi，JIN Korekuni.Simple and efficient colorization in YCbCr color space[J].International Conference on Pattern Recognition，2006（3）：685-688.

[6]DOUGLAS Chai，ABDESSELAM Bouzerdoum.Bayesian approach to skin color classification in YCbCr color space[C]. IEEE Region 10 Annual International Conference，Proceedings，2000，2：421-424.

[7]李 杰，郝曉莉.一種基于橢圓膚色模型的人臉檢測方法[J].計算機測量與控制，2006（2）：170-171.

[8] YU Yang，LIU Erli，ZHOU Tietao.Application of boundary tracing and freeman code in quantitative metallography[J]. Journal of Beijing University of Aeronautics and Astronautics，2004，30（8）：676-770.

[9]李興偉，葛 元，王林泉.基于形狀特征的字母手勢的分類及識別算法[J].計算機工程，2004，30（18）：130-132，186.

[10]ZHANG Gang，MA Z M，TONG Qiang，et al.Shape feature extraction using fourier descriptor with brightness in contentbased medical image retrieval[C].Proceedings-2008 4th International Conference on Intelligent Information Hiding and Multimedia Signal Processing.IIH-MSP 2008，2008:71-74.

[11] PURCARU Dorina.Algorithm for computing the Fourier descriptors of a binary outline[C].Proceedings of the Mediterranean Electrotechnical Conference-MELECON，1998，1：39-43.

[12]劉江華，陳佳品，程君實.用于人機交互的靜態(tài)手勢識別系統(tǒng)[J].紅外與激光工程，2002，31（6）：499-503.

[13] LIU Zhe.Minimum distance texture classification of SAR images in contourlet domain[C].Proceedings-International Conference on Computer Science and Software Engineering，CSSE，2008，1：834-837.

[14]陳綿書，付 萍，張春雨.基于最小距離最大原則的模式分類[J].計算機工程，2004，30（9）：28-30.

[15] MARCEL S.Hand posture recognition in a body-face centered space[DB].In Proceedings of the Conference on Human Factors in Computer Systems（CHI），1999.

A new recognition system of hand gesture instruction based on indoor robot

WEI Zhi-lian1，WANG Jian-ming1，DOU Ru-zhen2，LENG Yu3
（1.School of Information and Communication Engineering，Tianjin Polytechnic University，Tianjin 300160，China；2. AutomotiveTechnologyResearchCenterof China，Tianjin 300162，China；3.SuzhouEntry-Exit Inpection and Quarantine Bureau，Suzhou 215021，China）

A new scheme of hand gesture based instruction recognition system for indoor robot is proposed to improve recognition rate and reduce the complexity of recognition algorithm.The image acquisition device is installed at a fixed indoor location，and YCbCr skin color model is applied to segment hand gesture pictures.Then，feature vector is gotten by the eight-neighborhood tracking and Fourier transform.Finally，the minimum distance method is adopted to identify hand gestures，and the basic framework of hand gesture instruction recognition is illuminated.The experiment shows that the system has higher recognition rate（more than 90%），which is a simple and reasonable recognition system.

intelligent human-computer interface；indoor robot；hand gesture instruction recognition

book=1,ebook=81

TP242.62

A

1671－024X（2010）01－0072－05

2009-08-18 基金項目：國家自然科學(xué)基金資助項目（60602036）

魏志蓮（1983—），女，碩士研究生.

汪劍鳴（1974—），男，副教授，博士，碩士生導(dǎo)師.E-mail:wjm_hope@hotmail.com