一種快速自適應的指尖檢測方法的實現(xiàn)

摘 要：為了滿足基于視覺的人機互動系統(tǒng)中手指的識別與理解的需要，提出了一種快速、自適應的指尖檢測方法。該方法首先將輸入圖像基于膚色空間進行二值化，利用手指輪廓的平行特性，分離出感興趣的手指部分。在此基礎上，通過手指輪廓邊緣曲率特征結合指尖的邊界特征，實現(xiàn)指尖的快速精確檢測。實驗結果表明，該方法能有效的檢測出指尖，并為進一步在人機互動系統(tǒng)中的應用打下基礎。

關鍵詞：單目視覺；聚類；指尖檢測

DOI：10.16640/j.cnki.37-1222/t.2018.11.110

1 引言

手部識別作為視覺識別的熱點己經應用于很多領域，例如：人機互動、機器人控制、手語識別、虛擬現(xiàn)實、投影互動等領域，有著廣泛的應用前景。指尖檢測算法作為整個手部識別最重要的部分決定了手部識別的優(yōu)劣，這是因為指尖位置包含了絕大部分手的信息。

基于單目的指尖檢測算法需要利用手部圖像的一些二維信息，形成手部特征。常見的手部特征有膚色特征、輪廓特征，識別出手部區(qū)域后進一步完成對指尖位置的檢測和提取。Oka and Sato [1]開發(fā)出了EnhancedDesk人機交互系統(tǒng)，他們把手指看作是一個矩形和半圓形的組合，然后利用模板匹配來定位指尖。Argyros and Lourakis[2]首先利用貝葉斯分類器和自適應的顏色概率分布來檢測和跟蹤人手，對輪廓數據進行曲率計算并確定指尖位置?；谳喞治龇ê突谀０迤ヅ浞ǘ夹枰蕾嚵己玫氖植繄D像，獲得較好的指尖輪廓特征。

本文提出一種快速、自適應的基于曲率的指尖檢測方法。該方法首先將輸入圖像基于膚色空間進行二值化；然后采用邊緣檢測算法提取膚色區(qū)域的輪廓；再根據手指輪廓的曲率定位類指尖的點，再根據手指特殊的邊界標志來排除非指尖點。

2 手部膚色區(qū)域提取

在機器視覺中，圖像色彩空間主要有RGB、HSV、YCbCr等。其中YCbCr顏色空間受亮度變化的影響較小，較適合作為膚色分布統(tǒng)計的映射空間[7]，并且Cb，Cr分布獨立，能較好地聚類膚色區(qū)域，對姿態(tài)的變化不敏感，具備旋轉不變、不受表情等變化的影響，具有較強的魯棒性。但在實用中，通過用膚色色彩范圍來提取膚色區(qū)域卻很困難，因為在圖片中膚色會隨設備和環(huán)境光照強度的不同而變化，如果樣本過大會使膚色聚類效果不好。

研究表明：在YCbCr空間，除去亮度分量后的Cb，Cr分量的聯(lián)合分布服從二維高斯分布[4]。

其中是顏色在Cb，Cr空間的向量，u1，u2和，分別是訓練樣本集中所有樣本的均值向量和協(xié)方差矩陣：

可以利用對膚色進行分類，通過訓練樣本集，估計膚色閾值。

實際情況中，由于受光照的影響，膚色數據的多樣性，用一個高斯模型往往自適應性較差，不能很好地表達數據分布?？赏ㄟ^多個高斯模型一起來表達數據分布 [5]，但往往計算量過大。

本算法通過高斯模型估計膚色閾值，再通過8聯(lián)通區(qū)域生長法填充邊界點，平滑手部邊緣。在光照較好，且背景中類似膚色區(qū)域與手部區(qū)域有明顯間隔的情況下有較好的效果。

本文還采用了中值濾波和保留最大聯(lián)通區(qū)域等預處理方法濾除干擾。但是由于閾值條件限制的緣故，提取出的膚色邊緣部分非常粗糙，這是由于膚色區(qū)域提取算法閾值范圍造成的。粗糙的邊緣對于邊緣曲率計算會帶來較大的干擾，本文采用腐蝕膨脹算法平滑圖像的邊緣。

3 指尖檢測

3.1 自適應K值的K-COS指尖檢測

手部輪廓的曲率特征對圖像的縮放和旋轉都具有很好的穩(wěn)定性，選擇其作為特征量算法簡單可靠。求邊緣輪廓的曲率，為了算法簡單，可用向量夾角的余弦值表示，即K-COS算法[6]。取輪廓與點的前面第K個點，和后面第K個點，則使用向量與向量夾角的余弦值作為點的曲率。計算時采用向量夾角公式，即：

由于陰影的影響，手部輪廓提取后并不是一條光滑的曲線，在邊緣上很可能出現(xiàn)凹凸不平的情況。這時選擇合適的k值尤為重要，k值過小或過大都會因余弦值太小而被漏檢或帶來過多干擾點。為了適應不同大小的目標手區(qū)域自適應的找出最優(yōu)的k值是基于曲率的指尖檢測算法關鍵因素。具體實現(xiàn)過程，根據手部區(qū)域的最小外接矩形的長寬比反應手指的數量，設置一個合適的K的區(qū)間。的曲率選擇在這個區(qū)內所得余弦值的最大值。

求手部區(qū)域邊緣輪廓上每隔2-3個像素點的曲率，過濾一部分邊緣干擾。再通過設定閾值T，將大于T的點篩選出來。

從圖2中可以看出，曲率算法將所有指尖均檢測到。但是同時可以發(fā)現(xiàn)，該算法出現(xiàn)了一些誤判點。一部分因手部輪廓存在的凹凸不平的情況產生干擾，一部分主要是那些位于兩個手指之間的凹槽的輪廓點。

3.2 非指尖點的排除

從圖2中可看出滿足曲率閾值的輪廓點，不僅出現(xiàn)在指尖部分，還會出現(xiàn)在兩指之間的凹槽。要去除非指尖點，可根據手部的指尖位置有著明顯的邊界特征。圖3為一邊界的1-D表達，沿著邊界輪廓（始終沿著同一個方向）計算各個像素與掌心的距離r。所得到的曲線，對平移不變，旋轉不變，尺度也將同趨勢變化。故而可通過邊界標志排除非指尖點。在每個類指尖點有明顯的聚類效果。按K均值聚類找出n個聚類中心，即每個指尖位置。

4 結論

本文的核心是基于曲率的類指尖點檢測。此算法對手部區(qū)域輪廓特征特別敏感，所以在實現(xiàn)曲率特征提取前，對手部區(qū)域的預處理對檢測結果有著非常重要的影響。預處理主要包括平滑處理，膚色提取，輪廓提取。本文對指尖位置的檢測基于多種篩選方法，實現(xiàn)快速、魯棒的檢測方法，但仍無法完全避免干擾。為了提高自適應性，各個步驟的閾值均采用區(qū)間選擇最優(yōu)的方法實現(xiàn)。此外，實驗還沒考慮到手臂的干擾（需要增加手勢的方向解決）。對于背景中類似膚色的干擾也不能完全濾除，適用于背景較單一的情況。

參考文獻：

[1]Oka K，Sato Y，Koike H，Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems， Proceedings of International Conference on Automatic Face and Gesture Recognition，2002：429-434.

[2]Argyros A A，Lourakis M I A，Vision-based interpretation of hand gestures for remote control of a computer mouse， International Conference on Human-Computer Interaction，LNCS 3979，2006，40-51.

[3]高雅萍.基于單目攝像頭的手勢識別方法研究[D].廈門大學，2014.

[4]Yang J，Lu W，Waibel A，Skin-color modeling and adaptation，Proceedings of Asian Conference on Computer Vision，1998（02）：687-694.

[5]Yang M H， Ahuja N， Gaussian mixture model for human skin color and its application in image and video databases， Proceedings of SPIE： Conference on Storage and Retrieval for Image and Video Databases，1999，4_58-466.

[6]D.Lee， analy sis，“S. Lee：“Vision-based ETRI Journa1，2011 ，volfinger action recognition by angle detection and contour 33，415-422.

[7]Yang J，Waibel A，A real-time face tracker，Proceedings of the third IEEE Workshop on Applications of Computer Vision，1996：142-147.

[8]張國家，左敦穩(wěn).基于圓形梯度的手勢分割算法的設計與實現(xiàn)[J].機械設計與制造工程，2013（09）：1-6.

作者簡介：楊雪婷（1982-），女，福建泉州人，碩士研究生，講師，工程技術學院電氣與電子信息系系主任，主要研究方向：信號與信息處理。