基于相關(guān)點(diǎn)均值處理的Kinect人手位置檢測方法研究

殷宏彬 趙悅 唐維彥 林閩旭 陸熊 黃曉梅

1 南京航空航天大學(xué) 自動(dòng)化學(xué)院,南京，211106

0 引言

近年來,隨著人機(jī)交互技術(shù)的飛速發(fā)展,鼠標(biāo)、鍵盤和遙控器等傳統(tǒng)人機(jī)交互接口已經(jīng)不能滿足涉及三維信息的人機(jī)交互需求,尋找更加便捷、自然的人機(jī)交互方式已成為該領(lǐng)域關(guān)注的熱點(diǎn)[1-2]．而首要問題就是需要機(jī)器能夠正確地認(rèn)識和理解人的行為．在這種背景下,位置檢測問題被人們提出．位置檢測是人機(jī)交互的基礎(chǔ),只有準(zhǔn)確檢測到人體位置,才能確保機(jī)器對用戶的操作進(jìn)行正確處理．

在各種新穎的交互技術(shù)中,手勢因其靈活性和多樣性而受到越來越多的關(guān)注．然而人手的運(yùn)動(dòng)是人體運(yùn)動(dòng)中最復(fù)雜的部分,對人手的位置檢測方法研究具有極大挑戰(zhàn)性[3]．在過去的幾十年里,研究人員通常使用數(shù)據(jù)手套作為標(biāo)記來跟蹤手的位置[4]．例如Glauser等[5]基于拉伸傳感器制作了數(shù)據(jù)手套以實(shí)現(xiàn)人手的追蹤與重建,具有很高的精度．然而,由于佩戴不便、調(diào)試復(fù)雜等原因,該方法很難廣泛使用．相比之下,非接觸式視覺檢測方法具有成本低、對人體舒適等優(yōu)點(diǎn),是目前流行的人手檢測方法．如孫莉紅等[6]和郭怡文等[7]均采用幀差法、膚色分割法等算法進(jìn)行人手區(qū)域分割,實(shí)現(xiàn)了基于膚色的手部定位與跟蹤．但由于基于二維圖像序列的識別方法穩(wěn)定性較差,復(fù)雜的背景和光照變化都會影響膚色檢測的效果,因此很難獲得期望的結(jié)果．此外,研究人員也通過基于光學(xué)、電磁學(xué)等其他方法實(shí)現(xiàn)了人手位置檢測．如孫俊彬等[8]通過在手指位置安置激光信號接收器,通過計(jì)算光學(xué)基站發(fā)射的激光平面到達(dá)被定位物體的掃描時(shí)間,實(shí)現(xiàn)三維空間中手指位置的精確定位．Ma等[9]提出了一種基于可見光的3D手指跟蹤技術(shù),他們通過投影儀將光編碼圖案投影到桌子、顯示器等物體表面,并使用光傳感器對投影光進(jìn)行檢測并解碼,從而獲得手指的三維坐標(biāo)信息．Chen等[10]提出了一種基于電磁場的多點(diǎn)手指跟蹤系統(tǒng),用戶在指尖佩戴電磁鐵,系統(tǒng)則通過計(jì)算電磁體和4個(gè)磁性傳感器之間的距離,使用三邊測量法確定電磁體的3D位置,實(shí)現(xiàn)手指位置檢測．

2010年微軟推出的Kinect體感設(shè)備,因其作為人機(jī)交互接口性能優(yōu)越、價(jià)格低廉,而被廣泛應(yīng)用于人機(jī)交互領(lǐng)域．由于Kinect傳感器配備了深度攝像機(jī),大大簡化了基于視覺的手部檢測．例如Zhao等[11]提出了一種基于 Kinect的虛擬康復(fù)系統(tǒng),通過Kinect檢測用戶上肢的位置信息,指導(dǎo)操作者執(zhí)行指定動(dòng)作,實(shí)現(xiàn)對中風(fēng)患者的康復(fù)

訓(xùn)練與恢復(fù)評估;Mohsin等[12]提出了一種多深度傳感器的標(biāo)定方法,通過多個(gè)Kinect深度傳感器數(shù)據(jù)的融合,對身體的四肢等關(guān)鍵部位進(jìn)行定位,當(dāng)主傳感器深度圖像中的任何一個(gè)標(biāo)定點(diǎn)被遮擋時(shí),可以利用標(biāo)定參數(shù)從其他傳感器的深度幀中獲取該點(diǎn)的坐標(biāo),克服了遮擋問題;Schr?der等[13]提出了一種實(shí)時(shí)手部跟蹤和姿態(tài)估計(jì)方法,通過讓用戶佩戴上彩色手套,并由Kinect的彩色相機(jī)與深度相機(jī)對其進(jìn)行檢測,實(shí)現(xiàn)對人手的定位與跟蹤;Kumar等[14]則將Kinect與Leap Motion傳感器進(jìn)行融合,分別從手的下方(Leap Motion)與正前方(Kinect)對人手進(jìn)行檢測,提高了測量精度．

本文針對Kinect 2.0在人手位置檢測過程中存在的問題,設(shè)計(jì)了基于相關(guān)點(diǎn)均值處理的人手位置檢測算法,選擇人手食指的骨骼點(diǎn)為目標(biāo),對其周圍相關(guān)點(diǎn)進(jìn)行空間平均和時(shí)間平均處理,提高人手位置檢測精度和穩(wěn)定性．本文介紹了算法的整體設(shè)計(jì)以及人手圖像分割、手指相關(guān)點(diǎn)數(shù)據(jù)獲取、相關(guān)點(diǎn)均值處理的實(shí)現(xiàn)過程,最后進(jìn)行了標(biāo)定實(shí)驗(yàn),驗(yàn)證了該算法的有效性和可行性．

1 人手位置檢測算法方案設(shè)計(jì)

Kinect 2.0可以通過追蹤人體骨骼點(diǎn),獲取骨骼點(diǎn)的三維位置數(shù)據(jù),但該數(shù)據(jù)波動(dòng)性較大,波動(dòng)范圍約在100～130 mm之間,且經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)測量值與實(shí)際值存在較大誤差[15].因此,為了提高人手位置檢測精度,本文進(jìn)行了基于相關(guān)點(diǎn)均值處理的人手位置檢測方法的方案設(shè)計(jì),方案流程如圖1所示．

圖1 基于相關(guān)點(diǎn)均值處理的人手位置檢測方法流程Fig.1 Flow chart of hand position detection based on mean processing of correlation points

為了獲得更加準(zhǔn)確的人手位置檢測數(shù)據(jù),首先基于Kinect 2.0獲取的深度數(shù)據(jù)流,進(jìn)行人手圖像分割,然后對通過骨骼點(diǎn)獲取的人手位置數(shù)據(jù)進(jìn)行處理,將三維位置信息映射到彩色空間,以獲取人手骨骼點(diǎn)及其周圍像素點(diǎn)在相機(jī)空間的索引值,調(diào)用索引值得到相關(guān)點(diǎn)在相機(jī)空間中的位置數(shù)據(jù),對數(shù)據(jù)進(jìn)行空間平均處理,提高位置數(shù)據(jù)的準(zhǔn)確性.由于直接輸出這些數(shù)據(jù)穩(wěn)定性較差,所以對經(jīng)過空間平均處理的位置數(shù)據(jù)再進(jìn)行時(shí)間上的平均處理,最終得到更加準(zhǔn)確和穩(wěn)定的人手位置信息．

1.1 人手圖像分割

在進(jìn)行相關(guān)點(diǎn)的平均處理前,需要確保所取相關(guān)點(diǎn)均屬于人手,所以對人體圖像進(jìn)行處理,把屬于人手圖像的部分從背景中分割出來．在方案設(shè)計(jì)中采用基于深度閾值分割的方法,該方法主要分為兩個(gè)部分:圖像預(yù)處理和深度閾值分割．

1) 圖像預(yù)處理

圖像預(yù)處理,可以將人體深度圖像從復(fù)雜的背景中提取出來．Kinect 除了具有能夠獲取彩色圖像的攝像頭外,還有深度紅外攝像頭和紅外發(fā)射器.紅外發(fā)射器會主動(dòng)向空間發(fā)射調(diào)制過的紅外線激光,當(dāng)紅外線遇到物體后會被反射,反射回來的紅外線會被深度攝像頭接收,經(jīng)過運(yùn)算后得到物體與深度攝像頭平面的垂直距離,用該數(shù)值作為深度值來生成深度圖像．

深度圖像每個(gè)像素點(diǎn)的深度數(shù)據(jù)由2個(gè)字節(jié)、16位組成,高13位代表深度值,低3位代表用戶的人體索引值(bodyIndexFrame)信息,最多可同時(shí)追蹤6個(gè)人的深度圖像信息．深度值表示了這個(gè)像素點(diǎn)到Kinect 2.0傳感器深度攝像頭所在平面的水平距離,可以識別的深度距離范圍在0.5～4.5 m之間．從Kinect 2.0傳感器獲取的深度圖像,可以通過深度值的低3位判斷這個(gè)像素點(diǎn)是否屬于人體．通過調(diào)用人體索引值,提取出深度數(shù)據(jù)幀中屬于人體的部分．獲取的人體圖像信息如圖2所示．

圖2 人體深度圖像信息Fig.2 Depth image of human body

2) 深度閾值分割

考慮到在日常生活中的人手動(dòng)作交流和應(yīng)用中,大多數(shù)情況下人手是在身體前方的,而人手位置較手腕位置總是相對靠前的,所以本文取手腕處骨骼點(diǎn)的深度值作為閾值進(jìn)行人手分割,可以取得較好的分割效果．將上一步獲取的人體深度信息與該閾值進(jìn)行比較,如果小于閾值,則判斷該像素點(diǎn)屬于人手,保留該像素點(diǎn),若大于閾值,則去除,最后即可得到人手深度圖像．

Kinect SDK 2.0為不同坐標(biāo)系下的圖像信息提供了轉(zhuǎn)換方法.為了獲取人手彩色圖像,可調(diào)用坐標(biāo)映射函數(shù),將深度圖像中的像素點(diǎn)映射到彩色圖像中對應(yīng)的像素點(diǎn),得到人手彩色圖像,如圖3所示．

圖3 人手圖像分割Fig.3 Human hand image segmentation

1.2 手指相關(guān)點(diǎn)數(shù)據(jù)的獲取

在獲取人手骨骼點(diǎn)原始數(shù)據(jù)的過程中,坐標(biāo)映射是關(guān)鍵步驟,關(guān)系到不同坐標(biāo)系之間的轉(zhuǎn)換.Kinect坐標(biāo)系的分類如下:

1)相機(jī)空間坐標(biāo)系(CameraSpace),以Kinect傳感器的深度攝像頭為原點(diǎn),其左方為X軸正方向,上方為Y軸正方向,正前方為Z軸正方向,屬于右手坐標(biāo)系.該坐標(biāo)系是Kinect使用的三維坐標(biāo)系,輸出的骨骼點(diǎn)位置信息則以這個(gè)坐標(biāo)系為基準(zhǔn),輸出的原始單位為m.

2)深度空間坐標(biāo)系(DepthSpace),以深度圖像的左上角為原點(diǎn),用于描述深度圖像上像素點(diǎn)的二維位置,用該點(diǎn)的深度值作為像素點(diǎn)的像素值.

3)彩色空間坐標(biāo)系(ColorSpace),以彩色圖像的左上角為原點(diǎn),用于描述彩色圖像上像素點(diǎn)的二維位置,與深度空間坐標(biāo)系類似．

骨骼點(diǎn)的三維位置坐標(biāo)屬于以深度攝像頭為坐標(biāo)原點(diǎn)的坐標(biāo)系,與彩色圖像的坐標(biāo)系并不對應(yīng),如圖4所示.為了使骨架信息與人體彩色圖像相對應(yīng),需要調(diào)用Kinect SDK中的坐標(biāo)映射函數(shù),將相機(jī)三維空間的點(diǎn)轉(zhuǎn)換為彩色空間的點(diǎn)．

圖4 Kinect攝像頭工作范圍示意Fig.4 Working range of Kinect camera

通過坐標(biāo)映射,可以獲取彩色空間中的人手骨骼點(diǎn)在相機(jī)空間中的索引值,該索引值是存儲三維位置信息數(shù)組的下標(biāo)值,例如:

i=1 920Ycolor+Xcolor.

(1)

上述表達(dá)式中的i表示骨骼點(diǎn)在三維位置信息數(shù)組中的索引值,Xcolor表示骨骼點(diǎn)三維坐標(biāo)經(jīng)過映射后在彩色空間中的X坐標(biāo),Ycolor表示骨骼點(diǎn)三維坐標(biāo)經(jīng)過映射后在彩色空間中的Y坐標(biāo),如圖5所示.圖5中的每個(gè)小方框表示一個(gè)像素點(diǎn),在彩色圖像上一共有1 920×1 080個(gè)像素點(diǎn)．

圖5 骨骼點(diǎn)在彩色空間的映射點(diǎn)Fig.5 Mapping point of skeleton point in color space

除了人手骨骼點(diǎn)的索引值,還可以得到該骨骼點(diǎn)在彩色圖像中對應(yīng)像素點(diǎn)周圍相關(guān)點(diǎn)的索引值,通過調(diào)用這些索引值,可得到相關(guān)點(diǎn)的三維位置坐標(biāo)．

1.3 相關(guān)點(diǎn)的空間平均處理和時(shí)間平均處理

為了提高人手位置檢測精度以及穩(wěn)定性,對通過骨骼點(diǎn)獲得的人手位置數(shù)據(jù)進(jìn)行空間平均處理和時(shí)間平均處理．

對人手骨骼點(diǎn)進(jìn)行空間平均處理：取人手骨骼點(diǎn)在彩色空間中對應(yīng)像素點(diǎn)周圍的8個(gè)點(diǎn),如圖6所示的3×3矩陣,中間的三角形表示目標(biāo)點(diǎn),對這9個(gè)點(diǎn)的三維位置數(shù)據(jù)進(jìn)行空間平均處理,取它們的X、Y、Z三軸的坐標(biāo)值分別求和,再取其平均值．

圖6 空間平均處理所取點(diǎn)的3×3矩陣Fig.6 The 3×3 matrix chosen in spatial average

在空間平均處理的過程中,考慮到所取的8個(gè)點(diǎn)可能存在噪聲,所以需要對進(jìn)行空間平均處理的點(diǎn)進(jìn)行判斷,判斷該點(diǎn)與中心目標(biāo)點(diǎn)差值是否大于5 mm,若大于5 mm,則判斷該點(diǎn)屬于噪聲,舍去,若≤5 mm,則進(jìn)行累加求和,求和結(jié)束后,將最后獲得的總和除以所取點(diǎn)的個(gè)數(shù),得到平均值．這里的5 mm是通過實(shí)驗(yàn)評估后選取的．

另外,僅通過空間平均獲得的數(shù)據(jù)穩(wěn)定性較差.為了提高人手位置檢測的穩(wěn)定性,對空間平均處理得到的三維位置信息再進(jìn)行時(shí)間上的平均處理.Kinect傳感器更新圖像信息的速度為30幀/s,考慮到輸出結(jié)果的時(shí)效性,每更新5幀數(shù)據(jù)就進(jìn)行一次平均處理,將平均處理得到的結(jié)果進(jìn)行輸出,得到人手位置信息,實(shí)驗(yàn)結(jié)果如圖7所示．

圖7 基于相關(guān)點(diǎn)均值處理的人手位置檢測方法的輸出結(jié)果Fig.7 Output of hand position detection algorithm based on mean processing of correlation points

2 實(shí)驗(yàn)驗(yàn)證與分析

2.1 實(shí)驗(yàn)環(huán)境

首先在平面上(本實(shí)驗(yàn)中以墻為平面)準(zhǔn)確畫出X、Y坐標(biāo)軸,如圖8所示,精度為1 mm,用來對獲取的三維位置信息中的X和Y值進(jìn)行標(biāo)定．通過使用激光源,確定了X、Y坐標(biāo)軸相對于深度攝像頭的坐標(biāo)原點(diǎn),如圖9所示．

圖8 精度測量實(shí)驗(yàn)中的X、Y坐標(biāo)軸 Fig.8 X and Y coordinate axes in measuring accuracy experiment

圖9 激光源標(biāo)定坐標(biāo)原點(diǎn)Fig.9 Coordinate origin calibrated by laser

使用一根測量尺,精度為1 mm，使其與Kinect傳感器的深度攝像機(jī)保持平行,如圖10所示,用來對獲取的三維位置信息中的Z值進(jìn)行標(biāo)定．

圖10 實(shí)驗(yàn)中的測量尺Fig.10 Measuring stick used in experiment

2.2 實(shí)驗(yàn)流程與結(jié)果

在實(shí)驗(yàn)中,記錄基于骨骼點(diǎn)的位置檢測數(shù)據(jù)、均值化處理后的檢測數(shù)據(jù)和真實(shí)的測量數(shù)據(jù),計(jì)算每組數(shù)據(jù)的差值和測量精度公式[16]如下:

差值=真實(shí)測量數(shù)據(jù)-Kinect檢測數(shù)據(jù)，

(2)

(3)

式(2)、(3)中的Kinect檢測數(shù)據(jù)包括基于骨骼點(diǎn)的位置檢測數(shù)據(jù)和均值化處理后的檢測數(shù)據(jù)．

實(shí)驗(yàn)主要針對人手位置檢測獲取的X、Y、Z值,所測數(shù)據(jù)以mm為單位進(jìn)行輸出．計(jì)算位置檢測數(shù)據(jù)的測量精度,驗(yàn)證基于相關(guān)點(diǎn)均值處理的位置檢測方法的有效性．

實(shí)驗(yàn)主要分為對X和Y值的數(shù)據(jù)精度以及對Z值的數(shù)據(jù)精度進(jìn)行測量．

對X和Y值的精度測量實(shí)驗(yàn),具體步驟如下:

1)運(yùn)行程序,打開深度攝像機(jī),讓被測者站在標(biāo)定實(shí)驗(yàn)的X、Y坐標(biāo)軸前,坐標(biāo)軸精度為1 mm,使手掌平面與墻面貼合,記錄初始狀態(tài)下右手食指的真實(shí)位置數(shù)據(jù);

2)取步徑長度為10 mm,被測者右手食指每移動(dòng)10 mm記錄一次基于骨骼點(diǎn)的位置檢測數(shù)據(jù)、均值化處理后的檢測數(shù)據(jù)和真實(shí)的測量數(shù)據(jù);

3)由于激光源與Kinect的深度攝像頭在Y軸方向上有一定間隔距離,經(jīng)過測量,對每組真實(shí)測量數(shù)據(jù)加20 mm的修正值;

4)計(jì)算每組數(shù)據(jù)的差值和測量精度,并對計(jì)算結(jié)果進(jìn)行分析．

X軸精度測量實(shí)驗(yàn)中位置檢測數(shù)據(jù)和真實(shí)測量數(shù)據(jù)如圖11所示,測量精度如圖12所示．

圖11 X軸精度測量實(shí)驗(yàn)中位置檢測數(shù)據(jù)和真實(shí)測量數(shù)據(jù)Fig.11 Kinect detected (blue),mean processed Kinect (red) and real (green) position data in X-axis measurement experiment

圖12 X軸測量實(shí)驗(yàn)的測量精度Fig.12 Comparison of measuring accuracy at X-axis,blue for Kinect detection and red for mean processed Kinect results

Y軸精度測量實(shí)驗(yàn)中位置檢測數(shù)據(jù)和真實(shí)測量數(shù)據(jù)如圖13所示,測量精度如圖14所示．

圖13 Y軸精度測量實(shí)驗(yàn)中位置檢測數(shù)據(jù)和真實(shí)測量數(shù)據(jù)Fig.13 Kinect detected (blue),mean processed Kinect (red) and real (green) position data in Y-axis measurement experiment

圖14 Y軸測量實(shí)驗(yàn)的測量精度Fig.14 Comparison of measuring accuracy at Y-axis,blue for Kinect detection and red for mean processed Kinect results

對Z值的精度測量實(shí)驗(yàn),具體步驟如下:

1)運(yùn)行程序,打開深度攝像機(jī),讓被測者站在Kinect傳感器前方,初始時(shí)被測者手掌平面與Kinect端面保持平行,且距離Kinect端面1 050 mm;

2)取步徑長度為10 mm,即被測者手掌平面向Kinect端面每移動(dòng)10 mm(靠近Kinect方向)記錄一次基于骨骼點(diǎn)的位置檢測數(shù)據(jù)、均值化處理后的檢測數(shù)據(jù)和真實(shí)的測量數(shù)據(jù);

3)由于Kinect端面與深度攝像機(jī)有一定間隔距離,經(jīng)過測量,對每組測量數(shù)據(jù)加35 mm的修正值;

4)計(jì)算每組數(shù)據(jù)的差值和測量精度,并對結(jié)果進(jìn)行分析．

在標(biāo)定Z軸的實(shí)驗(yàn)中,位置檢測數(shù)據(jù)和真實(shí)測量數(shù)據(jù)如圖15所示,測量精度如圖16所示．

圖15 Z軸精度測量實(shí)驗(yàn)中位置檢測數(shù)據(jù)和真實(shí)測量數(shù)據(jù)Fig.15 Kinect detected (blue),mean processed Kinect (red) and real (green) position data in Z-axis measurement experiment

由數(shù)據(jù)分析可知,經(jīng)過基于相關(guān)點(diǎn)均值處理的位置檢測方法的系統(tǒng)實(shí)現(xiàn),人手位置檢測精度得到提高,均值處理后讀取的位置檢測數(shù)據(jù)與真實(shí)測量值十分接近,絕對誤差小于5 mm,且最大測量精度不超過0.014 3．由此可以得到結(jié)論,在Kinect視野范圍內(nèi)(0.5～4.5 m),基于相關(guān)點(diǎn)均值處理的位置檢測方法能夠提高人手位置檢測精度．

3 結(jié)束語

基于Kinect 2.0傳感器,提出了一種高精度的實(shí)時(shí)人手位置檢測算法．首先，利用Kinect檢測原始手指骨骼點(diǎn),并基于手腕處骨骼點(diǎn)的深度與人體索引值進(jìn)行人手圖像分割；然后，通過Kinect SDK提供的坐標(biāo)映射函數(shù)將人手骨骼點(diǎn)映射到彩色空間坐標(biāo)系下獲取其像素索引值；最后,對獲得的人手像素索引值進(jìn)行空間和時(shí)間平均,實(shí)現(xiàn)三維工作空間中高精度的人手實(shí)時(shí)跟蹤．實(shí)驗(yàn)結(jié)果表明,與Kinect 2.0直接獲取的人手骨骼點(diǎn)空間位置坐標(biāo)相比,本文所設(shè)計(jì)算法的位置檢測精度有明顯的提高．本文提出的算法可以應(yīng)用于人機(jī)交互領(lǐng)域中,提供更準(zhǔn)確的人手位置信息,以實(shí)現(xiàn)更為真實(shí)、自然的多模態(tài)人機(jī)交互．