基于Kinect深度數(shù)據(jù)的手部指示的目標定位

張晨，張昭，呂朝輝

(中國傳媒大學 信息工程學院，北京 100024)

?

基于Kinect深度數(shù)據(jù)的手部指示的目標定位

張晨，張昭，呂朝輝

(中國傳媒大學 信息工程學院，北京 100024)

本文設計了一種基于Kinect深度信息的手部指示的目標指示點的定位系統(tǒng)。建立了完整的系統(tǒng)模型，實現(xiàn)了指示點的準確定位，該系統(tǒng)克服了借助三維鼠標、激光筆等帶來的真實感、交互感低的情況，同時避免了基于立體視覺的手部指示識別定位存在的對硬件設備要求高，識別精度低等問題。文中建立了手部指示的真實感和準確性的測試分析系統(tǒng)，通過測試結果的分析，表明該定位系統(tǒng)具有良好的指示真實感和定位準確性。此外，本文還設計了基于此定位系統(tǒng)的手部指示懸停選擇的視頻播放器應用。

深度信息；kinect；手部指示；定位

1　引言

指示行為是最為常見的自然交互形式之一，常用于引導特定目標的共同關注與交互。在多媒體交互中主要依靠三維鼠標、激光筆等實現(xiàn)指示定位，而通過計算機視覺技術識別人的指示行為具有更自然的交互感。

Kahn和Swain[1]最早提出使用Perseus結構識別指示姿態(tài)，以頭部至手部的連線作為指示方向，但是由于使用的頭部和手部的識別算法比較簡單，對人的指示姿態(tài)限制較多，因此缺乏廣泛地應用基礎。A.Wu[2]，M.Fukumoto[3]利用人體骨骼約束關系在特定條件下給出基于單攝像機的指示識別，Nickle和Stiefelhagen[4]通過隱馬爾科夫模型訓練不同的指示行為樣本來識別指示動作。NebojsaJojic[5]，Yu

Yamamoto[6]等將身體的三維模型映射到二維圖像中用于身體姿態(tài)的估計，從而識別指示手臂的指示方向，靈活性較高，但是由于識別精度較低，多用于大型目標的指示判斷，不適用于定位精度要求較高的小型目標。

本文研究了一種基于Kinect深度數(shù)據(jù)指示方位判別方法，系統(tǒng)原理圖如圖1所示。

圖1　系統(tǒng)設計圖　

Kinect位于指示交互區(qū)同側，交互者位于交互區(qū)前方。人指示行為的自然習慣是在進行手指指示時，指尖置于整個人體的最前方。研究根據(jù)此特性通過指尖移動跟蹤區(qū)與交互區(qū)的映射變換定位手指的位置，實現(xiàn)人的手指的三維運動捕捉。

2　定位映射模型

由圖1簡化得系統(tǒng)映射模型如圖2所示。設Ow-XwYwZw為世界坐標系，Oc-XcYcZc為Kinect攝像機坐標系。

圖2　系統(tǒng)映射模型　

Kinect攝像機坐標系與世界坐標系之間的變換關系如式1所示：

(1)

其中(Xw，Yw，Zw，1)和(Xc，Yc，Zc，1)分別為空間點P在世界坐標系和Kinect攝像機坐標系下的齊次坐標，R為3×3的正交矩陣，t為三維平移向量，向量0=(0，0，0)T。

設攝像機坐標系下的點P(Xc，Yc，Zc)在對應成像面上的投影位置的坐標為p(x，y)，關系如式2：

(2)

若每一像素在x軸與y軸方向上代表的物理尺寸為dx，dy，在圖像坐標系中的坐標為(u，v)，則圖像中任一點在以像素表示的像素坐標系下的坐標和以物理尺寸表示的圖像坐標系下的坐標有如下關系：

(3)

其中(u0，v0)為O1點圖像坐標。

設指示區(qū)域為平面Os-XsYs上的一塊矩形區(qū)域，長寬分別為Xsmax，Ysmax，圖像大小為umax×vmax，如圖3所示。則圖像區(qū)——指示區(qū)的線性映射變換如式5所示。

圖3　圖像區(qū)到指示區(qū)的變換　

(5)

其中，Sx，Sy分別為行方向和列方向的尺度縮放系數(shù)，K為變換矩陣。Sx，Sy的可以由式6計算得到：

(6)

其中，Xs max，Ys max為指示區(qū)的長和寬，umax，vmax為圖像大小。

3　實驗結果與分析

本研究建立了一個手指指示定位的測試和評估系統(tǒng)，用于測試指示的真實感和準確性。

(1)目標指示軌跡識別實驗

實驗中，測試人員位于Kinect攝像機前方約2米處，向指示區(qū)分別畫出“口”、“M”和“8”形，系統(tǒng)記錄指示點的軌跡并繪制。圖4是測試人員畫“8”形時的4幀圖片，其中(a)、(b)、(c)和(d)分別為繪制“口”左上角、右上角、右下角和左下角的圖像幀。

(a)　　　　　　　　　　(b)　

(c)　　　　　　　　　　(d)圖4　測試人員完成指示點軌跡-“口”形　

系統(tǒng)識別出的測試人員手指運動的軌跡形狀如圖5所示，其中(a)、(b)、(c)分別為系統(tǒng)識別的“8”、“M”和“口”形的軌跡。

(a)　　　(b)　　　(c)圖5　系統(tǒng)恢復的指示點運動軌跡　

從測試的結果可以看出，指示軌跡平滑、形狀規(guī)則，具有一定的真實感，且在停頓處有明顯的指示點累積痕跡，有助于在應用中實現(xiàn)指示點的運動和停頓識別。

(2)指示點提取誤差實驗

實際進行手指指示操作時，由于攝像機精度及人為抖動等因素的影響，系統(tǒng)提取的指示點位置并不十分對應于預期的目標指示位置，而是存在一定的誤差。本實驗中各選取目標平面上構成中心對稱的五塊矩形區(qū)域，如圖6所示，測試區(qū)大小為640pixel×480pixel，矩形區(qū)域大小為180pixel×120pixel。中心的矩形編號為A1，其余四塊區(qū)域由左上角區(qū)域開始沿順時針方向分別編號為A2，A3，A4，A5，每塊區(qū)域內部(含邊界)為目標指示位置。實驗中由一名實驗者分別對這五塊區(qū)域進行指示操作，如圖7所示。每塊區(qū)域重復30次，記錄下系統(tǒng)給出的實驗者手指指示點在目標平面上的定位位置，定位點位于矩形區(qū)域內則記錄一次定位成功，否則記錄一次定位失敗，由不同實驗者分別進行十組相同實驗。

圖6　指示誤差測試區(qū)域分布　

圖7　測試人與員進行指示誤差實驗操作　

十組實驗的結果記錄如表1所示：

表1　實驗結果記錄

圖8　實驗結果分析條形圖　

通過圖8實驗數(shù)據(jù)的分析，該目標指示點定位系統(tǒng)在A1～A5各區(qū)域的定位成功率分別為98.67%、98.33%、99.33%、98.33%和96.67%，誤差分別為1.33%、1.67%、0.67%、1.67%、3.33%，其中A5區(qū)域的誤差明顯較高，這是由于測試者在測試過程中均使用右手進行指示操作，而A5區(qū)域位于指示區(qū)左下，該區(qū)域的指示動作容易使測試者產(chǎn)生疲勞，造成誤差偏高。系統(tǒng)的綜合定位成功率為98.27%，誤差為1.73%。

4　應用——手指指示懸停選擇的視頻播放器

根據(jù)手指指示點定位的原理，本文設計了基于Kinect深度數(shù)據(jù)的手指指示控制的視頻播放器測試系統(tǒng)，如圖9所示。

圖9　手指指示懸停選擇的視頻播放器演示　

本應用中，操作者站在指示區(qū)即投影儀大屏幕前通過手指指示大屏幕上視頻播放器的相關功能按鈕，采用懸停選擇的原理對按鈕進行“點擊”操作，即手指指示點在按鈕上連續(xù)停留一定的時間，即表示按鈕的一次“點擊”操作。

設矩形按鈕從其左上角開始逆時針四個頂點分別為：P1(x1，y1)，P2(x2.y2)，P3(x3，y3)和P4(x4，y4)，Pa(xa，ya)為系統(tǒng)給出的指示區(qū)上的指示定位點。

設懸停選擇有效區(qū)Df為手指指示定位點進行懸停選擇的有效操作區(qū)域，區(qū)域Df滿足：

(7)

當目標指示定位點位于有效選擇區(qū)時，計時器開始計時。執(zhí)行按鈕“點擊”操作的判定條件如式8所示：

(8)

式8中Ts為設定的懸停選擇時間閾值，T為目標指示定位點(xa，ya)連續(xù)位于有效懸停區(qū)內的計時值。

在實際操作中，由于Kinect紅外攝像機的精度，人手指尖懸停指示穩(wěn)定度以及環(huán)境因素的影響，手指指示懸停會伴隨小范圍的抖動現(xiàn)象，甚至會出現(xiàn)突發(fā)的劇烈抖動。因此，本文設計了一種閾值鎖定法來避免上述問題。

閾值鎖定法的基本原理為：若手指指示定位點上一位置為：(xa，ya)i-1?Df，當前位置為(xa，ya)i∈Df，則指示定位點進入鎖定狀態(tài)。在鎖定狀態(tài)下，如果指示定位點的下一位置(xa，ya)i+1較當前位置(xa，ya)i發(fā)生抖動(Δx，Δy)，若(Δx，Δy)滿足式9，其中xL，yL分別為預設的抖動鎖定閾值。

Δx≤xL且Δy≤yL

(9)

則認為未超過預設抖動范圍，不改變下一位置的值，即：

(xa，ya)i+1=(xa，ya)i

(10)

本文選取懸停選擇過程中的200個指示點作為分例，圖10為該過程未消除抖動和消除抖動的懸停選擇結果比較，其中圖像橫坐標表示200個點序列，縱坐標值為“1”表示當前點位于視頻播放器功能按鈕有效選擇區(qū)內，“0”表示該點位于有效選擇區(qū)之外：

(a)和消抖動后　

(b)懸停選擇結果比較圖10 未消抖動　

從圖10中(a)圖中可以看出未經(jīng)消抖處理前該懸停選擇過程中在第40個指示點附近發(fā)生了兩次抖動，在第140個指示點附近發(fā)生了一次抖動，從(b)圖來看，經(jīng)過消抖之后，三次抖動均被消除。

5　結論

本文設計了一種基于Kinect深度信息的手部指示的目標指示點的定位系統(tǒng)。文章中建立了完整的系統(tǒng)數(shù)學模型，實現(xiàn)指示點的準確定位，克服了借助激光筆、三維鼠標等帶來的真實感、交互感低的情況，同時避免了基于立體視覺的手部指示識別定位存在的對硬件設備要求高，識別精度低等問題。文中建立了手部指示的真實感和準確性的測試系統(tǒng)，通過測試結果的分析，表明該定位系統(tǒng)具有良好的指示真實感和定位準確性。此外，本文還設計了基于此定位系統(tǒng)的手指指示懸停選擇的視頻播放器應用。

[1]REKahn，MJSwain.UnderstandingPeoplePointing：ThePerseusSystem[C].IntlSymposiumofComputerVisionISCV，AMotionIII，1995：11-17.

[2]AWu，MShah，Nda，VLobo.Avirtual3Dblackboard：3DfingertrackingusingaSinglecamera[C].ProcICAFGR，2000：536-543.

[3]MFukumoto，YSuenaga.Finger-pointer：potinginterfacebyimageprocessing[J].Computer&Graphics，1994，18(5)：633-642.

[4]KNickel，RStiefelhagen.Real-timeRecognitioaof3D-PointingGesturesforHumanMachineInteraction[J].DAGM，2003：557-565.

[5]NJojic，BBrumitt，BMeyers，SHarris.Detectingendestimatingpointinggesturesindensedisparitymaps[C].IEEEInternationalConferenceonFaceandGesturerecognition，Crenoble，F(xiàn)rance，2000：468-475.

[6]YYamamoto，IYodaandKSakaue.Arm-pointingGestureInterfaceUsingSurroundedStereoCamerasSystem[C].Proceedingofthe17thInternationalConferenceonPatternRecognition，2004：965-970.

(責任編輯：馬玉鳳)

SystemofHandPointingLocationBasedonKinectDepthData

ZHANGChen，ZHANGZhao，LVChao-hui

(SchoolofInformationEngineering，CommunicationUniversityofChina，Beijing100024)

ThepaperdesignedasystemoffingerpointinglocationbasedonthedepthdataofKinect.Wesetupacompletemodelofthesystemandachievedthefingerpointinglocationaccurately.Thedesignavoidnotonlytosomedegreetheinconveniencewhenoperatingwitha3D-mouseoralaserpointer，butalsosomeproblemsofthehighdemandofhardwaredevicesandlowidentificationaccuracyofthepointingcontrolbasedonstereo-vision.Thepaperdesignedatestandanalysissystemtoestimatethesenseofrealityandaccuracyofthesystem，theresultoftheanalysisofthetestdatashowsthatthesystemearnedagoodsenseofrealityandaccuracy.Besides，thepaperdesignedafingerpointingcontrolledmediaplayerbasedonthefingerpointinglocationsystem.

depthdata；kinect；handpointing；location

2016-01-13

張晨(1991-)，女(漢族)，山東菏澤人，中國傳媒大學碩士研究生.E-mai：365291904@qq.com

TP317

A

1673-4793(2016)03-0046-05