基于Kinect的無接觸式體質(zhì)檢測系統(tǒng)*

程雪蓮， 段渭軍， 高　昂

(1.西北工業(yè)大學 電子信息學院，陜西 西安 710072；2.西北工業(yè)大學 物聯(lián)網(wǎng)技術(shù)及應(yīng)用國家地方聯(lián)合工程實驗室，陜西 西安 710072)

?

基于Kinect的無接觸式體質(zhì)檢測系統(tǒng)*

程雪蓮1,2， 段渭軍1,2， 高昂1,2

(1.西北工業(yè)大學 電子信息學院，陜西 西安 710072；2.西北工業(yè)大學 物聯(lián)網(wǎng)技術(shù)及應(yīng)用國家地方聯(lián)合工程實驗室，陜西 西安 710072)

摘要:為了減少體質(zhì)檢測中的人力成本、提高該過程的速度，將無接觸式體感交互系統(tǒng)應(yīng)用于體能檢測中，以達到更高效的目的。以Kinect傳感器為核心捕捉人體運動，從骨骼圖像中提取20個關(guān)節(jié)點的信息，進而計算出身高、跳遠距離等數(shù)據(jù)。景深圖像可識別人體與其他非人體物體，由關(guān)節(jié)點坐標計算的方法也利于防止測試中的作假現(xiàn)象。

關(guān)鍵詞:Kinect傳感器； 景深圖像； 骨骼跟蹤； 人機交互

0引言

人體行為識別技術(shù)一般解決包含人體目標感知、行為建模管理和行為匹配識別在內(nèi)的多個方面的問題，目前主要有兩種方法來實現(xiàn)。第一種是基于可穿戴傳感器的行為識別方法，Allen F R等人[1]，提出了一種使用高斯混合模型的可穿戴加速度計。Mattmann C等人[2]通過在紡織衣物上裝置的張力傳感器來識別特定的人體行為。第二種是基于計算機視覺的人體行為識別方法。Boulay B等人[3,4]采用人體輪廓作為姿勢特征表達。Mo H C等人[5,6]通過劃分身體部位代表將復(fù)雜的姿勢估計問題轉(zhuǎn)換到較為簡單的逐像素分類問題。由于這些姿勢特征都是從二維彩色圖像中抽取而來，需要處理人體定位、肢體被遮擋、不同光照條件等問題。

本文選用的Kinect傳感器，同時具有RGB攝像頭和景深攝像頭，景深圖像像素記錄距離信息，具有顏色無關(guān)性，更能準確快速地分割前景與背景。

1傳感器工作原理

1.1景深圖像的生成

糖龍話音剛落，倉庫里忽然傳來一聲木棍敲擊的重響，緊接著，原本平靜的倉庫一陣騷亂，哀嚎、求助、尖叫、吱吱聲接連響起。

由于Kinect SDK沒有姿勢識別相關(guān)的API，需要定義某些關(guān)節(jié)點之間的角度或相對位置來確定一種姿勢[13]。本系統(tǒng)中姿勢庫中定義了兩種姿勢，即伸開雙臂呈T字形來啟動測量和舉起雙手以清除當前數(shù)據(jù)重新測量。用戶做出特定的姿勢通過與姿勢庫中模板匹配，就是對關(guān)節(jié)點進行命中測試來觸發(fā)相應(yīng)的事件。

習近平總書記強調(diào)：“堅持以人民為中心的工作導(dǎo)向，尊重新聞傳播規(guī)律，創(chuàng)新方法手段，切實提高黨的新聞輿論傳播力、引導(dǎo)力、影響力、公信力?！苯ㄔO(shè)縣級融媒體中心，還需要充分掌握互聯(lián)網(wǎng)規(guī)律?；ヂ?lián)網(wǎng)的核心規(guī)律有以下特點。

1.1.1深度圖像數(shù)據(jù)

由Kinect獲取的深度圖像數(shù)據(jù)流由一幀一幀的灰度圖像列組成，在每一幀灰度圖像中，一個像素點由2個字節(jié)，16位組成[1]。每個像素包含了該點的距離信息，這里要注意，并非該點到Kinect傳感器的直接距離，而是其距離Kinect所在垂直面的距離(單位為mm)，如圖1所示。這樣建立的坐標信息也方便了從深度圖到骨骼圖的坐標轉(zhuǎn)換，在1.2節(jié)中將具體討論。每個像素灰階代表由最暗到最亮之間亮度的層次級別，中間的層次越多，所呈現(xiàn)的畫面就越細膩。

試驗工作在科神公司自制的土豆播種機試驗臺上進行,測試播在蓖麻油帶上的種子粒距。供試驗的土豆種子根據(jù)新疆當?shù)赝炼狗N子的特點取為切塊種子，種子尺寸長寬高均在35～50mm。在其他因素不變的條件下，考察種架傾角、種勺線速度和種勺空間尺寸對株距合格率、重播率和漏播率的影響。

圖1　Kinect深度數(shù)據(jù)流的數(shù)值Fig 1　Numerical value of Kinect depth data stream

1.1.2人體識別分割

圖2　人體識別分割Fig 2　Human body recognition segmentation

通常深度圖像幀的X,Y坐標系表示在傳感器上對應(yīng)的坐標，而不表示實際物理環(huán)境的位置坐標。深度圖像坐標系的點，類型為DepthImagePoint(X,Y,Z)，其中,(X,Y)為深度圖像像素坐標，Z為深度值，mm。而骨骼坐標系的點，類型為SkeletonPoint(X,Y,Z)，其中,(X,Y,Z)為空間坐標，m。

通過人體識別分割已經(jīng)將人體從背景中分離，下面通過識別人體的20個關(guān)節(jié)點來對骨骼進行識別。獲得這些骨骼關(guān)節(jié)點的三維坐標信息就需要進行坐標轉(zhuǎn)換[11,12]。

深度圖像坐標系和骨骼坐標系都是以Kinect傳感器的紅外攝像頭為中心，X,Y軸分別與圖像的X,Y軸平行，Z軸為傳感器的方向，與圖像平面垂直。這樣構(gòu)成的直角坐標系為攝像機坐標系。

2數(shù)據(jù)測量方法

在Kinect上使用紅外接收器獲得深度數(shù)據(jù)所用光編碼(light coding)技術(shù)[1]其實就是發(fā)射具有三維縱深數(shù)據(jù)的“體積編碼”，這種光源叫做激光散斑(laser speckle)[7]。當激光照射到粗糙物體或穿透毛玻璃后形成隨機衍射的斑點，CMOS紅外攝像頭根據(jù)設(shè)定的距離參考平面來收集攝像頭視野范圍內(nèi)的每一點，通過反射得到的黑白光譜方式來感知周圍環(huán)境。黑白間的灰色地帶對應(yīng)物體到傳感器的物理距離，通過層疊峰值和差值計算，以30幀/s的速度生成景深圖像，完全實時再現(xiàn)周圍環(huán)境。

系統(tǒng)軟件設(shè)計流程圖如圖6所示。

隨著衛(wèi)生、計生資源的整合和力量的凝聚，宣傳先行先導(dǎo)的地位更加凸顯，如何做好新時期衛(wèi)生計生宣傳，為衛(wèi)生計生改革發(fā)展營造良好社會環(huán)境是我們需要思考的迫切課題。

圖3　節(jié)點三角形法Fig 3　Node triangle method

2.2測量身高

2.2.2深度結(jié)合三角推導(dǎo)

測量身高的一種方法，是通過骨骼圖像提取出來的頭部和腳部關(guān)節(jié)點坐標的差值來計算，得到的身高單位為m。由于頭部坐標不是人體頭頂?shù)奈恢?，需要加上預(yù)先定義的經(jīng)驗值來彌補誤差。由于每個人的頭部形狀有偏差，所以，該方法得到的身高值略有誤差。

2.2.1骨骼結(jié)合經(jīng)驗值

b=2d×tan 28.5°,

(1)

本系統(tǒng)中關(guān)節(jié)點的命中采用節(jié)點三角形法，即計算某些關(guān)節(jié)點之間的角度。如圖3所示，由左肩關(guān)節(jié)點 (ShoulderLeft)、左肘關(guān)節(jié)點(ElbowLeft)和左手腕關(guān)節(jié)點(WristLeft)三點構(gòu)成的三角形中，可根據(jù)距離公式分別求出a,b,c三邊邊長，然后根據(jù)余玄定理求出夾角。當夾角在規(guī)定的閾值范圍內(nèi)，則判斷為有效姿勢。

由第二部分介紹的隸屬度F統(tǒng)計法，根據(jù)問卷調(diào)查的結(jié)果可得到對各評價因素做出不同評價等級的人數(shù)，再用其除以參與評價總?cè)藬?shù)。由此獲得評價指標的隸屬度矩陣：

(2)

由式(1)和式(2)，得出式(3)

(3)

圖4　深度測量身高的原理Fig 4　Principle of height measurement by depth

2.3測量跳遠

將Kinect放置在距離起跳點L的位置上(L可人為手動設(shè)置)，用戶完成跳遠后將雙手舉平呈“T”子狀，由Kinect進行姿勢判斷，然后獲得人體骨骼點的位置信息。進而判斷左右腳的位置，鎖定離Kinect較遠的腳的距離為d，也就是實際跳遠的落地點在后方的那只腳。最后用L-d便可得到實際的跳遠距離，如圖5所示。

圖5　立定跳遠的測量方法Fig 5　Measuring method of long jump

3系統(tǒng)實現(xiàn)

本系統(tǒng)采用的另外一種方法，是通過遍歷比較人體部位的像素點，結(jié)合Kinect自身的視場角來計算，得到的身高單位為mm。但這種方法隨著距離的增加，深度值偏差增大，因此,測得身高值也會出現(xiàn)誤差。如圖4所示，d為人體實際到Kinect的距離；b為人體實際位于Kinect視角場的橫截面寬度；Hd為人體在深度圖中的高度；Fd為每幀深度圖的寬度；Hr為人體實際高度。計算公式如下

以Kinect傳感器為核心捕捉人體運動，軟件平臺采用VS2010C#為開發(fā)工具，借助官方KinectforwindowsSDK1.8開發(fā)包實現(xiàn)[8]。硬件平臺采用32位Win7操作系統(tǒng)，Inter(R)Core(TM)i3-3240CPU@3.40GHz，安裝內(nèi)存(RAM) 4.00GB。通過人體特定姿勢的識別判斷來觸發(fā)測量事件，完成身高與跳遠距離的測量。

留守兒童渴望得到父母的關(guān)愛，他們對周邊環(huán)境缺少安全感，感情脆弱，長期的親情缺失極易導(dǎo)致農(nóng)村留守兒童價值觀和人生觀的扭曲，使其產(chǎn)生厭學情緒，認為學習就是浪費時間和浪費金錢。留守兒童的家長由于長期在外，只能用金錢和物質(zhì)來彌補孩子，但是這樣卻適得其反，使很多孩子養(yǎng)成了過度依賴、拜金主義和好逸惡勞的壞習慣。

圖6　軟件設(shè)計流程圖Fig 6　Software design flow

3.3實驗結(jié)果

圖7中界面上依次呈現(xiàn)人體的彩色圖像、深度圖像以及骨骼圖像。點擊“設(shè)置Kinect到跳遠起點的距離”按鈕，初始化Kinect距離跳遠起點的擺放位置，當用戶手臂伸直呈T字狀時，Kinect檢測姿勢有效則開始測量；當用戶雙手舉起舉過頭頂時，清除數(shù)據(jù)重新測量。

圖7　界面顯示Fig 7　Interface display

用戶編號實測身高/m方法1測量值/mm誤差/% 方法2測量值/m誤差/%11.641643.720.22681.64580.353621.721697.461.31041.72070.040731.781775.841.77581.78920.516841.711743.341.74331.71180.1053

圖8反映了4人分別在距離Kinect 1,1.5,2 m和2.5 m下測得的身高變化。

第一，張老師雖然試圖采用新課程提倡的教學方法，但是在實際課堂中還是采用以教師為中心的講授式教學.在兩個課題教學中，他想用探究式教學方法，但是在實際的課堂教學中并沒有給學生充分的時間和空間進行探究，而是迫不及待地提示學生.這也反映出他在如何有效引導(dǎo)學生學習方面有待提高.

圖8　不同距離下深度結(jié)合三角推導(dǎo)方法Fig 8　Depth combined with triangulation derivation method with different distances

根據(jù)表1的測試結(jié)果可知，由深度結(jié)合三角推導(dǎo)的方法測量的平均誤差約為1.26 %，由骨骼結(jié)合經(jīng)驗值的方法測量的平均誤差約為0.25 %，兩組數(shù)據(jù)都較為準確但后者誤差更小。由圖8可知，距離越遠，4人身高值出現(xiàn)大幅度下降，說明當人體到Kinect的距離增大時，由深度結(jié)合三角推導(dǎo)的方法測量的身高值誤差增大。

表2為選取不同的4人進行跳遠，得到的測試結(jié)果。表2的跳遠測試結(jié)果的平均誤差約為0.56 %，可見用Kinect測跳遠的方法準確高效。

表2　跳遠測量結(jié)果

4結(jié)束語

本文采用Kinect為傳感器采集用戶彩色圖像、景深圖像以及骨骼圖像等數(shù)據(jù)流，通過對景深圖像和骨骼圖像中的關(guān)節(jié)點進行分析計算，通過人體特定姿勢的識別判斷來觸發(fā)測量事件來求出人體的身高和跳遠距離。由于在跳遠過程中姿態(tài)的不確定性，Kinect可能出現(xiàn)姿勢誤判，可加入語音識別來輔助觸發(fā)測量等更多功能模塊。

參考文獻:

[1]Allen F R,Ambikairajah E,Lovell N H,et al.Classification of a known sequence of motions and postures from accelerometry data using adapted Gaussian mixture models[J].Physiological Mea-surement,2006,27(10):935.

[2]Mattmann C,Clemens F,Troster G.Sensor for measuring strain in textile[J].Sensors，2008,8(6):3719-3732.

[3]Boulay B,Brémond F,Thonnat M.Applying 3D human model in a posture recognition system[J].Pattern Recognition Letters,2006,27(15):1788-1796.

[4]Cohen I,Li H.Inference of human postures by classification of 3D human body shape[C]∥IEEE International Workshop on Analysis and Modeling of Faces and Gestures,AMFG 2003,IEEE,2003:74-81.

[5]Mo H C,Leou J J,Lin C S.Human behavior analysis using multiple 2D features and multicategory support vector machine[C]∥MVA，2009:46-49.

[6]Souto H,Raupp Musse S.Automatic detection of 2D human postures based on single images[C]∥2011 24th SIBGRAPI Confe-rence on Graphics,Patterns and Images (SIBGRAPI),IEEE,2011:48-55.

[7]Albitar C,Graebling P,Doignon C.Design of a monochromatic pattern for a robust structured light coding in image processing[C]∥2007.IEEE International Conference on Image Processing,ICIP 2007.San Antonio,TX,2007.

[8]Webb J,Ashley J.Beginning kinect programming with the Microsoft kinect SDK [M].[s l.]:A Press, 2012．

[9]Suma E A,Lange B,Rizzo S,et al.FAAST:The flexible action and articulated skeleton toolkit [C]∥2011 IEEE Virtual Reality(VR)Conference,2011:247-248.

[10] Belongie S,Malik J,Puzicha J.Shape matching and object recognition using shape contexts[J].IEEE Trans on PAMI,2002,24:4.

[11] Ekelmann J,Butka B.Kinect controlled electro-mechanical skeleto[C]∥2012 Proceedings of IEEE Southeast Conf,2012.

[12] Jiang W,Xu K,Cheng Z Q,et al.Skeleton-based intrinsic symmetry detection on point clouds[J].Graphical Models,2013,75:177-188.

[13] Belinda L,Sebastian K,Eric M,et al.Interactive game-based rehabilitation using the Microsoft Kinect[C]∥Virtual Reality Workshops,Costa Mesa,USA:IEEE,2012:171-172.

Non-contact measurement system of physical test based on Kinect*

CHENG Xue-lian1，2, DUAN Wei-jun1，2, GAO Ang1，2

(1.School of Electronics and Information,Northwestern University,Xi’an 710072,China；2.State and Local Joint Engineering Laboratory of IoT Technology and Application,Northwestern University,Xi’an 710072,China)

Abstract:To reduce costs of physical fitness test and improve rate of the process,develop a non-contact measurement software system in order to make it more efficient.Kinect sensor is used as the core of system to track human motion,20 joint points are extracted from skeleton stream,by means of this height,jump distance and other data can be calculated.Human can be identified from other non-human objects in depth image,the methods of calculation from joint points coordinate also prevent cheating in tests.

Key words:Kinect sensor; depth image; skeleton tracking; human-computer interaction(HCI)

DOI:10.13873/J.1000—9787(2016)03—0085—04

收稿日期：2015—05—20

*基金項目：西北工業(yè)大學研究生創(chuàng)意創(chuàng)新種子基金資助項目(Z2015099);中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(3102014KYJD033，3102014KYJD034，3102015ZY093)

中圖分類號:TP 391

文獻標識碼:A

文章編號:1000—9787(2016)03—0085—04

作者簡介:

程雪蓮(1992-)，女，山西運城人，碩士研究生，主要研究方向為人體目標識別。