基于Kinect 3D體感攝影機(jī)的健身教練系統(tǒng)設(shè)計(jì)

徐曉龍，劉軼銘，吳寧馨，岳子謙，路正蓮

（河海大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 常州 213022）

目前，室內(nèi)健身是一部分人接受的健身方式。對(duì)于室內(nèi)鍛煉，健身俱樂(lè)部是都市人群的重要選項(xiàng)，但是相當(dāng)一部分人因?yàn)榻∩淼攸c(diǎn)與時(shí)間的固定難以長(zhǎng)期堅(jiān)持。據(jù)統(tǒng)計(jì)，大約40%的人在健身房辦理會(huì)員卡卻鮮少去運(yùn)動(dòng)。現(xiàn)有的智能健身教練系統(tǒng)，大多是綁定在健身器械上，通過(guò)傳感器獲取使用者身高、體重等信息，然后通過(guò)處理器等運(yùn)算給出使用該健身器材的訓(xùn)練建議，或者通過(guò)顯示屏等輸出方式播放一些示范動(dòng)作[1]。這些健身指引系統(tǒng)通常只能針對(duì)該健身器械提供一些單一的建議和示范，不能與用戶關(guān)于訓(xùn)練動(dòng)作進(jìn)行交互，也不能基于互聯(lián)網(wǎng)對(duì)用戶提供科學(xué)的訓(xùn)練計(jì)劃及飲食計(jì)劃建議，起不到“專業(yè)健身教練”的作用。為克服現(xiàn)有智能健身教練系統(tǒng)的不足，提出一種基于Kinect 3D體感攝影機(jī)的智能健身教練系統(tǒng)，其結(jié)構(gòu)如圖1所示。英特爾Minnow Board嵌入式處理平臺(tái)融合Kinect體感攝影機(jī)感知用戶動(dòng)作信息、可穿戴設(shè)備感知用戶心率、位置等輔助信息以及云端數(shù)據(jù)，綜合進(jìn)行運(yùn)動(dòng)狀態(tài)判斷，給出運(yùn)動(dòng)訓(xùn)練指導(dǎo)及實(shí)時(shí)錯(cuò)誤動(dòng)作糾正提示。用戶通過(guò)手機(jī)APP客戶端訪問(wèn)云端，完成相關(guān)基礎(chǔ)信息的操作，如用戶注冊(cè)、訓(xùn)練計(jì)劃查詢、飲食計(jì)劃查詢以及訓(xùn)練反饋等。系統(tǒng)會(huì)根據(jù)用戶注冊(cè)時(shí)輸入的生理信息及訓(xùn)練意愿，推薦合適的訓(xùn)練計(jì)劃，并生成科學(xué)的飲食計(jì)劃。交互端通過(guò)圖形界面顯示及手勢(shì)識(shí)別操作實(shí)現(xiàn)良好的實(shí)時(shí)交互。

圖1 健身教練系統(tǒng)結(jié)構(gòu)圖Fig.1 Structure diagram of fitness trainer system

1 系統(tǒng)硬件設(shè)計(jì)

根據(jù)要實(shí)現(xiàn)的功能，系統(tǒng)硬件主要分為3個(gè)單元:基于Minnow Board的嵌入式處理單元、基于Kinect的運(yùn)動(dòng)數(shù)據(jù)獲取單元以及基于Genuino的傳感器節(jié)點(diǎn)單元。

1.1 基于Minnow Board的嵌入式處理單元

基于Minnow Board的嵌入式處理單元主要完成對(duì)Kinect體感攝影機(jī)獲取的運(yùn)動(dòng)數(shù)據(jù)、基于Genuino的傳感器節(jié)點(diǎn)單元傳回的數(shù)據(jù)和云端數(shù)據(jù)進(jìn)行處理分析及人機(jī)交互。其信號(hào)流圖如圖2所示。

圖2 健身教練系統(tǒng)信號(hào)流圖Fig.2 Signal flow diagram of fitness trainer system

Minnow Board通過(guò)高速以太網(wǎng)接口連接Kinect運(yùn)動(dòng)數(shù)據(jù)采集單元，獲取Kinect采集的運(yùn)動(dòng)信息及手勢(shì)識(shí)別信息；通過(guò)SPI接口連接NRF24L01無(wú)線模塊，能同時(shí)接收5個(gè)Genuino傳感器節(jié)點(diǎn)單元傳回的數(shù)據(jù)。為了使Minnow Board嵌入式平臺(tái)能實(shí)現(xiàn)語(yǔ)音播報(bào)功能，通過(guò)USB接口接入3.5 mm外置聲卡，將USB信號(hào)轉(zhuǎn)化為音頻信號(hào)輸出。同時(shí)，Minnow Board嵌入式平臺(tái)通過(guò)HDMI接口接入液晶顯示器，作為圖形界面交互輸出。

1.2 基于Kinect的運(yùn)動(dòng)數(shù)據(jù)獲取單元

Kinect負(fù)責(zé)獲取深度圖像、跟蹤并提取人體骨骼位置、識(shí)別人體姿態(tài)。Kinect運(yùn)動(dòng)數(shù)據(jù)采集單元由驅(qū)動(dòng)PC和Kinect組成。因Minnow Board嵌入式平臺(tái)硬件資源及性能的局限性，且操作系統(tǒng)為Windows 10 IoT Core；另外，所開發(fā)的軟件基于通用窗口應(yīng)用平臺(tái)（Universal Windows Platform，UWP），尚不支持對(duì)Kinect SDK的開發(fā)。因此，采用一臺(tái)小型PC機(jī)驅(qū)動(dòng)Kinect以獲取人體姿態(tài)信息和手勢(shì)識(shí)別信息，并通過(guò)以太網(wǎng)接口將數(shù)據(jù)傳送到Minnow Board嵌入式平臺(tái)。Kinect使用的是光編碼技術(shù)，原理如圖3所示，它主要包括激光發(fā)射器、CMOS感光器件和不均勻透明介質(zhì)三部分。Kinect獲取深度圖像的原理是利用激光發(fā)射器向三維場(chǎng)景中的物體發(fā)射連續(xù)照明。該光源是一個(gè)具有三維縱深的激光散斑（Laser speckle）。這種激光散斑會(huì)隨著距離的不同而不斷變換圖案，任意兩處散斑的圖案是不相同的。也就是說(shuō)，把一個(gè)物體放到視覺空間，通過(guò)查看上面的散斑圖案，就可以知道這個(gè)物體的具體位置，類似于給整個(gè)空間做了標(biāo)記。當(dāng)然，在這之前需要把整個(gè)空間的散斑圖案都記錄下來(lái)，即光源標(biāo)定[2]。

圖3 光編碼原理Fig.3 Optical coding principle

1.3 基于Genuino的傳感器節(jié)點(diǎn)單元

系統(tǒng)共部署了5個(gè)Genuino傳感器節(jié)點(diǎn)單元，均為可穿戴式節(jié)點(diǎn)。其中4個(gè)作為人體姿態(tài)的輔助檢測(cè)節(jié)點(diǎn)，部署在上肢的大臂與小臂上，利用Genuino 101開發(fā)板板載的六軸加速度計(jì)/陀螺儀作為姿態(tài)輔助檢測(cè)傳感器，為系統(tǒng)提供姿態(tài)檢測(cè)數(shù)據(jù)。另一個(gè)作為心率檢測(cè)節(jié)點(diǎn)，部署在手腕處，采用HR-Wristband心率傳感器，實(shí)時(shí)檢測(cè)訓(xùn)練者的心率情況。每個(gè)Genuino 101開發(fā)板通過(guò)SPI接口與NRF24L01無(wú)線模塊連接，實(shí)現(xiàn)與Minnow Board嵌入式處理單元的通信，將所采集的數(shù)據(jù)實(shí)時(shí)傳送給Minnow Board嵌入式處理單元。因節(jié)點(diǎn)為可穿戴式，Genuino傳感器節(jié)點(diǎn)單元采用3.7 V，500 mA·h鋰電池供電。

1.3.1 Genuino傳感器節(jié)點(diǎn)管理模塊

Genuino核心板是一款低功耗開發(fā)板。它基于Intel?Curie?模組，模塊包含一個(gè)X86的夸克核心和一個(gè)32 bit的ARC架構(gòu)核心（Zephyr），時(shí)鐘頻率都是32 MHz，其板載的六軸加速度計(jì)/陀螺儀能有效監(jiān)測(cè)姿態(tài)信息。

1.3.2 NRF24L01無(wú)線數(shù)據(jù)傳輸模塊

由于輔助傳感器需要實(shí)現(xiàn)可穿戴式，傳感器數(shù)據(jù)需要通過(guò)無(wú)線方式傳到處理單元，并且要實(shí)現(xiàn)多對(duì)一傳輸，即多個(gè)節(jié)點(diǎn)同時(shí)采集信息傳給處理單元，使用NRF24L01作為輔助傳感器的無(wú)線傳輸模塊。NRF24L01是一款工作在2.4～2.5 GHz的ISM 頻段的單片無(wú)線收發(fā)芯片，無(wú)線收發(fā)器包括:頻率發(fā)生器、增強(qiáng)型“Schock Burst”模式控制器、功率放大器、晶體振蕩器、調(diào)制器和解調(diào)器。芯片采用FSK調(diào)制，內(nèi)部集成NORDIC的Enhanced Short Burst協(xié)議，可以實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)或1對(duì)6的無(wú)線通信，無(wú)線通信速度可以達(dá)到2 Mb/s?？梢酝ㄟ^(guò)SPI接口設(shè)置輸出頻道及通信協(xié)議。

1.3.3 HR-Wristband心率檢測(cè)模塊

HR-Wristband心率傳感器是腕帶式心率測(cè)量傳感模塊，利用皮膚反射式測(cè)量原理進(jìn)行心率測(cè)量。心臟的每一次搏動(dòng)都會(huì)導(dǎo)致手指皮膚和手腕內(nèi)側(cè)皮膚毛細(xì)血管產(chǎn)生一次充盈和收縮。該血脈變化信號(hào)可用于檢測(cè)心率，測(cè)量原理為:動(dòng)脈血以“脈沖”方式流動(dòng)，導(dǎo)致薄弱皮膚皮下紅外反射率的微弱差別，由反射式光電傳感器提取出手腕皮膚處微弱的紅外反射率差異，并加以處理，最終轉(zhuǎn)變?yōu)榭晒┓治龅男穆市盘?hào)。

2 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)的軟件主要解決嵌入式處理單元與傳感器節(jié)點(diǎn)、服務(wù)器、Kinect等通信問(wèn)題，并給出姿態(tài)糾正提示、語(yǔ)音提示、圖形用戶界面（GUI）交互、用戶管理、健身計(jì)劃安排和健身項(xiàng)目展示等。軟件系統(tǒng)主要分為4個(gè)單元:通信單元、姿態(tài)糾正單元、交互單元和移動(dòng)終端單元。

2.1 通信單元

通信單元主要包括Minnow Board嵌入式處理單元分別與Kinect運(yùn)動(dòng)數(shù)據(jù)采集單元、傳感器節(jié)點(diǎn)單元及云端服務(wù)器之間的通信。嵌入式處理單元與Kinect運(yùn)動(dòng)數(shù)據(jù)采集單元之間采用以太網(wǎng)進(jìn)行連接，軟件上使用Socket類實(shí)現(xiàn)數(shù)據(jù)傳輸。嵌入式處理單元與可穿戴設(shè)備之間采用無(wú)線數(shù)據(jù)傳輸，軟件上通過(guò)SPI協(xié)議實(shí)現(xiàn)。嵌入式處理單元與云端服務(wù)器通過(guò)因特網(wǎng)連接，軟件上使用HTTP Client類通過(guò)HTTP協(xié)議獲取信息。

2.2 姿態(tài)糾正單元

姿態(tài)糾正以Kinect采集到的數(shù)據(jù)為依據(jù)進(jìn)行判別。Kinect采集到的深度圖像經(jīng)處理識(shí)別出人體特征點(diǎn)，將特征點(diǎn)傳入一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)中，得到三維坐標(biāo)，將三維坐標(biāo)映射到二維坐標(biāo)系中后，與動(dòng)作庫(kù)進(jìn)行對(duì)比后得到糾正的結(jié)果[3-7]，其流程如圖4所示。

圖4 姿態(tài)糾正算法流程圖Fig.4 Flow chart of attitude correction algorithm

2.2.1 深度圖像預(yù)處理

由于Kinect獲取的深度圖像是不穩(wěn)定的，存在一些噪聲點(diǎn)和空洞，特別是在狹窄邊緣處獲取的深度值更加不穩(wěn)定，直接對(duì)其進(jìn)行骨骼信息提取會(huì)影響效果，需要對(duì)其進(jìn)行濾波。Kinect本身采用了泊松方程算法進(jìn)行濾波，通過(guò)這種方法可以判斷人體表面特征點(diǎn)是噪聲還是真實(shí)存在。但判斷一個(gè)特征點(diǎn)的特征并不只限于它自身，還要關(guān)注它周圍的各個(gè)點(diǎn)，當(dāng)它是真實(shí)存在時(shí)它的影響將很好地?cái)U(kuò)散到周圍，反之它周圍的點(diǎn)若沒有表現(xiàn)出這種趨勢(shì)則將其判定為噪聲。故經(jīng)泊松方程算法濾波的深度圖像仍可能存在噪聲與空洞，需要進(jìn)一步處理[4-7]。

2.2.2 骨骼數(shù)據(jù)提取與處理

1）骨骼數(shù)據(jù)的提取

Kinect在圖像中尋找可能是人體的移動(dòng)物體，接下來(lái)Kinect將會(huì)對(duì)預(yù)處理后的深度圖像進(jìn)行像素級(jí)評(píng)估，來(lái)辨別人體的不同部位。Kinect通過(guò)分割策略將人體從環(huán)境中區(qū)分出來(lái)，通過(guò)邊緣檢測(cè)、噪聲閾值處理將人體目標(biāo)特征點(diǎn)進(jìn)行分類，分割化圖像的每一個(gè)像素都被傳送進(jìn)一個(gè)辨別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中，隨后該系統(tǒng)將給出某個(gè)特定像素屬于哪個(gè)身體部位的可能性。經(jīng)過(guò)評(píng)估后來(lái)確定關(guān)節(jié)點(diǎn)，另外再附加處理閉塞關(guān)節(jié)等事件。得到的骨骼數(shù)據(jù)實(shí)際是不穩(wěn)定的，波動(dòng)很大，這對(duì)姿態(tài)檢測(cè)有著很大影響，需要進(jìn)行濾波處理[3，8]。

2）限幅平均濾波法處理骨骼數(shù)據(jù)

每次采樣到的新數(shù)據(jù)先進(jìn)行限幅處理，再送入隊(duì)列進(jìn)行遞推平均濾波處理。這樣既保證了骨骼數(shù)據(jù)的實(shí)時(shí)性又可以達(dá)到濾波的效果，使其數(shù)據(jù)波動(dòng)變小，并且有效濾除一些偶然干擾，其軟件流程如圖5所示。

3）姿態(tài)糾正

①坐標(biāo)獲取

根據(jù)深度圖和RGB圖之間對(duì)應(yīng)的坐標(biāo)關(guān)系，由下式可得3D空間點(diǎn)p的原始值dr。

D=K?tan(H?dr+L)-O

式中:D為點(diǎn)p的深度值，cm；H=3.5×10-4rad；K=12.36 cm；L=1.18 rad；O=3.7 cm。由圖像深度值可獲得點(diǎn)p的實(shí)際坐標(biāo)。設(shè)p的深度坐標(biāo)為（xd，yd，zd），則p的實(shí)際坐標(biāo)（xw，yw，zw）為:

式中:D=-10；F=0.002 1；分辨率w·h為640×480。

圖5 限幅平均濾波算法流程圖Fig.5 Flow chart of amplitude-limiting average filtering algorithm

再通過(guò)數(shù)學(xué)方法將其映射到二維坐標(biāo)軸上。

②角度獲取

假設(shè)X（X1，X2），Y（Y1，Y2）為兩個(gè)關(guān)節(jié)點(diǎn)的實(shí)際坐標(biāo)，利用歐氏距離:

求出兩關(guān)節(jié)之間的距離。求解人體關(guān)節(jié)連線之間的角度主要是利用三個(gè)關(guān)節(jié)點(diǎn)的距離，并利用余弦定理求出關(guān)節(jié)點(diǎn)連線之間的角度大小。

三角形的三邊長(zhǎng)分別為ɑ=D（B，C），b=D（A，C），c=D（A，B），根據(jù)余弦定理可得出角度:

③比較糾正

圖6 姿態(tài)判別準(zhǔn)則Fig.6 Attitude judgment criterion

2.3 交互單元

2.3.1 GUI交互模塊

GUI圖形用戶界面由XAML編寫。它是微軟公司為構(gòu)建應(yīng)用程序用戶界面而創(chuàng)建的一種新的描述性語(yǔ)言。XAML提供一種便于擴(kuò)展和定位的語(yǔ)法來(lái)定義和程序邏輯分離的用戶界面，是一種解析性的語(yǔ)言。

2.3.2 語(yǔ)音交互模塊

訓(xùn)練者進(jìn)行訓(xùn)練時(shí)，系統(tǒng)會(huì)根據(jù)訓(xùn)練者動(dòng)作的標(biāo)準(zhǔn)程度給予糾正提示，包括語(yǔ)音提示，其功能流程見圖7。

圖7 語(yǔ)音功能流程圖Fig.7 Flow chart of voice function

Minnow Board的音頻輸出通過(guò)UWP的Media Element控件實(shí)現(xiàn)。Media Element為媒體播放控件，可以控制音頻的播放、暫停、停止、音量和速度。程序中預(yù)先加載有各項(xiàng)提示語(yǔ)音的音頻文件，當(dāng)訓(xùn)練者完成一個(gè)動(dòng)作后，系統(tǒng)得出糾正提示信息，觸發(fā)語(yǔ)音播報(bào)。此時(shí)Media Element控件將選擇對(duì)應(yīng)的語(yǔ)音音頻進(jìn)行播放。

2.4 移動(dòng)終端單元

移動(dòng)終端單元涵蓋APP與云端兩個(gè)部分，可分為APP模塊、服務(wù)器模塊和第三方接口模塊[9-10]。主要實(shí)現(xiàn)用戶管理、計(jì)劃生成、數(shù)據(jù)保存和提供第三方接口等功能。

3 結(jié)語(yǔ)

本文提出一種基于“互聯(lián)網(wǎng)+”和多源信息融合技術(shù)的智能健身教練系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)方法?；诙嗤ǖ纻鞲行畔ⅲO(shè)計(jì)姿態(tài)校正算法，克服單一圖像傳感器信息不完整的缺陷，保證姿態(tài)校正的準(zhǔn)確性；該系統(tǒng)既能有針對(duì)性地給出科學(xué)的健身計(jì)劃及營(yíng)養(yǎng)計(jì)劃，也能夠?qū)崟r(shí)檢測(cè)健身動(dòng)作是否正確并實(shí)時(shí)進(jìn)行語(yǔ)音、圖像糾正提示，引導(dǎo)使用者做出正確的動(dòng)作，在一定程度上完成私人教練的全部職責(zé)；另外，也可用于減肥、康復(fù)等。