基于視覺傳感的智能運(yùn)動(dòng)訓(xùn)練系統(tǒng)的研發(fā)

詹彬 周磊

摘 要：針對(duì)當(dāng)前大學(xué)生體質(zhì)素質(zhì)下降的狀況，以及體質(zhì)測(cè)試設(shè)備簡(jiǎn)陋易損壞，操作繁瑣等缺點(diǎn)，我們結(jié)合最新體感識(shí)別技術(shù)，開發(fā)了一套完整的無接觸體質(zhì)測(cè)試系統(tǒng)。該系統(tǒng)利用微軟Kinect V2智能攝像頭，可實(shí)時(shí)準(zhǔn)確地獲取人體骨架關(guān)節(jié)點(diǎn)的三維空間位置信息并將其轉(zhuǎn)化為動(dòng)作數(shù)據(jù)流，與設(shè)計(jì)有限狀態(tài)機(jī)模板數(shù)據(jù)進(jìn)行模式匹配，完成靜態(tài)骨骼識(shí)別。利用Kinect的優(yōu)勢(shì)進(jìn)行步態(tài)識(shí)別算法的設(shè)計(jì)，以實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別。同時(shí)該方法還具有無接觸、多人檢測(cè)、一機(jī)多測(cè)等優(yōu)勢(shì)，智能打分機(jī)制可將用戶運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)上傳至Web。

關(guān)鍵詞：運(yùn)動(dòng)識(shí)別；DTW動(dòng)態(tài)匹配算法；Kinect V2；骨骼識(shí)別；步態(tài)識(shí)別

中圖分類號(hào)：TP39；TH789 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2018）09-00-04

0 引 言

學(xué)生體質(zhì)健康狀況逐漸成為社會(huì)大眾關(guān)注的焦點(diǎn)。為徹底貫徹落實(shí)健康第一的指導(dǎo)思想，切實(shí)加強(qiáng)學(xué)校體育工作，促進(jìn)學(xué)生積極參加體育鍛煉。國家頒發(fā)的《國家學(xué)生身體素質(zhì)健康標(biāo)準(zhǔn)》中明確要求各個(gè)高校在對(duì)各年級(jí)學(xué)生進(jìn)行《素質(zhì)健康標(biāo)準(zhǔn)》測(cè)試工作的同時(shí)還需每年對(duì)在校生進(jìn)行一次體質(zhì)健康測(cè)試。

人民生活水平的提高和健康意識(shí)的發(fā)展是促進(jìn)體質(zhì)測(cè)試系統(tǒng)發(fā)展的關(guān)鍵。在滿足人民的生活需求后，人們就會(huì)越加關(guān)注自身的身體素質(zhì)[1-3]。隨著網(wǎng)絡(luò)、計(jì)算機(jī)以及數(shù)字通信等技術(shù)的快速發(fā)展，美國和日本等多個(gè)國家在體質(zhì)測(cè)試相關(guān)領(lǐng)域已進(jìn)入了智能化階段。而我國在體質(zhì)測(cè)試方面起步緩慢，目前更側(cè)重于測(cè)試完成后對(duì)測(cè)試數(shù)據(jù)的管理和分析，忽略了測(cè)試過程中采集數(shù)據(jù)的復(fù)雜度和誤差。目前我們?cè)O(shè)計(jì)的無接觸體質(zhì)測(cè)試系統(tǒng)能夠較準(zhǔn)確地完成運(yùn)動(dòng)檢測(cè)，根據(jù)完成度給測(cè)試者打分，為學(xué)生鍛煉提供指導(dǎo)。

1 識(shí)別原理

1.1 步態(tài)識(shí)別

隨著人類社會(huì)文明程度的高速發(fā)展，傳統(tǒng)的識(shí)別技術(shù)已然無法滿足人們?nèi)找嬖鲩L的需求。在這種情況下，步態(tài)識(shí)別技術(shù)應(yīng)運(yùn)而生。步態(tài)識(shí)別是利用人的行為特征來對(duì)人體動(dòng)作進(jìn)行識(shí)別的一種生物識(shí)別技術(shù)，通過采集追蹤用戶行走動(dòng)作特點(diǎn)來識(shí)別人的身份。步態(tài)識(shí)別步驟如下：

（1）采集視頻；

（2）對(duì)目標(biāo)視頻進(jìn)行預(yù)處理；

（3）根據(jù)現(xiàn)實(shí)情況從得到的圖片中提取目標(biāo)輪廓特征；

（4）將提取到的特征和步態(tài)庫內(nèi)的數(shù)據(jù)進(jìn)行匹配。

人體骨骼關(guān)節(jié)點(diǎn)3D位置信息可以作為動(dòng)作識(shí)別參考點(diǎn)，如圖1所示。將Kinect V2追蹤采集到的3D動(dòng)作骨骼25個(gè)關(guān)節(jié)點(diǎn)三維坐標(biāo)組合形成骨骼模板，獲得步態(tài)的數(shù)據(jù)序列[4]，經(jīng)過預(yù)處理分析用戶的步態(tài)特征。將骨骼模板樣本與該系統(tǒng)之前設(shè)置的用戶姿勢(shì)進(jìn)行判斷即可識(shí)別用戶意圖，從而實(shí)現(xiàn)用戶動(dòng)作識(shí)別。

1.2 Kinect識(shí)別分析

該系統(tǒng)采用微軟公司推出的一款3D攝像頭Kinect[5]傳感器。其主要優(yōu)勢(shì)在于能夠?qū)崟r(shí)抓取實(shí)驗(yàn)運(yùn)動(dòng)場(chǎng)景，高效識(shí)別和傳輸骨骼信息，并且能夠?qū)κ褂谜哌M(jìn)行語音識(shí)別等。Kinect主要由RGB攝像頭、深度圖像使用的紅外接收器和紅外線發(fā)射器、麥克風(fēng)陣列組成。

Kinect之所以能夠?qū)崟r(shí)抓取運(yùn)動(dòng)場(chǎng)景，主要依靠紅外攝像頭、紅外投影機(jī)、彩色攝像頭。Kinect通過紅外線發(fā)射器發(fā)射波長為830 mm的紅外光線，再由紅外線接收器接收反射回來的紅外光線，并編碼、解碼，逐幀生成深度圖像。深度圖像通過背景分離、識(shí)別人體等算法從深度圖像RGB攝像頭獲取相應(yīng)的彩色圖像。Kinect將這些圖像數(shù)據(jù)傳送至應(yīng)用程序進(jìn)行處理。

總而言之，Kinect V2設(shè)備相對(duì)于普通攝像頭而言優(yōu)點(diǎn)繁多。普通攝像頭的缺陷主要在于過度依賴彩色圖像[6]，難以消除環(huán)境對(duì)實(shí)驗(yàn)數(shù)據(jù)的影響。而Kinect V2對(duì)運(yùn)動(dòng)骨骼進(jìn)行識(shí)別分析時(shí)依賴于深度圖像，所以較好地消除了環(huán)境的影響。軟件系統(tǒng)框架如圖2所示。

2 運(yùn)動(dòng)識(shí)別的實(shí)現(xiàn)

2.1 系統(tǒng)架構(gòu)

本系統(tǒng)的技術(shù)架構(gòu)可分成五層。Kinect數(shù)據(jù)采集層利用Kinect智能攝像頭采集人體深度圖像、人體骨骼圖像、人體彩色圖像，并把這些信息以視頻流的數(shù)據(jù)形式傳遞給骨骼算法處理層，算法處理層對(duì)這些數(shù)據(jù)進(jìn)行濾波處理與DTW模板匹配[7]。最后對(duì)經(jīng)過處理的骨骼節(jié)點(diǎn)數(shù)據(jù)進(jìn)行運(yùn)動(dòng)識(shí)別層的運(yùn)動(dòng)匹配，在應(yīng)用層顯示運(yùn)動(dòng)檢測(cè)的結(jié)果和成績(jī)。體質(zhì)測(cè)試系統(tǒng)框架結(jié)構(gòu)如圖3所示。

2.2 DTW動(dòng)態(tài)匹配算法

利用DTW算法“局部最優(yōu)，全局最優(yōu)”的思想在本運(yùn)動(dòng)識(shí)別系統(tǒng)中的運(yùn)用，尋找模版匹配中最相近的節(jié)點(diǎn)，成功識(shí)別仰臥起坐運(yùn)動(dòng)的狀態(tài)節(jié)點(diǎn)。本系統(tǒng)對(duì)一個(gè)運(yùn)動(dòng)周期實(shí)時(shí)提取骨骼特征，本系統(tǒng)骨骼特征序列參考模版樣本數(shù)小于測(cè)試模版樣本數(shù)，即N

其中：橫坐標(biāo)為特征矩陣的時(shí)序，縱坐標(biāo)為標(biāo)準(zhǔn)骨骼數(shù)據(jù)時(shí)序，折線表示匹配最優(yōu)路徑，即相似度最高路徑。在局部最優(yōu)路徑的計(jì)算中，采用加權(quán)歐式距離計(jì)算圖中節(jié)點(diǎn)相似度。根據(jù)公式最終找到相似度最大的時(shí)序坐標(biāo)點(diǎn)。依次類推找到上圖所示的最優(yōu)路徑。

3 仰臥起坐運(yùn)動(dòng)的實(shí)現(xiàn)

3.1 仰臥起坐識(shí)別原理

鑒于步態(tài)識(shí)別原理的特點(diǎn)，特征值的采樣和提取成為該系統(tǒng)的首要難點(diǎn)。骨骼特征序列和運(yùn)動(dòng)特征序列是運(yùn)動(dòng)識(shí)別的兩個(gè)重要組成部分。骨骼點(diǎn)在三維空間的相對(duì)角度如圖5所示，將運(yùn)動(dòng)姿勢(shì)[9]骨骼數(shù)據(jù)點(diǎn)映射在Kinect V2坐標(biāo)中，如圖6所示。

運(yùn)動(dòng)識(shí)別時(shí)刻的某一姿勢(shì)特點(diǎn)在提取特征時(shí)，將由上述骨骼角度方法計(jì)算得到的相對(duì)角度組成每個(gè)骨骼的特征序列。為提高運(yùn)動(dòng)識(shí)別的準(zhǔn)確性和完整性，運(yùn)動(dòng)特征和骨骼特征[10]的提取分別針對(duì)各自的特點(diǎn)同步分類提取。

3.2 仰臥起坐狀態(tài)機(jī)

仰臥起坐是一種鍛煉身體的方式，身體仰臥于地墊上，屈膝約成90°，腳部平放在地面上。平地上切勿把腳部固定

（可由同伴用手按住腳踝），否則大腿和髖部的屈肌便會(huì)加入工作，從而降低了腹部肌肉的工作量。根據(jù)本身腹肌的力量雙手按放在頭部位置，且雙手越靠近頭部，仰臥起坐就越吃力。利用腹肌收縮，兩臂向前擺動(dòng)，迅速成坐姿，上體繼續(xù)前屈，然后還原成坐姿，如此連續(xù)進(jìn)行。狀態(tài)機(jī)流程如圖7

所示。

3.3 運(yùn)動(dòng)特征提取

仰臥起坐人體運(yùn)動(dòng)姿勢(shì)轉(zhuǎn)化如圖8所示。

上述姿勢(shì)為仰臥起坐人體側(cè)面骨骼圖，做深蹲運(yùn)動(dòng)時(shí)都有左右兩側(cè)骨骼節(jié)點(diǎn)。所有的節(jié)點(diǎn)包括SL（左肩），SR（右肩），EL（左肘），ER（右肘），HL（左手），HR（右手），KL（左膝），KR（右膝），F(xiàn)L（左腳），F(xiàn)R（右腳），T（臀部）。本系統(tǒng)設(shè)定和的夾角為α，和的夾角為β，和的夾角為γ，和的夾角為δ。在實(shí)際情況中，提取特征矩陣，如公式（15）所示，其中T，t分別表示深蹲運(yùn)動(dòng)的運(yùn)動(dòng)周期和完成一次深蹲運(yùn)動(dòng)的時(shí)間。

與上述兩個(gè)運(yùn)動(dòng)一致，將深蹲運(yùn)動(dòng)中DTW算法中一般狀態(tài)節(jié)點(diǎn)的相似度閾值設(shè)定為ds，單位為度。深蹲運(yùn)動(dòng)有兩個(gè)關(guān)鍵點(diǎn)，即雙臂是否水平前伸，深蹲狀態(tài)完成度是否較高。將深蹲狀態(tài)節(jié)點(diǎn)的相似度閾值設(shè)為dsmax，計(jì)算相似度權(quán)重為α∶β∶γ∶δ=ks1∶ks2∶ks3∶ks4。

仰臥起坐運(yùn)動(dòng)的關(guān)鍵是仰臥起坐的狀態(tài)動(dòng)作，仰臥狀態(tài)和起坐狀態(tài)分值比為b1∶b2。以一仰臥起坐測(cè)試周期為例，每個(gè)仰臥起坐運(yùn)動(dòng)周期滿分為m，在實(shí)際情況下m為100分。假設(shè)測(cè)試者完成了n個(gè)深蹲運(yùn)動(dòng)，其中站立狀態(tài)相似度為g，仰臥起坐狀態(tài)相似度為k，根據(jù)公式得到最終成績(jī)S：

3.4 功能展示

該運(yùn)動(dòng)過程對(duì)運(yùn)動(dòng)動(dòng)作規(guī)范性有嚴(yán)格要求。根據(jù)《國家學(xué)生體質(zhì)健康標(biāo)準(zhǔn)》要求，測(cè)試者首先應(yīng)平躺在坐墊上，兩腿稍分開，屈膝呈90°左右，兩手貼于頭部。受試者坐起時(shí)兩肘觸及或超過雙膝為完成一次。仰臥時(shí)兩肩必須觸墊。如果受試者已坐起但肘關(guān)節(jié)未達(dá)到雙膝者則不計(jì)該次數(shù)。測(cè)試者站立且雙手平舉成T字型則判定測(cè)試者結(jié)束運(yùn)動(dòng)，同時(shí)給運(yùn)動(dòng)動(dòng)作打分。運(yùn)動(dòng)過程如圖9所示。

3.5 測(cè)試結(jié)果分析

仰臥起坐運(yùn)動(dòng)功能的識(shí)別主要利用Kinect V2智能攝像頭采集人體骨骼數(shù)據(jù)，然后將前景和背景分離，三維空間坐標(biāo)轉(zhuǎn)化，限幅濾波等，獲取可靠的骨骼數(shù)據(jù)。利用步態(tài)識(shí)別算法和DTW匹配算法實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別。

在系統(tǒng)測(cè)試過程中對(duì)于運(yùn)動(dòng)識(shí)別算法做了多人多次的系統(tǒng)測(cè)試。取得測(cè)試樣本結(jié)果進(jìn)行分析，對(duì)運(yùn)動(dòng)次數(shù)和運(yùn)動(dòng)識(shí)別率的統(tǒng)計(jì)見表1所列。

分析數(shù)據(jù)可知，誤差可能由以下原因?qū)е拢?/p>

（1）Kinect V2是基于光學(xué)感測(cè)體感技術(shù)的傳感器，周圍環(huán)境光線可能導(dǎo)致誤差產(chǎn)生；

（2）Kinect V2接收的信息由一點(diǎn)位攝像機(jī)采集，會(huì)有一定的圖像畸變，可能產(chǎn)生誤差。

測(cè)試結(jié)果表明該運(yùn)動(dòng)識(shí)別率很高，運(yùn)動(dòng)識(shí)別功能可靠，性能和新穎性略優(yōu)于市面上的同類產(chǎn)品。故可以判斷此運(yùn)動(dòng)算法有很好的識(shí)別效果，并可對(duì)運(yùn)動(dòng)動(dòng)作做精確識(shí)別。將本系統(tǒng)運(yùn)用在校園運(yùn)動(dòng)中，得到了老師和學(xué)生的一致好評(píng)。

4 結(jié) 語

針對(duì)傳統(tǒng)體質(zhì)測(cè)試儀器易損壞，測(cè)試過程繁瑣等問題，文中設(shè)計(jì)的系統(tǒng)基于體感識(shí)別技術(shù)、骨骼追蹤技術(shù)憑借其創(chuàng)新性較好地改善了這一狀況。不僅在國內(nèi)高校建立了體驗(yàn)平臺(tái)設(shè)施，同時(shí)還設(shè)置有獨(dú)立的多功能體感運(yùn)動(dòng)訓(xùn)練展廳，讓更多的人能體驗(yàn)到無接觸式體感運(yùn)動(dòng)。本系統(tǒng)安裝實(shí)施使用一年多來，深受學(xué)生的喜愛，收獲到了越來越多的贊譽(yù)。隨著技術(shù)的進(jìn)步，通過智能體感設(shè)備進(jìn)行體制測(cè)試系統(tǒng)的研究將是未來體質(zhì)測(cè)試系統(tǒng)開發(fā)的新方向。

參考文獻(xiàn)

[1]高德霞.大學(xué)生對(duì)體質(zhì)的認(rèn)識(shí)及體育行為與體質(zhì)狀況的關(guān)系探究[J].當(dāng)代體育科技，2017，7（33）：183-184.

[2]徐萬江.基于特征子空間的跨視角步態(tài)識(shí)別研究[D].蘇州：蘇州大學(xué)，2017.

[3]傅國棟，韓凱多.大學(xué)生體質(zhì)健康現(xiàn)狀及對(duì)策研究[J].考試刊，2018（36）：191-192.

[4]陳海峰.步態(tài)識(shí)別中的不變特征提取算法設(shè)計(jì)和研究[D].深圳：深圳大學(xué)，2017.

[5]楊海清，王洋洋.基于多Kinect的三維人臉重建研究[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2018，46（2）：137-142.

[6] GUTIERREZ J，CAMPS-VALLS G ，LUQUE M J，et al. A color contrast definition for perceptually based color image coding[J]. Recent patents on signal processing，2012，2（1）.

[7]王晶晶.基于云計(jì)算的視頻轉(zhuǎn)碼自適應(yīng)方法研究[D].南京：南京郵電大學(xué)，2017.

[8]何存富，王森，吳強(qiáng)，等.基于FPGA的FIR濾波器在超聲導(dǎo)波接收系統(tǒng)中信號(hào)降噪的應(yīng)用[J].北京工業(yè)大學(xué)學(xué)報(bào)，2018（5）.

[9]庾晶.運(yùn)動(dòng)視頻標(biāo)注算法研究[D].南京：南京郵電大學(xué)，2017.

[10]胡珂杰.基于3D骨骼的人體行為識(shí)別關(guān)鍵技術(shù)研究[D].無錫：江南大學(xué)，2018.