基于Kinect三維行動(dòng)重建應(yīng)用于傳統(tǒng)武術(shù)教學(xué)訓(xùn)練研究

劉堅(jiān)斌，黃敏敏，劉志鋒

在傳統(tǒng)武術(shù)教學(xué)訓(xùn)練中，運(yùn)動(dòng)技能學(xué)習(xí)可以通過(guò)視頻觀察玩家在目標(biāo)運(yùn)動(dòng)中的行為來(lái)促進(jìn)運(yùn)動(dòng)技能學(xué)習(xí)。視頻觀察動(dòng)作的最佳視角取決于學(xué)習(xí)的目的。例如，當(dāng)學(xué)習(xí)者想要學(xué)習(xí)球員在足球比賽中如何移動(dòng)時(shí)，鳥瞰視角對(duì)觀察最有效，而當(dāng)學(xué)習(xí)者想要知道球員的球控制技術(shù)時(shí)，從球員前面的正面角度觀察是更好的。因此，通過(guò)視頻觀察來(lái)學(xué)習(xí)需要一個(gè)視點(diǎn)變化函數(shù)。

近年來(lái)，電視體育節(jié)目采用了多視點(diǎn)攝像頭系統(tǒng)［1］，促進(jìn)了電視節(jié)目中視點(diǎn)的平滑切換。另一方面，將多個(gè)攝像機(jī)帶到運(yùn)動(dòng)場(chǎng)上進(jìn)行私人拍攝是困難的。因此，大多數(shù)私人視頻都是用一個(gè)攝像機(jī)從一個(gè)固定的點(diǎn)拍攝的。本研究的目的是開發(fā)一種方法，從單個(gè)圖像中生成玩家（即虛擬玩家）的3D人體模型，從而能夠從任何角度觀察虛擬玩家的行為。使用此方法時(shí)，可以產(chǎn)生以下效果：

1）通過(guò)使用的單視圖視頻圖像，從最佳角度觀察示范動(dòng)作的可能性。

2）學(xué)習(xí)者可以從不同的角度來(lái)檢查學(xué)習(xí)者自己的行為。自我觀察對(duì)運(yùn)動(dòng)技能學(xué)習(xí)也是有用的。［2］，因此該方法必須通過(guò)自我觀察來(lái)促進(jìn)學(xué)習(xí)。

3）學(xué)習(xí)者可以從視頻檔案中創(chuàng)建虛擬的3D內(nèi)容運(yùn)動(dòng)。這意味著，例如，他們可以從穆罕默德面前的一個(gè)角度觀看穆罕默德·阿里的射門。一些使用虛擬人類的研究已經(jīng)在計(jì)算機(jī)支持系統(tǒng)上進(jìn)行。用于控制虛擬播放器的方法在這些系統(tǒng)中很重要。在［3］中提出的虛擬教育環(huán)境中，虛擬教練由運(yùn)動(dòng)路徑規(guī)劃算法和反向運(yùn)動(dòng)學(xué)控制。在［4］中提出的系統(tǒng)顯示虛擬玩家玩橄欖球，以協(xié)助橄欖球的決策學(xué)習(xí)。球員是由使用光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)從專業(yè)橄欖球運(yùn)動(dòng)員那里預(yù)先捕獲的運(yùn)動(dòng)數(shù)據(jù)來(lái)控制。雖然大多數(shù)研究對(duì)虛擬人使用了特定的運(yùn)動(dòng)捕捉系統(tǒng)或運(yùn)動(dòng)生成方法，但本研究采用了一個(gè)普通的單個(gè)攝像機(jī)，并估計(jì)了玩家在二維圖像中的三維位置。

最近推出的RGB－D相機(jī)（如微軟公司的Kinect），價(jià)格更便宜，也更容易獲得，促進(jìn)了從單一視圖出發(fā)的3D重建應(yīng)用程序。然而，RGB－D相機(jī)中的深度傳感器對(duì)距離測(cè)量有嚴(yán)格的限制。因此，人們對(duì)利用二維圖像的三維重建進(jìn)行了許多研究。為了從二維圖像中生成三維人體模型，需要對(duì)二維圖像進(jìn)行聯(lián)合檢測(cè)，并從關(guān)節(jié)的二維坐標(biāo)中進(jìn)行三維坐標(biāo)估計(jì)。大多數(shù)關(guān)于人體重建的研究都是通過(guò)將三維人體模型擬合到二維圖像［5］［6］上的人體區(qū)域來(lái)檢測(cè)關(guān)節(jié)和估計(jì)三維姿態(tài)。然而，擬合方法生成的人體模型無(wú)法觀察玩家之間的三維位置，因?yàn)樵摲椒o(wú)法獲得玩家之間的互動(dòng)。在［7］中，利用從攝像機(jī)到真實(shí)關(guān)節(jié)的視線上的幾何約束，解決了三維關(guān)節(jié)坐標(biāo)估計(jì)的反問題。但是，如果不指定關(guān)節(jié)之間的實(shí)際距離，就不可能計(jì)算出位置。因此，本研究提出了一種基于圖像射影幾何形狀的計(jì)算關(guān)節(jié)與位置之間距離的方法。

作為第一步，本研究以傳統(tǒng)武術(shù)對(duì)打作為重建的目標(biāo)，從而開發(fā)了一種三維聯(lián)合坐標(biāo)估計(jì)方法，利用傳統(tǒng)武術(shù)對(duì)打的先驗(yàn)信息（例如，傳統(tǒng)武術(shù)演奏的墊子是方形的）。在第一步中，將手動(dòng)指定二維圖像上的關(guān)節(jié)。近年來(lái)的聯(lián)合檢測(cè)研究提出了一種基于機(jī)器學(xué)習(xí)［8］［9］的檢測(cè)方法。本研究的第二步是利用了該檢測(cè)方法。本文描述了在第一步中使用的方法。

1 基于Kinect三維行動(dòng)重建應(yīng)用步驟

1.1 三維行動(dòng)重建基礎(chǔ)設(shè)備

我們提出的方法使用拍攝圖像校準(zhǔn)用于拍攝傳統(tǒng)武術(shù)的相機(jī)。練習(xí)傳統(tǒng)武術(shù)的墊子是一個(gè)正方形。每邊的長(zhǎng)度都是已知的。焦距f是由正方形的兩對(duì)平行邊的兩個(gè)消失點(diǎn)計(jì)算出來(lái)的。在這里，使用偏斜0和比例因子1進(jìn)行校準(zhǔn)。為了簡(jiǎn)化解釋，本文采用了攝像機(jī)坐標(biāo)系進(jìn)行了三維計(jì)算。

圖一 傳統(tǒng)武術(shù)墊子上的方形面積

1.2 三維行動(dòng)重建比賽場(chǎng)地平面方程

該方法采用墊面方程計(jì)算傳統(tǒng)武術(shù)運(yùn)動(dòng)員的三維坐標(biāo)。因此，利用邊［10］的長(zhǎng)度計(jì)算了正方形的三個(gè)頂點(diǎn)的三維坐標(biāo)。該方法從坐標(biāo)中找到方程。

1.3 三維行動(dòng)重建人體模型

圖二（左）為該方法中采用的人體模型。該模型有15個(gè)關(guān)節(jié)、面部、右腳趾和左腳趾?？偣灿?8個(gè)點(diǎn)是要用三維方法計(jì)算出來(lái)的點(diǎn)。設(shè)（xi、yi、zi）（ui、vi）分別為點(diǎn)的三維坐標(biāo)和圖像上投影的pi的二維坐標(biāo)。在圖像上手動(dòng)獲得二維坐標(biāo)。坐標(biāo)之間的關(guān)系由

圖二 （左）人體模型和（右）圖像進(jìn)行計(jì)算

有17對(duì)具有固定距離的點(diǎn)（例如，胸肩－右肩）。讓我們把這兩點(diǎn)之間的線段稱為線段。一般來(lái)說(shuō)，直接測(cè)量每個(gè)玩家的片段是困難的。因此，該方法計(jì)算每個(gè)點(diǎn)pi的三維坐標(biāo)作為特定的三維平面和由公式（1）得到的點(diǎn)pi的三維視線的交集（見圖。2（right））。穿過(guò)腳底兩側(cè)并垂直于墊子平面的平面（見圖。作為具體的2（右）平面計(jì)算點(diǎn)，腳趾除外。對(duì)于腳趾，墊子平面被用作特定的三維平面。該段的長(zhǎng)度（sk，k＝1，...，17）從這些點(diǎn)的三維坐標(biāo)中獲得2.43D重建點(diǎn)與線段長(zhǎng)度之間的關(guān)系方程由

當(dāng)關(guān)節(jié)不發(fā)生閉塞時(shí)，k的值為17。用腳趾在墊子平面上的z坐標(biāo)的方程給出了計(jì)算除腳趾以外的點(diǎn)的z坐標(biāo)的遞推公式：

其中pi，pj表示sk的端點(diǎn)，是穆爾彭羅斯逆矩陣。腳趾的z坐標(biāo)計(jì)算為墊子平面與腳趾的三維視線的交點(diǎn)。對(duì)于腳趾位于墊子平面上方的圖像幀，腳趾的z坐標(biāo)由前者和后者的腳趾的兩個(gè)z坐標(biāo)估計(jì)。采用兩種約束條件，（1）關(guān)節(jié)的可移動(dòng)范圍和（2）所有關(guān)節(jié)必須存在于墊面上或以上，從多個(gè)解中選擇正確的解。最后，圍繞相應(yīng)的部分設(shè)置身體部件模型。

2 實(shí)驗(yàn)評(píng)價(jià)

在大學(xué)傳統(tǒng)武術(shù)俱樂部的幫助下，拍攝了一場(chǎng)傳統(tǒng)武術(shù)拳擊比賽，并進(jìn)行了3D重建簡(jiǎn)單的實(shí)驗(yàn)（見圖三），據(jù)傳統(tǒng)武術(shù)教練說(shuō)，重建工作的質(zhì)量很好。

圖三 （左）原始傳統(tǒng)武術(shù)拳擊圖像，（中間）從側(cè)面的3D場(chǎng)景，（右）從左側(cè)的觀點(diǎn)的相同的模擬環(huán)境

3 結(jié)論

本研究提出了一種傳統(tǒng)武術(shù)拳擊的半自動(dòng)三維重建方法。關(guān)節(jié)檢測(cè)、腳趾與墊面之間的接觸測(cè)定以及被遮擋關(guān)節(jié)的位置估計(jì)將有待進(jìn)一步研究。