計算機視覺中的人體下肢動作識別研究

侯星宇

（江蘇省新海高級中學，江蘇連云港，222000）

0 引言

由于傳承方式不穩(wěn)定、區(qū)域發(fā)展不平衡及世界舞蹈文化日益交融，眾多民族舞蹈藝術面臨失傳。目前，結合運動捕捉技術和拉班舞譜進行舞蹈的記錄、傳承從而保護動作類非物質文化遺產是一種多維度的、全面的方法。

本文將三維人體運動捕捉數(shù)據(jù)進行分割，然后運用專業(yè)的運動捕捉數(shù)據(jù)BVH播放軟件，從多角度觀察人體關鍵部位的活動方式及空間方位，分析并繪制拉班舞譜。此外，本文還詳述了拉班舞譜的繪制方法。

1 計算機技術與拉班舞譜相結合的研究現(xiàn)狀

將計算機技術與拉班舞譜相結合，極大推動了拉班舞譜的發(fā)展及應用，主要有以下幾個方面。

第一個研究方向是由軟件輔助繪制拉班舞譜，繪譜者只需通過拖動舞譜符號即可實現(xiàn)拉班舞譜的繪制，該方法大大提高了舞譜的繪制效率。目前使用最廣泛的軟件是由“ICKL”開發(fā)的Laban Writer 。其他還有 Labanatory 、Calaban和LED[1]；第二個研究方向是借助計算機再現(xiàn)拉班舞譜描述的人體動作。將拉班舞譜記錄的動作借助計算機通過軟件中人體骨架模型展現(xiàn)出相對應的人體動作。該軟件主要包括Laban Editor[2]、Life Forms[3]和Laban Dancer[4]；第三個研究方向是拉班舞譜的自動生成，該研究尚處于起步階段，準確率還有很大的提升空間。最早從事相關研究的是日本立命館大學的Kozaburo Hachimura、Minako Nakamura[5]，他們只研究了手臂的靜態(tài)姿勢，開發(fā)了Laban Editor。Worawat Choensawat 等[6]彌補了日本研究的一些不足，開發(fā)了 GenLaban 軟件，但存在對下肢動作和人體重心運動分析不足的缺點。Chen Huayue 等[7]實現(xiàn)了旋轉的數(shù)據(jù)分析，走、跳、升和降的分析，上肢、腿、頭及軀干的分析，但由于未考慮動作的停頓和分割，生成的拉班舞譜質量仍然不高。

2 拉班舞譜與運動捕捉

2.1 拉班舞譜的介紹

拉班舞譜由“現(xiàn)代舞理論之父”魯?shù)婪颉だ嗨鶆?chuàng)，是一套用于分析和記錄人體動作姿態(tài)的系統(tǒng)，其分為譜表和舞譜符號兩部分。

譜表以人體解剖學為基礎，采用三條豎線分別表示左、右側肢體及脊柱，構成了最基本的四欄譜面結構。由于人體動作多種多樣，四欄的基本結構無法滿足需要，根據(jù)實際情況，拉班舞譜可劃分為4欄至11欄。在11欄的譜面結構中，中心軸向右依次為支撐動作欄、腿部動作欄、軀干動作欄、手臂動作欄、手部動作欄，左側同理。頭部動作欄可放在最靠左/右側的任意欄中[8]。

拉班舞譜的動作由不同的舞譜符號表示。拉班舞譜將動作分為高、中、低三個層次：符號全黑表示低度空間，中間空白表示中度空間，用斜線表示動作處于高度空間?；鞠蚨确柟灿?7個[8]，其中水平方向符號包括前、后、左、右、左前、右前、左后、右后及原位9種。如圖1所示。

圖1 拉班舞譜方向符號和水平表示[9]

此外，拉班舞譜以音樂一拍作為單位長度，在中心軸線上設節(jié)拍線，作為動作時間的計量依據(jù)，由此可以得到每個舞蹈動作準確的持續(xù)時間。

2.2 運動捕捉技術的介紹

運動捕捉是通過在人體上安裝傳感器或標記點，采集關鍵部位的運動軌跡，通過分析形成動作數(shù)據(jù)，用來記錄物體在三維空間中的運動軌跡的技術。主要有機械式運動捕捉、光學式運動捕捉、電磁式運動捕捉及聲學式運動捕捉四種。

機械式運動捕捉可以做到實時測量，成本低，精度高，并可以同時測量多個角色。缺點是對表演者動作限制較大，難于連續(xù)動作捕捉，使用不便。光學式運動捕捉速率高，使用方便，可以自由表演。缺點是成本高,處理量大，復雜動作有遮擋和混淆弊端。電磁式運動捕捉速度快，實時性好。缺點是對金屬敏感，環(huán)境要求嚴格，表演者動作受限。聲學式運動捕捉成本低廉，但精度低，捕捉滯后，易受噪聲干擾。

3 基于運動捕捉數(shù)據(jù)的拉班舞譜繪制

基于運動捕捉數(shù)據(jù)的拉班舞譜繪制，即通過對運動的人體進行不間斷、全方位、多角度的跟蹤拍攝，并以運動捕捉系統(tǒng)采集、處理而得數(shù)據(jù)為基礎，進行繪制拉班舞譜。

目前，通用的運動捕捉數(shù)據(jù)文件格式包括 BVH、ASF/AMC、HTR等。其中，BVH文件按照人體骨骼關節(jié)層次，以樹狀結構存儲人體運動，是一種常用、易于獲得并易于使用的運動捕捉數(shù)據(jù)格式，也是本文在拉班舞譜繪制中用到的數(shù)據(jù)格式。BVH文件通過歐拉角來表示子節(jié)點相對父節(jié)點的位置關系，用來確定某一定點轉動位置的角參量，可以記錄由運動捕捉數(shù)據(jù)得到的各定位點間的相對位置關系。

3.1 運動捕捉數(shù)據(jù)分割

3.1.1 重心方向切分

在以人體自身定義的坐標中，重心移動可以近似地用根節(jié)點的移動表示。一般來說，當向量 m 與 y 軸正方向夾角介于(-16°,16°)°之間時，表示該動作人體重心向上；介于（164°,180°]∪[-180°，-164°）時，表示人體重心向下；當變化較小時則人體重心在水平方向上保持基本不變，該段動作處于水平方向上的原位[10]。

3.1.2 速率閾值分割人體四肢部位的運動必將有速率及曲率的變化，為了避免重復繪制近似不移動的節(jié)點對繪制過程造成的困難，使用設置速率閾值的方法劃分相鄰的動作。動作間小于閾值表示動作的調整和停頓，大于閾值即表示動作開始。此外，當元素動作持續(xù)時間過短，該動作作為噪音處理，其中閾值的經驗數(shù)據(jù)約為18厘米/秒。

3.2 元素動作分析

3.2.1 動作分析的一般步驟

動作分析的一般步驟如圖2所示。需要注明的是，本文在分析支撐動作時，選擇直接根據(jù)BVH數(shù)據(jù)呈現(xiàn)的人體動作繪圖。若將本文提出的方法應用于自動生成拉班舞譜的有關研究，則判斷重心在豎直方向上的變化情況時，通過讓計算機讀取角度數(shù)據(jù)判斷該動作在豎直方向上所處的區(qū)域，從而繪制出更精確的拉班舞譜。

3.2.2 本文對腿部姿態(tài)的進一步劃分

在人體實際運動過程中，除了舞蹈、雜技、武術等高難度動作，腿部姿態(tài)均以低為主，當一系列動作都在低的范圍內變化，由于傳統(tǒng)方法對其缺少精確劃分，使得多個不同低度動作被識別成同一符號，并且在流傳過程中難以被還原，無法達到保存、記錄并傳播舞譜的效果。為此，本文對腿部姿態(tài)進行了進一步地劃分，以原拉班舞譜符號“左低”為例，本文將這部分由高到低，以10度為單位，將其劃分為a、b、c三個區(qū)域，對應符號如圖3所示。

圖2 動作分析的一般步驟

圖3 符號細化圖例

因此，本文中水平與垂直空間內各個符號如圖4所示。

圖4 水平和垂直空間的劃分

4 實驗

4.1 運動捕捉數(shù)據(jù)獲取

本文通過瀏覽網頁篩選BVH數(shù)據(jù)，并根據(jù)上文提出的動作分析的方法繪制拉班舞譜。實驗分析部分主要以腿部姿態(tài)的分析為主，著重分析人體重心的變化情況。其中，辨別該動作是支撐動作還是非支撐動作是本次實驗的重點。

實驗中所用數(shù)據(jù)的時間大概在十秒以內，幀數(shù)小于300幀，幀頻為三十幀每秒。這些運動捕捉數(shù)據(jù)著重描寫腿部變化。在將動作切分為與拉班舞譜符號對應的元素動作后，分別分析并識別出其對應的舞譜符號。

在每段實驗分析后，本文對比兩種方法所繪制的舞譜，比較傳統(tǒng)繪制方法與本文提出的新方法帶來的誤差，以便于驗證上文提出的分析方法的可行性。

4.2 實驗分析

實驗基于三維人體運動捕捉數(shù)據(jù)，選取恰當幀數(shù)下BVH文件中模型的運動姿態(tài)，并使用傳統(tǒng)的與本文提出的兩種方法繪制拉班舞譜，將繪制結果與BVH提供的角度數(shù)據(jù)比較。由于本文著重研究繪制人體腿部姿態(tài)的方法，在繪制新圖譜的過程中也只選取支撐動作欄和非支撐動作欄的相關部分。

第一段運動捕捉數(shù)據(jù)的信息如下。數(shù)據(jù)來源：網絡；格式：BVH格式；幀頻：30幀/秒；數(shù)據(jù)幀數(shù)：288。

圖5為第一段運動捕捉數(shù)據(jù)的舞譜，左側為符號修改前繪制的拉班舞譜，右側為按照本文所提出的符號繪制的拉班舞譜。

圖5左側舞譜共有9行，是根據(jù)拉班記譜法的基本動作原理進行繪制。圖5右側舞譜是根據(jù)本文所提出的方法繪制的，分析過程如下。

首先，從BVH數(shù)據(jù)中有關歐拉角的記錄中，篩選出所需繪制的相關部位對應的角度數(shù)據(jù)，列出用于繪制拉班舞譜的幀數(shù)及對應角度，繪制表格，如表1所示。

圖5 第一段運動捕捉數(shù)據(jù)的舞譜。左側為符號修改前繪制的舞譜，右側為按照本文提出的符號繪制的舞譜

然后，判斷該動作為支撐動作還是非支撐動作。若為支撐動作，判斷重心是處于低、中、高哪個區(qū)域中，并觀察重心的變化方向，繪制出正確的舞譜符號；若為非支撐動作，則判斷水平與豎直方向上動作變化情況。

表1 用于繪制舞譜的關鍵幀數(shù)據(jù)

9行舞譜的分析如下（對應圖5右側的舞譜）。①0幀時雙腳支撐，俯視圖判斷，重心處于原位；正視圖判斷，重心處于中位。即該舞譜符號為原位中。②右腳著地為支撐動作，其對應的符號為原位中。左腿懸空，為非支持動作，角度為160.2度，由此判斷該動作在水平方向上為前低2。繪制符號至相關位置。③左腿向前為支撐動作，對應的符號為前低。右腿為非支撐動作，水平方向上為后，豎直方向上角度為138.9度，故該動作對應的符號為為后中。④左腿支撐地面，為原位低。右腿為非支撐動作，對應角度為106.3度，故為前中。⑤左右腿均為支撐動作。左腿為前低，右腿為后低。⑥右腳離開地面，左腳支撐為原位低。右腿向前方上踢，夾角為107.9度，豎直方向上處于中度，對應拉班舞譜為前中。⑦左腿下彎支撐，右腿向后。由此時中心軸線上與右大腿的夾角為164.7度，處于后低2，則非支撐欄對應符號為后低2，支撐欄上動作為原位低。⑧同⑦。⑨雙腿騰空，右腿在豎直方向上處于中度，且向右前方前踢，高度接近重心，且與中心軸線的夾角為95.4度，因此右腿為右前中，左腿為原位中。

第二段運動捕捉數(shù)據(jù)的信息如下。數(shù)據(jù)來源：網絡；格式：BVH 格式；幀頻：30幀/秒；數(shù)據(jù)幀數(shù)：21。

圖6 為第二段運動捕捉數(shù)據(jù)的舞譜，左側為符號修改前繪制的拉班舞譜，右側為按照本文所提出的符號繪制的拉班舞譜。

圖6 第二段運動捕捉數(shù)據(jù)的舞譜。左側為符號修改前繪制的舞譜，右側為按照本文提出的符號繪制的舞譜

設置第二段運動捕捉數(shù)據(jù)主要在于驗證本文提出的繪制方法的可行性。

首先，篩選出相關部位的角度數(shù)據(jù)，將所需繪制幀數(shù)的夾角繪表，見表2；然后，分析動作，繪制拉班舞譜。第二段運動捕捉數(shù)據(jù)共有4行，按照本文提出的方法分析如下（對應圖6右側的舞譜）。①左腿為非支撐動作，懸空低位抬起，在水平方向上為原位。由于此時軀干與大腿間夾角為170.8度，處于原位低3；右腿向下彎曲支撐，重心下移，為原位低。②從水平方向觀察動作數(shù)據(jù)，左腿正常直立支撐，處于原位，右腿向后。從豎直方向觀察運動數(shù)據(jù)，左腿處于中度，右腿對應的角度為171.4度，為后低2。故左腿為原位中，右腿為后低2。③右腿支撐人體，重心位置不變，為原位中；左腿向后懸空抬起，水平方向上為后，豎直方向上對應的角度為145.7度，故對應的符號為后中。④右腿原位支撐，左腿懸空向后。根據(jù)左腿所對應的夾角為176.4度，判斷舞譜符號為后低3。

表2 用于繪制舞譜的關鍵幀數(shù)據(jù)

通過對兩段運動捕捉數(shù)據(jù)的分析，可以看出，由于手工繪制舞譜有一定的主觀性，對比真實的實驗數(shù)據(jù)，大多數(shù)動作繪制不夠精確。并且動作在相鄰兩個高度非常接近的范圍中，又時常難以判斷。而通過本文提供的有關拉班舞譜的繪制方法可以較精確地繪制出舞譜數(shù)據(jù)，雖然在判斷支撐動作時有一定的主觀性，但相較傳統(tǒng)繪制方法而言，已有很大提升。因此，此方法可以用于繪制拉班舞譜，并提升人工繪制舞譜的準確度。

4.3 誤差分析

在分析支撐動作時，本文直接根據(jù)人體模型判斷其所對應的舞譜符號，有一定的主觀性，有可能導致繪制不精確。若想要繪制更精確的拉班舞譜，在繪制時可劃分低中高三個高度所對應的范圍。分析方法與非支撐動作的分析方法類似。

由于BVH數(shù)據(jù)中角度數(shù)據(jù)較多并且分布規(guī)律性不強，若在制表中出現(xiàn)一個數(shù)據(jù)失誤，將極有可能導致全部數(shù)據(jù)的錯誤，需要重新繪表。尤其在處理幀數(shù)較多的BVH數(shù)據(jù)時，出錯的幾率將會更大。

5 結論與展望

總體概括，在本論文的研究中，完成了以下工作：

（1）對拉班舞譜的譜表和舞譜符號符號進行了介紹。

（2）介紹了運動捕捉技術，對運動捕捉最常用的BVH文件進行了說明，并根據(jù)需要獲取任意節(jié)點的相關運動數(shù)據(jù)。其也作為判斷傳統(tǒng)的繪制方法與新方法優(yōu)劣的重要依據(jù)。

（3）設計了新的拉班舞譜符號，詮釋了新符號的內涵，豐富了拉班舞譜的表達，實現(xiàn)了動作的精細劃分，對舞蹈的學習與交流具有重要的現(xiàn)實意義。

（4）詳細介紹了新方法的繪制原理及方法，通過比較分析，證明新方法簡便易行，具有很好的可操作性，便于推廣與普及，對傳統(tǒng)方法是一個極好的發(fā)展與補充。

拉班舞譜在國內尚屬于初步研究階段，采用拉班舞譜進行舞蹈的記錄，也還存在諸多缺陷，仍然需要我們不斷的探索研究。如何在前人的基礎上進一步完善記錄方法，以便更準確、更生動的展現(xiàn)舞蹈將是今后研究與發(fā)展的重要方向。希望我的不成熟的改進，能對拉班舞譜的發(fā)展，及非物質文化遺產的保護做出貢獻。

此外，由于拉班舞譜本身記錄方式簡潔易懂，若在繪制拉班舞譜的過程中做到舞譜的精確化，也有利于在世界范圍內進行動作信息的傳播與交流。