基于三維人體語義骨架點(diǎn)的姿態(tài)匹配

王大鵬 黎 琳 韓 麗 張美超 王露晨

(遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 遼寧 大連 116081)

基于三維人體語義骨架點(diǎn)的姿態(tài)匹配

王大鵬 黎 琳 韓 麗 張美超 王露晨

(遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 遼寧 大連 116081)

針對三維人體模型結(jié)構(gòu)復(fù)雜，處理數(shù)量大且不易提取控制點(diǎn)等問題，提出通過對人體形狀進(jìn)行特征分析描述人體結(jié)構(gòu)并進(jìn)行姿態(tài)識別的算法。融合測地線與空間結(jié)構(gòu)等特征提取骨架點(diǎn)有效減少數(shù)據(jù)的計(jì)算量，并通過ICP算法進(jìn)行姿態(tài)的行為識別。實(shí)驗(yàn)證明，該算法有效地提升了三維姿態(tài)的識別效率，并有很好的魯棒性。

三維人體 語義骨架 姿態(tài)識別

0 引 言

近年來，人體姿態(tài)識別成了計(jì)算機(jī)視覺領(lǐng)域中的一個重要研究方向。人作為社會活動的主體，對人的動作行為進(jìn)行識別分析具有重要的研究價值，在醫(yī)療、監(jiān)控、人機(jī)交互等方面具有廣闊的應(yīng)用前景。對于大量的三維人體模型數(shù)據(jù)，如何去自動獲取人體特征、學(xué)習(xí)并分析其動作行為[1]已是目前研究的重點(diǎn)和難點(diǎn)所在。

人體姿態(tài)行為具有高度靈活、內(nèi)部結(jié)構(gòu)復(fù)雜的特性，很難用單一特征進(jìn)行描述或分類提取。在常用的基于統(tǒng)計(jì)的方法中，可從統(tǒng)計(jì)學(xué)的角度分析動作特征和之前的關(guān)聯(lián)情況，常見的統(tǒng)計(jì)模型主要有：隱馬爾科夫模型HMM(Hidden Markov Model)[2]、高斯混合模型GMM(Gaussian Mixture Model)等?；跁r空特征的方法是將一段時間序列的動態(tài)過程進(jìn)行分析，通過訓(xùn)練樣本來獲取動作的模型參數(shù)，常見的方法包括線性動態(tài)系統(tǒng)LDS(Linear Dynamic System)等。Natarajan等人[3]通過動態(tài)貝葉斯網(wǎng)絡(luò)DBN(Dynamic Bayesian Network)來表示分解后的運(yùn)動序列，描述復(fù)雜動作拆分后的轉(zhuǎn)換關(guān)系?；跁r空特征的分析法中，Wang等[4]利用局部興趣點(diǎn)的密度特性，觀察局部興趣點(diǎn)的多尺度時空上下文特征進(jìn)行行為識別。Wu等[5]結(jié)合兩種分布特征類型：時空上下文和外觀分布特征，利用多核學(xué)習(xí)方法有效融合這兩種異構(gòu)和互補(bǔ)分布特性進(jìn)行姿態(tài)識別?；谀０宓拇笾驴煞譃閮深?，一類為模板匹配法，另一類為動態(tài)的時空規(guī)整法和動態(tài)規(guī)劃法。基于模板方法將識別出的模型姿態(tài)與樣本模型進(jìn)行比較，算法效率較高，簡單高效，可廣泛地應(yīng)用于日常行為姿態(tài)的識別。

大多人體姿態(tài)識別方法通常通過單視角或多視角的二維圖像進(jìn)行提取，描述特征主要為目標(biāo)人物的顏色、輪廓、形狀、深度信息等，導(dǎo)致一些算法容易受光照、環(huán)境、遮擋等因素的影響，具有一定的局限性。三維模型數(shù)據(jù)從本質(zhì)上克服了二維信息的不利影響因素，本文在充分考慮三維人體模型特性的基礎(chǔ)之上，提出一種新穎的人體姿態(tài)分析及識別算法，層次化提取出人體骨架結(jié)構(gòu)后，基于迭代最近點(diǎn)算法ICP(Iterative Closest Point)進(jìn)行日常姿態(tài)模板識別，有效提升了姿態(tài)識別的計(jì)算效率(如圖1所示)。

圖1 算法流程圖

在日常行為當(dāng)中人體的姿態(tài)雖然具有高度的靈活性，但都基于人體骨架所驅(qū)動而發(fā)現(xiàn)形變，通過獲取人體基本骨架即可識別出其行為狀態(tài)，而不需要觀察其外部細(xì)節(jié)。姿態(tài)識別的關(guān)鍵問題是：所提取的特征和采用什么方法進(jìn)行姿態(tài)判別。通過二維圖像信息所提取的特征很難應(yīng)用于復(fù)雜環(huán)境的行為系統(tǒng)中。因此，本文提出一種多尺度提取三維人體結(jié)構(gòu)特征方法基于人體語義結(jié)構(gòu)層次化提取骨架姿態(tài)模型，融合測地線、內(nèi)部空間體積和結(jié)構(gòu)比例特征分析提取層次結(jié)構(gòu)。最后，通過ICP算法實(shí)現(xiàn)快速的姿態(tài)識別。算法不僅保留了了人體的結(jié)構(gòu)特征，且便于理解與實(shí)現(xiàn)，可快速識別出簡單的日常人體行為姿態(tài)。

1 人體語義骨架點(diǎn)

根據(jù)人體日常活動的姿態(tài)變化，定義14個關(guān)鍵行為關(guān)節(jié)點(diǎn)[6]，并將其劃分為三個層次：外層關(guān)節(jié)點(diǎn)、內(nèi)層關(guān)節(jié)點(diǎn)和中層關(guān)節(jié)點(diǎn)。人體姿態(tài)大致經(jīng)由這些關(guān)鍵關(guān)節(jié)點(diǎn)的變化而組成，準(zhǔn)確獲得關(guān)鍵行為關(guān)節(jié)點(diǎn)后連接而成的骨架即可描述人體姿態(tài)，將大量復(fù)雜的三維數(shù)據(jù)簡化成全局性描述的骨架信息。

首先，通過計(jì)算表面測地線距離建立人體模型的初始結(jié)構(gòu)，遍歷葉子節(jié)點(diǎn)區(qū)域，通過極值點(diǎn)判定得到外層關(guān)節(jié)點(diǎn)；結(jié)合空間體積特征，檢測模型內(nèi)部體積的突變區(qū)域確定內(nèi)層關(guān)節(jié)點(diǎn)；結(jié)合已獲得的關(guān)節(jié)點(diǎn)信息和人體測量學(xué)理論，聯(lián)合定位中層關(guān)鍵點(diǎn)的預(yù)測位置。根據(jù)三層關(guān)節(jié)點(diǎn)連接形成的層次骨架，通過ICP算法進(jìn)行姿態(tài)識別，將待測模型姿態(tài)與標(biāo)注姿態(tài)進(jìn)行匹配識別，實(shí)現(xiàn)日常行為姿態(tài)的快速檢測。

2 人體姿態(tài)骨架的層次提取

(1)

其中，area為模型參考點(diǎn){ai}所占模型表面的面積，geod(v,ai)表示頂點(diǎn)v到參考點(diǎn)ai的測地線距離。

圖2 人體模型初始結(jié)構(gòu)提取

假設(shè)以模型內(nèi)部的點(diǎn)出發(fā)作為可視化視角，每一點(diǎn)的可視化區(qū)域?qū)⑹潜３址€(wěn)定或逐漸變化的。我們首先將模型表面上的點(diǎn)標(biāo)準(zhǔn)化后映射到模型內(nèi)部；再從映射點(diǎn)采樣發(fā)出射線，將所有射線與模型表面交點(diǎn)的長度進(jìn)行求和，作為該點(diǎn)的內(nèi)部體積特征值[8]。根據(jù)人體組織架構(gòu)的幾何特征，內(nèi)層關(guān)節(jié)點(diǎn)位于內(nèi)部體積值顯著突變區(qū)域，可以通過內(nèi)部體積特征有效得到人體內(nèi)層關(guān)節(jié)點(diǎn)，有效識別出模型內(nèi)部關(guān)鍵區(qū)域(如圖3所示)。令模型表面頂點(diǎn)為{K1，K2，…，Ki,…,Kn},以Ki為頂點(diǎn)，其負(fù)法向量ni為主軸朝模型內(nèi)部發(fā)射m條射線，射線d與之間的椎角為(0≤β≤90°)，與模型表面點(diǎn)Ki相交的最大內(nèi)切球直徑可用式(2)求出：

dj=argmin{‖Dj‖/cosβj}

(2)

圖3 內(nèi)部映射點(diǎn)計(jì)算

為了獲得各個頂點(diǎn)局部收斂性，引入權(quán)值wi對特征值進(jìn)行去噪處理。其中μ是平均值，σ為標(biāo)準(zhǔn)差。對于人體模型而言，無論其姿勢形態(tài)如何改變，所提取的層次結(jié)構(gòu)特征應(yīng)該是相對穩(wěn)定的。

(3)

骨骼作為更高級別的形狀特征，可以作為人體姿態(tài)內(nèi)在結(jié)構(gòu)的描述和轉(zhuǎn)換。Wu等[9]對人體模型的測地線值進(jìn)行度量研究，發(fā)現(xiàn)盡管人體結(jié)構(gòu)形狀較為復(fù)雜，人體特征在不同個體上存在細(xì)微差異，但通過研究發(fā)現(xiàn)各關(guān)節(jié)之間的相對比例存在穩(wěn)定的數(shù)量關(guān)系，且不會受姿態(tài)等外界因素的影響。結(jié)合外層關(guān)節(jié)點(diǎn)和內(nèi)層關(guān)節(jié)點(diǎn)，依據(jù)人體測量學(xué)比例理論，采用測地線比例定位中層關(guān)節(jié)點(diǎn)位置。由于人體結(jié)構(gòu)具有對稱性，測地線值最大的兩個外層關(guān)節(jié)點(diǎn)為腿部末端點(diǎn)，次大距離關(guān)節(jié)點(diǎn)為手部點(diǎn)，最小的為頭部點(diǎn)，進(jìn)行語義判別后，自動求解比例從而實(shí)現(xiàn)中層關(guān)節(jié)點(diǎn)的定位提取(如圖4所示)。

圖4 人體層次骨架提取

3 人體姿態(tài)識別

到目前為止，已提取到人體結(jié)構(gòu)關(guān)節(jié)的層次骨架信息，鏈接而成可獲得簡化后的高級骨架描述特征。針對不同層次的骨架關(guān)節(jié)，根據(jù)其生理特征采用不同的算法提取關(guān)節(jié)點(diǎn)位置，有效識別出人體姿態(tài)的骨架信息，將復(fù)雜的三維數(shù)據(jù)簡化為提煉后的骨架進(jìn)行姿態(tài)的識別。

在計(jì)算機(jī)視覺的應(yīng)用研究領(lǐng)域，目前國內(nèi)外應(yīng)用最為廣泛的模型匹配經(jīng)典方法為迭代最近點(diǎn)(ICP)算法[10]。算法分為點(diǎn)集數(shù)據(jù)采集、確定對應(yīng)點(diǎn)集、求解優(yōu)化轉(zhuǎn)換矩陣等步驟，該算法計(jì)算簡單、精確度高且具有較高的穩(wěn)定性，具有非常高的應(yīng)用研究價值。迭代最近點(diǎn)算法的實(shí)質(zhì)為通過最小二乘法的計(jì)算得到最優(yōu)匹配變化，通過迭代優(yōu)化兩點(diǎn)集的轉(zhuǎn)換矩陣，使得誤差函數(shù)值最小，從而實(shí)現(xiàn)兩模型間的精確匹配。在算法計(jì)算過程中，最耗時的步驟為計(jì)算模型間對應(yīng)點(diǎn)，當(dāng)點(diǎn)集數(shù)據(jù)個數(shù)很大時，計(jì)算所花費(fèi)的時間會大大增加，算法執(zhí)行效率因此降低。本文算法將龐大的三維面片信息簡化為有限的三維骨架點(diǎn)集，大大縮減了對應(yīng)點(diǎn)的搜索范圍，同時保證了算法的精確度。

(4)

步驟一 讀入點(diǎn)集Dq、Dq信息。

步驟二 求解待匹配點(diǎn)集的對應(yīng)點(diǎn)對，使得‖pi-qi‖→min。

步驟五 若更新后的點(diǎn)集與參考點(diǎn)集的誤差距離小于閾值，或k達(dá)到最大迭代次數(shù)(設(shè)k=10)，則算法結(jié)束，否則將更新點(diǎn)集帶入繼續(xù)進(jìn)行迭代。

圖5 兩姿態(tài)匹配前后對比

圖5中，(a)為人體站著和蹲著的姿態(tài)匹配，匹配前姿態(tài)差異較大，匹配后基本關(guān)節(jié)點(diǎn)均能呈現(xiàn)出較好的對應(yīng)關(guān)系；(b)為不同站姿的匹配，匹配前差異程度較小，經(jīng)過匹配兩姿態(tài)能準(zhǔn)確對應(yīng)。經(jīng)試驗(yàn)層次提取后的骨架點(diǎn)集經(jīng)過ICP算法匹配后，算法能有效匹配姿態(tài)各異的骨架模型并用于姿態(tài)匹配識別中。本文方法將復(fù)雜的三維模型簡化為有限的骨架點(diǎn)集信息，對提取骨架的精度要求較高，對骨架信息的識別過程能很好地將不同姿態(tài)的模型進(jìn)行匹配，且算法具有很好的精度和魯棒性，適用于各種人體姿態(tài)的匹配。

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文算法姿態(tài)識別的有效性，在Intel(R) Xeon(R) CPU的Windows 7操作系統(tǒng)上，基于Visual C++和Matlab進(jìn)行三維人體姿態(tài)識別，人體庫為150個不同姿態(tài)的三維人體模型。

本文算法在姿態(tài)識別的精度上和速度上均有一定的優(yōu)勢，且當(dāng)三維人體模型面片數(shù)量越大時，通過人體層次提取后再進(jìn)行姿態(tài)識別，算法執(zhí)行效率越占優(yōu)勢。本文方法將復(fù)雜的三維模型簡化為有限的骨架點(diǎn)集信息，對提取骨架的精度要求較高，對骨架信息的識別過程能很好地將不同姿態(tài)的模型進(jìn)行匹配，且算法具有很好的執(zhí)行效率，適用于各種人體姿態(tài)的識別。

在三維人體模型庫中，將人體日常行為動作劃分為三類：行走，站立，蹲坐，組成動作集合A={行走，站立，蹲坐}，將不同人體模型與標(biāo)注姿態(tài)進(jìn)行匹配，可發(fā)現(xiàn)動作近似的模型姿態(tài)差異度值較小，而在走的姿態(tài)中，不同人因行為習(xí)慣不同，存在一定的誤差，但差異值變化較為穩(wěn)定，如表1所示。

表1 人體姿態(tài)差異度值比較

為進(jìn)一步驗(yàn)證不同姿態(tài)的骨架與標(biāo)注姿態(tài)識別的有效性，將待測姿態(tài)骨架點(diǎn)集與樣本庫中姿態(tài)進(jìn)行一一匹配，選取日常姿態(tài)中的六個最佳標(biāo)準(zhǔn)姿態(tài)建立樣本庫，計(jì)算待測姿態(tài)與樣本庫中姿態(tài)平均差異值，我們定義匹配識別函數(shù)S為：

(5)

匹配識別函數(shù)S中，E表示待測姿態(tài)i與庫中標(biāo)準(zhǔn)姿態(tài)j姿態(tài)識別后骨架對應(yīng)點(diǎn)間的平均歐氏距離，Zn、Dn、Xn分別表示姿態(tài)樣本庫中標(biāo)準(zhǔn)姿態(tài)站立、蹲坐、行走模型集合。將人體模型庫中模型與標(biāo)準(zhǔn)樣本姿態(tài)庫中模型進(jìn)行識別，實(shí)驗(yàn)結(jié)果如表2所示，并與基于MRG骨架樹的檢索方法進(jìn)行比較。本文方法所提取的骨架點(diǎn)包含語義信息，并且能較為高效準(zhǔn)確地識別出日常的基本姿態(tài)，能有效識別人體的剛性變換，但是對于行走和站立的靜態(tài)模型，有些姿態(tài)較為相似，容易出現(xiàn)識別錯誤的情況。方法只適用于簡單標(biāo)準(zhǔn)姿態(tài)的行為識別，但對復(fù)雜行為姿態(tài)不作語義識別判定。文獻(xiàn)[11]方法基于MRG原理提取骨架，骨架節(jié)點(diǎn)具有拓?fù)鋵傩院蛶缀涡螤钐卣?，但缺乏語義和姿態(tài)的行為屬性判定，在結(jié)構(gòu)提取前需要對模型進(jìn)行統(tǒng)一的分區(qū)，同一模型不同結(jié)構(gòu)分區(qū)的拓?fù)涔羌芟嗖钶^大，較為適用于相同分區(qū)的統(tǒng)一結(jié)構(gòu)。

表2 實(shí)驗(yàn)結(jié)果比較

5 結(jié) 語

本文利用測地線距離、內(nèi)部空間體積特征分析人體模型后，結(jié)合人體測量學(xué)理論層次化提取人體骨架信息來進(jìn)行姿態(tài)識別。本文方法通過簡單的骨架信息點(diǎn)集來有效表示復(fù)雜的人體三維模型，這種層次化的姿態(tài)識別方法，有效簡化了人體姿態(tài)識別過程，提高了算法執(zhí)行時間，在計(jì)算大量三維數(shù)據(jù)時具有明顯優(yōu)勢，并且便于拓展應(yīng)用，能與步態(tài)識別、人體檢測等方向進(jìn)行結(jié)合，有很強(qiáng)的延伸實(shí)用性。算法雖然能高效解決人體姿態(tài)識別問題，但是通過骨架信息識別姿態(tài)仍具有一定的不確定性，目前樣本庫中姿態(tài)只能識別出較為簡單的日常行為動作。日后工作會對復(fù)雜姿態(tài)進(jìn)行進(jìn)一步研究，實(shí)現(xiàn)高層次的人體姿態(tài)識別與應(yīng)用。

[1] Aggarwal J K, Ryoo M S. Human Activity Analysis: A Review[J]. ACM Computer Surveys, 2011, 43(3):194-4218.

[2] Xia L, Chen C C, Aggarwal J K. View invariant human action recognition using histograms of 3D joints[C]//2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, 2012:20-427.

[3] Natarajan P, Singh V K, Nevatia R. Learning 3D action models from a few 2D videos for view invariant action recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010:20006-42013.

[4] Wang J, Chen Z, Wu Y. Action recognition with multiscale spatio-temporal contexts[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011:3185-43192 .

[5] Wu X, Xu D, Duan L, et al. Action recognition using context and appearance distribution features[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011:489-4496.

[6] 陳啟華, 潘翔, 張三元. 語義知識約束的三維人體特征點(diǎn)檢測和分割[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報, 2011, 23(6):1061-41068.

[7] 韓麗, 楚秉智, 高小山. 高斯曲率約束的MRG骨架提取優(yōu)化算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報, 2009, 21(9):1227-41231.

[8] Liu R, Zhang H, Shamir A, et al. A part-aware surface metric for shape analysis[J]. Computer Graphics Forum, 2009, 28(2) 397-4406.

[9] Wu W, Hao A, Zhao Y. Geodesic model of human body[C]//Proceedings of the 2010 International Conference on Cyberworlds. Los Alamitos, CA: IEEE Computer Society Press, 2010:391-4397.

[10] 戴靜蘭, 陳志楊, 葉修梓. ICP算法在點(diǎn)云配準(zhǔn)中的應(yīng)用[J]. 中國圖象圖形學(xué)報, 2007, 12(3):517-4521.

[11] 韓麗, 張黎娜, 楚秉智. 一種MRG骨架樹的三維模型檢索方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2011, 47(31):167-4170.

ATTITUDE MATCHING BASED ON THE THREE-DIMENSIONAL HUMAN BODY SEMANTIC SKELETON POINTS

Wang Dapeng Li Lin Han Li Zhang Meichao Wang Luchen

(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian116081，Liaoning,China)

Aiming at several problems such as the complex structure, large processing quantity and difficult extraction of control points of three-dimensional human body models, an algorithm of describing body structure and doing pose recognition by analyzing characteristics of shape of human body is proposed. It fused the characteristics of geodesic and spatial structure to extract skeleton points which reduce the calculation effectively and make behavior recognition of attitude by using ICP algorithm. Experiments proved that using this algorithm could recognize the three-dimensional pose more effectively with good robustness.

Three-dimensional human body Semantic skeleton Pose recognition

2015-05-23。遼寧省高等學(xué)校優(yōu)秀人才支持項(xiàng)目(LJQ 2013110)。王大鵬，講師，主研領(lǐng)域：計(jì)算機(jī)圖形學(xué)。黎琳，碩士生。韓麗，教授。張美超，碩士生。王露晨，碩士生。

TP3

A

10.3969/j.issn.1000-386x.2017.01.031