基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法

霍宇飛，于隨然

(上海交通大學(xué)機(jī)械工程學(xué)院，上海200240)

1 引言

動作識別是計算機(jī)對于人類動作進(jìn)行分析與理解，從而完成人體動作識別化劃分的技術(shù)[1-2]。隨著科學(xué)技術(shù)的逐步發(fā)展，人類已由信息匱乏的時代逐漸走向信息高度集成發(fā)展的時期，人們對于個人信息安全的重視程度逐漸提升，也成為人類高度信息化時代發(fā)展的迫切要求。身份認(rèn)證技術(shù)成為保證個人信息安全的重要技術(shù)之一，已經(jīng)被廣泛地應(yīng)用到生活中的各種環(huán)境。尤其是人員流動量較多或是公共安全要求較高的地區(qū)。在此技術(shù)的使用過程中，大致可分為3部分，為了提升信息安全保障技術(shù)的使用效果，多將此三部分內(nèi)容融合使用。

特征融合技術(shù)作為人工智能中的關(guān)鍵技術(shù)，具有巨大的創(chuàng)新空間與應(yīng)用價值，吸引了越來越多的企業(yè)與科研機(jī)構(gòu)的關(guān)注與研究。從動作識別角度分析可知，人體骨骼識別大致可分為姿態(tài)數(shù)據(jù)獲取、骨架動態(tài)數(shù)據(jù)獲取以及關(guān)鍵姿態(tài)挖掘。針對個人信息安全的要求，將姿態(tài)特征中的骨骼動作視作人體生理骨架關(guān)節(jié)點(diǎn)之間的硬連接段的集合。目前，國內(nèi)外各類組織和知名大學(xué)花費(fèi)了大量的精力與時間用于此技術(shù)的研究之中。許艷等人[3]為發(fā)揮深度圖像與骨骼數(shù)據(jù)的優(yōu)越性，將深度特征與骨骼特征結(jié)合進(jìn)行人體行為識別，研究特征融合的人體行為提取方法，在深度圖像方面捕捉行為線索，提取人體行為梯度，輪廓曲率的幾何特征;在骨骼數(shù)據(jù)方面提取運(yùn)動節(jié)點(diǎn)的多種特征，用人體行為輪廓比，角度差和距離差表征行為形態(tài)，達(dá)到結(jié)果只與行為分布有關(guān)的目的；運(yùn)用一種多模型概率投票的識別分類機(jī)制，減小噪聲對實驗結(jié)果的影響，該方法能夠有效識別人體行為；但是耗費(fèi)時間較長；楊凱歌等人[4]提出迭代學(xué)習(xí)控制算法追蹤人體髖關(guān)節(jié)和膝特征提取方法，結(jié)合人體下肢結(jié)構(gòu)分析，建立下肢外骨骼機(jī)器人動力學(xué)模型，基于迭代學(xué)習(xí)控制算法建立下肢外骨骼機(jī)器人隨動控制模型，分析收斂速度與譜半徑的關(guān)系，提取得到人體下肢髖關(guān)節(jié)和膝關(guān)節(jié)期望軌跡，但是提取準(zhǔn)確率不理想。

針對上述問題，將數(shù)據(jù)網(wǎng)格化技術(shù)應(yīng)用于下肢骨骼提取中，以此提升下肢骨骼數(shù)據(jù)的獲取效果。在此次研究中，將完成基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法設(shè)計過程，并設(shè)定相應(yīng)的案例驗證其使用效果。

2 下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法

針對目前下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法在應(yīng)用中的不足，在此次研究中將使用特征融合技術(shù)對其進(jìn)行優(yōu)化。此次研究將下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法優(yōu)化過程設(shè)定為3部分，具體內(nèi)容如下所示。

2.1 下肢骨骼動力學(xué)分析

通過文獻(xiàn)研究可知，人體下肢主要關(guān)節(jié)主要可分為3部分，具體功能可具體顯示如下。

表1 人體下肢主要關(guān)節(jié)功能

根據(jù)上述分析結(jié)果，在此次研究中構(gòu)建相應(yīng)的下肢骨骼動力學(xué)模型[5]，得到相應(yīng)的動力學(xué)分析結(jié)果。當(dāng)人體站立時，下肢呈平行直立狀態(tài)，下肢以上身體重量與下肢的壓力可設(shè)定為A1，下肢自身的重力可設(shè)定為A2，地面對下肢的支撐力可表示為B。當(dāng)人體自然站立時，下肢合力為零，則有

B=A1+A2

(1)

人體下肢肌肉的合力設(shè)定為Bj1，則有

Bj1=B=A1+A2

(2)

當(dāng)人體步行或奔跑時，下肢受力出現(xiàn)相應(yīng)的變化，此時下肢除需要承受身體的重力、自身重力以及地面支撐力外，還需要承受一個與前進(jìn)方向相反的阻力B2以及人體前進(jìn)方向的靜摩擦力c(c>B2)，此時任意下肢肌肉承受的合力可表示為

Bj2=B+c=A1+A2+c

(3)

當(dāng)人體在坡度環(huán)境中活動時，下肢受力情況出現(xiàn)變化。當(dāng)在坡度環(huán)境運(yùn)動時，地面對下肢的支持力B大于人體壓力A1與下肢自身重量的合力A2；當(dāng)下坡時，地面的支撐力B小于人體壓力A1與下肢自身重量的合力A2，此時則有

Bj3=B+c

(4)

根據(jù)上述公式，可對人體下肢骨骼運(yùn)動時的做功情況進(jìn)行分析，在此部分分析中使用希爾肌肉三元素模型作為分析藍(lán)本，將E表示下肢肌肉單元所受的合力，設(shè)定并聯(lián)骨骼彈性單元上的合力為E1，串聯(lián)骨骼彈性單元上的合力為E2，骨骼運(yùn)動單元的合力為E3則有

E3=E1

(5)

E=E2+E3

(6)

通過上述公式，對下肢運(yùn)動時的骨骼合力進(jìn)行分析，并以此作為此次研究中的數(shù)據(jù)基礎(chǔ)。

2.2 下肢骨骼特征數(shù)據(jù)提取

在此次研究中，將使用Kinect V1設(shè)備[6-7]獲取相應(yīng)的人體圖像數(shù)據(jù)，并使用上文中設(shè)定的動力學(xué)分析模型，獲取相應(yīng)的骨骼數(shù)據(jù)。為了保證下肢骨骼特征數(shù)據(jù)提取數(shù)據(jù)來源的穩(wěn)定性與真實性，將技術(shù)參數(shù)與運(yùn)行環(huán)境設(shè)定如下。

表2 Kinect V1設(shè)備技術(shù)參數(shù)與運(yùn)行環(huán)境設(shè)定

使用上述設(shè)備獲取人體下肢骨骼數(shù)據(jù)，針對原有方法在使用中的問題，在此次研究中主要針對人體位移特征進(jìn)行分析與提取。設(shè)定人體下肢關(guān)節(jié)點(diǎn)為Gt=(x，y，z)t，在當(dāng)前的運(yùn)動圖像與上一個時間點(diǎn)的位置可設(shè)定為Gt-1=(x，y，z)t-1，并計算兩點(diǎn)之間的位移。同時，計算Gt對于動作初始狀態(tài)G0=(x，y，z)0之間的相對位移，則有

G(t1，t2)=(x，y，z)t1-(x，y，z)t2

(7)

為了降低時間延遲對數(shù)據(jù)處理結(jié)果的影響，在此次研究中使用節(jié)點(diǎn)移動機(jī)體積[8-9]作為特征表達(dá)方式。設(shè)定下肢骨骼關(guān)節(jié)點(diǎn)為i，在人體運(yùn)動的過程中，首先尋找對應(yīng)的關(guān)節(jié)點(diǎn)j在x，y，z軸上中的最近距離與最遠(yuǎn)距離，然后關(guān)節(jié)點(diǎn)j在坐標(biāo)系中的移動范圍可采用下述公式體現(xiàn)

Lx=[max(xj)-min(xj)]

(8)

Ly=[max(yj)-min(yj)]

(9)

Lz=[max(zj)-min(zj)]

(10)

因此，關(guān)節(jié)點(diǎn)j的移動體積可顯示為

Vi=LzLyLx

(11)

根據(jù)此公式，可得到人體下肢關(guān)節(jié)點(diǎn)i與關(guān)節(jié)點(diǎn)j之間的位移可通過下述公式計算

Hi，j=(x，y，z)i-(x，y，z)j

(12)

通過上述公式計算人體位移，并獲取相應(yīng)的特征數(shù)據(jù)，提高數(shù)據(jù)處理精度。

2.3 實現(xiàn)下肢骨骼數(shù)據(jù)網(wǎng)格化提取

通過處理后，得到下肢骨骼數(shù)據(jù)預(yù)處理結(jié)果。在原有方法的使用過程中，通過對數(shù)據(jù)進(jìn)行網(wǎng)格劃分，提取相應(yīng)的骨骼數(shù)據(jù)，但此方法在使用過程中，時常出現(xiàn)骨骼數(shù)據(jù)走樣的問題，因此在此次算法設(shè)計中網(wǎng)格中值平滑濾波方法[10-11]對骨骼數(shù)據(jù)展開處理，以此保證骨骼數(shù)據(jù)的提取精度。某關(guān)節(jié)點(diǎn)(x，y，z)作為濾波窗口的中心，并將相鄰的數(shù)據(jù)按照由大到小的順序排列，將排序后的中間值作為關(guān)節(jié)點(diǎn)(x，y，z)處的數(shù)據(jù)值。同時，將數(shù)據(jù)二維化處理，將關(guān)節(jié)點(diǎn)(x，y，z)轉(zhuǎn)化為關(guān)節(jié)點(diǎn)(x，y)，并使用高斯函數(shù)[12]對其進(jìn)行計算，具體公式如下所示

(13)

通過上述公式，完成數(shù)據(jù)濾波過程。使用原有的網(wǎng)格數(shù)據(jù)提取方法作為設(shè)計藍(lán)本，將此濾波過程與原有數(shù)據(jù)提取方法相結(jié)合。在數(shù)據(jù)提取過程中，將濾波過程中涉及的數(shù)據(jù)采用矩陣的形式體現(xiàn)，則數(shù)據(jù)濾波過程可體現(xiàn)為

(14)

其中，N為網(wǎng)格數(shù)據(jù)濾波系數(shù)，則濾波矩陣可顯示為

(15)

使用此部分優(yōu)化后的提取算法，結(jié)合上文中設(shè)計預(yù)處理部分，實現(xiàn)骨骼數(shù)據(jù)提取。至此，基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法設(shè)計完成。

3 實驗論證分析

3.1 實驗環(huán)境設(shè)計

在上文中介紹了基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法設(shè)計過程，在此部分中將上文提出方法應(yīng)用于公共數(shù)據(jù)庫中，驗證方法對于實際問題是否擁有處理效果，并將其與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法進(jìn)行對比。在此次實驗過程中，將構(gòu)建相應(yīng)的實驗平臺以便于將所提方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法應(yīng)用于同一環(huán)境中，控制實驗中的變量，確保實驗結(jié)果的可靠性。因此，選定實驗平臺的硬件與軟件部分如下：

硬件：CPU: Dual-Core 2.66GHz

硬盤：1T

圖像捕捉設(shè)備：Kinect V1

顯卡：GeForce RTX 3090 GAMING OC 24G

軟件：控制系統(tǒng)：Windows8

數(shù)據(jù)庫：MY SQL 2016

編譯器：Visual Studio 2012

使用上述內(nèi)容，完成實驗平臺的組裝工作，并將其應(yīng)用于此次實驗中。將所提方法與原有方法所需的圖像預(yù)處理軟件以及數(shù)據(jù)處理軟件安裝其中。

3.2 實驗方案設(shè)計

在此實驗過程中，選擇動作數(shù)據(jù)庫作為研究的對象，為此次研究提供深入圖形以及3D骨骼動作數(shù)據(jù)。在此數(shù)據(jù)中包含10個類別的動作的運(yùn)動數(shù)據(jù)，具體內(nèi)容如下：draw x、draw tick、draw circle、hand clap、forward kick、side kick、higharm wave、horizontal arm wave，hammer、hand catch。使用所提方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對draw x、draw tick、draw circle、side kick、forward kick動作中的下肢骨骼數(shù)據(jù)進(jìn)行提取，完成對比過程。

設(shè)定此次實驗中的對比對象分為3部分，分別為：提取結(jié)果準(zhǔn)確率、數(shù)據(jù)預(yù)處理可靠性以及網(wǎng)格劃分精度，使用上述三部分完成方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法的對比過程。并且對比文獻(xiàn)[3]方法、文獻(xiàn)[4]方法，在此次實驗過程中，將實驗環(huán)境設(shè)定為光感良好與光感不佳兩部分，以此提升實驗結(jié)果的真實性。

3.3 實驗結(jié)果分析

圖1 提取結(jié)果準(zhǔn)確率實驗結(jié)果

通過上述實驗結(jié)果可知，所提方法與文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對于骨骼數(shù)據(jù)均具有較高的提取率，但提取結(jié)果的準(zhǔn)確性具有一定的差異。根據(jù)上述實驗結(jié)果可以看出，所提方法在兩種實驗環(huán)境中得到的提取結(jié)果準(zhǔn)確率較高且穩(wěn)定。對文獻(xiàn)[3]方法、文獻(xiàn)[4]方法在兩種不同的實驗環(huán)境中提取的骨骼數(shù)據(jù)準(zhǔn)確性波動較大，由此可知看出，文獻(xiàn)[3]方法、文獻(xiàn)[4]方法對于原始圖像的要求較高，且適用性較差。綜合上述實驗結(jié)果可知，針對數(shù)據(jù)提取準(zhǔn)確度，所提方法的使用效果優(yōu)于文獻(xiàn)[3]方法、文獻(xiàn)[4]方法。

圖2 數(shù)據(jù)預(yù)處理可靠性實驗結(jié)果

對上述圖像進(jìn)行分析可以看出，所提方法的使用效果明顯優(yōu)于傳統(tǒng)方法。在骨骼數(shù)據(jù)的預(yù)處理中，所提方法在不同的環(huán)境下，均可得到較好的數(shù)據(jù)處理結(jié)果，且數(shù)據(jù)處理時長較短。文獻(xiàn)[3]方法、文獻(xiàn)[4]方法在兩種不同的實驗環(huán)境中對骨骼數(shù)據(jù)預(yù)處理后數(shù)據(jù)可靠性出現(xiàn)波動，且處理時間較長，對于后續(xù)的數(shù)據(jù)處理與提取具有一定的影響。使用所提方法完成數(shù)據(jù)的預(yù)處理工作不會對數(shù)據(jù)提取結(jié)果造成影響。

圖3 網(wǎng)格劃分精度實驗結(jié)果

通過上述實驗結(jié)果可知，在此次實驗過程中，三種不同的方法采用了不同的網(wǎng)格劃分精度。通過文獻(xiàn)研究可知，網(wǎng)格劃分密度對于數(shù)據(jù)提取精度具有一定的影響。當(dāng)網(wǎng)格密度劃分過細(xì)時，數(shù)據(jù)提取精度得到提升，但計算速度下降；當(dāng)網(wǎng)格密度劃分過粗時，數(shù)據(jù)提取精度較差，其計算速度得到提升但效果不佳。綜合分析可以看出，所提方法的網(wǎng)格劃分精度適中，且數(shù)據(jù)提取能力較佳。與此同時，所提方法可根據(jù)動作的特征，對網(wǎng)絡(luò)劃分精度進(jìn)行調(diào)整。文獻(xiàn)[3]方法、文獻(xiàn)[4]方法網(wǎng)格劃分結(jié)果為固定精度，對于不同動作數(shù)據(jù)提取過程的適配性較低。由此可知，此方法網(wǎng)格劃分精度較佳。

綜合提取結(jié)果準(zhǔn)確率實驗結(jié)果、數(shù)據(jù)預(yù)處理可靠性實驗結(jié)果以及網(wǎng)格劃分精度實驗結(jié)果可知，所提方法在使用過程中可獲得較好的實驗結(jié)果且其適配性較高，可使用此方法作為骨骼數(shù)據(jù)提取的主要方法。

4 結(jié)束語

人體的動作識別在計算機(jī)視覺領(lǐng)域中是一項具有挑戰(zhàn)性的重要研究項目。深度相機(jī)的出現(xiàn)與特征融合技術(shù)的進(jìn)步很好地解決了下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法在日常使用過程中的不足。為了更好、更精確地識別出人體動作，在此次研究中完成了基于特征融合的下肢骨骼數(shù)據(jù)網(wǎng)格化提取算法。通過算法測試可以看出此次研究設(shè)計結(jié)果具有一定的使用效果，在日后研究中可使用此方法提取人體下肢骨骼數(shù)據(jù)，為人體的動作識別提供更加精確的數(shù)據(jù)。