健身動作智能識別的長短期記憶網(wǎng)絡模型研究

王麗敬，趙澤陽，劉亞樓，楊愛民,，韓陽,,

(1. 華北理工大學 冶金與能源學院，河北 唐山 063210；2. 華北理工大學 理學院，河北 唐山 063210；3. 華北理工大學 發(fā)展規(guī)劃與學科建設處，河北 唐山 063210)

隨著科技的發(fā)展和人們生活水平的提高，健身動作智能識別是對當前市場上的健身系統(tǒng)方案的優(yōu)化。由于身體形變和歪曲等原因，導致對人體動作檢測具有一定的挑戰(zhàn)性。但在基于傳統(tǒng)的RGB彩色視頻進行識別的基礎上，已有越來越多的學者投入到深度圖像識別序列研究中[1,2]，其中，較為廣泛的是使用3D骨骼數(shù)據(jù)進行研究[3]。

最近，循環(huán)神經(jīng)網(wǎng)絡已經(jīng)成功應用于骨骼的3D動作識別。長短記憶神經(jīng)網(wǎng)絡(Long Short Term Memory, LSTM)是循環(huán)神經(jīng)網(wǎng)絡(RNN)非常成功的擴展。它們利用內(nèi)部存儲單元上的門控機制來學習，并將輸入順序數(shù)據(jù)之間長期依賴性更好、更復雜地表示出來，因此它們適合于按時間數(shù)據(jù)序列進行特征學習。

1健身動作識別方法

1.1 基于人體結構化信息的骨骼數(shù)據(jù)處理

人類行為的特征是身體部位隨時間的運動。在3D人體動作識別中，在每一幀中都有主要人體關節(jié)的三維位置。最近，循環(huán)神經(jīng)網(wǎng)絡已經(jīng)成功應用于骨骼的3D動作識別。

1.2 基于LSTM的時間建模

典型的LSTM單元包含一個輸入門it，一個遺忘門ft，一個輸出門ot和一個輸出狀態(tài)ht以及一個內(nèi)部存儲單元狀態(tài)ct.LSTM轉換方程式表示為：

ct=itΘut+ftΘct-1

(1)

(2)

ht=otΘtanh(ct)

(3)

其中，Θ表示元素乘積，xt表示在時間步長t到網(wǎng)絡的輸入，而ut表示調(diào)制后的輸入 ，σ是sigmoid激活函數(shù)，M：RD+d→R4d是由模型參數(shù)組成的仿射變換，其中D是輸入xt的維數(shù)，d是LSTM單元狀態(tài)單元的數(shù)量。

輸入門決定了在時間t調(diào)制的輸入信息(ut)應該更新存儲單元的程度。遺忘門ft確定存儲單元的先前狀態(tài)(ct-1)對其當前狀態(tài)(ct)的有效性。最后，輸出門ot控制著從存儲單元輸出的信息量[6,7]。

1.3 基于樹結構的遍歷

在簡單鏈中布置關節(jié)會在身體關節(jié)之間添加虛假的聯(lián)系，與此同時會忽略關節(jié)之間的運動學依賴關系，而這些錯誤的聯(lián)系并沒有很強的關聯(lián)性[8]。在人體分析中，骨骼關節(jié)通常被建模為基于樹的圖形結構，如圖1所示。

圖1 人體骨骼關節(jié)樹

在圖1(a)中人體的骨骼關節(jié)在簡單的聯(lián)合鏈模型中，聯(lián)合訪問順序為1-2-3 -...- 16；圖1(b)將骨骼轉換為樹形結構；圖1(c)在空間步長上遍歷樹；可以通過遍歷將樹展開為鏈，聯(lián)合訪問順序為1-2-3-2-4-5-6-5-4-2-7-8-9-8-7-2-1-10-11-12-13-12-11-10-14-15-16-15-14-10- 1[9,10]。

基于樹結構的遍歷策略使在鄰接樹結構內(nèi)的數(shù)據(jù)傳輸?shù)?個方向(自上而下和自下而上)得以保證。因此，每個節(jié)點都將具有來自其祖先和后代的上下文信息，基于樹結構的遍歷能由關節(jié)的鄰接結構得到更強的長期空間依賴性模式[11]。

與其他LSTM實現(xiàn)類似，可以通過堆疊多層樹結構的ST-LSTM并構建一個深層但完全易處理的網(wǎng)絡來提高網(wǎng)絡的表示能力，如圖2所示。

圖2 深樹結構的ST-LSTM網(wǎng)絡圖形模型

在圖2中，為了清楚起見，在堆疊網(wǎng)絡中省略了一些箭頭(從顏色上更好看)。第一ST-LSTM層的輸出被饋送到第二ST-LSTM層作為其輸入，第二ST-LSTM層的輸出被饋送到softmax層[12,13]。

2健身動作智能識別功能的實現(xiàn)

基于前文提出的對人體結構化信息的骨骼數(shù)據(jù)處理及多層級LSTM動作識別網(wǎng)絡，通過對系統(tǒng)進行設計與實現(xiàn)，并與其他方法進行比對，分析所提出改進方法的有效性。

2.1 研究平臺及數(shù)據(jù)集

健身動作智能識別的設計及實現(xiàn)的實驗環(huán)境為：基本Python環(huán)境、Flask、UWSGI、Nginx、Docker、TensorFlow Serving.該研究所選的框架為TensorFlow深度學習框架，目前作為深受歡迎的深度學習框架，TensorFlow的數(shù)據(jù)流圖編程思想十分適用于神經(jīng)網(wǎng)絡各個參數(shù)的計算。與此同時，其靈活的架構可以與多種平臺兼容，支持Windows、Linux、macOS、Web、Android，適配圖形處理器和中央處理器。

NTU RGB + D數(shù)據(jù)集集中提供了25個關節(jié)的3D坐標。類內(nèi)和觀點的較大差異使此數(shù)據(jù)集非常具有挑戰(zhàn)性。由于樣本數(shù)量眾多，該數(shù)據(jù)集非常適合基于深度學習的動作識別。

2.2 健身動作智能識別模型的構建

實現(xiàn)健身動作識別智能指導系統(tǒng)首先需要對數(shù)據(jù)進行數(shù)據(jù)收集、分割數(shù)據(jù)、特征提取，然后選擇并訓練模型，最后通過對比算法選擇最優(yōu)算法。

2.2.1數(shù)據(jù)收集

大腿內(nèi)側動態(tài)拉伸、緩沖深蹲跳、臀部動態(tài)拉伸及早安式體前屈相關動作分別進行數(shù)據(jù)收集。其中，在一次數(shù)據(jù)采集時，采集者左手持手機并使手機屏幕方向與手臂垂直，持續(xù)做同一動作。傳感器采集一次數(shù)據(jù)為20 ms，取樣率為50 Hz。微信程序?qū)⑹占降臄?shù)據(jù)通過json格式發(fā)送到云服務器上；有超過10位用戶參與數(shù)據(jù)采集，每位用戶都進行了4個動作的數(shù)據(jù)采集。為了保證算法的可泛化，除規(guī)定手持手機姿勢外，不對用戶設置其他規(guī)定。數(shù)據(jù)字段如表1所示。

表1 數(shù)據(jù)字段表

在表1數(shù)據(jù)字段中，所有數(shù)據(jù)均正常，且沒有缺失值，數(shù)據(jù)還包括用戶的性別、身高、體重等信息。為使模型更好地泛化，僅選取6軸數(shù)據(jù)。

2.2.2數(shù)據(jù)分割及特征提取

將整個數(shù)據(jù)集分為：訓練集(60%)、驗證集(20%)、測試集(20%)。將數(shù)據(jù)分割為2.56 s的窗口(128個數(shù)據(jù)點)，其中窗口之間有50%的重合，從而便于模型更好地學習出特征。原始時間序列加速度不能直接用標準分類算法計數(shù)據(jù)，所以，需將原始時間序列轉變?yōu)槟承┨卣?。首先將?shù)據(jù)分為2.56 s的窗口，再將每個2.56 s時間段中的128*6個讀數(shù)轉化為特征。

2.2.3選擇并訓練模型

在這項任務中，所需模型應可以準確通過2.56 s內(nèi)手機6軸的數(shù)據(jù)，并識別出用戶所做的動作給出相應的反饋。希望看到模型可以盡可能多地識別出用戶當前的動作，故在選擇算法時，側重于模型在測試集上的準確率與召回率，為了實現(xiàn)單一指標選擇，引入二者的調(diào)和平均F-1 score作為判斷指標。通過對SVM模型、Random forest模型及一維CNN網(wǎng)絡模型進行相應比對，可選擇出最優(yōu)算法并對該模型進行訓練。

SVM模型、Random forest模型及一維CNN網(wǎng)絡模型進行相應比對結果如圖3所示。

圖3 SVM、Random Forest及CNN分類器的分類結果混淆矩陣示意圖

通過研究實驗可知，在使用傳感器的人體動作識別任務上SVM模型與Random forest模型具有最優(yōu)的表現(xiàn)，在測試集上一維CNN網(wǎng)絡的表現(xiàn)最優(yōu)。由于判斷指標為F1 score，故選取一維CNN模型來做圖像的特征提取，對原始數(shù)據(jù)進行相關處理，利用LSTM來生成描述。表2所示為SVM模型、Random forest模型及一維CNN網(wǎng)絡模型對比。

表2 SVM模型、Random forest模型及一維CNN網(wǎng)絡模型對比

表2所示為SVM模型、Random forest模型及一維CNN網(wǎng)絡模型對比。由表2可以看出一維CNN網(wǎng)絡模型F1score最高可達0.995 33，SVM模型F1score最低可達0.974 71.由于此任務為多分類問題，loss function選為Cross Entrop，優(yōu)化器選為Adam，可以加快收斂速度。具體超參數(shù)為 learning_rate = 0.001，epsilon = 1e-07，amsgrad = False，訓練過程中，訓練次數(shù)選為17 300次，方式訓練采取Mini-batch方式訓練，batch size選為300。訓練過程的正確率曲線如圖4所示，訓練過程的loss曲線如圖5所示。

圖4 訓練過程正確率曲線示意圖 圖5 訓練過程loss曲線示意圖

保存并讀取模型，評估模型并查看在測試集上模型平均正確率與損失。

3健身動作智能識別實現(xiàn)及展示

健身動作智能識別實現(xiàn)功能界面的實現(xiàn)是基于web服務器之上，它包括4個基本模塊：說明須知界面、標準動作展示界面、開始測試界面和結束測試界面。

3.1 服務器配屬及小程序的開發(fā)

運用Docker+TensorFlow Serving的算法部署運行之前訓練好的模型；API開發(fā)選用Flask框架，接收并處理小程序傳來的數(shù)據(jù)TensorFlow Serving連接，F(xiàn)lask框架將這些預測結果返回給小程序；除此之外，需要在Web服務器上配置Nginx(配置Https訪問)、UWSGI軟件，從而實現(xiàn)小程序端到微信Web服務器再到Flask框架的連接過程。

調(diào)用小程序文檔中的API進行數(shù)據(jù)采集，傳感器采集一次數(shù)據(jù)為20 ms，取樣率為50 Hz，微信程序?qū)⑹占降臄?shù)據(jù)通過json格式發(fā)送到云服務器上，并在數(shù)據(jù)采集階段將數(shù)據(jù)上傳至微信云數(shù)據(jù)庫。

3.2 結果展示

圖6和圖7分別為訓練過程結果展示圖和標準動作展示示意圖基于人體結構化信息的骨骼數(shù)據(jù)處理方法對動作中的空間特征進行較為準確提取，與圖7中的標準動作進行比對，在很大程度上提高了算法的魯棒性和識別精度；該項研究提出的對人體結構化信息的骨骼數(shù)據(jù)處理及多層級LSTM動作識別網(wǎng)絡用于動作識別，該方法使得動作識別的整體性能在很大程度上得到提升，最終應用于實踐，實現(xiàn)健身動作智能識別的長短期記憶網(wǎng)絡模型的研究。

圖6 訓練過程結果展示圖

圖7 標準動作展示示意圖

4結論

(1)提出了基于人體結構化信息的骨骼數(shù)據(jù)處理方法。該方法能對動作中的空間特征進行較為準確的提取，在很大程度上提高了算法的魯棒性和識別精度。

(2)提出了對人體結構化信息的骨骼數(shù)據(jù)處理及多層級LSTM動作識別網(wǎng)絡用于動作識別。通過分析標準的LSTM網(wǎng)絡，提出時空LSTM模型和基于骨架的樹遍歷； LSTM引入了有效的門控方案，以處理輸入數(shù)據(jù)(人體關節(jié)位置)中的測量噪聲，并應用于3D健身動作識別，從而提高動作識別度。該方法使得動作識別的整體性能在很大程度上得到提升，最終應用于實踐，實現(xiàn)基于LSTM的健身動作智能識別。