基于圖像的動作識別與評價方法

劉倩，趙柏山

（沈陽工業(yè)大學信息科學與工程學院，沈陽 110870）

1 引言

隨著計算機視覺技術的不斷發(fā)展，人體動作識別也在諸多領域得到應用，比如智能安防，人機交互，虛擬現(xiàn)實，運動分析等[1]。其中，運動分析非常適于與體育動作相結(jié)合，用以分析體育動作，比較相似度，來完成識別和評價動作質(zhì)量[2]，達到輔助訓練的效果，提高體育運動的學習性和參與性。目前人體動作識別方法主要分為兩種，第一種是通過可穿戴式設備[3]，利用陀螺儀、加速度傳感器等采集人體運動參數(shù)對人體動作進行識別[4]，但是該方法對硬件依賴性高，成本高。第二種是通過RGB視頻或圖像進行動作識別，缺點是識別效果容易受到環(huán)境復雜背景、光照等影響[5]。針對上述問題，在此從骨骼信息出發(fā)，基于圖像使用OpenPose檢測方法[6]提取骨骼關鍵點信息，將骨骼關節(jié)信息轉(zhuǎn)化為距離、角度等特征[7]，通過動態(tài)時間規(guī)整算法[8]和KNN分類器[9]解決識別和評價的問題。

2 方法概述

基于圖像實現(xiàn)體育動作識別首先需要錄制動作視頻，將視頻讀取為幀圖像進行圖像預處理；接下來通過OpenPose姿態(tài)估計模型對預處理后的圖像進行骨骼關鍵點檢測，提取關節(jié)點坐標；然后對關節(jié)數(shù)據(jù)進行處理并構(gòu)建特征向量；最后利用動態(tài)時間規(guī)整算法和KNN分類器進行動作識別。

2.1 視頻預處理

為了更好地滿足動作識別的需要，對動作視頻進行以下預處理：

a)將錄制好的動作視頻數(shù)據(jù)集轉(zhuǎn)為圖像幀。轉(zhuǎn)換后的圖像有270×480、544×960、720×1280三種尺寸。利用OpenCv計算機視覺庫和Python語言將圖像進行統(tǒng)一的縮放裁剪為270×480。

b)圖像濾波。圖像中普遍存在高斯噪聲，此時就需要采用OpenCv中自帶的高斯濾波函數(shù)來實現(xiàn)圖像的去噪聲處理。

2.2 基于OpenPose骨骼關鍵點檢測

OpenPose模型結(jié)構(gòu)如圖1所示。檢測分為前后兩個階段：

圖1 OpenPose模型結(jié)構(gòu)

階段1輸入圖片，卷積神將網(wǎng)絡（CNN）對圖片分析處理，由VGG19網(wǎng)絡的前10層進行初始化得到特征圖F；

階段2將得到的特征圖F分成兩個分支，通過貪婪推理預測身體部分位置信度映射S和一組2D親和度矢量向量場L，用S和L編碼檢測目標各部分之間的關聯(lián)向量場，通過置信度分析檢測目標的親和向量場，最終標出所有檢測目標的2D關鍵點。

特征圖F經(jīng)過CNN進行分析處理，通過多次迭代來預測結(jié)果。整個過程經(jīng)歷t個階段，t∈{1,2,...,T}。第一階段得到置信圖S1和親和力L1，后續(xù)的T-1個階段將上一階段的兩個分支的輸出和原始特征圖F相結(jié)合，進行下一步預測，如下二式所示：

經(jīng)過多層網(wǎng)絡的反復迭代直到收斂，最后在預測時對于任意兩個關節(jié)點位置yj1和yj2，計算關節(jié)點之間的關聯(lián)程度，用關節(jié)點的親和度的線性積分來表征，E值越小表示關聯(lián)程度越小,如下式：

式中，p(u)是yj1和yj2連線上任一值，通過對u均值采樣、求和來近似積分，有：

經(jīng)過以上步驟可完成骨骼關節(jié)點的預測，此處所采用的OpenPose模型提取了人體的25個骨骼關鍵點，如圖2所示。

圖2 骨骼關鍵點

2.3 數(shù)據(jù)處理與特征提取

2.3.1 數(shù)據(jù)處理

首先要確定主關節(jié)點。選取人體軀干部分的相對穩(wěn)定的脖子和胯中心關節(jié)點作為主關節(jié)點。然后要對部分關節(jié)點的缺失做出處理。依據(jù)缺失關節(jié)點（xi,yi）的前后各兩幀圖像關鍵點進行曲線擬合。定義曲線公式如下：

利用前兩幀的坐標數(shù)據(jù)和后一幀的坐標數(shù)據(jù)求出曲線系數(shù)a1、b1、c1；再利用后兩幀的坐標數(shù)據(jù)和前一幀坐標數(shù)據(jù)求出曲線擬合系數(shù)a2、b2、c2，將xi=(xi-1+xi+1)/2帶入，得到y(tǒng)1，同理再次帶入得到y(tǒng)2，最終得到y(tǒng)i，如下式：

此外還要剔除冗余關節(jié)點。由于進行的是動作識別，與頭部和腳部無直接關系，為減少計算量，在后面的階段，去除頭部的5個關鍵點和腳部的6個關鍵點。

2.3.2 提取特征向量

首先要提取歸一化距離特征：計算左肘、左腕、右肘、右腕、左膝、左踝、右膝、右踝八個關鍵點到胯中心點X、Y方向的距離。將距離除以到跨中心點的歐式距離，便得到歸一化特征。

再提取關節(jié)角度特征：選取右肩、右肘、左肩、左肘、右胯、右膝、左胯、左膝8個關節(jié)點，根據(jù)余弦定理計算、求解角度，公式如下：

式中，0≤θ≤180°

2.4 動作識別與評價

此部分研究涉及到動態(tài)時間規(guī)整原理，具體為：

假設有兩個動作序列：A=(A1,A2,...,Ai,...,Am)，B=(B1,B2,...,Bj,...,Bn)，A是測試序列，B是模板序列。當m=n時，直接計算兩個動作序列對應的特征向量的累加距離，求出兩個動作序列的最小距離。當m≠n時，就需要對兩個動作序列進行拉伸或者縮短來使得兩個序列對齊，所以需要構(gòu)造一個m×n的矩陣，每一個矩陣元素(i,j)表示曲線上的點Ai到曲線Bj的距離d(Ai，Bj)，如下式：

式中，1≤ω≤N。這個距離使用歐式距離來度量相似度，歐式距離越小，相似性越大。

序列A和B之間對齊的每一個點所經(jīng)過的連線稱為規(guī)劃路徑，如圖3所示。它是從點(1,1)到點(m，n)的最優(yōu)路徑。

圖3 規(guī)整路徑

用W表示規(guī)劃路徑，將它的第k個元素定義為wk=(i,j)k，則有：

其中，max(m,n)≤K≤m+n-1，且動態(tài)規(guī)整路徑W需要滿足邊界約束、連續(xù)性約束、單調(diào)性約束[10]。結(jié)合三個約束性條件可以推出，點(i,j)有且只有三個元素與其相連接，分別為：(i+1,j)、(i,j+1)、(i+1,j+1)。定義γ(i,j)是Ai和Bj的歐氏距離和可以到達此點的最近元素的距離之和，稱之為累加距離，如下式：

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集的制作

根據(jù)研究需要，實驗使用了自制動作數(shù)據(jù)集。動作選取太極拳中的8式分別為：如封似閉、高探馬、雙峰貫耳、左野馬分鬃、右野馬分鬃、白鶴亮翅、手揮琵琶、單鞭。在此基礎上又分為室內(nèi)和兩種室外場景。涵蓋了復雜背景和光照干擾，類別較為豐富，具有一定的代表性。

3.2 特征有效性分析

特征有效性需要考慮區(qū)別性和一致性。區(qū)別性是對于同一個人完成不相同的動作時，該特征變化是否具有差異，以此判斷出動作種類是否不同。選擇右腕X方向距離特征和左肘角度特征進行實驗，結(jié)果如圖4所示。實驗結(jié)果表明兩個特征表現(xiàn)出不同的變化規(guī)律，具有區(qū)別性。

圖4 右腕X方向距離和角度特征

一致性則是對于不同人完成同一個動作時，該特征變化是否具有一致性，以此來判斷動作種類是否相同。選取單鞭動作右膝的X方向距離和角度特征進行實驗，結(jié)果如圖5所示。實驗結(jié)果表明，兩個特征的變化規(guī)律具有一致性。

圖5 右膝X方向距離和角度特征

3.3 動作識別結(jié)果與分析

對自制數(shù)據(jù)集進行動作識別實驗，選取KTH和Weizmann兩個公開數(shù)據(jù)集進行驗證。KTH數(shù)據(jù)集共有六類動作，Weizmann數(shù)據(jù)集共有十類動作。將距離特征作為特征1，角度特征作為特征2，歸一化距離特征和角度特征結(jié)合作為特征3；通過動態(tài)時間規(guī)整算法計算待測樣本和模板樣本的DTW距離，然后利用KNN分類器進行分類識別。識別結(jié)果如表1所示。

表1 三個數(shù)據(jù)集識別率對比

從表中可知，整體上特征3的識別率高于特征1和特征2，這驗證了提取特征對分類的有效性。

實驗同時也可得到混淆矩陣圖，如圖6所示。在混淆矩陣圖中，以橫軸表示預測的類別，縱軸表示正確分類的標簽，對角線上是正確分類的數(shù)量。通過此圖，便可直觀地觀察出每一類被錯誤分類的類別及其數(shù)量。

圖6 混淆矩陣

3.4 動作評價分析

選擇數(shù)據(jù)集中的如封似閉作為評價對象，選取50個樣本作為測試序列，采用DTW算法計算測試序與標準序列的DTW距離，作為相似性評估的指標。為減少計算量特征參數(shù)數(shù)量，選取8個角度特征。實驗結(jié)果如圖7所示。

圖7 DTW距離分布

從圖中可以看出，左肘角度的DTW距離大部分分布在700°～1300°，少部分分布在1300°～1500°；左膝角度的DTW距離大部分分布在200°～800°，少數(shù)分布在800°～1200°，將處于這些區(qū)間之外的值舍棄。對剩余6個角度特征進行實驗分析，可知：上肢的四個角度——左肩、右肩、左肘、右肘的距離分布比較稀疏；下肢的四個角度——右胯、左胯、左膝、右膝的距離分布比較稠密。這也表明在該招式中上肢的動作幅度較大。

基于上述實驗分析，針對動作如封似閉構(gòu)建評價方法，公式如下：

式中sa表示一個角度特征的得分；sc表示角度分配的分數(shù)，它的值為1.25；d1表示DTW距離值，d2表示DTW距離有效區(qū)間內(nèi)的最小值；fc為損失參數(shù)，其值大小與動作變化幅度有關，幅度大的關節(jié)點損失參數(shù)小，幅度小的關節(jié)點損失參數(shù)大。最后總得分為8個關節(jié)角度得分的總和，即：

4 結(jié)束語

在本研究中，通過OpenPose姿態(tài)估計方法檢測骨骼關鍵點，得到了關節(jié)點坐標，提取了姿態(tài)特征向量，利用動態(tài)時間規(guī)整算法和KNN分類器實現(xiàn)動作分類識別，對自制數(shù)據(jù)集識別率達到90%，在KHT和Weizmann數(shù)據(jù)集上識別率達到85.6%和83.7%。利用角度特征DTW距離構(gòu)建一套動作評價公式，實驗結(jié)果表明本方法具有魯棒性、有效性。