基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動作識別算法

孫瑞陽 孫玉濱 段煉 趙藍飛

【摘要】? ? 本文提出一種基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動作識別算法。首先通過背景差分法對于太極拳運動員目標進行檢測。其次設(shè)計一個多層感知器網(wǎng)絡(luò)用于識別太極拳關(guān)鍵動作。最后構(gòu)建一個太極拳關(guān)鍵動作數(shù)據(jù)集，根據(jù)梯度下降法得到感知器網(wǎng)絡(luò)的最優(yōu)權(quán)重估計。

【關(guān)鍵詞】? ? 太極拳關(guān)鍵動作識別? ? 感知器網(wǎng)絡(luò)? ? 背景差分法

Abstract：? This paper proposes a Taijiquan key action recognition algorithm based on perceptron network. Firstly， background subtraction is employed to detect Taijiquan player. Secondly， a multilayer perceptron network is designed to recognize Taijiquan key action. Finally， a data set of Taijiquan key action is established and the optimal weight is estimated by gradient descent method.

Keywords： Taijiquan key action recognition; perceptron network; background subtraction

引言

雖然太極拳運動在中國具有非常重要的地位，但是具有主觀性質(zhì)的打分評分機制制約了太極拳運動無法躋身為世界主流體育競技項目之列。為了實現(xiàn)通過計算機對于太極拳運動進行自動評分，首要問題是設(shè)計一種太極拳關(guān)鍵動作的自動識別算法，這種太極拳關(guān)鍵動作識別算法可以根據(jù)太極拳比賽視頻自動識別運動員所做的關(guān)鍵動作。為了完成太極拳關(guān)鍵動作識別這一目的，本文提出一種基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動作識別算法。該算法由三部分構(gòu)成：首先通過背景差分法檢測出運動員所在位置。其次設(shè)計一個感知器網(wǎng)絡(luò)，該感知器網(wǎng)絡(luò)根據(jù)運動員目標區(qū)域的亮度、對比度、色彩信息這三類特征識別太極拳關(guān)鍵動作名稱。最后本文構(gòu)建一個已知標簽的太極拳關(guān)鍵動作圖像數(shù)據(jù)集，通過梯度下降法得到感知器網(wǎng)絡(luò)最優(yōu)參數(shù)估計。實驗結(jié)果驗證本文算法可以有效地識別太極拳關(guān)鍵動作。

一、本文算法

1.1? 基于幀間差分法的運動員目標檢測算法

為了檢測運動員出現(xiàn)的位置，本文對太極拳比賽視頻逐幀進行基于背景差分[1]的目標檢測算法，進而完成運動員定位與檢測任務(wù)。運動目標檢測算法的原理框圖如圖1所示：

本文選取太極拳競賽視頻中的相鄰10幀圖像的亮度平均值作為背景圖像，再利用當前幀和背景圖像相減。若所得到的像素數(shù)大于閾值，則判定被監(jiān)視場景中具有運動員目標，再利用目標二值化方法并得到運動員目標。其中背景減除法如式（1）所示：

其中自變量t表示當前時刻視頻幀數(shù)，自變量u表示與當前幀數(shù)相距10幀之內(nèi)的某一個幀數(shù)。C（t）表示背景減除結(jié)果。對當前幀進行背景減除后，還需對背景模型進行更新，其更新方法為在計算t+1幀的背景減除運算時，應(yīng)從t-9幀開始累加直至第t幀結(jié)束。t+1的背景減除法如式（2）所示：

1.2? 基于多層感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動作識別算法

太極拳關(guān)鍵動作識別算法共包含兩個步驟：首先根據(jù)前述運動員目標檢測結(jié)果識別出運動員身體的關(guān)鍵部位，例如頭部、頸關(guān)節(jié)、肩關(guān)節(jié)、肘關(guān)節(jié)、手腕、髖關(guān)節(jié)、膝關(guān)節(jié)、腳腕等。其次，根據(jù)已識別身體關(guān)鍵部位的相對位置判別遠動員所做動作名稱。根據(jù)這一思路，本文設(shè)計一個具有輸入層、輸出層、一個隱藏層的多層感知器網(wǎng)絡(luò)，用于識別太極拳關(guān)鍵動作。可以識別三種太極拳動的作多層感知器網(wǎng)絡(luò)[2～4]結(jié)構(gòu)圖如圖2所示。

輸入層是網(wǎng)絡(luò)的入口，輸入層根據(jù)空間位置將單幀圖像分割為多個圓形區(qū)域，并將這些區(qū)域的數(shù)字特征，即亮度、對比度、色彩按照像素的空間坐標關(guān)系整合為一個特征矩陣，分別輸入到神經(jīng)網(wǎng)絡(luò)中。隱藏層對于各數(shù)字特征量進行加權(quán)求和，根據(jù)結(jié)果判定某一圓形區(qū)域是否為人體關(guān)鍵部位。隱藏層的輸出傳遞到輸出層，輸出層對全部接收到的數(shù)字特征進行加權(quán)求和，根據(jù)結(jié)果識別當前幀對應(yīng)的太極拳關(guān)鍵動作。

1.3? 構(gòu)建太極拳關(guān)鍵動作圖像數(shù)據(jù)集

構(gòu)建多層感知器神經(jīng)網(wǎng)絡(luò)的一個主要問題是對每個神經(jīng)元上的加權(quán)求和的權(quán)重進行最優(yōu)估計。針對這一問題，本文構(gòu)建了一個太極拳關(guān)鍵動作圖像數(shù)據(jù)集，并通過人工標注的方式為每個樣本標注相應(yīng)的太極拳關(guān)鍵動作名稱。該圖像數(shù)據(jù)集的部分樣本如圖3所示：

根據(jù)這一已知動作名稱的圖像數(shù)據(jù)集對于多層感知器神經(jīng)網(wǎng)絡(luò)進行迭代式訓(xùn)練，并結(jié)合梯度下降法[5]即可得到每個神經(jīng)元上的權(quán)重最優(yōu)估計。

二、實驗結(jié)果與分析

本文通過Matlab進行算法仿真驗證。實驗采用的硬件平臺處理器是i5-10210U，內(nèi)存8G，顯卡GTX-1050。實驗部分通過如圖3所示的數(shù)據(jù)集分別對Cao算法[6]，Georgakopoulos算法[7]以及本文算法所提出的網(wǎng)絡(luò)模型進行訓(xùn)練，再利用已訓(xùn)練好的模型分別對太極拳比賽視頻進行關(guān)鍵動作識別。以上三種算法的識別結(jié)果評價指標[8]如表1所示：

由表1可以本文算法可以有效地識別出太極拳關(guān)鍵動作，且識別動作的準確率、召回率、精確率均高于同類算法。

三、結(jié)論

本文提出一種基于感知器網(wǎng)絡(luò)的太極拳關(guān)鍵動作識別算法，用于識別太極拳比賽中運動員所做的關(guān)鍵動作，并為未來的太極拳自動評分系統(tǒng)提供數(shù)據(jù)基礎(chǔ)。本文算法由三部分構(gòu)成：首先，通過背景差分法對太極拳競賽視頻中運動員位置進行檢測和定位;其次，構(gòu)建一個多層感知器網(wǎng)絡(luò)，該網(wǎng)絡(luò)以前述背景差分法檢測出的運動員區(qū)域的亮度、對比度、色彩信息作為傳感器網(wǎng)絡(luò)的輸入特征，輸出該時刻運動員所做出的太極拳動作名稱。最后，本文構(gòu)建了一個已知標簽的太極拳動作圖像數(shù)據(jù)集，通過該圖像數(shù)據(jù)集并結(jié)合梯度下降法從而對于感知器網(wǎng)絡(luò)中的權(quán)重進行最優(yōu)估計，進而完成感知器訓(xùn)練的工作。實驗結(jié)果表明，本文算法識別太極拳關(guān)鍵動作的準確率、召回率、精確率高于現(xiàn)有算法，因此本文算法可以有效地識別太極拳關(guān)鍵動作。

參? 考? 文? 獻

[1]茍娟迎. 基于背景差分法的運動目標分割[J]. 工業(yè)控制計算機， 2013， 26（008）：36-37.

[2]莊鎮(zhèn)泉， 王熙法. 神經(jīng)網(wǎng)絡(luò)與神經(jīng)計算機：第一講 神經(jīng)網(wǎng)絡(luò)模型[J]. 電子技術(shù)應(yīng)用， 1990， 000（004）：39-43.

[3]許可. 卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上的應(yīng)用的研究[D]. 浙江大學(xué)， 2012： 28.

[4]徐碩， 王洲. 基于紋理特征和神經(jīng)網(wǎng)絡(luò)的圖像識別[J]. 中國農(nóng)學(xué)通報， 2007， 023（009）： 590-594.

[5] Gonzalez R C， Woods R E. Digital image processing [M]. 3nd ed. Beijing： Publishing House of Electronics Industry， 2017： 497-502.

[6] Cao Z C， Zhang L. Key Pose Recognition toward Sports Scene using Deeply-Learned Model[J]. Journal of Visual Communication and Image Representation， 2019， 63：102571

[7] Georgakopoulos S V， Delibasis K K. Pose recognition using convolutional neural networks on omni-directional images[J]. Neurocomputing， 2018， 280（Mar.6）：23-31.

[8] Ullah H ， Bhuiyan M A S . Performance Evaluation of Feed Forward Neural Network for Image Classification[J]. Journal of ence and Technology， 2018， 10（1）： 141-147.