面向體育測(cè)試的人體運(yùn)動(dòng)姿勢(shì)實(shí)時(shí)識(shí)別研究

周 川，秦 蕾，毛小薇，文佳洛，王張車兒，李 聰

（1.國(guó)網(wǎng)湖北省電力有限公司中超建設(shè)管理公司，湖北 武漢 430015；2.武漢城市學(xué)院 信息工程學(xué)部，湖北 武漢 430083）

0 引言

隨著科技的不斷發(fā)展，越來(lái)越多的任務(wù)被機(jī)器代替，其中傳統(tǒng)的體育測(cè)試方式也不例外。目前，傳統(tǒng)的體育測(cè)試主要依靠人工記錄，這導(dǎo)致測(cè)試時(shí)間較長(zhǎng)且需要大量人力資源。因此，迫切需要建立一套智能、高效的體育測(cè)試系統(tǒng)，以幫助高校減輕體育教學(xué)負(fù)擔(dān)，并減少體育測(cè)試開(kāi)銷。

目前，體育測(cè)試檢測(cè)方法可以分為兩種。一種是基于外部傳感器（如智能穿戴設(shè)備）的方法，這種方法的主要原理是將傳感器放置在體育測(cè)試對(duì)應(yīng)的環(huán)境中，采集人體的運(yùn)動(dòng)數(shù)據(jù)，通過(guò)對(duì)采集到的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)等分析，可以實(shí)現(xiàn)對(duì)體育測(cè)試所需各項(xiàng)指標(biāo)的檢測(cè)和評(píng)估；另一種是基于計(jì)算機(jī)視覺(jué)的體育測(cè)試的人體運(yùn)動(dòng)姿態(tài)檢測(cè)，通過(guò)對(duì)視頻或圖片進(jìn)行特征提?。?］、骨骼綁定、目標(biāo)跟蹤、深度學(xué)習(xí)［2］等以獲取人體運(yùn)動(dòng)姿勢(shì)，通過(guò)姿勢(shì)判斷是否符合相關(guān)體育測(cè)試運(yùn)動(dòng)，以完成體育測(cè)試的成績(jī)記錄等。

傳感器方法和計(jì)算機(jī)視覺(jué)方法是兩種常用的體育測(cè)試方法。傳感器方法需要外部設(shè)備，使用范圍較窄，針對(duì)不同的體育測(cè)試項(xiàng)目需要不同的傳感器，而且硬件成本較高。針對(duì)計(jì)算機(jī)視覺(jué)方法具有檢測(cè)精度低和計(jì)量準(zhǔn)確度不高的問(wèn)題，本文提出了一種基于OpenPose［3］改進(jìn)的人體運(yùn)動(dòng)空間融合姿態(tài)識(shí)別分析模型（Posture Recognition of Spatial Fusion，Pos-RSF），并將它與以前的SOTA 方法進(jìn)行比較。

目前，已有不少相關(guān)研究，F(xiàn)ang 等［4］提出Part-Guided Proposal Generator（PGPG）和多領(lǐng)域知識(shí)蒸餾以進(jìn)一步提高精度，解決了在不準(zhǔn)確的邊界框和冗余檢測(cè)情況下同時(shí)跟蹤人體的問(wèn)題，但對(duì)場(chǎng)景適應(yīng)性不強(qiáng)且需要較高的硬件條件。William 等［5］提出一種新的體重轉(zhuǎn)移方案，能夠以靈活的方式加速神經(jīng)進(jìn)化，生成的網(wǎng)絡(luò)可用更少的計(jì)算得到更高的分辨率處理圖像。但由于深度可分離卷積的內(nèi)存訪問(wèn)量較高，受到內(nèi)存帶寬和數(shù)據(jù)IO 的限制，故在GPU 上的運(yùn)行速度較慢。Wang 等［6］提出從一個(gè)高分辨率卷積流開(kāi)始，逐步逐個(gè)添加高低分辨率卷積流，并將多分辨率流并行連接。它保留了高分辨率支路，對(duì)小目標(biāo)比較友好，但網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)復(fù)雜，不適用于對(duì)計(jì)算資源受限的場(chǎng)景。Feng 等［7］提出一種新的分布感知坐標(biāo)表示關(guān)鍵點(diǎn)（DARK）方法。通過(guò)生成精確的熱圖分布以改進(jìn)標(biāo)準(zhǔn)坐標(biāo)編碼過(guò)程，以進(jìn)行無(wú)偏模型訓(xùn)練，顯著提高了最先進(jìn)的人體姿勢(shì)估計(jì)模型的性能。

綜上所述，當(dāng)前研究多集中于多人姿態(tài)識(shí)別準(zhǔn)確度檢測(cè)，而針對(duì)體育測(cè)試中的體育測(cè)試識(shí)別，準(zhǔn)確度不高且實(shí)時(shí)性有待提升。鑒于此，本文提出在體育測(cè)試中的人體運(yùn)動(dòng)空間融合姿態(tài)識(shí)別的分析模型Pos-RSF。根據(jù)PAFs 方法，通過(guò)編碼肢體位置和運(yùn)動(dòng)圖像檢測(cè)向量，以解決面向體育測(cè)試人體姿勢(shì)識(shí)別時(shí)檢測(cè)準(zhǔn)確度不高、實(shí)時(shí)性較差等問(wèn)題。實(shí)驗(yàn)結(jié)果表明，將該模型運(yùn)用于體育測(cè)試的人體姿態(tài)檢測(cè)具有良好表現(xiàn)。

1 人體運(yùn)動(dòng)姿勢(shì)圖像采樣與姿勢(shì)特征提取

1.1 人體運(yùn)動(dòng)姿勢(shì)圖像采樣

對(duì)于體育測(cè)試中的人體運(yùn)動(dòng)姿態(tài)識(shí)別，本文主要以圖像處理與大數(shù)據(jù)分析相結(jié)合的方法為基礎(chǔ)，結(jié)合人體運(yùn)動(dòng)特征和特征數(shù)據(jù)提取，構(gòu)建高校體育測(cè)試的人體運(yùn)動(dòng)姿勢(shì)圖像和數(shù)據(jù)分析模型，根據(jù)相關(guān)特征挖掘方法，對(duì)體育測(cè)試中的人體進(jìn)行運(yùn)動(dòng)姿態(tài)數(shù)據(jù)信息的模糊度聚類分析，并對(duì)體育測(cè)試中的人體運(yùn)動(dòng)姿態(tài)數(shù)據(jù)進(jìn)行建模，構(gòu)建Pos-RSF 模型，從而實(shí)現(xiàn)對(duì)體育測(cè)試中的人體運(yùn)動(dòng)姿勢(shì)圖像識(shí)別。在該過(guò)程中，進(jìn)行體育測(cè)試的人體運(yùn)動(dòng)姿勢(shì)圖像采集流程如圖1所示。

Fig.1 Flow of sports posture image acquisition in sports test圖1 體育測(cè)試中運(yùn)動(dòng)姿勢(shì)圖像采集流程

1.2 人體運(yùn)動(dòng)骨骼信息提取算法

對(duì)于人體骨骼信息的研究，目前主流的兩種思路是自頂向下（Top-Down）和自底向上（Bottom-Up）。自頂向下的人體骨骼信息檢測(cè)算法一般流程是：先檢測(cè)出圖片中人體的頭部，再根據(jù)頭部位置單獨(dú)對(duì)每一個(gè)人體骨骼的關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè)。該方法的計(jì)算量會(huì)隨著人數(shù)的增多而上升，但對(duì)不同尺寸的人體精度更高，通俗而言，該方法更準(zhǔn)確。AlphaPose、RMPE［8］和Mask-RCNN［9］都屬于自頂向下檢測(cè)。自底向上（Bottom-Up）的人體骨骼信息檢測(cè)算法是先檢測(cè)到所有關(guān)鍵點(diǎn)，再進(jìn)行關(guān)鍵點(diǎn)聚類，組合成人體。該方法的計(jì)算量不會(huì)隨著人數(shù)的增多而上升，通俗而言，該方法更快（人越多的時(shí)候越明顯）。常見(jiàn)算法有Deep Cut、Part Segmentation 等。為了能夠更好地對(duì)體育測(cè)試人員的人體運(yùn)動(dòng)姿勢(shì)圖像進(jìn)行實(shí)時(shí)識(shí)別，本文對(duì)OpenPose 算法加以改進(jìn)，提出了更適合體育測(cè)試中人體運(yùn)動(dòng)姿態(tài)識(shí)別的Pos-RSF 模型。

OpenPose 的主要網(wǎng)絡(luò)架構(gòu)如圖2 所示，它主要以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，檢測(cè)準(zhǔn)確度很高，但所需要時(shí)間較長(zhǎng)，不能滿足于體育測(cè)試中的人體運(yùn)動(dòng)姿態(tài)識(shí)別。鑒于此，本文在Open Pose 的網(wǎng)絡(luò)結(jié)構(gòu)上加以改進(jìn)，提出了Pos-RSF 模型，其主要網(wǎng)絡(luò)架構(gòu)如圖3所示。

Fig.2 Main architecture of OpenPose network圖2 OpenPose網(wǎng)絡(luò)主要架構(gòu)

Fig.3 Main architecture of Pos-RSF network圖3 Pos-RSF網(wǎng)絡(luò)主要架構(gòu)

OpenPose 通過(guò)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)VGG19［10］進(jìn)行特征提取得到特征圖F，但對(duì)于VGG19 而言，深度的增加將影響網(wǎng)絡(luò)收斂速度，反而會(huì)影響檢測(cè)效果。因此，本文Pos-RSF 模型用ResNet18［11］結(jié)構(gòu)代替VGG19 結(jié)構(gòu)，得到特征圖F。ResNet18 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，它與VGG19 相比，本身參數(shù)量更少，在結(jié)構(gòu)上也不再是簡(jiǎn)單的卷積核堆疊，而是利用殘差結(jié)構(gòu)的理念解決了深層網(wǎng)絡(luò)中梯度消失和梯度爆炸的退化問(wèn)題。

Fig.4 ResNet18 network structure圖4 ResNet18網(wǎng)絡(luò)結(jié)構(gòu)

ResNet18網(wǎng)絡(luò)通過(guò)4個(gè)殘差層從不同尺度對(duì)特征進(jìn)行提取，每個(gè)殘差層由兩個(gè)Basicblock 殘差塊構(gòu)成，如圖5 所示。隨著網(wǎng)絡(luò)深度的增加，使用跳級(jí)連接的方式創(chuàng)建了兩條捷徑，并在卷積核之間添加了ReLU 激活函數(shù)以保證網(wǎng)絡(luò)的非線性。在訓(xùn)練過(guò)程中，主路徑和卷積路徑的特征不斷融合。

Fig.5 ResNet18 residual structure圖5 ResNet18殘差結(jié)構(gòu)

對(duì)于OpenPose 原本雙分支神經(jīng)網(wǎng)絡(luò)的第t階段的7×7的卷積核，本文Pos-RSF 模型換成了3 個(gè)連續(xù)的3×3 卷積核。這樣的替換可以減少計(jì)算量，同時(shí)保留了接收域。具體而言，原先的操作數(shù)為2 x 7 x 7 -1=97，而替換后的操作數(shù)僅為51，速度更快。

如圖6 所示，在雙分支卷積神經(jīng)網(wǎng)絡(luò)中，第一個(gè)分支（S1至St部分）用于預(yù)測(cè)人體關(guān)節(jié)點(diǎn)位置的置信相關(guān)度熱力圖（Confidence Map）。該熱力圖可以表示出每個(gè)像素點(diǎn)上某個(gè)關(guān)節(jié)點(diǎn)存在的概率，從而幫助定位人體關(guān)節(jié)點(diǎn)的位置。

Fig.6 Prediction network structure of confidence and affinity of key points圖6 關(guān)鍵點(diǎn)置信度與親和度預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

而第二個(gè)分支（L1至Lt部分）則用于檢測(cè)人體部分相關(guān)度字段在骨骼中的位置走向，并將其表示為像素點(diǎn)。這個(gè)分支可以幫助建立起人體骨骼的連接關(guān)系，從而獲取到更加完整的姿態(tài)信息。

設(shè)S表示關(guān)節(jié)點(diǎn)置信相關(guān)度熱力圖，S=(s1，s2，…，sj)，它由j個(gè)子圖組成，其中Sj∈Rw×h，j∈(1，2，…，J)，其中j表示圖像中人體關(guān)節(jié)點(diǎn)的個(gè)數(shù)；設(shè)L為人體部分相關(guān)度字段，L=(L1，L2，…，LC)，Lc∈Rm×xh×2，c∈(1，2，…，C)，C是骨骼連接數(shù)，L由C個(gè)向量圖組成，每個(gè)向量圖都記錄了骨骼連接的方向，這些方向都在二維空間中。

由卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的關(guān)節(jié)點(diǎn)2D 置信相關(guān)度熱力圖S1如式（1）所示，人體部分相關(guān)度字段L1如式（2）所示。

對(duì)Stage1 進(jìn)行前向計(jì)算，得到兩個(gè)預(yù)測(cè)結(jié)果S1和L1。將這兩個(gè)預(yù)測(cè)結(jié)果與原始特征F進(jìn)行整合，形成一個(gè)新的輸入值。這個(gè)新的輸入值將被用于下一步分析和預(yù)測(cè)。其公式分別如式（3）、式（4）所示。

卷積神經(jīng)網(wǎng)絡(luò)中的兩個(gè)分支都是迭代級(jí)聯(lián)結(jié)構(gòu)，各階段都要通過(guò)L2 范式進(jìn)行Loss 計(jì)算，再對(duì)關(guān)鍵點(diǎn)2D 置信相關(guān)度熱力圖和人體相關(guān)度部分字段進(jìn)行迭代預(yù)測(cè)，其公式如式（5）和式（6）所示。

其中，是標(biāo)注的人體部分相關(guān)度字段。在該式中，對(duì)于每個(gè)像素點(diǎn)p，其權(quán)重W(p)表示該點(diǎn)是否被標(biāo)注，如果未被標(biāo)注，則權(quán)重為0。第t個(gè)回歸輸出中第j個(gè)部位的置信相關(guān)度熱力圖在點(diǎn)p上的響應(yīng)結(jié)果表示為W(p)。同時(shí)，第j個(gè)部位的相關(guān)度向量場(chǎng)在點(diǎn)p上的向量表示為(p)。最終，整個(gè)網(wǎng)絡(luò)的損失函數(shù)由各階段的損失項(xiàng)組成，其公式如式（7）所示。

Pos-RSF 模型使用關(guān)節(jié)點(diǎn)2D 置信相關(guān)度熱力圖以檢測(cè)人體骨骼關(guān)節(jié)點(diǎn)，這些置信相關(guān)度熱力圖表示每個(gè)像素位置上出現(xiàn)特定身體關(guān)節(jié)的可能性。在單人檢測(cè)時(shí)，置信相關(guān)度熱力圖中會(huì)有一個(gè)響應(yīng)值；而在多人檢測(cè)時(shí)，對(duì)于每個(gè)關(guān)節(jié)點(diǎn)，會(huì)計(jì)算其對(duì)應(yīng)p點(diǎn)在置信相關(guān)度熱力圖中的響應(yīng)值。對(duì)應(yīng)p點(diǎn)的置信相關(guān)度熱力圖，其公式如式（8）所示。

其中，k是圖像中序號(hào)為k的人，它的身體部分記作j，對(duì)于每個(gè)人的身體部位，使用置信相關(guān)度熱力圖(p)表示該部位在圖像中每個(gè)像素位置出現(xiàn)的可能性。同時(shí)，使用標(biāo)定位置xj，k和σ調(diào)整置信相關(guān)度熱力圖的峰值范圍。最終，所有人的(p)最大值決定了該位置的置信值，其公式如式（9）所示。

式（5）—式（9）計(jì)算了p點(diǎn)的置信值。

對(duì)關(guān)鍵點(diǎn)進(jìn)行分析和處理得到熱力圖標(biāo)簽（見(jiàn)圖7），它們反映了關(guān)鍵點(diǎn)的位置信息。接下來(lái)，可以通過(guò)計(jì)算這些關(guān)鍵點(diǎn)之間的關(guān)聯(lián)性，將它們連接起來(lái)形成骨骼結(jié)構(gòu)。

Fig.7 Key point thermogram label圖7 關(guān)鍵點(diǎn)熱力圖標(biāo)簽

圖8 的研究對(duì)象是肢體c，坐標(biāo)分別用來(lái)表示在第k個(gè)人肢體上的兩個(gè)骨骼關(guān)節(jié)點(diǎn)，p是圖像上任意一點(diǎn)。當(dāng)p在肢體上時(shí)，人體相關(guān)度字段在p點(diǎn)的向量(p)是單位向量v，表示p點(diǎn)與肢體c的相關(guān)度程度。當(dāng)p不在肢體c上時(shí)，Lc，k(p)的值是0，表示p點(diǎn)與肢體c沒(méi)有相關(guān)度關(guān)系。在計(jì)算第k個(gè)人肢體c上的相關(guān)度向量場(chǎng)L時(shí)，其公式如式（10）和式（11）所示。

Fig.8 Schematic diagram of limb movement圖8 肢體運(yùn)動(dòng)示意圖

其中，xj，k表示肢體方向上的單位向量，該向量表示第j個(gè)關(guān)鍵點(diǎn)在第k個(gè)人身上的位置。當(dāng)判斷點(diǎn)p是否存在于肢體c上時(shí)，需要設(shè)定該點(diǎn)的范圍。具體而言，可以使用式（12）確定點(diǎn)p在肢體c上的范圍。

其中，μ1用來(lái)表示肢體寬度，肢體長(zhǎng)度則是用lc，k=(xj2，k-xj，k)2加以表示，p點(diǎn)的真實(shí)值為所有人在p點(diǎn)的部分相關(guān)度力向量場(chǎng)的平均值，其公式如式（13）所示。

其中，非零向量的個(gè)數(shù)是nc(p)，在獲得二維坐標(biāo)中的關(guān)鍵點(diǎn)后，需要對(duì)它們之間的關(guān)系進(jìn)行評(píng)估。這可以通過(guò)計(jì)算連接這些關(guān)鍵點(diǎn)的線的權(quán)重值加以實(shí)現(xiàn)。其公式如式（14）和式（15）所示。

由于視頻圖像會(huì)有多人的情況，就會(huì)檢測(cè)出多個(gè)關(guān)節(jié)j在一個(gè)關(guān)節(jié)點(diǎn)置信相關(guān)度熱力圖的情況，j∈{1，…，J}。設(shè)關(guān)節(jié)集合為中分別是檢測(cè)出的關(guān)節(jié)類型是j1和j2的集合，m和n分別是和中的點(diǎn)。j1中的第m個(gè)點(diǎn)和j2中的第n個(gè)點(diǎn)的連接狀態(tài)用表示，其公式如式（16）所示。

多維匹配問(wèn)題是關(guān)于關(guān)節(jié)點(diǎn)之間的最優(yōu)匹配問(wèn)題，可以通過(guò)匈牙利算法對(duì)上式求解，其中Pos-RSF 模型使用上式獨(dú)立地求解子問(wèn)題為最優(yōu)解。其公式如式（17）所示。

最終通過(guò)Pos-RSF 模型輸出得到的人體骨骼信息通過(guò)骨骼坐標(biāo)點(diǎn)加以表示，其中每個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)于人體的18個(gè)部位，如鼻子、脖子、肩膀、手腕等，它們分別對(duì)應(yīng)的映射點(diǎn)如圖9所示。

Fig.9 Location map of eighteen key points of human body圖9 人體18個(gè)關(guān)鍵點(diǎn)位置圖

2 仿真實(shí)驗(yàn)

2.1 仰臥起坐狀態(tài)機(jī)

仰臥起坐是一項(xiàng)非常重要的運(yùn)動(dòng)，可幫助人們強(qiáng)身健體。在這項(xiàng)運(yùn)動(dòng)中，測(cè)試人員需要平躺在地上，膝蓋彎曲成90°，雙腳放在地上。同伴可以用雙手按住腳踝，但不能使用器械固定腳步，否則會(huì)減少腹部肌肉的訓(xùn)練效果。測(cè)試人員需要利用腹部肌肉的力量將雙手放在腦后，并且雙手越貼近后腦勺，動(dòng)作就越難做。通過(guò)腹部肌肉的收縮，測(cè)試人員可以將上半身向前抬起，然后回到躺姿，不斷重復(fù)這個(gè)動(dòng)作。仰臥起坐運(yùn)動(dòng)狀態(tài)機(jī)流程如圖10所示。

Fig.10 Flow of sit-up motion state machine圖10 仰臥起坐運(yùn)動(dòng)狀態(tài)機(jī)流程

2.2 仰臥起坐識(shí)別原理

該系統(tǒng)的首要難點(diǎn)是特征值的樣品采集和提取，它有兩個(gè)非常重要的組成部分：①骨骼特征序列；②運(yùn)動(dòng)特征序列。

人體的骨骼點(diǎn)分布可以用角度加以描述，這些角度表示骨骼點(diǎn)之間的相對(duì)位置和關(guān)系，其人體的骨骼點(diǎn)分布在二維平面的相對(duì)應(yīng)角度如圖11 所示。為了更直觀地理解和分析姿勢(shì)數(shù)據(jù)，可以將這些數(shù)據(jù)映射到直角坐標(biāo)系中，（見(jiàn)圖12），以更好地觀察和分析骨骼位置。在直角坐標(biāo)系中，每個(gè)骨骼點(diǎn)都可以用一個(gè)坐標(biāo)點(diǎn)表示，連接起來(lái)就形成骨骼。

Fig.11 Feature extraction action圖11 特征提取動(dòng)作

Fig.12 Action coordinate map圖 12 動(dòng)作坐標(biāo)映射圖

XOY 平面的法向量如式（22）所示

由此可得旋轉(zhuǎn)角α，如式（23）所示。

在運(yùn)動(dòng)姿勢(shì)識(shí)別中，針對(duì)每個(gè)關(guān)鍵時(shí)間點(diǎn)的每個(gè)關(guān)鍵姿勢(shì)特征，會(huì)提取與之對(duì)應(yīng)的角度所組成的骨骼特征序列，這是通過(guò)上面描述的骨骼角度方法計(jì)算得到。為了更準(zhǔn)確和全面地識(shí)別運(yùn)動(dòng)姿勢(shì)，分別對(duì)運(yùn)動(dòng)特征和骨骼特征進(jìn)行同步分類提取，以提高其準(zhǔn)確性和完整性。這意味著針對(duì)運(yùn)動(dòng)特征和骨骼特征，將會(huì)分別進(jìn)行分類和提取，以提高識(shí)別準(zhǔn)確性和完整性。

2.3 運(yùn)動(dòng)特征提取

仰臥起坐人體運(yùn)動(dòng)關(guān)鍵姿勢(shì)轉(zhuǎn)化如圖13所示。

Fig.13 Motion posture transformation圖13 運(yùn)動(dòng)姿勢(shì)轉(zhuǎn)化

不同姿勢(shì)轉(zhuǎn)換是仰臥起坐運(yùn)動(dòng)識(shí)別的關(guān)鍵，其中仰臥狀態(tài)和起坐狀態(tài)所占比例為c1：c2。假設(shè)一個(gè)仰臥起坐的周期滿分為m，那么在實(shí)際情況下m為100 分。仰臥起坐狀態(tài)的相似度為k，根據(jù)公式得到最終成績(jī)?nèi)缡剑?4）所示。

2.4 功能展示

在進(jìn)行仰臥起坐運(yùn)動(dòng)時(shí)，正確的動(dòng)作要求非常嚴(yán)格。根據(jù)《國(guó)家學(xué)生體質(zhì)健康標(biāo)準(zhǔn)》可知，測(cè)試人員必須先平躺在墊子上，雙腿稍微分開(kāi)，膝蓋彎曲呈90°夾角，雙手緊貼在腦袋后面。在仰臥起坐測(cè)試中，每次超過(guò)膝蓋算作一次完成。運(yùn)動(dòng)過(guò)程實(shí)測(cè)情況如圖14所示。

Fig.14 Actual measurement of movement process圖14 運(yùn)動(dòng)過(guò)程實(shí)測(cè)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文將提出的Pos-RSF 模型在兩個(gè)人體姿態(tài)估計(jì)數(shù)據(jù)集（MS COCO［12］數(shù)據(jù)集和MPII 數(shù)據(jù)集）上進(jìn)行了實(shí)驗(yàn)。MS COCO 的全稱是Microsoft Common Objects in Context，它是一個(gè)數(shù)據(jù)集，其大部分?jǐn)?shù)據(jù)來(lái)自于各種復(fù)雜的生活場(chǎng)景，并包含了91 類不同的目標(biāo)物。在將MS COCO 用作數(shù)據(jù)集進(jìn)行預(yù)處理操作時(shí)，可以提高實(shí)驗(yàn)數(shù)據(jù)的可靠性，從而獲得更好的目標(biāo)識(shí)別效果。數(shù)據(jù)預(yù)處理部分主要對(duì)數(shù)據(jù)進(jìn)行歸一化處理和數(shù)據(jù)增強(qiáng)處理。通過(guò)這些預(yù)處理操作，可以使得網(wǎng)絡(luò)訓(xùn)練過(guò)程更加穩(wěn)定和有效。MPII［13］數(shù)據(jù)集包含了410 種不同的人類活動(dòng)，并且每個(gè)圖像都附帶有對(duì)應(yīng)的活動(dòng)標(biāo)簽。這些圖像是從YouTube 視頻中提取，并且還提供了每個(gè)圖像之前和之后的未注釋幀。對(duì)于測(cè)試集，MPII 數(shù)據(jù)集提供了更豐富的注釋，包括身體部位的遮擋情況以及3D 軀干和頭部的方向信息。這些注釋對(duì)于進(jìn)行人體姿態(tài)估計(jì)和行為識(shí)別等任務(wù)非常有幫助，并且能夠提供更準(zhǔn)確的結(jié)果。

3.2 評(píng)估指標(biāo)

本文模型框架在高分辨率網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行構(gòu)建。模型訓(xùn)練數(shù)據(jù)集為2020MS COCO 數(shù)據(jù)集，評(píng)估指標(biāo)為目標(biāo)關(guān)節(jié)點(diǎn)相似性（Object Keypoint Similarity，OKS），其公式如式（25）所示。

其中：dpj表示任意一個(gè)人的實(shí)際關(guān)節(jié)點(diǎn)和預(yù)測(cè)點(diǎn)之間的歐式距離；表示目標(biāo)尺度因子，用于校正不同人體目標(biāo)之間的尺度差異表示對(duì)所在目標(biāo)的第i個(gè)關(guān)節(jié)點(diǎn)的歸一化因子，用于歸一化關(guān)節(jié)點(diǎn)的坐標(biāo)；δ是一個(gè)函數(shù)，用于計(jì)算和篩選可見(jiàn)的點(diǎn)；vpi即第k個(gè)人的第p個(gè)關(guān)節(jié)點(diǎn)是否可見(jiàn)的結(jié)果；i為關(guān)節(jié)點(diǎn)的id；p為人體目標(biāo)實(shí)例的id。

3.3 模型比較

3.3.1 基線模型

（1）AlphaPose。自上而下的算法，也即先檢測(cè)到人體，再得到關(guān)鍵點(diǎn)和骨架，因而其準(zhǔn)確率、Ap 值比OpenPose高。但缺點(diǎn)是隨著圖片上人數(shù)的增加，計(jì)算量增大，速度也相應(yīng)變慢。

（2）DarkPose。通過(guò)生成精確的熱圖分布改進(jìn)標(biāo)準(zhǔn)坐標(biāo)編碼過(guò)程（將地真坐標(biāo)轉(zhuǎn)換為熱圖），以進(jìn)行無(wú)偏模型訓(xùn)練。將此與分布感知解碼方法結(jié)合起來(lái)，提出一種新的分布感知坐標(biāo)表示關(guān)鍵點(diǎn)（DARK）方法。

（3）EvoPose2D。提出一種新的權(quán)重轉(zhuǎn)移機(jī)制，該方案可以放松保留函數(shù)的突變，從而能夠靈活地加速神經(jīng)進(jìn)化。該方法產(chǎn)生的2D 人體姿態(tài)網(wǎng)絡(luò)設(shè)計(jì)比最新的手工設(shè)計(jì)網(wǎng)絡(luò)更有效、更準(zhǔn)確。實(shí)際上，產(chǎn)生的網(wǎng)絡(luò)可以使用較少的計(jì)算以處理高分辨率的圖像，這使得2D 人體姿態(tài)估計(jì)界限得以突破。

（4）HRNet。采用一個(gè)多階段的網(wǎng)絡(luò)結(jié)構(gòu)，其中從一個(gè)高分辨率子網(wǎng)開(kāi)始，逐步增加由高到低分辨率的子網(wǎng)，并將它們并行連接在一起。在多尺度融合過(guò)程中，重復(fù)地讓每個(gè)高分辨率表示從其他并行表示中接收信息，以產(chǎn)生豐富的高分辨率表示。這種設(shè)計(jì)可以使得預(yù)測(cè)的關(guān)鍵點(diǎn)熱圖［14］更準(zhǔn)確，并在空間上更精確。通過(guò)這種方式，HRNet 能夠有效地處理不同尺度的特征信息，提供更優(yōu)秀的關(guān)鍵點(diǎn)預(yù)測(cè)性能。

3.3.2 與基線模型比較

本文將Pos-RSF 與其他方法進(jìn)行了比較，如表1 所示。Pos-RSF 的總體得分PCKh@0.2 為91.2%，與最先進(jìn)的技術(shù)相比有顯著提高。值得注意的是，Pos-RSF 在所有個(gè)體關(guān)節(jié)組的姿勢(shì)估計(jì)中都比以前的SOTA 方法有所改進(jìn)，證明了框架的魯棒性和準(zhǔn)確性，特別是在更難檢測(cè)的關(guān)節(jié)，比如腳踝和手腕都有明顯提升。

Table 1 Comparison of Pos-RSF and other SOAT methods on MPII data sets表1 Pos-RSF與其他SOAT方法在MPII數(shù)據(jù)集上的比較（%）

進(jìn)一步評(píng)估不同對(duì)象、不同大小的精度如表2 所示。結(jié)果顯示，Pos-RSF 在AP50、AP75 不同閾值精確度上相較于AlphaPose 分別提高7.18%和47.63%；Pos-RSF 在APM、APL 的指標(biāo)下對(duì)AlphaPose 分別提高10.37%和22.72%；Pos-RSF 在AP50、AP75 不同閾值精確度上相較于Dark-Pose 分別提高1.10%和13.22%；Pos-RSF 在APM 的指標(biāo)下對(duì)DarkPose 分別提高2.33%；Pos-RSF 在AP50、AP75 不同閾值精確度上相較于HRNet 分別提高0.88%和1.68%；Pos-RSF 在APM、APL 的指標(biāo)下對(duì)HRNet 分別提高3.04%和0.36%；Pos-RSF 在AP50、AP75 不同閾值精確度上相較于EvoPose2D 分別提高2.69%和6.57%；Pos-RSF 在APM、APL 的指標(biāo)下對(duì)HRNet分別提高9.55%和6.49%。

Table 2 Comparison and validation of Pos-RSF and SOTA methods on COCO dataset表2 Pos-RSF與SOTA方法對(duì)COCO數(shù)據(jù)集的比較驗(yàn)證（%）

結(jié)果表明，面向體育測(cè)試的人體運(yùn)動(dòng)空間融合姿態(tài)識(shí)別分析模型（Pos-RSF）在測(cè)試數(shù)據(jù)集上優(yōu)于其他傳統(tǒng)或基于CNN 的預(yù)測(cè)模型。改進(jìn)主要體現(xiàn)在以下方面：①Pos-RSF 提出了使用部分相關(guān)度字段表示關(guān)節(jié)點(diǎn)間關(guān)聯(lián)度，提高了聚類準(zhǔn)確性和效率；②采用了融合邊緣輪廓特征分解的方法處理體育測(cè)試人體運(yùn)動(dòng)姿態(tài)特征表達(dá)，并且在其基礎(chǔ)之上建立了人體運(yùn)動(dòng)空間融合的姿態(tài)識(shí)別分析模型，利用梯度下降方法實(shí)現(xiàn)體育測(cè)試中人體運(yùn)動(dòng)姿態(tài)圖像的區(qū)域分塊分割，使得體育測(cè)試中人體運(yùn)動(dòng)姿態(tài)圖像滿足稀疏特征值要求。

3.4 模型應(yīng)用測(cè)試結(jié)果

系統(tǒng)測(cè)試過(guò)程中，對(duì)不同的人進(jìn)行了多次測(cè)試。對(duì)測(cè)試樣本進(jìn)行結(jié)果分析，得出運(yùn)動(dòng)次數(shù)和運(yùn)動(dòng)識(shí)別率如表3所示。

Table 3 Statistics of test results表3 測(cè)試結(jié)果統(tǒng)計(jì)

結(jié)果表明，仰臥起坐的運(yùn)動(dòng)辨識(shí)度非常好，運(yùn)動(dòng)姿勢(shì)識(shí)別功能很強(qiáng)。由此可以看出，這種技術(shù)方法有著相當(dāng)高的辨識(shí)能力，同時(shí)能夠?qū)顒?dòng)過(guò)程作出較為準(zhǔn)確的認(rèn)識(shí)判斷。這樣的技術(shù)曾試用在部分學(xué)?；顒?dòng)中，而且受到了校方和教師的充分肯定。

4 結(jié)語(yǔ)

為了將姿勢(shì)識(shí)別更好地應(yīng)用于體育測(cè)試，本文提出了Pos-RSF 模型，通過(guò)估計(jì)的姿勢(shì)判斷相關(guān)體育測(cè)試項(xiàng)目，并獲取相關(guān)項(xiàng)目的體育測(cè)試成績(jī)。同時(shí)，可根據(jù)測(cè)試者的運(yùn)動(dòng)姿態(tài)，判斷其運(yùn)動(dòng)姿勢(shì)是否標(biāo)準(zhǔn)等。實(shí)驗(yàn)結(jié)果顯示，采用本文模型進(jìn)行人體運(yùn)動(dòng)姿勢(shì)圖像識(shí)別準(zhǔn)確性和實(shí)時(shí)性較好，滿足體育測(cè)試基本要求。同時(shí)，該方法在體育活動(dòng)中的人體運(yùn)動(dòng)姿勢(shì)糾正方面具有一定實(shí)際應(yīng)用意義。