基于深度卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作教學(xué)平臺(tái)

林建宏 莫琦 周俊杰 莫松穎 謝小旋

摘要：隨著時(shí)代的發(fā)展，世界科技創(chuàng)新水平不斷提高，然而國(guó)民的身體素質(zhì)卻逐年每況愈下。因此鍛煉身體，改善體質(zhì)同樣是當(dāng)前國(guó)民的首要任務(wù)。為此我們團(tuán)隊(duì)開發(fā)了一個(gè)智能健身平臺(tái)，利用神經(jīng)網(wǎng)絡(luò)做圖像識(shí)別處理，Android平臺(tái)作為客戶端。人們可以在運(yùn)動(dòng)時(shí)運(yùn)行軟件對(duì)動(dòng)作進(jìn)行識(shí)別判斷并糾錯(cuò)，從而達(dá)到跟私人教練貼身指導(dǎo)一樣的效果。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);圖像識(shí)別;動(dòng)作教學(xué)

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）09-0093-02

0 引言

根據(jù)中國(guó)國(guó)民體質(zhì)監(jiān)測(cè)報(bào)告顯示，各個(gè)年齡段人群的身體素質(zhì)繼續(xù)呈下降趨勢(shì)，甚至呈現(xiàn)低齡化趨向，尤其是學(xué)生，各年齡段的學(xué)生肥胖檢出率持續(xù)上升等。在這種情況下，“全民健身、全民運(yùn)動(dòng)”便成為了當(dāng)今國(guó)民所呼吁的口號(hào)之一。與此同時(shí)人群中也涌現(xiàn)出了大批運(yùn)動(dòng)及健身愛好者，健身房俱樂部等新時(shí)代產(chǎn)物應(yīng)運(yùn)而生，但問題也隨之出現(xiàn)：一方面是健身學(xué)習(xí)效率低下、動(dòng)作不標(biāo)準(zhǔn)，需要多次鞏固糾正，這導(dǎo)致學(xué)員學(xué)習(xí)時(shí)間長(zhǎng);另一方面則是部分課程價(jià)格昂貴，課時(shí)、學(xué)習(xí)內(nèi)容少。針對(duì)這一問題，本團(tuán)隊(duì)開發(fā)了一款提高動(dòng)作學(xué)習(xí)效率的智能教育平臺(tái)“影子教練”，它能夠通過線上實(shí)時(shí)糾錯(cuò)、線上互動(dòng)的方式，給予使用者正確的指導(dǎo)，幫助使用者提高學(xué)習(xí)效率，減輕健身學(xué)員的負(fù)擔(dān)。

1 軟件組成及功能介紹

1.1 軟件組成

本教學(xué)平臺(tái)的目的是為了能夠給健身初學(xué)者提供正確的動(dòng)作指導(dǎo)。系統(tǒng)的組成和功能流程如圖1所示，教學(xué)從最基本的動(dòng)作糾正開始，系統(tǒng)反饋信息為使用者提供建議，同時(shí)也可以與教練進(jìn)行互動(dòng)，為使用者提供更深層次的指導(dǎo)，這就需要在客戶端實(shí)現(xiàn)動(dòng)作采集，與服務(wù)端通信，并在屏幕上顯示;在服務(wù)端實(shí)現(xiàn)對(duì)收到的數(shù)據(jù)進(jìn)行分析處理，并將結(jié)果反饋給客戶端。圖像識(shí)別處理技術(shù)是軟件的核心技術(shù)，它利用帶攝像頭的電子產(chǎn)品采集圖像信息，并采用神經(jīng)網(wǎng)絡(luò)算法對(duì)圖片進(jìn)行動(dòng)態(tài)分析。并將結(jié)果反饋到使用者的手持電子產(chǎn)品上，幫助使用者調(diào)整動(dòng)作姿勢(shì)，達(dá)到糾錯(cuò)的目的。

1.2 功能介紹

1.2.1 動(dòng)作糾正功能

本系統(tǒng)帶有實(shí)時(shí)的動(dòng)作監(jiān)控功能與動(dòng)作糾錯(cuò)功能。當(dāng)用戶的動(dòng)作與系統(tǒng)的動(dòng)作庫相似度低于80%時(shí)，系統(tǒng)就會(huì)出現(xiàn)報(bào)警提示和語音提醒，實(shí)現(xiàn)及時(shí)糾正用戶錯(cuò)誤姿勢(shì)的功能。

1.2.2 其他模式

（1）教練在線教學(xué)模式。當(dāng)用戶模仿視頻上的動(dòng)作進(jìn)行學(xué)習(xí)時(shí)，系統(tǒng)還會(huì)對(duì)用戶的每個(gè)動(dòng)作進(jìn)行評(píng)分，用戶可通過分?jǐn)?shù)的高低來判斷自己的鍛煉效果。教練可通過影子教練平臺(tái)觀看每個(gè)學(xué)員的學(xué)習(xí)情況，當(dāng)用戶的動(dòng)作錯(cuò)誤過多時(shí)，系統(tǒng)會(huì)報(bào)警提示，教練可對(duì)其進(jìn)行在線指導(dǎo)。

（2）直播模式。教練可以通過直播進(jìn)行教學(xué)示范，也可以借助此平臺(tái)展現(xiàn)自己的技能。用戶可以在平臺(tái)上分享自己的視頻，或者是直播，成為一名網(wǎng)絡(luò)紅人。

（3）多人模式。用戶可以和朋友一起健身，也可以一起玩游戲，一起享受健身的快樂。

（4）排位模式。用戶可以通過排位賽，了解自己的實(shí)力在哪個(gè)程度，激發(fā)他們的好勝心。為了上一個(gè)段位，要花一點(diǎn)時(shí)間，這樣可以讓用戶對(duì)健身更加癡迷，增強(qiáng)用戶的粘性。

2 軟件設(shè)計(jì)方案

2.1 手機(jī)客戶端

系統(tǒng)的通訊流程如圖2所示，客戶端是基于Android6.0開發(fā)的app，主要負(fù)責(zé)采集人體圖像和圖片發(fā)送。利用電子移動(dòng)設(shè)備上自帶的攝像頭采集動(dòng)作圖片，再通過無線網(wǎng)絡(luò)發(fā)送到服務(wù)端。調(diào)用系統(tǒng)攝像頭及屏幕截取函數(shù)獲取當(dāng)前預(yù)覽圖片，利用Android系統(tǒng)定時(shí)器決定獲取圖像的頻率，將圖片矩陣壓縮后利用TCP/IP通信協(xié)議發(fā)送數(shù)據(jù)，當(dāng)獲取服務(wù)IP和端口號(hào)即可進(jìn)行數(shù)據(jù)傳輸?？蛻舳嗽诎l(fā)送成功后處于待機(jī)狀態(tài)，等待服務(wù)端的回復(fù)。

2.2 服務(wù)器端

2.2.1 主要流程

服務(wù)端負(fù)責(zé)接收處理數(shù)據(jù)并進(jìn)行反饋。服務(wù)端則分為兩部分，一部分負(fù)責(zé)雙方通信，另一部分是執(zhí)行圖像識(shí)別處理。通信部份同時(shí)監(jiān)聽兩個(gè)端口，在接收到圖片數(shù)據(jù)后暫時(shí)保存到本地，等待圖像識(shí)別結(jié)果。在獲取信息后將其顯示在電子設(shè)備屏幕上，同時(shí)還添加了語音播報(bào)功能，使得平臺(tái)更加智能化。圖3闡述了系統(tǒng)進(jìn)行圖像識(shí)別的大概流程：先對(duì)接收到的視頻文件一幀幀提取出來，借助神經(jīng)網(wǎng)絡(luò)算法對(duì)圖片進(jìn)行處理獲得人體特征，再根據(jù)相應(yīng)的算法對(duì)當(dāng)前的動(dòng)作種類，動(dòng)作正誤進(jìn)行判斷。

2.2.2 人體姿態(tài)提取

關(guān)于人體姿態(tài)識(shí)別部分，調(diào)用了Openpose庫，該庫是美國(guó)卡耐基梅隆大學(xué)（CMU）基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)并以caffe為框架開發(fā)的開源庫。它可以實(shí)現(xiàn)人體動(dòng)作等姿態(tài)估計(jì)，無論是靜止的還是運(yùn)動(dòng)中的人體它都能識(shí)別出來，具有極好的魯棒性。它的功能在于對(duì)二維的單人或多人圖像的人體骨骼關(guān)鍵點(diǎn)進(jìn)行實(shí)時(shí)識(shí)別。

人體骨架的提?。狠斎胍桓眻D像，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取特征，得到一組特征圖，然后分成兩個(gè)岔路，分別使用CNN網(wǎng)絡(luò)提取Part Confidence Maps 和Part Affinity Fields。得到信息后，用Bipartite Matching（偶匹配）求出Part Association，將同一個(gè)人的關(guān)節(jié)點(diǎn)連接起來，因?yàn)镻AF自身具有矢量性，會(huì)使生成的偶匹配正確，將它們合并成一個(gè)人體的骨架。最后基于PAFs求Multi-Person Parsing， 也就是把Multi-persion parsing問題轉(zhuǎn)換成graphs問題。（該算法的核心就是尋找增廣路徑，是一種用增廣路徑求二分圖最大匹配的算法）[1]。

2.2.3 動(dòng)作評(píng)判

通過openpose獲得肢體關(guān)鍵點(diǎn)的位置信息后，就可以得到每個(gè)關(guān)鍵點(diǎn)的坐標(biāo)。在這里平臺(tái)采用了數(shù)據(jù)集中訓(xùn)練好的18點(diǎn)模型輸出格式為：鼻子-0，脖子-1，右肩-2，右肘-3，右腕-4，左肩-5，左肘-6，左腕-7，右臀-8，右膝蓋-9，右腳踝-10，左臀-11，左膝蓋-12，左腳踝-13，右眼-14，左眼-15，右耳-16，左耳-17。通過這些坐標(biāo)能判斷某一關(guān)鍵點(diǎn)的移動(dòng)矢量，關(guān)節(jié)彎曲的角度。有了這些數(shù)據(jù)，再加上一定條件，就能用來作為動(dòng)作的判斷標(biāo)準(zhǔn)。如圖4所示，在知道了右手三個(gè)關(guān)鍵點(diǎn)的情況下，右肘部的彎曲角度通過相應(yīng)的數(shù)學(xué)算法可以得出。

3 結(jié)語

在人們印象中，傳統(tǒng)的健身方式效率一般，課程內(nèi)容枯燥無味。影子教練平臺(tái)的出現(xiàn)，將會(huì)給健身人士的生活帶來巨大的變革。健身的時(shí)間地點(diǎn)不會(huì)有局限性，人們對(duì)健身的概念將會(huì)有新的理解。“影子教練”是圍繞動(dòng)作的教與學(xué)為主題的新時(shí)代的人工智能助教平臺(tái)。 “影子教練”人工智能算法不僅僅用于健身，同樣適用于其他智能教學(xué)上，其應(yīng)用范圍相當(dāng)廣闊。

參考文獻(xiàn)

[1] CAO Z， SIMON T， WEI S E， et al.Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields[C].IEEE Conference on Computer Vision&Parrern Reconition，IEEE Computer Society，2017.