基于OpenPose的行人異常姿態(tài)研究

丁培甫　詹玲超　胡天敏　彭好成　鄭禹超

摘要：本文以人體異常姿態(tài)為研究目標(biāo)，采用“姿態(tài)評(píng)估”+“分類器”的技術(shù)方案，研究姿態(tài)特征提取和姿態(tài)特征分類。實(shí)驗(yàn)結(jié)果表明，本文提出的檢測(cè)方式對(duì)異常姿態(tài)的識(shí)別準(zhǔn)確率高達(dá)96.17%，證明了本文研究的方法的正確性。

關(guān)鍵詞：OpenPose;支持向量機(jī);姿態(tài)評(píng)估;多分類

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）02-0107-01

0 引言

隨著人工智能的極速發(fā)展，越來越前沿的技術(shù)逐漸適用于各個(gè)行業(yè)當(dāng)中，本文以研究人體姿態(tài)評(píng)估為研究課題，設(shè)計(jì)了一套姿態(tài)評(píng)估和異常判斷的應(yīng)用系統(tǒng)，其采用“姿態(tài)評(píng)估”+“分類器”的技術(shù)方案完成研究課題。研究姿態(tài)特征提取和姿態(tài)特征分類。姿態(tài)評(píng)估使用國外卡內(nèi)基梅隆大學(xué)開源項(xiàng)目OpenPose。

1 姿態(tài)評(píng)估

（1）OpenPose是卡內(nèi)基梅隆大學(xué)在CMU AI計(jì)劃推出的一個(gè)開源項(xiàng)目，實(shí)現(xiàn)多線程關(guān)鍵點(diǎn)的實(shí)時(shí)檢測(cè)。OpenPose版本現(xiàn)在已經(jīng)更新到1.4.0，不僅可以追蹤身體的軀干和四肢，也可以捕捉面部動(dòng)作和手指。先前的識(shí)別思路是自上而下（先找人，再找人體部位），OpenPose 則是自下而上（先找特征部位，再組合人體）[1]。

（2）仔細(xì)查閱資料發(fā)現(xiàn)整體流程為兩大步驟：第一步先找特征點(diǎn)（頭、手、腳……），這個(gè)步驟里包含兩個(gè)CNN，兩個(gè)CNN連流水連接第一個(gè)CNN輸入原圖，輸出熱圖（每一個(gè)熱圖中包含某一種特征點(diǎn)）并和原圖一起傳入下一個(gè)CNN進(jìn)行計(jì)算。循環(huán)計(jì)算直到收斂為止（輸出熱圖），每個(gè)熱圖還包含每個(gè)特征點(diǎn)的置信度。特征識(shí)別流程圖1所示。

第二步連接各個(gè)特征點(diǎn)，生成骨骼脈絡(luò)。這個(gè)步驟里也包含兩個(gè)CNN，兩個(gè)CNN連流水連接第一個(gè)CNN輸入原圖，輸出熱圖（每一個(gè)熱圖包含某一種連接區(qū)域——可以簡單理解為骨頭），并和原圖一起傳入下一個(gè)CNN進(jìn)行計(jì)算。循環(huán)計(jì)算直到收斂為止（輸出熱圖），每個(gè)熱圖還包含每個(gè)區(qū)域的置信度[2]。

最后得到兩張熱圖，根據(jù)熱圖計(jì)算較好的兩個(gè)特征點(diǎn)連接，根據(jù)關(guān)節(jié)區(qū)域和點(diǎn)的位置來計(jì)算每個(gè)像素的小法向。生成一個(gè)法向圖2所示。再在法向圖中構(gòu)造出一條連接下一點(diǎn)的連線，通過各個(gè)點(diǎn)的置信度來確定哪兩個(gè)點(diǎn)是最可能的連接，循環(huán)迭代（最小生成樹）出所有連接線，最終得到一條鏈表，也就是一個(gè)人的骨架。如果部分特征點(diǎn)未識(shí)別出，則其所在的骨骼線不予連接。

2 SVM異常姿態(tài)識(shí)別

（1）SVM（支持向量機(jī)）的全稱是Support Vector Machine，是由分離超平面正式定義的判別分類器。通俗來講就是分類器，在監(jiān)督學(xué)習(xí)下完成目標(biāo)的分類。其目標(biāo)是計(jì)算出最佳超平面，這個(gè)超平面是將平面分成兩部分（或多部分）的線，其中每一級(jí)都位于兩側(cè)。（2）將自己采集的異常姿態(tài)情況的照片數(shù)據(jù)集經(jīng)過OpenPose姿態(tài)的評(píng)估，得到的數(shù)據(jù)構(gòu)造出異常姿態(tài)數(shù)據(jù)集，同理得到正常姿態(tài)數(shù)據(jù)集構(gòu)造出異常數(shù)據(jù)和正常數(shù)據(jù)。得到的數(shù)據(jù)集再丟入SVM中做監(jiān)督學(xué)習(xí)。（3）這樣監(jiān)督學(xué)習(xí)出來的數(shù)據(jù)可以在多人的情況下滿足實(shí)時(shí)監(jiān)控的需求和數(shù)據(jù)的準(zhǔn)確性。

3 實(shí)驗(yàn)結(jié)果

在校內(nèi)路口架設(shè)攝像機(jī)進(jìn)行實(shí)驗(yàn)樣本采集。共拍攝5個(gè)路口，時(shí)長均為1小時(shí)的視頻。人流量7000余次。姿態(tài)捕獲的準(zhǔn)確度如表1所示。

在完成SVM分類器訓(xùn)練后，5個(gè)路口模擬異常姿態(tài)拍攝的視頻片段總計(jì)30分鐘、異常人次300余次。異常姿態(tài)的識(shí)別準(zhǔn)確度如表2所示。

4 結(jié)語

本文以人體異常姿態(tài)為研究目標(biāo)，采用“姿態(tài)評(píng)估”+“分類器”的技術(shù)方案，研究姿態(tài)特征提取和姿態(tài)特征分類。實(shí)驗(yàn)結(jié)果表明，本文提出的檢測(cè)方式對(duì)異常姿態(tài)的識(shí)別準(zhǔn)確率高達(dá)96.17%，證明了本文研究方法的正確性。但是在實(shí)際運(yùn)算中需要較大資源去實(shí)現(xiàn)姿態(tài)的評(píng)估。針對(duì)這一問題將繼續(xù)對(duì)姿態(tài)評(píng)估的算法和框架進(jìn)行研究。

參考文獻(xiàn)

[1] 賀飛翔，趙啟軍.基于深度學(xué)習(xí)的頭部姿態(tài)估計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016（11）：1-4.

[2] 蘇松志，李紹滋，陳淑媛，等.行人檢測(cè)技術(shù)綜述[J].電子學(xué)報(bào)，2012（04）：814-820.

Research on Pedestrian Abnormal Pose Based on OpenPost

DING Pei-fu，ZHAN Ling-chao，HU Tian-min，PENG Hao-cheng，ZHENG Yu-chao

（Jincheng College， Nanjing University of Aeronautics and Astronautics， Nanjing Jiangsu? 210000）

Abstract：In this paper human abnormal posture is taken as the research object， and the technology scheme of "attitude assessment"+ "classifier" is adopted to study the extraction of posture features and the classification of posture features. The experimental results show that the recognition accuracy of the proposed detection method for abnormal attitude is as high as 96.17%， which proves the correctness of the method studied in this paper.

Key words：OpenPose; support vector machine; attitude assessment; multiple classification