基于骨架特征的人體動(dòng)作分類研究

庾 晶，葛 軍，郭 林

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003)

基于骨架特征的人體動(dòng)作分類研究

庾 晶1，葛 軍1，郭 林2

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003)

為了能夠在豐富復(fù)雜的網(wǎng)絡(luò)信息中快速找到所需圖片,提出一種基于骨架特征的人體上半身動(dòng)作分類方法,以提高相應(yīng)圖片的檢索效率。對(duì)人體運(yùn)動(dòng)圖片進(jìn)行人體運(yùn)動(dòng)時(shí)上半身姿勢(shì)識(shí)別,得到能夠表示人體位置、方向以及大小的“火柴人模型”(即骨架特征),使用矩陣形式對(duì)提取到的骨架特征進(jìn)行描述。為了校正因距離和位置變化造成的尺度差異,對(duì)特征矩陣進(jìn)行歸一化處理,然后使用多分類SVM方法對(duì)提取的骨架特征進(jìn)行訓(xùn)練，得到可以對(duì)不同動(dòng)作進(jìn)行分類的分類器。以收集到的人體運(yùn)動(dòng)圖片作為測(cè)試數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該算法的分類準(zhǔn)確率達(dá)到97.36%,能夠很好地對(duì)人體動(dòng)作進(jìn)行分類。同時(shí),在Buffy數(shù)據(jù)庫(kù)上進(jìn)行圖片檢索對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,所提算法的分類準(zhǔn)確率更高,更好地提高了圖片檢索效率。

動(dòng)作分類;姿勢(shì)識(shí)別;骨架特征;多分類SVM

0 引 言

計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)的快速發(fā)展,為圖像等海量視覺信息的存儲(chǔ)和傳輸創(chuàng)造了便利條件,人們可以從網(wǎng)絡(luò)上獲得大量的圖片信息。然而,日益增多的數(shù)據(jù)量也使得人們尋找自己想要的圖片變得越發(fā)困難[1]。對(duì)網(wǎng)站來(lái)說,需要對(duì)大量的圖片信息進(jìn)行管理,對(duì)圖片進(jìn)行分類,建立索引,從而使用戶能夠方便地獲得所需內(nèi)容。對(duì)廣大用戶來(lái)說,也希望能夠快速、有效地找到自己需要的圖片信息,減少不必要的時(shí)間浪費(fèi)。因此,對(duì)圖片進(jìn)行分類有著重要的實(shí)際意義。人體動(dòng)作行為分類是其中一個(gè)重要的組成部分。對(duì)人體動(dòng)作分類進(jìn)行的深入研究,可提高圖片檢索效率。

對(duì)人體動(dòng)作進(jìn)行分類,首先需要對(duì)人體結(jié)構(gòu)進(jìn)行分析,建立相應(yīng)的人體結(jié)構(gòu)模型,然后在此基礎(chǔ)上進(jìn)行動(dòng)作姿勢(shì)識(shí)別,提取動(dòng)作特征,從而實(shí)現(xiàn)對(duì)相應(yīng)動(dòng)作的分類。Leung M K等[2]使用二維帶狀模型來(lái)表示人體在體操動(dòng)作中的每一個(gè)姿態(tài),并通過對(duì)姿態(tài)外輪廓的單獨(dú)測(cè)算得出人體的動(dòng)作結(jié)構(gòu)。M.Eichner等[3-4]基于對(duì)Ramanan圖形結(jié)構(gòu)模型的擴(kuò)展，通過預(yù)處理減小背景干擾，利用圖像的邊緣信息和區(qū)域信息對(duì)人體上半身姿勢(shì)進(jìn)行識(shí)別,準(zhǔn)確地對(duì)人體運(yùn)動(dòng)姿勢(shì)進(jìn)行描述。Kellokumpu等[5]利用從人體輪廓得到的仿射不變傅里葉描述子來(lái)實(shí)現(xiàn)姿勢(shì)分類,該方法能夠?qū)緞?dòng)作進(jìn)行正確識(shí)別,但并沒有對(duì)動(dòng)作分類產(chǎn)生真正的意義。Liu Hong等[6]提出一種連續(xù)詞袋方法，通過將一個(gè)動(dòng)作分割成多個(gè)子動(dòng)作來(lái)捕捉時(shí)間連續(xù)結(jié)構(gòu),最終用這些子動(dòng)作分別進(jìn)行分類并投票得出統(tǒng)一結(jié)果。Hao Yan采用3D Zernike矩陣來(lái)計(jì)算人體動(dòng)作的全局特征,然后使用基于AdaBoost的貝葉斯分類器對(duì)圖像序列進(jìn)行分類[7]。Sun Qianru等[8]提出將視覺詞之間的時(shí)空共生關(guān)系添加到視覺詞袋中，以更加豐富地表達(dá)人體動(dòng)作特征,更好地進(jìn)行動(dòng)作分類。文獻(xiàn)[9]利用視覺捕捉技術(shù),通過對(duì)視覺數(shù)據(jù)的處理來(lái)判斷用戶的動(dòng)作?；谝曈X捕捉技術(shù)，在特征表達(dá)方面,起初是采用人體輪廓作為姿勢(shì)特征表達(dá),但是輪廓特征從整體角度描述姿勢(shì),忽略了身體各部位的細(xì)節(jié),不能精確地表示豐富多彩的人體姿勢(shì)。與傳統(tǒng)的統(tǒng)計(jì)理論相比,統(tǒng)計(jì)學(xué)習(xí)理論[10-11]基本上不涉及概率測(cè)度的定義及大數(shù)定律。它避免了人工神經(jīng)網(wǎng)絡(luò)等方法的網(wǎng)絡(luò)結(jié)構(gòu)選擇、過學(xué)習(xí)和欠學(xué)習(xí)以及局部極小等問題?；谠摾碚摪l(fā)展的支持向量機(jī)(Support Vector Machine)逐漸成熟并已在模式識(shí)別、函數(shù)估計(jì)等人工智能領(lǐng)域得到較好的應(yīng)用。因此，使用SVM[12]對(duì)特征數(shù)據(jù)進(jìn)行分類。人體動(dòng)作中,上半身動(dòng)作往往能夠代表此時(shí)人的行為狀態(tài)。為此，提出了基于人體骨架特征的人體上半身動(dòng)作分類方法。該方法基于文獻(xiàn)[4]所采用的姿勢(shì)識(shí)別方法，通過對(duì)人體上半身動(dòng)作進(jìn)行姿勢(shì)識(shí)別,從而實(shí)現(xiàn)表示人體位置、方向以及大小的‘火柴人模型’(骨架特征)簡(jiǎn)化特征提取，使之生動(dòng)且準(zhǔn)確地表示當(dāng)前人體的動(dòng)作特征。在此基礎(chǔ)上，應(yīng)用多分類SVM[13-14]方法對(duì)提取到的人體上半身動(dòng)作的骨架特征進(jìn)行學(xué)習(xí),可以對(duì)8種人體上半身動(dòng)作進(jìn)行分類、學(xué)習(xí)。

1 人體運(yùn)動(dòng)姿勢(shì)識(shí)別

通常情況下，人的一個(gè)姿勢(shì)或者一系列姿勢(shì)代表了人的態(tài)度及行為,因此獲得人的動(dòng)作姿勢(shì)特征具有重要的意義。利用圖形結(jié)構(gòu)估計(jì)人體外觀模型,然后對(duì)得到的人體結(jié)構(gòu)模型進(jìn)行姿勢(shì)識(shí)別。具體實(shí)現(xiàn)步驟包括檢測(cè)人體位置、前景突出及圖像解析,最終得到表示人體骨架結(jié)構(gòu)的‘火柴人模型’。

1.1 圖形結(jié)構(gòu)模型

圖形結(jié)構(gòu)模型是根據(jù)一系列部件以及部件間的位置關(guān)系來(lái)表示目標(biāo),每個(gè)部件描述目標(biāo)的一個(gè)局部屬性(即代表一個(gè)身體部位),通過部件間的連接表示模型配置。Ramanan模型如圖1(a)所示,其中的矩形表示各個(gè)身體部位li(x,y,θ),(x,y)表示位置信息，θ表示方向。人體通過坐標(biāo)(x,y)和方向θ參數(shù)化,通過位置先驗(yàn)ψ連接。所使用的Eichner的圖形結(jié)構(gòu)模型是基于Ramanan圖形結(jié)構(gòu)模型并利用位置先驗(yàn)進(jìn)行擴(kuò)展得到的,模型包括人身體軀干lt,左上手臂llua、右上手臂lrua、左下手臂llla、右下手臂lrla,以及頭部lh六部分,圖形結(jié)構(gòu)模型如圖1(b)所示。人體上半身的六個(gè)身體部位通過二元約束項(xiàng)ψ(li,lj)連接在一個(gè)樹狀結(jié)構(gòu)E中,即中一個(gè)節(jié)點(diǎn)表示一個(gè)身體部位。

圖1 圖形結(jié)構(gòu)模型

給定圖像I，身體各部位組合為L(zhǎng)，則表示人體上半身姿勢(shì)的公式即為：

(1)

其中，Φ為一元?jiǎng)莺瘮?shù);Φ(li)表示身體部位li處的局部圖像特征；二元約束項(xiàng)ψ(li,lj)表示身體部位i和身體部位j的位置先驗(yàn)；γ(·)設(shè)定接近垂直的一些θ值為均勻概率,設(shè)定其他方向的值為零概率，這樣能夠減少軀干和頭部的搜索空間,從而提高它們被正確識(shí)別的機(jī)率；γ(lh)表示需要身體軀干方向接近垂直的先驗(yàn)；γ(lt)表示需要頭部方向接近垂直的先驗(yàn)。這樣能夠提高正確識(shí)別的概率,也有利于對(duì)手臂的姿勢(shì)識(shí)別,因?yàn)樯眢w軀干通過位置先驗(yàn)ψ對(duì)它們的位置進(jìn)行了控制。

1.2 前景突出

對(duì)圖像進(jìn)行人體上半身姿勢(shì)識(shí)別時(shí)，由于圖像中存在干擾因素，會(huì)使得姿勢(shì)識(shí)別結(jié)果受到影響。因此首先需要對(duì)圖像進(jìn)行預(yù)處理，以消除背景因素的影響。通過輸入檢測(cè)框[p,t,w,h](p和t分別表示包含人體的方框的左上角的橫縱坐標(biāo)值,w和h分別為方框的寬和高)框出圖片中的人體位置，則姿勢(shì)估計(jì)就在該檢測(cè)框中進(jìn)行，以提高搜索效率。根據(jù)輸入的檢測(cè)框產(chǎn)生一個(gè)擴(kuò)大的矩形框。在得到的矩形框內(nèi)對(duì)圖像進(jìn)行初始化Grabcut分割[15-16]，分割出前/背景，并細(xì)化矩形框內(nèi)的人體所在的范圍，這樣消除了大部分背景雜波。這里的前景即為人體各個(gè)身體部位。

1.3 圖像解析

Ramanan提出一個(gè)迭代的圖像解析過程[17]。此階段要解析的區(qū)域部分為前景突出輸出的區(qū)域。利用式(1)，結(jié)合迭代計(jì)算過程就能夠有效地估計(jì)人體姿勢(shì)。具體方法是利用圖像邊緣特征進(jìn)行第一次推斷，得到圖像中人體各個(gè)身體部位的概率分布Pi(x,y)；根據(jù)Pi(x,y)為每個(gè)身體部位分別建立前景和背景的顏色直方圖，即可得到每個(gè)身體部位的前景直方圖和背景直方圖，這即是一次迭代的過程，通過多次迭代即可得到一個(gè)較為準(zhǔn)確的值來(lái)獲取人體姿勢(shì)。

根據(jù)以上幾個(gè)步驟,就可對(duì)一幅圖像中的人進(jìn)行上半身動(dòng)作姿勢(shì)識(shí)別,得到其骨架模型,生動(dòng)且準(zhǔn)確地表示當(dāng)前人體的動(dòng)作特征。具體實(shí)現(xiàn)流程見圖2。

圖2 姿勢(shì)識(shí)別實(shí)現(xiàn)效果流程圖

2 基于多分類SVM的動(dòng)作分類

SVM基本模型定義為特征空間上的間隔最大的線性分類器，即其學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問題的求解。SVM方法的核心是支持向量,分類超平面由支持向量完全決定，分類函數(shù)表達(dá)式為:

(2)

SVM算法最初是為二值分類問題設(shè)計(jì)的,當(dāng)處理多類問題時(shí),就需要構(gòu)造合適的多類分類器。方法主要有兩類:一類是直接法,另一類是間接法。間接法主要是通過組合多個(gè)二分類器來(lái)實(shí)現(xiàn)多分類器的構(gòu)造,常見的方法有一對(duì)多法和一對(duì)一法,使用第二種多分類SVM方法來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)中人體不同動(dòng)作的分類。

通過對(duì)一幅圖像進(jìn)行人體動(dòng)作識(shí)別后,得到骨架特征,六條線段分別表示身體軀干、頭部、上手臂以及下手臂(見圖2)。得到的人體骨架特征由4×6的矩陣表示,圖2中的骨架特征矩陣如下所示。其中，矩陣列數(shù)據(jù)表示骨架模型中的六條線段,行數(shù)據(jù)表示每條線段上下兩個(gè)終點(diǎn)的橫縱坐標(biāo)值。

身體軀干 左上手臂 右上手臂 左下手臂 右下手臂 頭部

為了校正因距離和位置變化造成的尺度差異，對(duì)上面輸出的矩陣數(shù)據(jù)進(jìn)行圖像歸一化處理，以消除影響。圖片中心點(diǎn)為坐標(biāo)(0,0),圖片左上角坐標(biāo)為(-1,-1),圖片右下角坐標(biāo)為(1,1),對(duì)得到的矩陣中的數(shù)據(jù)進(jìn)行歸一化處理,使所有數(shù)據(jù)在(-1,1)之間,歸一化表達(dá)式如式(3)所示。

(3)

其中，m和n分別為線段終點(diǎn)的橫坐標(biāo)值和縱坐標(biāo)值；w'為輸入圖片寬度的一半；h'為輸入圖片高度的一半；m'和n'為經(jīng)過歸一化后的數(shù)值。

歸一化后矩陣如下所示：

身體軀干 左上手臂 右上手臂 左下手臂 右下手臂 頭部

用多分類SVM對(duì)得到的特征集進(jìn)行處理時(shí),為便于數(shù)據(jù)處理,將4×6的矩陣轉(zhuǎn)換為1×24的矩陣,即依次為六條線段12個(gè)端點(diǎn)的橫縱坐標(biāo)值,則輸入N幅圖像的特征集表示為N×24的矩陣,動(dòng)作標(biāo)簽種類根據(jù)處理動(dòng)作的種類數(shù)m依次標(biāo)記為1到m。使用多分類SVM對(duì)訓(xùn)練集訓(xùn)練后可得到一個(gè)分類器,然后使用分類器對(duì)測(cè)試集圖片進(jìn)行分類,得到每幅圖像的動(dòng)作分類結(jié)果。算法實(shí)現(xiàn)流程如圖3所示。

圖3 算法實(shí)現(xiàn)流程示意圖

3 實(shí)驗(yàn)及結(jié)果分析

提出方法涉及的數(shù)據(jù)庫(kù)是對(duì)不同人拍攝得到的。包含8個(gè)人,每個(gè)人8個(gè)動(dòng)作(叉腰1、雙臂舉起2、站立3、右手臂與身體垂直4、左手臂豎直向上5、左手臂與身體垂直6、右手臂抬起7以及走路8，人體可正面可背面，其中雙臂舉起可以是任意高度),每個(gè)人同一個(gè)動(dòng)作的圖片為不同角度拍攝,且運(yùn)動(dòng)者可調(diào)整距離相機(jī)的遠(yuǎn)近及偏移距離。每個(gè)動(dòng)作7～12幅圖片,共計(jì)608幅,圖片像素為640×480。實(shí)驗(yàn)所用計(jì)算機(jī)硬件配置為Intel(R) Core(TM) i5-2450@ 2.5 GHz,4.00 GB內(nèi)存,軟件環(huán)境為Windows7操作系統(tǒng),使用MATLAB 2011a編程實(shí)現(xiàn)。具體實(shí)現(xiàn)步驟如下:

3.1 對(duì)數(shù)據(jù)庫(kù)中的圖片進(jìn)行姿勢(shì)識(shí)別

在姿勢(shì)識(shí)別中,人體被劃分為6個(gè)部位:身體軀干,頭部,左右、上下手臂,通過這些身體部位的動(dòng)作描述人的行為狀態(tài)。首先輸入檢測(cè)框[p,t,w,h](p和t分別表示包含人體的方框的左上角的橫縱坐標(biāo)值,w和h分別為方框的寬和高)框出圖片中人體位置,經(jīng)過姿勢(shì)識(shí)別后,得到4段線段銜接起來(lái)的人體骨架‘火柴人模型’,如圖4所示。

圖4 人體上半身姿勢(shì)識(shí)別結(jié)果

3.2 多分類SVM訓(xùn)練并預(yù)測(cè)

對(duì)所有圖片經(jīng)過姿勢(shì)識(shí)別后,將得到的骨架特征數(shù)據(jù)分為訓(xùn)練集和測(cè)試集。選取其中6個(gè)人的動(dòng)作骨架特征用作訓(xùn)練集,另外2個(gè)人的動(dòng)作骨架特征用來(lái)測(cè)試分類器的分類準(zhǔn)確率,訓(xùn)練集包含456幅圖片,測(cè)試集包含152幅圖片。使用多分類SVM算法對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練，得到可以對(duì)不同動(dòng)作進(jìn)行分類的分類器,并對(duì)測(cè)試集進(jìn)行預(yù)測(cè)。經(jīng)過訓(xùn)練得到的分類器對(duì)訓(xùn)練集的分類正確率為100%,然后對(duì)測(cè)試集中8個(gè)不同動(dòng)作進(jìn)行分類的準(zhǔn)確率為97.36%。8種動(dòng)作分類準(zhǔn)確率的實(shí)驗(yàn)數(shù)據(jù)如表1所示。

表1 8種動(dòng)作的分類準(zhǔn)確率

從實(shí)驗(yàn)結(jié)果可以看出,對(duì)于1～7種動(dòng)作,提出方法都具有較高的分類準(zhǔn)確率,第8種動(dòng)作的分類準(zhǔn)確率相對(duì)較低。分析原因得知，由于人體動(dòng)作圖片為各個(gè)角度拍攝得到，使得動(dòng)作1立正休息與動(dòng)作8走路在某些角度下的姿勢(shì)識(shí)別得到的骨架模型較為相似,因此將動(dòng)作8誤分類為動(dòng)作1，使得其準(zhǔn)確率(16/21)有所下降。實(shí)驗(yàn)結(jié)果表明，總的分類準(zhǔn)確率達(dá)到97.36%,能夠有效應(yīng)對(duì)由于相機(jī)位置、角度的變化、不同人體高度和肢體差異等因素帶來(lái)的影響,具有較高的動(dòng)作分類準(zhǔn)確率。

3.3 Buffy數(shù)據(jù)庫(kù)上的分類對(duì)比實(shí)驗(yàn)

對(duì)特定動(dòng)作進(jìn)行分類,文獻(xiàn)[4]中使用提出的三種描述子分別表示人體結(jié)構(gòu)模型。描述子A:部位位置;描述子B:部位方向、相對(duì)位置及相對(duì)方向;描述子C:部位軟分割,然后使用線性SVM分類出數(shù)據(jù)集中相應(yīng)的動(dòng)作。其中描述子B具有最好的分類效果。提出方法與其在Buffy數(shù)據(jù)庫(kù)上進(jìn)行動(dòng)作分類對(duì)比實(shí)驗(yàn)。數(shù)據(jù)集中圖片像素為720×405,選取三種動(dòng)作(包括Hips、Rest以及Folded)進(jìn)行動(dòng)作分類效果對(duì)比,三種動(dòng)作的圖片共計(jì)60幅。

將得到的Buffy數(shù)據(jù)庫(kù)上圖片中人體的骨架特征，使用提出的方法經(jīng)過矩陣歸一化、轉(zhuǎn)化為N×24的矩陣等操作后,用SVM多分類方法訓(xùn)練特征集并對(duì)三種動(dòng)作進(jìn)行分類,計(jì)算分類準(zhǔn)確率；同時(shí)使用文獻(xiàn)[4]中B描述子所述方法對(duì)Buffy數(shù)據(jù)庫(kù)上圖片相應(yīng)動(dòng)作建立模型，實(shí)現(xiàn)對(duì)三種動(dòng)作的分類。兩種算法對(duì)這三種動(dòng)作的分類效果如表2所示。

表2 兩種算法對(duì)三種動(dòng)作的分類 %

從實(shí)驗(yàn)數(shù)據(jù)能夠看出，F(xiàn)olded動(dòng)作的分類正確率相對(duì)較低,分析得知是由于數(shù)據(jù)庫(kù)中這個(gè)動(dòng)作的人體姿勢(shì)角度變化較多(包括偏左側(cè)立、正面站立以及偏右側(cè)立)和雙臂折疊長(zhǎng)短的原因,使得在某些動(dòng)作下得到的‘火柴人模型’類似于Hips動(dòng)作,從而使得分類出錯(cuò)。通過實(shí)驗(yàn)可以看到,文中方法的分類準(zhǔn)確率較高,能夠提高圖片檢索效率。

4 結(jié)束語(yǔ)

在前人工作的基礎(chǔ)上,有效地實(shí)現(xiàn)對(duì)人體運(yùn)動(dòng)動(dòng)作的分類。通過對(duì)選取的8個(gè)常見動(dòng)作進(jìn)行姿勢(shì)識(shí)別,得到能夠有效表示人體運(yùn)動(dòng)狀態(tài)的骨架模型,使用多分類SVM的方法對(duì)得到的骨架特征進(jìn)行訓(xùn)練，從而得到分類器,最終實(shí)現(xiàn)對(duì)人體動(dòng)作的分類。同時(shí)使用文中方法與文獻(xiàn)[4]中的算法在Buffy數(shù)據(jù)庫(kù)上對(duì)特定動(dòng)作進(jìn)行分類對(duì)比。實(shí)驗(yàn)結(jié)果表明,文中方法具有很高的分類準(zhǔn)確率,能夠?qū)崿F(xiàn)對(duì)人體運(yùn)動(dòng)動(dòng)作的有效分類。

[1] Wang J Z,Gemen D,Luo J,et al.Real-world image annotation and retrieal:an introduction to the special section[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(11):1873-1876.

[2] Leung M K,Yang Y H.First sight:a human body outline labeling system[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(4):359-377.

[3] Eichner M,Ferrari V.Better appearance models for pictorial structures[C]//British machine vision conference.[s.l.]:[s.n.],2009.

[4] Eichner M,Marin-Jimenez M,Zisserman A,et al.2d articulated human pose estimation and retrieval in (almost) unconstrained still images[J].International Journal of Computer Vision,2012,99(2):190-214.

[5] Kellokumpu V,Pietik?inen M,Heikkil? J.Human activity recognition using sequences of postures[C]//LAPR conference on machine vision applications.Japan:[s.n.],2005:570-573.

[6] Liu Hong,Zhang Qiaoduo.Human action classification based on sequential bag-of-words model[C]//International conference on robotics and biomimetics.[s.l.]:IEEE,2014:2280-2285.

[7] 胡 瓊,秦 磊,黃慶明.基于視覺的人體動(dòng)作識(shí)別綜述[J].計(jì)算機(jī)學(xué)報(bào),2013,36(12):2512-2524.

[8] Sun Qianru,Liu Hong.Learning spatio-temporal co-occurrence correlograms for efficient human action classification[C]//2013 IEEE international conference on image processing.Melbourne:IEEE,2013:3220-3224.

[9] Xiong Ziyou,Radhakrishnan R.Audio events detection based highlights extraction from baseball,golf and soccer games in a unified framework[C]//International conference on acoustics,speech,and signal processing.Hong Kong:Institute of Electrical and Electronics Engineers Inc,2003:632-636.

[10] 張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J].自動(dòng)化學(xué)報(bào),2000,26(1):32-42.

[11] Vapnik V N.Estimation of dependences based on empirical data[M].New York:Springer-Verlag,1982.

[12] Cortes C,Vapnik V.Support-vector networks[J].Machine Learning,1995,20(3):273-297.

[13] Hsu C W,Lin C J.A comparison of methods for multi-class support vector machines[J].IEEE Transactions on Neural Networks,2002,13(2):415-425.

[14] 相 潔,陳俊杰.基于SVM的FMRI數(shù)據(jù)分類:一種解碼思維的方法[J].計(jì)算機(jī)研究與發(fā)展,2010,47(2):286-291.

[15] Rother C,Minka T.Grabcut:interactive foreground extraction using iterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):307-312.

[17] Sch?lkopf B,Platt J,Hofmann T.Learning to parse images of articulated bodies[C]//Conference on advances in neural information processing systems.[s.l.]:[s.n.],2007:1129-1136.

Investigation on Human Action Classification Based on Skeleton Features

YU Jing1，GE Jun1，GUO Lin2

(1.School of Communication and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;2.School of Internet of Things,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

In order to find the desired pictures quickly in the abundant and complex network information,a method for human upper-body action classification based on skeleton features is proposed to improve the efficiency of the corresponding pictures.It does the pose estimation for the image of human motion,acquires the “stickman” (skeleton features) representation of the location,orientation,and size of body parts,and describes the skeleton features with matrix form.In order to correct the scale differences caused by distance and position changes,the feature matrix is normalized.Then the multi-classification SVM is used to train the skeleton features and obtain the classifier which can classify different actions.The images of human motion collected are as the test data for experiments which show that its classification accuracy reaches 97.78% and it can do well in human action classification.At the same time,an image retrieval contrast experiment is done on the Buffy database,which show that it has higher classification accuracy and enhance image retrieval efficiency better.

action classification;pose estimation;skeleton features;multi-class SVM

2016-10-10

2017-01-13 網(wǎng)絡(luò)出版時(shí)間：2017-07-05

江蘇省自然科學(xué)基金(BK20130883)；南京郵電大學(xué)引進(jìn)人才科研啟動(dòng)基金(NY212016,NY214189)

庾 晶(1991-),女,碩士研究生,研究方向?yàn)閳D像處理;葛 軍,博士,講師,碩士生導(dǎo)師,研究方向?yàn)閳D像處理、科學(xué)可視化。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1653.084.html

TP391

A

1673-629X(2017)08-0083-05

10.3969/j.issn.1673-629X.2017.08.017