低層特征與高層語義融合的人體行為識(shí)別方法

王忠民,周肖肖,王文浪

(西安郵電大學(xué) 計(jì)算機(jī)學(xué)院,西安 710121) E-mail:zhou_xiao629@163.com

1 引 言

跌倒是導(dǎo)致中老年人安全與健康問題的主要原因之一,對(duì)于中老年人的跌到檢測(cè)有著重要意義.但是由于跌倒行為的數(shù)據(jù)采集困難,造成樣本集中該行為數(shù)據(jù)所占的比例較少,這種小樣本數(shù)據(jù)會(huì)造成訓(xùn)練集中各行為的數(shù)據(jù)不平衡和跌倒行為數(shù)據(jù)不充足等問題.

傳統(tǒng)基于低層統(tǒng)計(jì)特征的人體行為識(shí)別方法是利用加速度數(shù)據(jù)提取統(tǒng)計(jì)特征來識(shí)別人體日常行為,如靜止、跑步、走路等,其具有較廣泛的應(yīng)用前景[1-3].該類方法側(cè)重于整體的分類準(zhǔn)確率,在樣本集中包含小樣本數(shù)據(jù)行為時(shí),該類方法會(huì)為了整體的分類效果犧牲小樣本行為的識(shí)別準(zhǔn)確率,導(dǎo)致對(duì)包含小樣本行為的數(shù)據(jù)集的平均識(shí)別率較低[4].

對(duì)于不平衡數(shù)據(jù)來說,小樣本類通常是影響整體分類準(zhǔn)確率的主要原因.國(guó)內(nèi)外研究人員對(duì)小樣本數(shù)據(jù)問題的研究取得了一定成果[5,6].在數(shù)據(jù)預(yù)處理方面主要通過重采樣技術(shù)[7,8],對(duì)樣本進(jìn)行過采樣或者欠采樣,調(diào)整樣本集不平衡程度,但這類采樣方法的隨機(jī)性和盲目性,容易造成重要樣本信息的丟失,影響分類效果.在分類算法方面主要是對(duì)現(xiàn)有分類算法的改進(jìn),提升算法對(duì)小樣本數(shù)據(jù)行為的識(shí)別準(zhǔn)確率,如最小二乘支持向量機(jī)是改變了支持向量機(jī)的標(biāo)準(zhǔn)約束條件和風(fēng)險(xiǎn)函數(shù),以便于提高訓(xùn)練效率[9].這類分類算法只考慮了數(shù)據(jù)的低層統(tǒng)計(jì)特征與類別之間的關(guān)系,而忽略了低層特征和高層語義特征、高層語義特征與類別之間的關(guān)系,導(dǎo)致這些分類方法泛化性較差,存在一定的分類局限性.

作為對(duì)類別的高層特征描述,語義屬性學(xué)習(xí)在圖像描述、圖像識(shí)別與檢索、人臉檢測(cè)和零樣本識(shí)別方面有較好的應(yīng)用[10-13].引入語義屬性的分類方法解決了低層特征與類別之間的語義差距,但是該類方法目前在計(jì)算機(jī)視覺中圖像分類領(lǐng)域應(yīng)用較為廣泛,在人體動(dòng)作識(shí)別應(yīng)用方面主要是對(duì)視頻中人體行為的檢測(cè).文獻(xiàn)[14]雖提出了屬性學(xué)習(xí)在加速度傳感器數(shù)據(jù)中的人體行為識(shí)別方法,但該文獻(xiàn)中站立、坐著和躺著這三種行為的各個(gè)屬性對(duì)應(yīng)相等,即這三類行為的屬性向量相同,造成這三種行為的識(shí)別率較低,進(jìn)而影響整體的識(shí)別效果.

考慮到上述因素,在識(shí)別含有小樣本行為的數(shù)據(jù)集時(shí),為將低層特征和語義屬性特征的信息進(jìn)行互補(bǔ),本文提出一種結(jié)合低層特征與語義屬性特征的人體行為識(shí)別方法.在基于低層特征人體行為識(shí)別的基礎(chǔ)上引入語義屬性,增加表達(dá)行為的屬性數(shù)目,避免行為之間屬性表達(dá)相同,利用特征、屬性和行為類別之間的關(guān)系獲取高層語義屬性集,將其與低層特征集分別輸入到隨機(jī)森林分類器中,利用融合算法將兩種信息的識(shí)別結(jié)果進(jìn)行最優(yōu)選擇,得到最終的識(shí)別結(jié)果.引入語義屬性的分類方法不但提高了傳統(tǒng)低層統(tǒng)計(jì)特征分類方法和屬性特征分類方法的泛化性能,而且提高了小樣本數(shù)據(jù)行為的分類識(shí)別精度.

2 結(jié)合兩種特征的人體行為識(shí)別方法

2.1 識(shí)別方法的結(jié)構(gòu)框圖

結(jié)合低層特征與語義屬性特征的人體行為識(shí)別方法如圖1所示,主要包括3部分:基于低層統(tǒng)計(jì)特征的分類識(shí)別、基于高層語義特征的分類識(shí)別和兩種特征信息分類結(jié)果的融合.

第一部分是基于低層統(tǒng)計(jì)特征的分類識(shí)別,該部分按照傳統(tǒng)的基于加速度傳感器的人體識(shí)別方法進(jìn)行識(shí)別[1,3],得到對(duì)樣本低層特征的預(yù)分類結(jié)果,由于該類方法的研究已經(jīng)較為成熟,本文不做過多敘述;第二部分是基于語義屬性特征的分類識(shí)別,依據(jù)提取的低層統(tǒng)計(jì)特征,通過屬性檢測(cè)器得到樣本對(duì)應(yīng)的屬性特征,再對(duì)屬性特征進(jìn)行分類,得到預(yù)分類結(jié)果;第三部分是兩種特征信息分類結(jié)果的融合,該部分是將兩種特征信息的預(yù)分類結(jié)果按照融合算法進(jìn)行最優(yōu)選擇,對(duì)兩種特征信息識(shí)別性能進(jìn)行互補(bǔ).

圖1 結(jié)合兩種特征的人體行為識(shí)別方法Fig.1 Human activity recognition combined with low-lever feature and high-lever semantic feature

2.2 語義屬性學(xué)習(xí)

行為的語義屬性是指能體現(xiàn)行為動(dòng)作變化較直觀的中間層特征,例如,“走路”這一行為可以用“身體中速運(yùn)動(dòng)”、“腿部運(yùn)動(dòng)”,“胳膊中速運(yùn)動(dòng)”等屬性來表示[15].行為的語義屬性與低層特征之間最大的區(qū)別在于前者具有明確的語義,是可以被人類直觀理解的,且不同行為的語義屬性特征是由低層特征得到的.

高層語義屬性的人體行為識(shí)別方法的核心思想是將屬性特征作為低層特征與行為之間的橋梁,是對(duì)行為類別的高級(jí)特征表示.如圖2所示,語義屬性學(xué)習(xí)分為兩個(gè)階段,第一階段需要構(gòu)建低層特征與語義屬性之間的關(guān)系,第二階段需要構(gòu)建語義屬性與類別之間的關(guān)系.

圖2 語義屬性學(xué)習(xí)Fig.2 Semantic attribute learning

在人體行為識(shí)別中,屬性描述可看作是某行為語義含義的特征描述,屬性學(xué)習(xí)可視為對(duì)這種語義描述的學(xué)習(xí).假設(shè)X表示特征空間,其共有D種特征,xi={X1,X2,…,XD}表示行為樣本i的D維特征向量,Y表示行為類別空間,行為類別有K種,y∈{Y1,Y2,…,YK}表示人體行為類別,A表示屬性空間,共有M個(gè)屬性,ai={A1,A2,…,AM}表示行為樣本i的M維屬性向量.那么屬性分類模型可表示為低層特征到語義屬性、語義屬性到行為類別之間的映射,即:

f:X→A→Y

(1)

上式可被分解為如下形式:

H=F2(F1(x))

(2)

其中F1:X→A是低層特征層到語義屬性層的映射,包括M個(gè)屬性檢測(cè)器,每一個(gè)屬性檢測(cè)器將特征向量映射到相對(duì)應(yīng)的屬性維度上,得到樣本的屬性向量.F2:A→Y是屬性層到類別標(biāo)簽的映射,包含一個(gè)對(duì)屬性向量進(jìn)行分類的分類器,其將屬性向量映射到類別空間.

2.3 高層語義特征的人體行為識(shí)別

屬性學(xué)習(xí)應(yīng)用到人體行為識(shí)別的具體實(shí)現(xiàn)如圖3所示.為實(shí)現(xiàn)低層特征與語義屬性之間的關(guān)系,基于語義屬性特征的分類識(shí)別方法需要為每個(gè)屬性檢測(cè)器劃分子訓(xùn)練集,由每個(gè)屬性檢測(cè)器得到相應(yīng)的屬性值;對(duì)于語義屬性與行為類別之間的映射關(guān)系,通過屬性-行為矩陣,將上一步得到的屬性向量利用分類器算法進(jìn)行預(yù)測(cè),得到該屬性向量的各行為分類概率.

圖3 高層語義特征分類識(shí)別Fig.3 recognition of high-lever semantic feature

在含有小樣本行為的樣本集中,屬性可以用來彌補(bǔ)小樣本行為的數(shù)據(jù)信息不足.利用樣本數(shù)多的行為數(shù)據(jù)學(xué)習(xí)屬性檢測(cè)器,然后利用學(xué)習(xí)后的屬性檢測(cè)器對(duì)小樣本行為數(shù)據(jù)進(jìn)行預(yù)測(cè)識(shí)別.例如,利用大量的下樓行為的數(shù)據(jù)學(xué)習(xí)“身體向下運(yùn)動(dòng)”這一屬性檢測(cè)器,學(xué)習(xí)好的檢測(cè)器將不僅可以檢測(cè)下樓動(dòng)作的屬性是否存在,還可以檢測(cè)跌倒動(dòng)作的屬性是否存在.

2.3.1 屬性-行為矩陣的構(gòu)建

屬性-行為矩陣是反映行為和語義屬性之間的表征關(guān)系,代表行為與屬性之間是否關(guān)聯(lián),即如何由屬性特征來描述行為對(duì)象.定義M×K維的屬性-行為矩陣,其中M表示屬性個(gè)數(shù),K表示行為類別種類,每一行表示各行為在某一屬性下的值,元素aij的值代表屬性i和行為j之間是否關(guān)聯(lián),這樣每一種行為便可由一列屬性表示.矩陣中每個(gè)屬性為二值屬性,根據(jù)屬性與行為之間的關(guān)聯(lián)是否存在而取值,存在則aij=1,反之則aij=0.圖4所示是本文實(shí)驗(yàn)中定義的二值屬性-行為矩陣.在實(shí)際應(yīng)用中,可以使用屬性描述來定義一個(gè)新添加的行為,即相當(dāng)于在該屬性-行為矩陣中添加一個(gè)新的列.

圖4 屬性-行為矩陣Fig.4 Attribute-activity matrix

2.3.2 屬性檢測(cè)器

獲得屬性-行為矩陣之后,低層特征需要通過屬性檢測(cè)器獲取高層語義屬性,得到樣本低層統(tǒng)計(jì)特征對(duì)應(yīng)的屬性特征.為檢測(cè)每一訓(xùn)練樣本所對(duì)應(yīng)的各個(gè)屬性是否存在,需要預(yù)先對(duì)每個(gè)屬性訓(xùn)練相應(yīng)的屬性檢測(cè)器.具體步驟如下:

步驟1.為每一個(gè)屬性檢測(cè)器生成一個(gè)子訓(xùn)練集.在某一屬性下,子訓(xùn)練集由正樣本集和反樣本集組成,為減少重新采集數(shù)據(jù)帶來不必要的研究損耗,將低層特征訓(xùn)練樣本集中與該屬性有關(guān)的所有帶標(biāo)簽行為樣本看作為正樣本集,并將樣本標(biāo)記為1,類似地,反樣本集是由低層特征訓(xùn)練樣本集與該屬性無關(guān)聯(lián)的所有行為樣本組成,樣本標(biāo)記為0.這樣得到的子訓(xùn)練集便是該屬性檢測(cè)器的輸入訓(xùn)練樣本集.

步驟2.定義的屬性是二值屬性,則檢測(cè)屬性是否存在相當(dāng)于二元分類問題,隨機(jī)森林、決策樹、支持向量機(jī)、貝葉斯等分類方法[16]都可以用來檢測(cè)屬性,本文使用隨機(jī)森林作為屬性檢測(cè)器進(jìn)行屬性檢測(cè),得到樣本的屬性值.

步驟3.對(duì)屬性檢測(cè)器進(jìn)行訓(xùn)練后,特征樣本由M個(gè)屬性檢測(cè)器中分別獲得對(duì)應(yīng)的屬性值,將其按照屬性-行為矩陣組合成樣本的屬性向量ai={A1,A2,…,AM},這便是從低層特征得到的語義屬性特征.

2.3.3 屬性分類器

由已有研究證明隨機(jī)森林對(duì)樣本分布不均勻和缺失特征數(shù)據(jù)的問題仍可以維持識(shí)別準(zhǔn)確度,且不容易出現(xiàn)過擬合問題[17].語義屬性特征分類方法的分類器采用隨機(jī)森林算法,將語義屬性特征作為該分類器的輸入,根據(jù)屬性-行為矩陣,預(yù)測(cè)得到最終屬性所代表的行為類別.該過程類似于傳統(tǒng)基于低層特征的分類識(shí)別,即將語義屬性特征看作低層特征信息,作為分類器的輸入數(shù)據(jù),分類器對(duì)其特征信息進(jìn)行訓(xùn)練和測(cè)試,得到輸出的分類概率.

2.4 兩種特征分類融合

傳統(tǒng)基于低層統(tǒng)計(jì)特征的分類識(shí)別側(cè)重整體的識(shí)別效果,對(duì)于含有小樣本行為的樣本集的識(shí)別效果不理想.當(dāng)行為類別較多時(shí),基于語義屬性特征的分類識(shí)別中可能會(huì)存在某些行為的屬性表達(dá)相近或相同,造成這些行為容易誤判.如圖4中,屬性集中如果不包含行為水平方向和垂直方向的運(yùn)動(dòng)屬性,走路、上樓和下樓這三種行為的屬性表達(dá)將相同.

由已有研究發(fā)現(xiàn),對(duì)多模型的識(shí)別性能進(jìn)行互補(bǔ)可以使用分類器融合方法來實(shí)現(xiàn).其他多分類器融合方法是對(duì)同一低層統(tǒng)計(jì)特征的多個(gè)分類器識(shí)別結(jié)果進(jìn)行融合,而本文提出的方法是利用分類器對(duì)兩種不同特征信息的識(shí)別結(jié)果進(jìn)行融合,實(shí)現(xiàn)了兩種特征信息的組合.

融合算法主要包括多數(shù)投票法、最大值法、平均值法、乘積法等[18],由于只是為了充分利用語義屬性特征和低層特征包含的有效信息,對(duì)兩種特征表達(dá)的信息進(jìn)行互補(bǔ),本文使用應(yīng)用較為廣泛的最大值法進(jìn)行兩種特征的融合.

圖5 基于融合模型的識(shí)別框架Fig.5 Recognition framework based on fusion model

在實(shí)際應(yīng)用中,隨著寬帶增加、網(wǎng)速提高,將所提出的融合模型結(jié)合“移動(dòng)端+云端”平臺(tái)進(jìn)行人體行為識(shí)別,其整體框架如圖5所示.在云端利用采集到的數(shù)據(jù)進(jìn)行融合分類模型的訓(xùn)練,當(dāng)用戶利用移動(dòng)平臺(tái)將自身采集到的數(shù)據(jù)實(shí)時(shí)上傳到云端時(shí),云端通過訓(xùn)練后的分類模型進(jìn)行預(yù)測(cè)處理,并將處理結(jié)果實(shí)時(shí)返回給用戶移動(dòng)端.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)計(jì)

所有實(shí)驗(yàn)數(shù)據(jù)均基于Android智能手機(jī)的內(nèi)置加速度傳感器,在現(xiàn)實(shí)環(huán)境中,由17名包括不同性別、不同年齡段的實(shí)驗(yàn)者采集走路、跌倒、靜止、跑步、上樓和下樓這6種日常行為的三維加速度數(shù)據(jù),采集時(shí)每位實(shí)驗(yàn)者的智能手機(jī)放置位置分別為手中、包中和褲子口袋中,放置方向包括手機(jī)橫放,顛倒放置和平放,采樣頻率為50Hz.6種行為中,考慮到跌倒行為的加速度數(shù)據(jù)較難采集,實(shí)驗(yàn)中該行為的訓(xùn)練數(shù)據(jù)共采集了156條數(shù)據(jù),其他行為的加速度數(shù)據(jù)各進(jìn)行10次采集,單次采樣時(shí)間為5秒,為減少其他行為訓(xùn)練數(shù)據(jù)對(duì)實(shí)驗(yàn)帶來不必要的影響,在實(shí)驗(yàn)中其他行為的訓(xùn)練樣本選擇相同的數(shù)目,進(jìn)行測(cè)試時(shí)跌倒樣本數(shù)量和其他行為一致,具體數(shù)據(jù)分布如表1所列.在進(jìn)行實(shí)驗(yàn)時(shí),為了更好地模擬真實(shí)場(chǎng)景,將訓(xùn)練集中跌倒樣本的數(shù)量從5到156進(jìn)行增加,從而觀察跌倒行為訓(xùn)練樣本數(shù)目的變化對(duì)識(shí)別率的影響.

表1 實(shí)驗(yàn)數(shù)據(jù)集
Table 1 Experimental dataset

行為類別行為標(biāo)簽訓(xùn)練集數(shù)據(jù)量測(cè)試集數(shù)據(jù)量走路1180002400跌倒21562400跑步3180002400靜止4180002400上樓5180002400下樓6180002400

在實(shí)際采集數(shù)據(jù)時(shí),實(shí)驗(yàn)者自身動(dòng)作差異、手機(jī)放置位置與放置方向差異會(huì)對(duì)采集的數(shù)據(jù)造成一定的干擾.因在不同坐標(biāo)系下合成加速度都相同,實(shí)驗(yàn)中為解決手機(jī)內(nèi)置傳感器的坐標(biāo)隨著人體運(yùn)動(dòng)不斷改變的問題,選取合成加速度來減少每軸加速度輸出值的坐標(biāo)映射計(jì)算.其中ax、ay和az分別代表軸的加速度,合成加速度為:

(3)

由于合成加速度與方向無關(guān),為反映人體在上下、左右、前后方向的運(yùn)動(dòng)趨勢(shì),需要根據(jù)每個(gè)軸的加速度計(jì)算水平和垂直方向的加速度.垂直方向的加速度為:

av=az

(4)

水平方向的加速度為:

(5)

3.2 實(shí)驗(yàn)步驟

具體的實(shí)驗(yàn)步驟如下:

1)獲取低層特征.首先對(duì)采集到訓(xùn)練集和測(cè)試集的加速度信息進(jìn)行濾波處理,計(jì)算三個(gè)坐標(biāo)軸合成加速度、垂直加速度和水平加速度;其次采用傳統(tǒng)的基于加速度傳感器數(shù)據(jù)的特征提取方法,提取具有時(shí)頻域特征的特征向量集{平均值,中位數(shù),最大值,最小值,范圍,方差,標(biāo)準(zhǔn)差,均方根,x軸與y軸數(shù)據(jù)的相關(guān)系數(shù),y軸與z軸數(shù)據(jù)的相關(guān)系數(shù),x軸與z軸數(shù)據(jù)的相關(guān)系數(shù),頻譜能量};最后采用蟻群算法[3]對(duì)初步提取的特征集進(jìn)行特征優(yōu)選,其參數(shù)設(shè)置如表2所示,得到最終訓(xùn)練和測(cè)試所需的低層特征集{中位數(shù),范圍,x軸與z軸數(shù)據(jù)的相關(guān)系數(shù),y軸與z軸數(shù)據(jù)的相關(guān)系數(shù)}.

2)獲取語義屬性特征.首先定義屬性-行為矩陣;其次按照屬性-行為矩陣劃分各屬性檢測(cè)器的子訓(xùn)練特征集;最后利用各低層特征訓(xùn)練子集學(xué)習(xí)各屬性檢測(cè)器,預(yù)測(cè)低層特征測(cè)試集對(duì)應(yīng)的語義屬性特征.

表2 蟻群算法參數(shù)設(shè)置
Table 2 Parameter setting of ant colony algorithm

參數(shù) 值 迭代次數(shù)MI5初始信息素水平u00.5特征值個(gè)數(shù)n2,3,4,5信息素啟發(fā)因子α0.8期望啟發(fā)因子β0信息素參數(shù)ρ0.3概率變化系數(shù)ε0.9螞蟻個(gè)數(shù)m3激勵(lì)因子l0.8閾值Q0.85

3)兩種特征分類融合.首先利用隨機(jī)森林分類器分別對(duì)低層特征和高層語義特征進(jìn)行分類訓(xùn)練和測(cè)試,得到兩者的分類概率;其次對(duì)每一個(gè)行為類別,根據(jù)最大融合算法從兩個(gè)特征分類概率中找出可能是該行為的概率的最大值;最后按照取最大法的判決函數(shù)找出這些值中最大的行為類別標(biāo)簽作為最終的分類結(jié)果.

3.3 實(shí)驗(yàn)對(duì)比與性能分析

實(shí)驗(yàn)中小樣本行為是跌倒行為,在基于低層特征分類方法、高層語義特征分類方法和特征分類融合方法下,各行為的識(shí)別率隨著跌倒行為訓(xùn)練樣本數(shù)目的變化如圖6所示.

圖6 跌倒樣本個(gè)數(shù)變化對(duì)各行為識(shí)別率的影響Fig.6 Influence of the activity recognition rate with the number of fall down changing

在低層特征分類識(shí)別中,對(duì)于跌倒這一行為,其識(shí)別率隨著訓(xùn)練樣本數(shù)的增加有明顯的提高,每增加5個(gè)小樣本數(shù)據(jù),識(shí)別率增長(zhǎng)約20%;在整個(gè)跌倒訓(xùn)練集樣本個(gè)數(shù)變化過程中,上樓和下樓各有1%的提升,其他3種行為的識(shí)別率無較大變化.這種現(xiàn)象的原因在于利用低層特征分類方法進(jìn)行人體行為識(shí)別時(shí),需要足夠多的各種行為訓(xùn)練數(shù)據(jù)以供分類器用來學(xué)習(xí),跌倒行為樣本過少,導(dǎo)致其與訓(xùn)練集中其他行為的數(shù)據(jù)不平衡,跌倒行為無法提供足夠的用于分類器學(xué)習(xí)的特征數(shù)據(jù),致使跌倒行為識(shí)別率較低;其他行為訓(xùn)練數(shù)據(jù)比較充足,在跌倒行為的樣本數(shù)發(fā)生變化時(shí),對(duì)其影響不明顯.

在高層語義特征識(shí)別中,根據(jù)屬性-行為矩陣中小樣本行為和其他行為之間的屬性關(guān)系,相同屬性下,跌倒行為的屬性檢測(cè)可以共享其他行為的低層特征信息.圖6結(jié)果顯示,高層語義屬性分類方法中,跌倒行為訓(xùn)練數(shù)據(jù)的變化對(duì)6種行為的識(shí)別率無較大影響,但是上樓、下樓和跑步這三種行為的屬性表達(dá)比較相近,致使上樓和跑步的識(shí)別率相較于低層特征分類方法有所下降.

從以上分析可看出,這兩種分類方法各有優(yōu)缺點(diǎn).而本文提出的結(jié)合低層特征和高層語義屬性特征的人體行為識(shí)別方法,利用取最大值法將兩種特征的有用信息進(jìn)行互補(bǔ),各行為的識(shí)別率較前兩個(gè)分類方法有所提高.

三種識(shí)別方法對(duì)跌倒行為、其他行為和所有行為的總體性能對(duì)比如圖7所示,在跌倒行為的訓(xùn)練樣本個(gè)數(shù)為10時(shí),相較于低層特征分類方法,特征分類信息的融合方法對(duì)于跌倒行為的識(shí)別率提高了57.37%,對(duì)其他行為的識(shí)別率提高4.35%,對(duì)6種行為的平均識(shí)別率提高了17.4%.與語義屬性分類方法相比,特征分類信息的融合方法對(duì)于跌倒行為的識(shí)別率提高了1.19%,對(duì)其他行為的識(shí)別率提高2%,對(duì)于6種行為的平均識(shí)別率提高了2.66%.說明了本文分類方法的識(shí)別性能對(duì)于低層特征分類和高層語義特征分類均有所提高,驗(yàn)證了特征融合方法的有效性.

圖7 三種方法識(shí)別性能對(duì)比(跌倒行為的樣本個(gè)數(shù)為10)Fig.7 Comparison of recognition performance of three methods(the number of fall down is 10)

為驗(yàn)證本文特征分類信息的融合方法與其他小樣本數(shù)據(jù)分類方法的識(shí)別性能,將本文方法與欠抽樣方法(Under-sampling,US)、過抽樣方法(Synthetic Minority Over-sampling Technique,SMOTE)和最小二乘支持向量機(jī)(least squares support vector machine,LS-SVM)進(jìn)行比較,結(jié)果如表3所示,其中Number表示訓(xùn)練數(shù)據(jù)集中跌倒行為的樣本個(gè)數(shù).

由表3可看出,隨著訓(xùn)練數(shù)據(jù)集中跌倒行為樣本個(gè)數(shù)的變化,本文方法的平均識(shí)別率和其他方法相比有明顯提高.其中在小樣本數(shù)據(jù)個(gè)數(shù)為10時(shí),相較于欠抽樣方法、過抽樣方法和最小二乘支持向量機(jī),本文方法的平均識(shí)別率分別提高了33.05%、21.2%和8.21%.

在Number從5增加到10時(shí),本文所提方法的平均識(shí)別率提高了22.59%,Number從10變化到156時(shí),平均識(shí)別率變化了1.73%.這說明該方法在小樣本行為的樣本數(shù)較少的時(shí)候,對(duì)樣本數(shù)的變化較為明顯,對(duì)樣本個(gè)數(shù)變化有較好的敏感度,在樣本數(shù)較少的情況下有較好的穩(wěn)定性.

表3 本文方法與其他方法平均識(shí)別率的比較(%)
Table 3 Compared with the average of recognition rate of other methods

NumberUSSMOTELS-SVM本文方法50.56610.65880.55310.7176100.61300.73150.86140.9435150.69720.72830.89970.9506200.75600.78760.92150.95231560.81940.86020.93800.9608

以上實(shí)驗(yàn)結(jié)果表明,本文方法對(duì)基于低層特征與語義屬性特征的信息進(jìn)行了互補(bǔ),可以有效的實(shí)現(xiàn)小樣本數(shù)據(jù)行為的識(shí)別.

4 結(jié)束語

為解決跌倒檢測(cè)中跌倒行為的樣本采集困難,數(shù)據(jù)集中該行為樣本過少導(dǎo)致的識(shí)別效果較差的問題,提出了結(jié)合低層特征與高層語義特征的人體行為識(shí)別方法.該方法引入高層語義屬性概念,從低層特征和行為類別之間獲取中間層語義特征,并將其識(shí)別性能與低層特征識(shí)別性能進(jìn)行互補(bǔ),提高傳統(tǒng)低層特征識(shí)別方法對(duì)含有小樣本數(shù)據(jù)行為的泛化性能.實(shí)驗(yàn)結(jié)果表明,該方法對(duì)跌倒行為的識(shí)別率和6種行為的平均識(shí)別率在一定程度上均有所提高,驗(yàn)證了所提方法的有效性.但是在具體應(yīng)用中仍存在一些問題,當(dāng)行為類別較多時(shí),其高層語義屬性的選擇會(huì)越來越復(fù)雜;實(shí)際平臺(tái)中云端數(shù)據(jù)處理速度以及云端和移動(dòng)終端之間網(wǎng)絡(luò)傳輸速率等也會(huì)影響整個(gè)識(shí)別系統(tǒng)性能,如何更好地解決這些問題是下一步的研究?jī)?nèi)容.

[1] Su X,Tong H,Ji P.Activity recognition with smartphone sensors [J].Tsinghua Science and Technology,2014,19(3):235-249.

[2] Heng Xia,Wang Zhong-min.Human activity Recognition based on accelerometer data from a mobile phone [J].Journal of Xi′an University of Posts and Tele comm-unications,2014,9(6):76-79.

[3] Wang Zhong-min,Cao Dong.A feature selection method for behave-or recognition based on ant colony algorithm [J].Journal of Xi′an University of Posts and Telecommunications,2014,19(1):73-77.

[4] Wang S,Yao X.Multi-class imbalance problems:analysis and potential solutions[J].IEEE Transactions on Systems,Man,and Cybernetics—Part B:Cybernetics,2012,42(4):1119-1130.

[5] Ali Mirza Mahmood.Class imbalance learning in data mi-ning -a survey[J].International Journal of Communicati-on Technology for Social Networking Services,2015,3(2):17-36.

[6] Rajeshwari P,Maheshwari D.A study of imbalanced classification problem [J].International Journal of Advan-ced Research in Computer and Communication Engin-eering,2016,5(8):66-69.

[7] Wu Lei,Fang Bin,Diao Li-ping,et al.Imbalanced data resampling based on oversampling and under-sampling [J].Computer Engineering and Applications,2013,49(21):172-176.

[8] Yan Xin.Comprehensive oversampling and under-sampling study of imbalanced datasets[D].Jilin: Northeast Electric Power University,2016.

[9] Zhao Hui,Huang Jing-tao,Tan Shu-cai.Research on classification of imbalanced data based on least squares support sector machine[J].Microelectronics & Computer,2010,27(4):33-37.

[10] Parikh D,Grauman K.Relative attributes[C].IEEE International Conference on Computer Vision (ICCV),2011,6669(5):503-510.

[11] Lampert C H,Nickisch H,Hameling S.Learning to detect unseen object classes by between-class attribute transfer[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR),2009:951-958.

[12] Yu Yong-bin,Liu Qin-yi,Mao Qi-rong,et al.Facial expression recognition method based on semantic attribute [J].Journal of Chinese Computer Systems,2016,37 (2):332-336.

[13] Cheng H T,Griss M,Davis P,et al.Towards zero-shot learning for human activity recognition using semantic attribute sequence model[C].ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp),2013:355-358.

[14] Le T N,Zeng M,Tague P,et al.Recognizing new activities with limited training data[C].International Symposium on Wearable Computers (ISWC),2015:67-74.

[15] Cheng H T,Sun F T,Griss M,et al.Nuactiv:reco-gnizing unseen new activities using semantic attribute based learning[C].International Conference on Mobile Systems,Applications,and Services (MobiSys),2013:361-374.

[16] Lara O D,Labrador M A.A survey on human activity recognition using wearable sensors[J].Communication Surveys & Tutorials,IEEE,2013,15(3):1192-1209.

[17] Río S D,López V,Benítez J M,et al.On the use of map reduce for imbalanced big data using random forest[J].Information Sciences,2014,285(20):112-137.

[18] García-Pedrajas N,Ortiz-Boyer D.An empirical study of binary classifier fusion methods for multiclass classi-fication [J].Information Fusion,2011,12(2):111-130.

附中文參考文獻(xiàn)：

[2] 衡 霞,王忠民.基于手機(jī)加速度傳感器的人體行為識(shí)別[J].西安郵電大學(xué)學(xué)報(bào),2014,9(6):76-79.

[3] 王忠民,曹 棟.基于蟻群算法的行為識(shí)別特征優(yōu)選方法[J].西安郵電大學(xué)學(xué)報(bào),2014,19(1):73-77.

[7] 吳 磊,房 斌,刁麗萍,等.融合過抽樣和欠抽樣的不平衡數(shù)據(jù)重抽樣方法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(21):172-176.

[8] 閆 欣.綜合過采樣和欠采樣的不平衡數(shù)據(jù)集的學(xué)習(xí)研究[D].吉林：東北電力大學(xué),2016.

[9] 趙 會(huì),黃景濤,談書才.最小二乘支持向量機(jī)的一種非均衡數(shù)據(jù)分類算法[J].微電子學(xué)與計(jì)算機(jī),2010,27(4):33-37.

[12] 于永斌,劉清怡,毛啟容,等.基于語義屬性的人臉表情識(shí)別新方法[J].小型微型計(jì)算機(jī)系統(tǒng),2016,37(2):332-336.