基于低秩分解的異常步態(tài)活動(dòng)圖像序列識(shí)別

邱妍妍，高 增

(1. 蘭州財(cái)經(jīng)大學(xué)隴橋?qū)W院，甘肅 蘭州 730000；2. 蘇丹依德利斯師范大學(xué)，馬來(lái)西亞 35900)

1 引言

步態(tài)主要是指人們行走時(shí)的姿態(tài)，是在遠(yuǎn)距離可監(jiān)視的唯一行為特征[1]。異常步態(tài)活動(dòng)圖像序列識(shí)別技術(shù)的研究主要用于人體行為檢測(cè)及預(yù)測(cè)，或記錄行走路徑，防止走丟等。通常步態(tài)行為特征具有明顯的協(xié)同性，因此當(dāng)步態(tài)處在一定的異常行為狀態(tài)，如摔倒、疾病突發(fā)、走失等情況發(fā)生，常伴有明顯的行為特征變化。

常規(guī)改變的主要有動(dòng)作、位置、表情等生理參數(shù)，因此對(duì)異常步態(tài)活動(dòng)圖像進(jìn)行收集和整理和分析，有利于正確判斷異常行為狀態(tài)，對(duì)人體起到保護(hù)作用[2]。目前具有代表性的識(shí)別方法主要有以下幾種：張昊[3]提出基于動(dòng)態(tài)二維圖像序列的三維步態(tài)識(shí)別方法探究。利用動(dòng)態(tài)二維圖像序列指代當(dāng)前三維步態(tài)的不同部分，完成異常步態(tài)識(shí)別。該方法步驟較為復(fù)雜；何正義[4]等專家提出一種集成卷積神經(jīng)網(wǎng)絡(luò)和深信網(wǎng)的步態(tài)識(shí)別與模擬方法。根據(jù)步態(tài)信號(hào)方向和角度變化處理圖像序列，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像序列，該方法識(shí)別精度相比前一種方法較好，但仍不理想。宋相法[5]等專家提出基于L(2，1)范數(shù)稀疏特征選擇和超法向量的深度圖像序列行為識(shí)別方法。將行為特征轉(zhuǎn)化為L(zhǎng)(2，1)范數(shù)稀疏特征，計(jì)算L(2，1)范數(shù)稀疏特征的超法向量，識(shí)別深度圖像的序列。該方法在計(jì)算過(guò)程中，易出現(xiàn)誤差，導(dǎo)致識(shí)別精度較低。

針對(duì)上述問(wèn)題，提出一種基于低秩分解的異常步態(tài)活動(dòng)圖像序列識(shí)別方法。并進(jìn)行仿真，驗(yàn)證了該方法的優(yōu)越性。

2 異常步態(tài)活動(dòng)圖像序列的識(shí)別

2.1 基于Zermike矩的圖像序列特征提取

為了描述步態(tài)運(yùn)動(dòng)過(guò)程，需要提前設(shè)定步態(tài)歷史圖像序列，作為標(biāo)準(zhǔn)運(yùn)動(dòng)序列。

設(shè)當(dāng)前用B(x，y，t)用于表示當(dāng)前檢測(cè)獲取的二值化圖像序列，在此次設(shè)計(jì)中，步態(tài)歷史運(yùn)動(dòng)軌跡圖像可表示為

(1)

式中，n為軌跡點(diǎn)標(biāo)準(zhǔn)整數(shù)，t為運(yùn)動(dòng)時(shí)間。由此可見(jiàn)步態(tài)歷史圖像序列中每個(gè)像素?cái)?shù)據(jù)均可以看做是當(dāng)前目標(biāo)點(diǎn)運(yùn)動(dòng)歷史函數(shù)。而且越趨近于原始像素，其函數(shù)值越大。圖像序列灰度的變化可以體現(xiàn)出當(dāng)前步態(tài)運(yùn)動(dòng)方向[6]。步態(tài)歷史圖像的生成可以較好地將空間特征和時(shí)間信息體現(xiàn)在活動(dòng)圖像上，也就是在空間上較好地表達(dá)了當(dāng)前步態(tài)活動(dòng)的位置和區(qū)域，也可以在實(shí)踐軌跡上描述當(dāng)前步態(tài)運(yùn)動(dòng)的發(fā)生情況[7]。

根據(jù)上述建立的步態(tài)運(yùn)動(dòng)圖像，圖像序列中的運(yùn)動(dòng)行為就可以進(jìn)行數(shù)據(jù)量化，用圖像向量表示[8]。根據(jù)這一特性可對(duì)當(dāng)前圖像序列特征進(jìn)行提取。目前常用的圖像特征提取方法一般需要基于矩函數(shù)的特征向量[9]，這種方法不僅需要計(jì)算當(dāng)前圖像序列下的輪廓像素點(diǎn)，還需要計(jì)算當(dāng)前形狀的所有像素點(diǎn)。

對(duì)于像素點(diǎn)矩函數(shù)特征的識(shí)別，需選擇Zernike矩作為識(shí)別方法[10]。對(duì)于當(dāng)前計(jì)算機(jī)獲取的數(shù)字圖像，可以用積分用求代替，設(shè)p(x，y)是圖像的基礎(chǔ)序列，則結(jié)合式(1)得到歷史運(yùn)動(dòng)軌跡圖像序列特征提取結(jié)果為

(2)

其中x2+y2≤1，Vmn(x，y)為像素值多項(xiàng)式，m的取值范圍為非0的正整數(shù)。Zermike矩的計(jì)算公式必須將圖像中心進(jìn)行平移，最終需要與向量數(shù)據(jù)的原點(diǎn)坐標(biāo)重合，以此將圖像像素點(diǎn)映射到單位圓內(nèi)，完成特征向量數(shù)據(jù)提取。

2.2 基于低秩分解的結(jié)構(gòu)化矩陣低秩表示模型構(gòu)建

在圖像序列的特征向量數(shù)據(jù)提取完畢后，當(dāng)前步態(tài)活動(dòng)圖像序列已經(jīng)完成了初步數(shù)據(jù)篩選，且所有數(shù)據(jù)格式均為向量格式時(shí)，還需充分考慮異常步態(tài)活動(dòng)圖像中數(shù)據(jù)所受的噪聲因素，由此提高識(shí)別精度。導(dǎo)致傳統(tǒng)識(shí)別方法識(shí)別精度較低的核心原因就是缺乏結(jié)構(gòu)化的步態(tài)活動(dòng)圖像序列特征向量數(shù)據(jù)去噪過(guò)程。對(duì)此考慮，完成圖像序列特征向量數(shù)據(jù)的去噪。

在矩陣低秩表示理論中，給定輸入的步態(tài)活動(dòng)圖像特征矩陣F，它可以分解為以下兩個(gè)部分：表示背景區(qū)域的低秩矩陣L和表示當(dāng)前目標(biāo)區(qū)域的稀疏矩陣S。在進(jìn)行序列目標(biāo)檢測(cè)過(guò)程中，用于消解圖像序列噪點(diǎn)，檢測(cè)顯著性目標(biāo)矩陣的低秩表示模型可以轉(zhuǎn)換為非凸優(yōu)化問(wèn)題。

假設(shè)當(dāng)前輸入圖像x被劃分為n個(gè)非重疊像素序列P={P1，P2，…Pn}。從每個(gè)圖像序列中提取當(dāng)前步態(tài)的特征維向量，xi∈R。則x可以有多個(gè)特征向量表示為F={x1，x2，…xn}。設(shè)計(jì)矩陣低秩表示模型，可以將當(dāng)前的異步特征數(shù)據(jù)矩陣進(jìn)行低秩分解，獲取低秩矩陣L也就是當(dāng)前圖像的背景區(qū)域和稀疏矩陣S也就是當(dāng)前異步顯著目標(biāo)。

因此通過(guò)最小化獲取更小矩陣R的核范數(shù)，構(gòu)建結(jié)構(gòu)化矩陣低秩表示模型

D(z)=F(min(L)Pn+λS)

s.t.F=L+S

(3)

其中，S表示當(dāng)前矩陣的核范數(shù)，λ為矩陣奇異值的和值。根據(jù)非結(jié)構(gòu)化的稀疏誘導(dǎo)范數(shù)例對(duì)目標(biāo)區(qū)域的稀疏矩陣S進(jìn)行圖像序列系數(shù)約束，將系數(shù)約束應(yīng)用到結(jié)構(gòu)化矩陣低秩表示模型中，充分完成了圖像序列特征向量數(shù)據(jù)的去噪過(guò)程。

2.3 異常步態(tài)活動(dòng)圖像序列識(shí)別的實(shí)現(xiàn)

對(duì)去噪后的圖像序列特征向量數(shù)據(jù)進(jìn)行Curvelet特征轉(zhuǎn)化，能夠得到異常步態(tài)活動(dòng)圖像序列識(shí)別進(jìn)行關(guān)鍵細(xì)節(jié)處理后的形變約束，根據(jù)形變約束可實(shí)現(xiàn)最終的圖像序列識(shí)別。其具體步驟如下：

利用Curvelet算法選取出異常步態(tài)活動(dòng)圖像序列的待識(shí)別樣本

(4)

其中，Svj為當(dāng)前步態(tài)旋轉(zhuǎn)角度信息，Vk為當(dāng)前轉(zhuǎn)換函數(shù)，ω為結(jié)構(gòu)化系數(shù)，d為超像素對(duì)數(shù)，b為相鄰超像素值的數(shù)據(jù)對(duì)集合。在數(shù)據(jù)轉(zhuǎn)化過(guò)程中，需要填入當(dāng)前步態(tài)空間數(shù)據(jù)位置在笛卡爾空間坐標(biāo)中的系統(tǒng)描述，一般取值范圍為u1>0，u2>p，p表示當(dāng)前空間位置參數(shù)值。則經(jīng)過(guò)Curvelet轉(zhuǎn)換待識(shí)別樣本公式如下

(5)

式中，DE(k，m，l)是Curvelet轉(zhuǎn)換參數(shù)，E屬于動(dòng)態(tài)數(shù)據(jù)系數(shù)，k屬于當(dāng)前步態(tài)相關(guān)數(shù)據(jù)的權(quán)值參數(shù)。想要完成全步態(tài)動(dòng)作的數(shù)據(jù)轉(zhuǎn)換，則需要利用US轉(zhuǎn)換和WS轉(zhuǎn)換。

利用上述兩種轉(zhuǎn)換方式進(jìn)行Curvelet特征轉(zhuǎn)化可以用同一的描述模型，空間坐標(biāo)相互關(guān)系均可以使用P(q2)表示，轉(zhuǎn)換計(jì)算步驟的系數(shù)可以使用P(q2lnq)表示。這兩種轉(zhuǎn)換方法的區(qū)別在于US轉(zhuǎn)換所包含的背景區(qū)域圖像會(huì)存在步態(tài)轉(zhuǎn)角的偏度，其可靠系數(shù)數(shù)值一般較大，而WS轉(zhuǎn)換方式則不會(huì)出現(xiàn)角度偏轉(zhuǎn)具體過(guò)程如下：

其次需要對(duì)全部步態(tài)數(shù)據(jù)相關(guān)數(shù)據(jù)值和圖像坐標(biāo)系統(tǒng)的分類量進(jìn)行區(qū)域化處理，利用以下公式獲取數(shù)值

g=δE(l)X(Vk，u，g)[q1，q2]

(6)

(7)

(8)

因?yàn)楫惓２綉B(tài)的不可避免會(huì)出現(xiàn)形變因素，上述利用Curvelet和2DPCA完成了數(shù)據(jù)的轉(zhuǎn)換，將轉(zhuǎn)換數(shù)據(jù)組成一個(gè)參數(shù)集合，{Yj，zj}表示，其中j=1，2，…，e，Yj是指在動(dòng)態(tài)圖像序列中，序列號(hào)是j圖像的實(shí)際系數(shù)，如果zj的實(shí)際取值是1，那么代表該圖像的序列為特征序列，反之則不是。根據(jù)3D渲染依靠數(shù)據(jù)系數(shù)排列可以劃分為紅色約束區(qū)域和綠色約束區(qū)域，制定特征數(shù)據(jù)，輸入對(duì)當(dāng)前數(shù)據(jù)進(jìn)行圖像的SVW處理，將步態(tài)關(guān)鍵點(diǎn)轉(zhuǎn)換為坐標(biāo)系統(tǒng)點(diǎn)，獲取關(guān)鍵細(xì)節(jié)特征，理想平面圖像的數(shù)據(jù)參數(shù)，其求解出的圖像序列識(shí)別值如下

(9)

將上述參數(shù)作為圖像數(shù)據(jù)的衡量標(biāo)準(zhǔn)，從而獲取數(shù)據(jù)約束

zj=[X，γ(Yj)-c]-ψj>1

(10)

其中，ψ>0，j=1，2，…e，最終可以求出理想的異常步態(tài)活動(dòng)圖像序列識(shí)別函數(shù)如下

(11)

綜上所述，通過(guò)實(shí)現(xiàn)當(dāng)前異常步態(tài)活動(dòng)圖像序列的關(guān)鍵特點(diǎn)和去噪處理，即可提取點(diǎn)空間坐標(biāo)參數(shù)內(nèi)積，完成圖像序列的識(shí)別。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證基于低秩分解的異常步態(tài)活動(dòng)圖像序列識(shí)別方法的有效性，進(jìn)行仿真測(cè)試。在當(dāng)前異常步態(tài)活動(dòng)圖像序列特征數(shù)據(jù)集MSR ACTION3D_0.1行為數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集共包括20種步態(tài)行為數(shù)據(jù)，每種行為數(shù)據(jù)均由5位表演者表演2次所取得平均值。為了保證序列數(shù)據(jù)識(shí)別的公平性，實(shí)驗(yàn)設(shè)置與文獻(xiàn)中的數(shù)據(jù)方法完全相同，數(shù)據(jù)集中一般作為訓(xùn)練樣本，一般作為測(cè)試樣本。采用以往所最長(zhǎng)用的超法向量特征參數(shù)作為參數(shù)設(shè)置，其中字典D中的數(shù)據(jù)值為100，正參數(shù)取值為0.17。圖2給出了實(shí)驗(yàn)原始圖像。根據(jù)圖1所示的歷史軌跡圖像進(jìn)行如下測(cè)試實(shí)驗(yàn)。

圖1 原始?xì)v史軌跡圖像

選取文獻(xiàn)[3]方法、文獻(xiàn)[4]方法與所提方法進(jìn)行對(duì)比實(shí)驗(yàn)，測(cè)試方法的識(shí)別精度。圖像序列特征向量數(shù)據(jù)的識(shí)別率直接影響識(shí)別精度，識(shí)別率越高，識(shí)別精度越高。經(jīng)過(guò)實(shí)驗(yàn)，得到測(cè)試對(duì)比結(jié)果如圖2所示：

圖2 三種不同方法的識(shí)別率對(duì)比結(jié)果

根據(jù)圖2數(shù)據(jù)可知，文獻(xiàn)[3]方法的圖像序列特征向量數(shù)據(jù)的識(shí)別率約為45%，最大識(shí)別率為58%；文獻(xiàn)[4]方法的圖像序列特征向量數(shù)據(jù)的識(shí)別率約為23%，最大識(shí)別率為35%；所提方法的圖像序列特征向量數(shù)據(jù)的識(shí)別率約為90%，最大識(shí)別率為96%。對(duì)比實(shí)驗(yàn)結(jié)果得出，所提方法的識(shí)別率近乎是文獻(xiàn)[3]方法和文獻(xiàn)[4]方法識(shí)別率的一倍。充分說(shuō)明所提方法的識(shí)別率更高，識(shí)別精度更高，具有優(yōu)越性。

所提方法中基于Zermike矩的圖像序列特征提取這一步驟，其提取準(zhǔn)確度對(duì)整個(gè)方法的識(shí)別精度起到?jīng)Q定性的作用。為此，分別對(duì)文獻(xiàn)[3]方法、文獻(xiàn)[4]方法和所提方法的序列提取準(zhǔn)確度進(jìn)行測(cè)試，得到三種不同方法的對(duì)比結(jié)果如圖3所示。

圖3 三種不同方法序列提取準(zhǔn)確度對(duì)比

根據(jù)圖3中的數(shù)據(jù)可以分析出，采用文獻(xiàn)[3]方法對(duì)圖像序列進(jìn)行提取，在第10次實(shí)驗(yàn)時(shí)出現(xiàn)最大提取準(zhǔn)確度為58%，10次實(shí)驗(yàn)的平均序列提取準(zhǔn)確度約為40%；采用文獻(xiàn)[4]方法對(duì)圖像序列進(jìn)行提取，也是在第10次實(shí)驗(yàn)時(shí)出現(xiàn)最大提取準(zhǔn)確度為61%，10次實(shí)驗(yàn)的平均序列提取準(zhǔn)確度約為45%；采用所提方法對(duì)圖像序列進(jìn)行提取，依然是在第10次實(shí)驗(yàn)時(shí)出現(xiàn)最大提取準(zhǔn)確度為80%，10次實(shí)驗(yàn)的平均序列提取準(zhǔn)確度約為76%。對(duì)比三種不同方法的序列提取準(zhǔn)確度可得出，所提方法的圖像序列提取準(zhǔn)確度遠(yuǎn)遠(yuǎn)高于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的序列提取準(zhǔn)確度，說(shuō)明所提方法的識(shí)別過(guò)程具有更準(zhǔn)確地步驟基礎(chǔ)，驗(yàn)證出所提方法的識(shí)別精度更高。這是由于本文方法在選取序列特征時(shí)，選擇Zernike矩識(shí)別像素點(diǎn)矩函數(shù)特征，選擇并提取圖像序列有效特征，排除無(wú)效圖像序列特征的干擾，一定程度上提升了序列數(shù)據(jù)提取的準(zhǔn)確度。

所提方法構(gòu)建的結(jié)構(gòu)化矩陣低秩表示模型主要用于解決圖像序列特征向量數(shù)據(jù)的噪聲問(wèn)題，以信噪比為測(cè)試指標(biāo)，分別測(cè)試文獻(xiàn)[3]方法、文獻(xiàn)[4]方法和所提方法的去噪效果。得到對(duì)比結(jié)果如圖4所示。

圖4 三種不同方法的信噪比對(duì)比結(jié)果

分析圖4結(jié)果得出，文獻(xiàn)[3]方法和文獻(xiàn)[4]方法在模型去噪的100s時(shí)間內(nèi)，信噪比大幅度變化，從1dB低至0.05dB，在90s時(shí)再緩慢上升到1dB。所提方法的信噪比則較為穩(wěn)定，只在40s到70s時(shí)，出現(xiàn)了一次1dB，整體上穩(wěn)定在0.02dB。對(duì)比結(jié)果可看出，所提方法信噪比最穩(wěn)定，去噪效果最理想。

4 結(jié)束語(yǔ)

基于低秩分解的異常步態(tài)活動(dòng)圖像序列識(shí)別方法，在經(jīng)過(guò)仿真驗(yàn)證得出，其序列向量數(shù)據(jù)的識(shí)別率可高達(dá)90%，識(shí)別精度高，且去噪效果好。但未對(duì)所提方法的識(shí)別效率進(jìn)行測(cè)試，接下來(lái)會(huì)對(duì)識(shí)別效率進(jìn)行深入研究。