采用Radon變換和二維主成分分析的步態(tài)識(shí)別算法

王科俊，賁晛燁，2，劉麗麗，3

(1.哈爾濱工程大學(xué)自動(dòng)化學(xué)院，黑龍江哈爾濱150001;2.哈爾濱工業(yè)大學(xué)交通科學(xué)與工程學(xué)院，黑龍江哈爾濱150090;3.中國(guó)科學(xué)院沈陽(yáng)計(jì)算技術(shù)研究所有限公司，遼寧沈陽(yáng)110171)

步態(tài)識(shí)別是根據(jù)人們走路姿勢(shì)的不同來(lái)識(shí)別其身份的.由于個(gè)體的身形和運(yùn)動(dòng)行為的特征不同，為通過(guò)人的行走方式來(lái)識(shí)別身份提供了線索.步態(tài)識(shí)別相對(duì)于其他生物特征識(shí)別具有非侵犯性、非接觸性、對(duì)系統(tǒng)分辨率要求不高、可適應(yīng)遠(yuǎn)距離、難以偽裝、受環(huán)境影響小等優(yōu)點(diǎn).步態(tài)識(shí)別在安全監(jiān)控、人機(jī)交互、醫(yī)療診斷等領(lǐng)域具有廣泛的應(yīng)用前景和經(jīng)濟(jì)價(jià)值［1］.因此，步態(tài)是遠(yuǎn)距離身份識(shí)別的最佳首選之一.

自從“911”事件以后，世界各國(guó)加強(qiáng)對(duì)身份認(rèn)證的重視，很多高校和研究機(jī)構(gòu)也展開了遠(yuǎn)距離下的人的檢測(cè)、分類與識(shí)別，例如馬里蘭大學(xué)、麻省理工學(xué)院、卡內(nèi)基梅隆大學(xué)等.國(guó)內(nèi)最早是中科院自動(dòng)化所的王亮等［2］提出了一種人體輪廓解卷提取距離信號(hào)的步態(tài)識(shí)別算法.其后，西安電子科技大學(xué)、西安交大、復(fù)旦大學(xué)、上海交大、南京理工大學(xué)、華中科技大學(xué)和哈爾濱工程大學(xué)等諸多高校都開展了步態(tài)識(shí)別的研究工作.目前步態(tài)識(shí)別方法可以分成3類:二維步態(tài)識(shí)別、三維步態(tài)識(shí)別以及兩者相結(jié)合的方法.二維步態(tài)識(shí)別就是在單攝像機(jī)拍攝的視頻中通過(guò)輪廓提取最低層的信息進(jìn)行分析識(shí)別;而三維步態(tài)識(shí)別方法［3］則通過(guò)多個(gè)攝像機(jī)對(duì)人體三維模型跟蹤，三維重建人體結(jié)構(gòu)，分析關(guān)節(jié)運(yùn)動(dòng)位移來(lái)識(shí)別身份.另外很多研究者著手用Radon變換提取步態(tài)特征.黃鳳崗等人［4］對(duì)下肢進(jìn)行Radon變換，提取運(yùn)動(dòng)角度信息，對(duì)所得到的特征使用經(jīng)典主成分分析(principal component analysis，PCA)后進(jìn)行動(dòng)態(tài)時(shí)間規(guī)整，該方法計(jì)算復(fù)雜，處理速度慢，不適合實(shí)時(shí)的步態(tài)識(shí)別，而且該算法僅僅是在較小的數(shù)據(jù)庫(kù)上做的嘗試.Boulgouris等人［5］也嘗試了Radon變換結(jié)合線性判別分析(linear discriminant analysis，LDA)提取步態(tài)特征.筆者前期也做過(guò)Radon變換結(jié)合經(jīng)典 PCA提取步態(tài)特征的方法［6］，但是由于LDA、PCA總是首先要把二維圖像矩陣轉(zhuǎn)換成一維向量，造成相關(guān)矩陣的維數(shù)較高，特征值、特征向量的獲取很耗時(shí)，而且在文獻(xiàn)［6］也沒(méi)有對(duì)模板構(gòu)造的實(shí)質(zhì)進(jìn)行分析.本文在文獻(xiàn)［6］基礎(chǔ)上改用2DPCA［7］的方法直接對(duì)矩陣降維.首先對(duì)一個(gè)步態(tài)周期內(nèi)的每一幅圖像進(jìn)行Radon變換，再通過(guò)模板構(gòu)造提取步態(tài)特征矩陣，并對(duì)模板構(gòu)造的實(shí)質(zhì)進(jìn)行闡述，最后通過(guò)實(shí)驗(yàn)確定較好的Radon變換參數(shù)和模板構(gòu)造的頻率參數(shù)，得到了Radon變換方法結(jié)合列2DPCA提取步態(tài)特征是比較有效的結(jié)論.

1 步態(tài)序列圖像預(yù)處理

為了提取人體目標(biāo)，首先從原始視頻中提取單幀圖像進(jìn)行灰度變換(如圖1(a));然后逐幀計(jì)算各像素點(diǎn)的中值，作為整個(gè)序列的背景圖像(如圖1(b));最后，采用背景減除法提取人體目標(biāo)(如圖1(c))，用數(shù)學(xué)形態(tài)學(xué)填補(bǔ)二值化圖像的空洞、單連通分析提取人的側(cè)影(如圖1(d)).為了消除圖像大小對(duì)識(shí)別的影響應(yīng)使人體居中，將圖像的大小統(tǒng)一為64 ×64(如圖 1(e))［8］.

圖1 圖像預(yù)處理Fig.1 Image preprocessing

2 步態(tài)特征提取

運(yùn)動(dòng)人體輪廓的寬高比成周期性變化，因此在提取步態(tài)特征只需在一個(gè)周期中進(jìn)行.為了同時(shí)刻畫人身體形狀的靜態(tài)特征和運(yùn)動(dòng)的動(dòng)態(tài)特征，采用Radon變換的方法來(lái)提取步態(tài)特征，2DPCA算法直接對(duì)所得到的特征矩陣進(jìn)行降維處理.

2.1 步態(tài)圖像的Radon變換

設(shè)函數(shù)f(x，y)∈L2(D)在平面D區(qū)域平方可積，則 f(x，y)的 Radon 變換 Rf(ρ，θ)可表示如下:

式中:ρ是點(diǎn)(x，y)的極徑，θ是點(diǎn)(x，y)的極角，有序?qū)崝?shù)對(duì)(ρ，θ)是點(diǎn)(x，y)的極坐標(biāo).

Radon變換的作用就是計(jì)算指定方向上圖像的投影，對(duì)于二元函數(shù)f(x，y)則計(jì)算該函數(shù)在某一方向的線積分.如圖2為步態(tài)圖像的Radon變換結(jié)果.Radon變換后圖像的第1列像素，對(duì)應(yīng)于原始圖像在垂直方向的投影;變換后圖像的正中間的一列像素，對(duì)應(yīng)于原始圖像在水平方向的投影.很明顯，水平方向的投影比垂直方向的投影范圍大，這是因?yàn)槿梭w固有的身形所致.采用Radon變換的方法提取步態(tài)特征的優(yōu)點(diǎn)在于對(duì)前期處理中輪廓邊緣的噪聲點(diǎn)有較強(qiáng)的魯棒性［6］.

圖2 步態(tài)圖像的Radon變換Fig.2 Radon transform of gait image

2.2 步態(tài)周期特征模板

周期序列圖像的特征模板可定義為［9］

式中:Rf(ρ，θ，t)是Radon變換在時(shí)間上的線性插值，Q(ω，t)為加權(quán)函數(shù)，t為時(shí)間.在模板構(gòu)造過(guò)程中，為了同時(shí)刻畫人體運(yùn)動(dòng)中的身體結(jié)構(gòu)特征和動(dòng)態(tài)運(yùn)動(dòng)特征，必須選擇加權(quán)函數(shù)Q(ω，t)中合適的頻率值ω，將周期序列特征映射到一個(gè)特征矩陣中.時(shí)不變因子1+j是人體靜態(tài)結(jié)構(gòu)特征的權(quán)值，時(shí)變因子cos wt+jsin wt是步態(tài)運(yùn)動(dòng)參數(shù)的權(quán)值.

2.3 二維主成分分析(2DPCA)

由于Radon變換得到的步態(tài)特征維數(shù)較高，如果采用經(jīng)典的PCA算法，即使采用奇異值分解的方法來(lái)求相關(guān)矩陣的特征值、特征向量，計(jì)算的數(shù)據(jù)量也依然很大，而2DPCA［10］直接對(duì)矩陣進(jìn)行計(jì)算，計(jì)算量相對(duì)少很多.

考慮一個(gè)大小為m×n的圖像X，Y就是相對(duì)應(yīng)的X到方向?yàn)閣的空間上的投影.

實(shí)際上，w的絕對(duì)值是無(wú)關(guān)緊要的，它僅僅是使Y乘上一個(gè)比例因子，重要的是選擇w的方向.w方向的不同，將使樣本投影后的可分離程度不同，從而直接影響識(shí)別效果.因此，問(wèn)題轉(zhuǎn)化為尋找最好的變換向量w*的問(wèn)題，應(yīng)使所有的樣本投影到w*后，投影樣本的總體散布矩陣最大.投影樣本的總體散布矩陣可以用投影特征向量的協(xié)方差矩陣的跡來(lái)描述.從這種觀點(diǎn)來(lái)看，可以采用下面的準(zhǔn)則:

式中:SY表示訓(xùn)練樣本的投影后特征矩陣的協(xié)方差，tr SY表示SY的跡.協(xié)方差矩陣SY表示如下:

由矩陣的跡是一個(gè)數(shù)的性質(zhì)，有

其中，

Xk(k=1，2，…，M)為第 k幅圖像矩陣，M 為圖像總數(shù)，均值圖像為

因此，式(3)中準(zhǔn)則可表示成:

式中:w是一個(gè)列向量.最大化該準(zhǔn)則的向量w稱為最優(yōu)投影軸.直觀上講，這就意味著投影樣本的總體散布矩陣在圖像矩陣集合均投影到w上后被最大化了.

最優(yōu)投影軸w*是最大化J(w)的列向量，也就是對(duì)應(yīng)于G1的最大特征值的特征向量.一般情況下，只有一個(gè)最優(yōu)投影軸是遠(yuǎn)遠(yuǎn)不夠的，通常需要選擇一組投影軸 w1，w2，…，wd，當(dāng)然，這組投影軸要滿足相互正交的約束條件，同時(shí)也要最大化準(zhǔn)則J(w)，也即

實(shí)際上，最優(yōu)投影向量 w1，w2，…，wd是 G1的前 d個(gè)最大特征值所對(duì)應(yīng)的相互正交的特征向量.

進(jìn)一步分析得

記

則w是根據(jù)圖像列方向計(jì)算得到的投影矩陣.所以稱Y=wTX形式為列2DPCA.

同理，可以得到另外一種行2DPCA形式:

此時(shí)，協(xié)方差矩陣定義為

記

則v是根據(jù)圖像行方向上計(jì)算得到的投影矩陣.

因此，2DPCA分成行、列2個(gè)方向.現(xiàn)在來(lái)討論P(yáng)CA與2DPCA的計(jì)算復(fù)雜度:考慮N個(gè)C類d維(d=m×n)的PCA與2DPCA算法的復(fù)雜度.兩者計(jì)算均值的計(jì)算復(fù)雜度一致為O(Nd);PCA的相關(guān)矩陣的計(jì)算復(fù)雜度為O(Nd2)，2DPCA的行協(xié)方差的計(jì)算復(fù)雜度為O(Nn2m)，2DPCA的列協(xié)方差的計(jì)算復(fù)雜度為O(Nm2n);而計(jì)算它們的特征值、特征向量與矩陣的維數(shù)息息相關(guān)，PCA計(jì)算復(fù)雜度遠(yuǎn)遠(yuǎn)大于2DPCA;在投影時(shí)假設(shè)不進(jìn)行特征向量的舍棄:PCA的計(jì)算復(fù)雜度為O(Nd2)，行2DPCA的計(jì)算復(fù)雜度為O(Nnd)，列2DPCA的計(jì)算復(fù)雜度為O(Nmd).綜上所述，PCA整體的計(jì)算復(fù)雜度遠(yuǎn)遠(yuǎn)大于2DPCA.

3 步態(tài)的訓(xùn)練與識(shí)別

本文采用中科院自動(dòng)化所提供的目標(biāo)運(yùn)動(dòng)方向與攝像機(jī)光軸的方向成90°的CASIA步態(tài)數(shù)據(jù)庫(kù)，圖像庫(kù)里總共124人.實(shí)驗(yàn)分為訓(xùn)練和識(shí)別2部分，每人前3個(gè)步態(tài)序列作為訓(xùn)練集，后3個(gè)序列作為測(cè)試集.在訓(xùn)練過(guò)程中，對(duì)一個(gè)步態(tài)周期內(nèi)的單幀圖像進(jìn)行Radon變換，然后通過(guò)特征模板構(gòu)造，提取整個(gè)步態(tài)周期的特征，再通過(guò)2DPCA進(jìn)行最小均方誤差意義下的最優(yōu)數(shù)據(jù)壓縮，訓(xùn)練得到2DPCA投影矩陣.在識(shí)別過(guò)程中，對(duì)待測(cè)試序列的一個(gè)步態(tài)周期內(nèi)的單幀圖像進(jìn)行Radon變換，然后通過(guò)特征模板構(gòu)造提取步態(tài)特征，根據(jù)訓(xùn)練好的2DPCA投影矩陣將所提取出來(lái)的特征從高維空間映射轉(zhuǎn)換到低維空間，最后采用最近鄰分類器將測(cè)試樣本分到其所屬類中.其中2DPCA計(jì)算特征矩陣Bi、Bj的歐式距離為

為了確定所提出方法的合理參數(shù)，做了3組實(shí)驗(yàn):通過(guò)實(shí)驗(yàn)1研究行或列2DPCA算法對(duì)于Radon變換后提取的特征進(jìn)行降維的有效性，通過(guò)實(shí)驗(yàn)2研究構(gòu)造模板ω值的選取對(duì)識(shí)別性能的影響，通過(guò)實(shí)驗(yàn)3研究Radon變換中θ的選取對(duì)識(shí)別性能的影響.

3.1 行2DPCA與列2DPCA算法

根據(jù)文獻(xiàn)［5］取 ω =π/2T.式(1)中，Radon變換中角度參數(shù)θ從0°～180°(180°除外)每隔3°取一次，此時(shí)經(jīng)Radon變換提取的步態(tài)特征維數(shù)為60×95維.行2DPCA、列2DPCA方法的識(shí)別率與所降得的維數(shù)之間的關(guān)系如圖3所示.由實(shí)驗(yàn)結(jié)果可以看出本文方法在這樣的參數(shù)下，列2DPCA比行2DPCA有效，列2DPCA在列的維數(shù)降至為21時(shí)最好的識(shí)別率為0.795 7.

圖3 行、列所降的維數(shù)與識(shí)別率的關(guān)系Fig.3 Relation between dimension reduced of rows ＆ columns and recognition accuracy

3.2 ω值的選取

Radon 變換中θ從0°～180°(180°除外)每隔3°取一次，定義壓縮率為投影后得到的特征維數(shù)與原始特征的維數(shù)之比.在ω值分別為π/16T，2π/16T，…，16π/16T時(shí)，分別采用行2DPCA和列2DPCA方法進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果如表1所示.

表1 ω值的選取對(duì)識(shí)別性能的影響Table 1 Different ω-value and recognition accuracy

當(dāng)ω=5π/16T時(shí)有最好的識(shí)別率為0.836 0.其次是 ω 值為5π/16T、6π/16T、7π/16T和8π/16T.該值的選取與人行走的速度有關(guān)，人在正常步速時(shí)選取上述的5個(gè)ω時(shí)應(yīng)該能獲得較好的識(shí)別效果.實(shí)際上，式(2)相當(dāng)于傅里葉變換中的基函數(shù)，而且式(1)是“擬傅里葉變換”，只不過(guò)Q(ω，t)的模值不恒為1.

Q(ω，t)的幅頻特性如圖4所示，其中圖4(b)為圖4(a)的局部放大圖.令θ=ωt，圖4(b)為ω=5π/16T時(shí)的Q(ω，t)的幅頻特性，那么當(dāng) ω 值越大，類似頻譜的頻帶越窄;反之，當(dāng)ω值越小，類似頻譜的頻帶越寬.頻帶適中時(shí)，識(shí)別效果較好.如表1所示，比較行、列2種2DPCA算法的識(shí)別率，總體來(lái)說(shuō)，進(jìn)行該 Radon變換特征的數(shù)據(jù)壓縮時(shí)，列2DPCA好于行2DPCA方法.因此下面的實(shí)驗(yàn)直接采用列2DPCA.

圖4 模值與輻角主值特性圖Fig.4 Characteristic graph of module value and argument principal value

3.3 θ的選取

在 CPU 3.06 GHz、內(nèi)存 1 GB，VC++6.0 與Matlab 7.0混合環(huán)境下實(shí)驗(yàn).現(xiàn)在選擇Radon變換中參數(shù) θ，θ∈［0°，180°)，為了能夠獲得最好的識(shí)別效果，考慮到180的質(zhì)因數(shù)為2、3和5，因此θ所隔的角度為 4°、6°、9°、10°、12°、15°…，所提取到的特征只可能是 θ每隔 2°、3°、5°所提取到的特征的一部分.為了盡可能多地提取Radon變換的特征，在θ的間隔分別為2°、3°和5°上實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示.由于步態(tài)數(shù)據(jù)庫(kù)有124×6個(gè)樣本，當(dāng)θ從0°～180°(180°除外)每隔 3°取一次，共取 60 個(gè) θ，總的Radon變換的特征提取時(shí)間為9 min，平均到每個(gè)樣本的時(shí)間大約為0.73 s;若θ每隔2°取一次，共取90個(gè)θ，總的時(shí)間為16 min，平均到每個(gè)樣本的時(shí)間大約為1.37 s;若 θ每隔5°取一次，共取36個(gè) θ，總的時(shí)間為7 min，平均到每個(gè)樣本的時(shí)間大約為0.56 s.當(dāng)樣本足夠多時(shí)，這種特征提取所耗費(fèi)的時(shí)間差異就相當(dāng)可觀.

表2 Radon變換中θ的選取對(duì)識(shí)別性能的影響Table 2 Different θ-value in Radon transform and recognition accuracy

由表2可以看出:最佳的識(shí)別率為0.836 0，出現(xiàn)在ω=5π/16T且θ的間隔為3°和5°.Radon變換時(shí)，θ的間隔為2°的特征維數(shù)多于θ間隔為3°和5°的，其識(shí)別率不及后兩者，原因是θ間隔為3°和5°包含對(duì)識(shí)別有用的信息多.綜合特征提取的時(shí)間以及識(shí)別性能:確定選取θ間隔為5°，特征模板的頻率為ω=5π/16T.

最后，在Radon變換參數(shù)θ間隔為5°、特征構(gòu)造模板中ω=5π/16T的參數(shù)下，對(duì)所提出的算法與文獻(xiàn)［11］提出的基于關(guān)鍵幀的傅里葉描述子(KFD)方法進(jìn)行比較，在同樣的數(shù)據(jù)環(huán)境下實(shí)驗(yàn)，文獻(xiàn)［11］的識(shí)別率僅僅為0.75，并且該方法的計(jì)算復(fù)雜度與所提出的算法的計(jì)算復(fù)雜度相當(dāng)，都是比較容易實(shí)現(xiàn)的方法，計(jì)算量都比較小.

4 結(jié)束語(yǔ)

本文通過(guò)對(duì)步態(tài)序列圖像進(jìn)行Radon變換，構(gòu)造一個(gè)步態(tài)周期的特征模板，它同時(shí)刻畫了人體的靜態(tài)結(jié)構(gòu)信息和步態(tài)運(yùn)動(dòng)特征，將個(gè)體的步態(tài)特征用一幅圖像來(lái)表達(dá)，直接對(duì)這個(gè)圖像矩陣進(jìn)行特征壓縮，克服了傳統(tǒng)PCA的不足，該方法簡(jiǎn)單易行，而且獲得了令人鼓舞的識(shí)別效果.盡管如此，該方法是基于圖形投影得到的特征，故受視角變化、行人衣著以及背包的影響較大.因此尋找減小外套變化以及視角變化對(duì)識(shí)別性能的影響的方法是下一步的工作重點(diǎn).

致 謝

中科院自動(dòng)化所為試驗(yàn)提供了免費(fèi)的CASIA步態(tài)數(shù)據(jù)庫(kù)，在此對(duì)中科院自動(dòng)化所表示衷心的感謝.

［1］王科俊，侯本博.步態(tài)識(shí)別綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2007，12(7):1152-1160.WANG Kejun，HOU Benbo.A survey of gait recognition［J］.Journal of Image and Graphics，2007，12(7):1152-1160.

［2］WANG Liang，TAN Tieniu.Automatic gait recognition based on statistial shape analysis［J］.IEEE Transcations on Image Processing，2003，12(9):1120-1131.

［3］URTASUN R，F(xiàn)UA P.3D tracking for gait characterization and recognition［C］//Proceedings of the 6th International Conference on Automatic Face and Gesture Recognition.Seoul，Korea，2004:17-22.

［4］黃鳳崗，韓雪花.基于Radon變換的特征提取在步態(tài)識(shí)別中的應(yīng)用［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2007，28(3):301-304.HUANG Fenggang，HAN Xuehua.Feature extraction based on Radon transform for gait recognition［J］.Journal of Harbin Engineering University，2007，28(3):301-304.

［5］BOULGOURIS N V，CHI Z X.Gait recognition using Radon transform and linear discriminant analysis［J］.IEEE Transation on Image Processing，2007，16(3):731-740.

［6］王科俊，陳薇.基于Radon變換的步態(tài)識(shí)別系統(tǒng)［C］//全國(guó)模式識(shí)別學(xué)術(shù)會(huì)議.北京，2007:223-228.WANG Kejun，CHEN Wei.Feature extraction based on Radon transform for gait recognition［C］//Chinese Conference on Pattern Recognition.Beijing，2007:223-228.

［7］YANG Jian，ZHANG DAVIED，F(xiàn)RANGI A F，et al.Twodimensional PCA:a new approach to appearance-based face representation and recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(1):131-137.

［8］王科俊，賁晛燁，趙玥.步態(tài)識(shí)別中的步態(tài)檢測(cè)與序列預(yù)處理［J］.自動(dòng)化技術(shù)與應(yīng)用，2009，28(8):69-72，79.WANG Kejun，BEN Xianye，Zhao Yue.Gait detection and sequence preprocessing for gait recognition［J］.Techniques of Automation and Applications，2009，28(8):69-72，79.

［9］王科俊，賁晛燁，劉麗麗.基于Fan-Beam映射的步態(tài)識(shí)別算法［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2008，40(增刊):151-155.WANG Kejun，BEN Xianye，LIU Lili.Gait recognition based on fan-beam projection［J］.Journal of Harbin Institute of Technology，2008，40(Suppl.):151-155.

［10］王科俊，賁晛燁，孟瑋，等.基于廣義主成分分析的步態(tài)識(shí)別算法研究［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2009，30(9):1022-1028.WANG Kejun，BEN Xianye，MENG Wei，et al.Research on a gait recognition algorithm based on generalized principal component analysis［J］.Journal of Harbin Engineering University，2009，30(9):1022-1028.

［11］YU Shiqi，WANG Liang，HUANG Kaiqi，et al.Gait analysis for human identification in frequency domain［C］//Proceedings of 3rd International Conference on Image and Graphics.Hong Kong，China，2004:282-285.