雙分支特征融合網(wǎng)絡(luò)的步態(tài)識別算法

徐碩，鄭鋒，唐俊*，鮑文霞

1.安徽大學(xué)電子信息工程學(xué)院，合肥 230601；2.南方科技大學(xué)工學(xué)院，深圳 518055

0 引 言

步態(tài)識別旨在通過行人行走的模式判斷其身份，具有遠距離、易采集、不易模仿和偽裝等優(yōu)點(賁晛燁 等，2012)，在視頻監(jiān)控、公共安全等領(lǐng)域有著廣闊的應(yīng)用前景。步態(tài)識別方法分為基于外觀的方法和基于模型的方法?；谕庥^的方法使用輪廓圖像作為輸入數(shù)據(jù)并從中提取步態(tài)特征。輪廓圖像的優(yōu)點是易于獲取和處理，且去除了背景和人體紋理信息等干擾因素，更專注于步態(tài)?；谀Ｐ偷姆椒ㄏ韧ㄟ^輸入數(shù)據(jù)對步態(tài)進行建模，如關(guān)節(jié)角度、運動軌跡和姿態(tài)等，再通過模型提取步態(tài)特征。

目前，步態(tài)識別尤其是基于深度學(xué)習(xí)的方法大多采用基于外觀的方法?；谕庥^的方法一般面臨兩個難點，一是輪廓圖像在不同視角下差異較大；二是輪廓圖像在不同的行走狀態(tài)下差異較大，如攜帶背包、衣物變化等干擾。對于視角的差異，Yu等人(2019)利用生成對抗網(wǎng)絡(luò)將各個視角的輪廓圖像都轉(zhuǎn)換至相同的視角，再提取特征以提高對視角變化的魯棒性。Wang等人(2019)利用動態(tài)視覺傳感器獲取數(shù)據(jù)并通過運動一致性去除噪聲，再使用卷積神經(jīng)網(wǎng)絡(luò)提取步態(tài)特征。Zhang等人(2019a)結(jié)合同步態(tài)和跨步態(tài)兩種網(wǎng)絡(luò)的優(yōu)勢，設(shè)計了一種聯(lián)合網(wǎng)絡(luò)提取步態(tài)特征。Ben 等人(2019a，2020)針對跨視角問題提出了一系列步態(tài)識別算法，如提出一種通用張量表示框架從跨視角步態(tài)張量數(shù)據(jù)中進行耦合度量學(xué)習(xí)、提出耦合雙線性判別投影算法以跨視角對齊步態(tài)圖像以及提出了耦合區(qū)塊對齊算法。對于行走狀態(tài)的差異，大多數(shù)方法都不做針對性處理，僅靠卷積神經(jīng)網(wǎng)絡(luò)自身提取盡可能與行走狀態(tài)無關(guān)的步態(tài)特征。由于輸入數(shù)據(jù)為輪廓圖像序列，因此時序特征的融合也是研究的關(guān)注點。Wu等人(2017)利用傳統(tǒng)算法，先將輪廓圖像序列融合為一幅特征模板圖像，再將該模板送入卷積網(wǎng)絡(luò)提取特征，并針對不同場景設(shè)計了不同的圖像預(yù)處理方法和網(wǎng)絡(luò)結(jié)構(gòu)，該方法的優(yōu)點是計算簡單，僅需要從一幅步態(tài)模板圖像中提取特征。Wolf等人(2016)利用3D卷積網(wǎng)絡(luò)從輪廓圖像序列中提取時空特征，能夠更充分地融合時序上的信息，但計算量較大且3D卷積網(wǎng)絡(luò)對序列的長度有限制。Chao等人(2019)設(shè)計新的卷積網(wǎng)絡(luò)從輪廓圖像序列的每幅圖像中提取空間特征，再通過時序池化和特征融合的方法得到時空步態(tài)特征，該方法網(wǎng)絡(luò)結(jié)構(gòu)簡單且融合效果良好。在此基礎(chǔ)上，Chao等人(2021)提出新的特征融合方法并改進訓(xùn)練策略，進一步提高算法的識別準(zhǔn)確率；Zhang等人(2019b)利用自動編碼器將序列中的步態(tài)特征解耦為外觀特征和姿態(tài)特征，再用長短時記憶網(wǎng)絡(luò)融合時序信息生成步態(tài)特征。

與基于外觀的方法相比，基于模型的方法較少。由于早期方法沒有建立合適的模型，導(dǎo)致識別準(zhǔn)確率與基于外觀的方法相比有很大差距。另一方面早期方法構(gòu)建的模型僅適用于嚴(yán)格條件限制下的場景，因此泛化性能較差。隨著姿態(tài)估計算法的進步，可以利用已有的姿態(tài)估計器獲取較為準(zhǔn)確的姿態(tài)信息，這為基于模型的方法提供了新的思路。Liao等人(2017)利用姿態(tài)估計方法提取2D姿態(tài)關(guān)鍵點，并使用卷積網(wǎng)絡(luò)提取步態(tài)特征；之后進一步使用3D姿態(tài)關(guān)鍵點(Liao等,2020)，提高了算法對視角場景下的準(zhǔn)確率，同時結(jié)合人體姿態(tài)先驗如上下肢的運動關(guān)系、運動軌跡等提取步態(tài)特征。此外，也有部分工作利用深度相機、雷達等獲取3D姿態(tài)骨架并從中提取步態(tài)特征(Kastaniotis等，2015；Sadeghzadehyazdi等，2019)。相比之下，雖然這些方法獲取的姿態(tài)信息更加準(zhǔn)確，但需要額外的硬件設(shè)備，不便于實際應(yīng)用。

綜上所述，基于外觀的方法和基于模型的方法各有優(yōu)缺點?；谕庥^的方法效果較好且步驟簡單，但易受外界因素干擾，如人體外觀變化、視角變化等，這些因素導(dǎo)致輪廓圖像改變，進而影響識別準(zhǔn)確率；基于模型的方法對外觀變化更加魯棒，但在建模過程中丟棄了外觀信息，導(dǎo)致可用信息減少，而且姿態(tài)準(zhǔn)確性受姿態(tài)估計算法的限制，識別準(zhǔn)確率與基于外觀的方法仍有一定差距?；诖耍诤贤庥^與模型兩種方法有助于進一步提高步態(tài)識別的準(zhǔn)確率。目前，與此相似的研究是多模態(tài)特征融合(Vaezi Joze等，2020)，由于外觀和模型兩種方法的網(wǎng)絡(luò)結(jié)構(gòu)和特征維度有較大差異，常見的特征融合方法如特征相加、張量積等并不能直接用于步態(tài)識別算法。針對以上問題，本文設(shè)計了一種基于特征融合的步態(tài)識別算法，使用雙分支網(wǎng)絡(luò)，兩條分支分別用于提取外觀特征和姿態(tài)特征，最后利用特征融合模塊，將兩種特征自適應(yīng)地融合以發(fā)揮兩種特征間的互補性。本文算法的創(chuàng)新之處在于：1)設(shè)計了一種雙分支卷積神經(jīng)網(wǎng)絡(luò)，利用外觀和姿態(tài)兩種數(shù)據(jù)分別提取外觀特征和姿態(tài)特征，并進一步融合以得到更準(zhǔn)確更魯棒的步態(tài)特征，從而達到更高的準(zhǔn)確率；2)設(shè)計了一種新的特征融合模塊，能夠有效利用外觀特征和姿態(tài)特征間的互補性，且適用于兩種特征維度差距較大的情形；3)在CASIA-B(Institute of Automation,Chinese Academy of Sciences,Gait Dataset B)數(shù)據(jù)集上與主流方法進行實驗對比，驗證了算法的有效性。

1 本文網(wǎng)絡(luò)模型

本文算法的總體結(jié)構(gòu)如圖1所示，輸入數(shù)據(jù)為原始RGB視頻序列，通過背景分割算法得到輪廓圖像序列，通過姿態(tài)估計算法獲得姿態(tài)關(guān)鍵點序列。輪廓圖像數(shù)據(jù)通過外觀分支網(wǎng)絡(luò)得到外觀特征，姿態(tài)關(guān)鍵點數(shù)據(jù)通過姿態(tài)分支網(wǎng)絡(luò)得到姿態(tài)特征。之后兩種特征通過特征融合模塊得到最后的步態(tài)特征。在測試時將步態(tài)識別看做檢索問題，根據(jù)樣本間步態(tài)特征的距離判斷其相似性。

圖1 本文網(wǎng)絡(luò)框架圖Fig.1 The pipeline of the our network

1.1 數(shù)據(jù)預(yù)處理

(1)

對于輪廓圖像，首先按照邊界去除無用的背景，只保留包含輪廓圖像的區(qū)域；再將輪廓圖像保持寬高比例不變的同時將高度縮放到64像素，并將圖像的寬度左右平均填充到44像素，最后對所有輪廓圖像進行標(biāo)準(zhǔn)化處理。

1.2 外觀分支網(wǎng)絡(luò)

本文算法采用GaitSet(Chao等，2019)作為外觀分支網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)主干由6層卷積層組成，輸入輪廓圖像序列后得到特征圖序列。該網(wǎng)絡(luò)的分支用于融合網(wǎng)絡(luò)淺層與深層的特征，圖2中的池化操作表示在時序上對序列進行池化，⊕表示對應(yīng)元素相加，因此分支網(wǎng)絡(luò)的另一作用是融合時序信息。經(jīng)過主干與分支兩條路徑后得到兩種特征圖，為了便于后期的特征融合，添加了拼接操作將兩種特征圖在通道維度上拼接，經(jīng)過池化層下采樣和全連接層上采樣后得到外觀特征。

圖2 外觀分支網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of the appearance branch network

1.3 姿態(tài)分支網(wǎng)絡(luò)

圖3 姿態(tài)分支網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of the pose branch network

1.4 特征融合模塊

輸入數(shù)據(jù)經(jīng)過外觀分支網(wǎng)絡(luò)和姿態(tài)分支網(wǎng)絡(luò)后，分別得到外觀特征圖fA和姿態(tài)特征圖fP。其中，fA∈Rh1×w1×c1，fP∈Rh2×w2×c2。h1、w1、c1和h2、w2、c2分別表示外觀特征圖和姿態(tài)特征圖的高度、寬度和通道數(shù)。外觀特征圖fA和姿態(tài)特征圖fP經(jīng)過池化融合后得到最終的外觀特征fa和姿態(tài)特征fp。特征融合常見的方法有相加、加權(quán)平均、張量積和拼接等，在本文算法的雙分支網(wǎng)絡(luò)中，由于外觀分支網(wǎng)絡(luò)與姿態(tài)分支網(wǎng)絡(luò)結(jié)構(gòu)不同，特征維度有很大差距。在實施中，外觀特征fa∈R15 872×1，而姿態(tài)特征fp∈R1 024×1，因此相加、加權(quán)平均并不適用于該算法的網(wǎng)絡(luò)，同時外觀特征維度較高導(dǎo)致張量積的計算量很大。相比之下，特征拼接的融合方法簡單且適用于該算法的雙分支網(wǎng)絡(luò)，但僅使用特征拼接不能充分利用兩種特征的互補性。

受MMTM(multi-modal transfer module)(Vaezi Joze 等，2020)利用SE(squeeze excitation)模塊處理多模態(tài)模型中不同尺寸特征圖的啟發(fā)，本文算法設(shè)計了一種基于SE模塊(Hu 等，2018)的特征融合模塊(squeeze-and-excitation feature fusion module，SEFM)，結(jié)構(gòu)圖如圖4(a)所示。SEFM模塊使用SE模塊的結(jié)構(gòu)以融合外觀和姿態(tài)兩種特征。具體融合方法為：

1)對外觀特征圖fA和姿態(tài)特征圖fP分別池化下采樣，得到全局外觀特征f′a∈R1×1×c1和全局姿態(tài)特征f′p∈R1×1×c2，將兩種特征拼接后得到拼接特征f′c∈R1×1×(c1+c2)，這里采用了全局最大池化將特征圖的空間信息壓縮到通道維度中，以便于融合不同尺寸的特征圖。

2)將拼接特征f′c映射到低維空間,得到融合特征f′m，該過程可表示為

f′m=Wf′c+b

(2)

式中，W表示權(quán)重，b表示偏差；f′m=R1×1×ce，ce表示映射后的特征通道數(shù)，該過程稱為壓縮(squeeze)，算法實施中ce=(c1+c2)/2。

3)將融合特征分別映射到全局外觀特征空間和全局姿態(tài)特征空間，該過程稱為激勵(excitation)，得到外觀特征圖和姿態(tài)特征圖的激勵值ea和ep，可表示為

ea=σ(Wf′m+b),ep=σ(Wf′m+b)

(3)

式中，σ(·)表示sigmoid函數(shù)；ea∈R1×1×c1，ep∈R1×1×c2；兩次映射的權(quán)重和偏差值不共享，訓(xùn)練網(wǎng)絡(luò)時各自獨立訓(xùn)練。

4)將激勵值ea和ep分別看做外觀特征圖fA和姿態(tài)特征圖fP通道上的權(quán)重，將其擴展到與對應(yīng)特征圖相同的尺寸后再通過哈達瑪積計算加權(quán)后的特征圖。該過程與SE模塊相似，可看做是通道維度上的注意力機制，不同之處在于SEFM有兩種激勵輸出。最后將加權(quán)后的特征圖與原始特征圖相加，得到新的外觀特征圖f′A和姿態(tài)特征圖f′P。

5)分別對外觀特征圖f′A和姿態(tài)特征圖f′P做池化下采樣，將所得特征展開為1維向量后，拼接得到最終的步態(tài)特征f。

從整體結(jié)構(gòu)上看，SEFM以特征拼接為基礎(chǔ)融合兩種特征的信息，并通過壓縮—激勵過程學(xué)習(xí)外觀特征和姿態(tài)特征的權(quán)重，以達到自適應(yīng)融合的目的。SE模塊在通道維度上進行加權(quán)，這種注意力機制使模型更多關(guān)注有效特征并抑制不重要特征。而SEFM特征融合模塊可看做在姿態(tài)和外觀兩種特征上加權(quán)，首先將兩種特征在空間上壓縮并拼接得到融合特征，壓縮單元接收融合特征并進一步生成一個全局的聯(lián)合表示，激勵單元則根據(jù)這個聯(lián)合表示強調(diào)姿態(tài)和外觀兩種特征中更重要的特征。

為了研究外觀特征和姿態(tài)特征對融合結(jié)果的影響，在原始模塊的基礎(chǔ)上對激勵過程進行改動，得到另外兩種融合模塊，分別如圖4(b)和圖4(c)所示，稱為SEFM-A和SEFM-P。與原始模塊不同的是，SEFM-A模塊在激勵階段只計算外觀特征圖的激勵值，即將姿態(tài)特征融入外觀特征，姿態(tài)特征保持不變；而SEFM-P模塊在激勵階段只計算姿態(tài)特征圖的激勵值，即將外觀特征融入姿態(tài)特征，外觀特征保持不變。

圖4 3種不同的特征融合模塊結(jié)構(gòu)Fig.4 Architecture of three different feature fusion modules((a)SEFM；(b)SEFM-A；(c)SEFM-P)

在訓(xùn)練過程中，雙分支網(wǎng)絡(luò)使用了兩種損失函數(shù)，分別為三元組損失Ltriple和交叉熵損失LCE。其中三元組損失作用于融合后的步態(tài)特征，而交叉熵損失作用于融合前的姿態(tài)特征，總的損失為

L=Ltriple+λLCE

(4)

式中，λ為權(quán)重參數(shù)，算法實施中取λ=2。

2 實 驗

為了評估雙分支特征融合網(wǎng)絡(luò)的步態(tài)識別算法的有效性，在CASIA-B數(shù)據(jù)集上進行實驗，實驗中的模型均使用Pytorch框架實現(xiàn)。

2.1 數(shù)據(jù)集

2.2 實驗細節(jié)

訓(xùn)練時，每次迭代從訓(xùn)練樣本里隨機挑選16位行人，再從每個行人的數(shù)據(jù)中隨機挑選8個序列，因此批尺寸為128；之后從每個序列中隨機選取連續(xù)的30幀作為輸入數(shù)據(jù)，不足30幀的序列重復(fù)至30幀。所有網(wǎng)絡(luò)均采用Adam優(yōu)化器，姿態(tài)分支網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.000 2，外觀分支網(wǎng)絡(luò)和特征融合模塊的初始學(xué)習(xí)率為0.000 1；在跨視角設(shè)置中，共迭代60 000次，并在第45 000次時將學(xué)習(xí)率衰減至各自的0.1倍；在不同行走狀態(tài)設(shè)置中，共迭代20 000次；三元組損失的閾值距離設(shè)為0.2。

2.3 實驗結(jié)果

表1是雙分支網(wǎng)絡(luò)與不同的特征融合方式的測試結(jié)果。前3行是雙分支網(wǎng)絡(luò)中單個分支網(wǎng)絡(luò)的準(zhǔn)確率，后4行是雙分支網(wǎng)絡(luò)結(jié)合不同的特征融合模塊的結(jié)果。

表1 不同特征融合方法的Rank-1準(zhǔn)確率Table 1 Rank-1 accuracies of different feature fusion methods /%

從表1可以看出，1)基于外觀的方法在準(zhǔn)確率上遠高于基于模型的方法，因為一方面姿態(tài)數(shù)據(jù)本身包含的信息少于輪廓圖像，另一方面受姿態(tài)提取算法的限制，獲得的姿態(tài)關(guān)鍵點并不完全準(zhǔn)確。但經(jīng)過特征拼接后，得到的準(zhǔn)確率優(yōu)于外觀分支網(wǎng)絡(luò)，證明了外觀特征和姿態(tài)特征存在互補性，二者融合后得到的步態(tài)特征更加準(zhǔn)確。2)添加MMTM、SEFM和SEFM-A共3種特征融合模塊后最終的準(zhǔn)確率急劇降低，甚至低于外觀分支網(wǎng)絡(luò)；而添加SEFM-P特征融合模塊后準(zhǔn)確率提升。導(dǎo)致該結(jié)果的原因仍在于姿態(tài)數(shù)據(jù)，由于相機角度限制，行人在行走過程中存在自遮擋現(xiàn)象，此外原始RGB視頻的分辨率較低，以及姿態(tài)估計算法的性能限制，這些因素共同導(dǎo)致了姿態(tài)數(shù)據(jù)中存在部分噪聲。因此在特征融合的過程中，如果將姿態(tài)特征融入外觀特征，反而會因引入噪聲，導(dǎo)致外觀特征也不準(zhǔn)確。在幾種特征融合方法中，MMTM和SEFM將姿態(tài)特征和外觀特征相互融合；SEFM-A將姿態(tài)特征融入外觀特征中，所以這3種融合模塊都導(dǎo)致準(zhǔn)確率降低。而SEFM-P將外觀特征融入姿態(tài)特征，同時保持外觀特征不變，避免了外觀特征受噪聲污染；特征拼接也同樣保持了外觀特征不變，因此這兩種特征融合方法都提高了準(zhǔn)確率。根據(jù)準(zhǔn)確率對比，可以看出本文算法設(shè)計的幾種SEFM模塊都優(yōu)于MMTM模塊，而且SEFM-P達到了最高的準(zhǔn)確率，證明了本文算法中特征融合模塊的有效性。

表2和表3分別列舉了跨視角設(shè)置下基于特征融合的算法和近年主流的步態(tài)識別算法在CASIA-B數(shù)據(jù)集上采用MT和LT兩種劃分方式的準(zhǔn)確率。其中PoseGait(Liao 等，2020)和JointsGait(Li 等，2020)是基于姿態(tài)模型的方法；GaitSet(Chao等，2019)、CNN-LB(CNN-matching local features at the bottom layer)(Wu等，2017)和GaitNet-pre(Zhang 等，2019b)是基于外觀的方法，使用輪廓圖像作為輸入；EV-Gait(event-based gait recognition)(Wang 等，2019)也是基于外觀的方法，但其輸入數(shù)據(jù)為事件圖像(event image)。結(jié)合表1，本文算法的外觀分支網(wǎng)絡(luò)采用與GaitSet算法相同的網(wǎng)絡(luò)結(jié)構(gòu)。在MT實驗設(shè)置下，3種步行狀態(tài)的平均準(zhǔn)確率分別為91.4%、83.3%和66.7%，而GaitSet(MT)的平均準(zhǔn)確率分別為92.0%、84.3%和62.5%。這是因為本文算法在實驗實施中調(diào)整了序列數(shù)據(jù)的采樣方式，在略微降低NM、BG狀態(tài)準(zhǔn)確率的條件下，大幅提高了CL狀態(tài)的準(zhǔn)確率。與另一種基于姿態(tài)的方法PoseGait相比，本文算法的姿態(tài)分支網(wǎng)絡(luò)的準(zhǔn)確率較低。這是因為考慮到提取姿態(tài)的計算復(fù)雜度，本文算法采用了2D姿態(tài)數(shù)據(jù)，而PoseGait采用的3D姿態(tài)數(shù)據(jù)在跨視角時更有優(yōu)勢，因此具有更高的準(zhǔn)確率。在結(jié)合姿態(tài)分支網(wǎng)絡(luò)、外觀分支網(wǎng)絡(luò)和特征融合模塊SEFM-P后，本文算法的雙分支網(wǎng)絡(luò)準(zhǔn)確率進一步提升，分別為93.4%、84.8%和70.9%。相比于GaitSet(MT)，在3種行走狀態(tài)下的準(zhǔn)確率分別提升了1.4%、0.5%和8.4%。在LT實驗設(shè)置中，本文算法同樣優(yōu)于CNN-LB、GaitSet(LT)、GaitNet-pre和EV-Gait等方法，達到了最高的準(zhǔn)確率。需要說明的是，與外觀分支網(wǎng)絡(luò)GaitSet相比，本文算法在CL行走狀態(tài)下提升較大，說明本文算法對衣物變化等外觀干擾因素具有更好的魯棒性；但在NM和BG行走狀態(tài)下提升較小，這是因為姿態(tài)分支網(wǎng)絡(luò)的準(zhǔn)確率遠低于外觀分支網(wǎng)絡(luò)，限制了特征融合的效果。根據(jù)表2的結(jié)果，基于姿態(tài)的算法如PoseGait、JointsGait等，其準(zhǔn)確率遠低于其他幾種基于外觀的算法，這也是目前基于姿態(tài)的算法面臨的主要問題。

表2 跨視角設(shè)置下不同算法在CASIA-B數(shù)據(jù)集上采用MT方式時的平均Rank-1準(zhǔn)確率Table 2 Rank-1 accuracies of different methods on the CASIA-B dataset with MT under different views /%

表3 跨視角設(shè)置下不同算法在CASIA-B數(shù)據(jù)集上采用LT方式時的平均Rank-1準(zhǔn)確率Table 3 Rank-1 accuracies of different methods on the CASIA-B dataset with LT under different views /%

表4為不同行走狀態(tài)設(shè)置下的實驗結(jié)果?？梢钥闯?，與JUCNet(joint unique-gait and cross-gait network)(Zhang等，2019a)和CNN-LB相比，本文算法在CL行走狀態(tài)下的平均準(zhǔn)確率為90.0%，遠高于CNN-LB算法的62.5%。在BG行走狀態(tài)下的平均準(zhǔn)確率為94.9%，優(yōu)于JUCNet算法的93.2%。GaitNet-pre算法通過特征解耦提取與行走狀態(tài)無關(guān)的步態(tài)特征，在CL行走狀態(tài)下達到了89.8%的平均準(zhǔn)確率，與本文算法的90.0%相差不大，但在BG行走條件下的準(zhǔn)確率低于本文算法。與外觀分支網(wǎng)絡(luò)GaitSet算法相比，本文算法在BG和CL行走狀態(tài)下的準(zhǔn)確率分別提高了1.6%和6.7%，說明SEFM-P特征融合模塊能夠有效融合外觀和姿態(tài)兩種特征，且融合姿態(tài)特征后能夠提升算法對背包、衣物等外觀變化的魯棒性。

表4 不同行走狀態(tài)設(shè)置下不同算法在CASIA-B數(shù)據(jù)集上的平均Rank-1準(zhǔn)確率Table 4 Rank-1 accuracies of different methods on the CASIA-B dataset under different walk conditions /%

3 結(jié) 論

步態(tài)識別算法包括基于外觀的方法和基于模型的方法兩類，結(jié)合兩類方法的優(yōu)點，設(shè)計了一種雙分支特征融合網(wǎng)絡(luò)的步態(tài)識別算法。該算法通過兩條分支網(wǎng)絡(luò)分別提取外觀特征和姿態(tài)特征，再利用特征融合模塊融合兩種特征以得到更準(zhǔn)確的步態(tài)表示，適用于能夠同時獲得輪廓圖像和人體姿態(tài)的場景。CASIA-B數(shù)據(jù)集上的實驗結(jié)果表明，該算法與目前主流的算法相比具有優(yōu)勢，達到了更高的準(zhǔn)確率。與其他步態(tài)識別算法相比，該算法能夠利用更豐富的步態(tài)信息，對于衣物外觀變化這類干擾因素具有更好的魯棒性；與其他特征融合方法相比，該算法在融合兩種特征的同時，能夠避免外觀特征受姿態(tài)特征中的噪聲影響，得到更準(zhǔn)確的特征。盡管該算法在準(zhǔn)確率上有所提升，但對姿態(tài)數(shù)據(jù)的處理上還存在不足。首先，該算法沒有對姿態(tài)數(shù)據(jù)中的噪聲進行處理，導(dǎo)致姿態(tài)特征的準(zhǔn)確性較低；其次，該算法使用兩條分支網(wǎng)絡(luò)分別提取特征，效率有所降低。在未來的工作中，將圍繞以上問題進一步改進。一方面提高網(wǎng)絡(luò)對姿態(tài)數(shù)據(jù)中噪聲的魯棒性，以得到更準(zhǔn)確的步態(tài)表示；另一方面優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提高算法效率使其滿足實際應(yīng)用的需求。