基于路徑簽名的改進時空圖卷積網(wǎng)絡(luò)*

趙 藝

(倫敦大學(xué)學(xué)院數(shù)學(xué)學(xué)院，倫敦 WC1E 6 BT)

1 引言

手勢是人機交互的一種方式，也是人類日常交流的重要方式。手勢識別是指利用計算機來分析和識別手勢，它是人機交互、智能駕駛等領(lǐng)域的一個熱門話題。根據(jù)是否需要時間序列信息，手勢識別方法可以分為靜態(tài)手勢識別和動態(tài)手勢識別。在日常生活中，人與人之間的手勢交流大多涉及動態(tài)手勢，因此動態(tài)識別具有較強的實用性。隨著硬件技術(shù)的飛速發(fā)展，動態(tài)識別方法越來越受到人們的重視。此外，由于手勢本身的多樣性和差異性，動態(tài)手勢識別仍然是人工智能領(lǐng)域一個具有挑戰(zhàn)性的研究方向。

現(xiàn)有的動態(tài)手勢識別方法一般分為2類:基于圖像的方法[1,2]和基于骨骼的方法。第1類方法通過提取圖像的特征來進行分類識別。例如，Iwai等人[3]使用一個有顏色的手套結(jié)合決策樹來進行手勢識別。隨著手勢估計[4,5]的發(fā)展以及深度傳感器的引入，研究人員可以更容易地獲得關(guān)節(jié)的精確坐標(biāo)，因此促進了基于骨骼信息的動態(tài)手勢識別的研究。骨骼數(shù)據(jù)對光照和遮擋的變化具有魯棒性，可以避免圖像的運動模糊。因此，基于骨骼的動態(tài)手勢識別已經(jīng)成為一個活躍的研究方向。大多數(shù)基于骨骼的手勢識別方法可以分為傳統(tǒng)特征設(shè)計的方法和深度學(xué)習(xí)方法。傳統(tǒng)的手勢識別方法需要對輸入的手勢圖像進行預(yù)處理以提取光流，并據(jù)此來提取多種圖像特征，最后再編碼并通過機器學(xué)習(xí)來進行分類。深度學(xué)習(xí)則有效解決了手動構(gòu)造特征這一難點，它可以從數(shù)據(jù)中自適應(yīng)地學(xué)習(xí)特征的分布，而避免了復(fù)雜的手動計算。一些研究使用卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)[6,7]和遞歸神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)[8],還有一些研究將CNN與LSTM(Long Short-Term Memory)[9]相結(jié)合。但是，在大多數(shù)基于深度學(xué)習(xí)的方法中，將骨骼數(shù)據(jù)表示為一維或二維向量并不能很好地表達(dá)出骨架之間的結(jié)構(gòu)化信息，骨骼的空間結(jié)構(gòu)和時間動態(tài)沒有得到很好的利用，因此很難很好地識別視頻數(shù)據(jù)。

最近，人們越來越關(guān)注到骨骼拓?fù)浣Y(jié)構(gòu)之間的關(guān)系，圖卷積網(wǎng)絡(luò)可以很好地表征這層關(guān)系，所以時空圖卷積網(wǎng)絡(luò) ST-GCN(Spatial Temporal Graph Convolutional Network)[10]隨之被提出。ST-GCN的提出者首先基于圖卷積網(wǎng)絡(luò)GCN(Graph Convolutional Network)對骨骼數(shù)據(jù)進行建模，然后在相鄰幀的相關(guān)節(jié)點之間構(gòu)建時序關(guān)系，提出了一種時空圖卷積模塊來搭建分類器。然而ST-GCN中的GCN在描述非骨骼連接的關(guān)節(jié)關(guān)系方面有所欠缺，時間卷積網(wǎng)絡(luò)TCN(Temporal Convolutional Network)在描述時間信息方面存在不足。手工構(gòu)建的非骨骼連接可以強化節(jié)點之間的信息交流，粗糙路徑簽名是一種有效的表示序列數(shù)據(jù)信息的方法，利用路徑簽名可以從時間序列數(shù)據(jù)中提取重要特征。路徑簽名與原始數(shù)據(jù)是一種一一對應(yīng)的關(guān)系，它在理論上是無窮維的，但由于高階信息呈階乘衰減O(n！)，所以在實際使用中均使用截斷簽名。Graham[11]使用路徑簽名特征作為CNN特征映射，解決了大規(guī)模在線手寫字符識別問題，顯著提高了在線字符識別的精度。Yang等[12]利用路徑簽名特征，取得了良好的手寫識別效果。因此，為了解決時空圖卷積網(wǎng)絡(luò)對空間和時間信息描述不足的問題，本文在目前流行的時空圖卷積網(wǎng)絡(luò)的基礎(chǔ)上，重新設(shè)計了GCN的關(guān)節(jié)鄰接矩陣，得到改進時空圖卷積網(wǎng)絡(luò)SIT-GCN(Spatial Improved Temporal Graph Convolutional Network),并結(jié)合路徑簽名理論，提出了一種精確、高效、魯棒的基于路徑簽名的改進時空圖卷積網(wǎng)絡(luò)SSIT-GCN(Signature Spatial Improved Temporal Graph Convolutional Network)，并將該網(wǎng)絡(luò)應(yīng)用于基于骨骼的動態(tài)手勢識別。

2 時空圖卷積網(wǎng)絡(luò)

2.1 圖卷積網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)用來提取歐幾里德數(shù)據(jù)的特征，對于非歐幾里德數(shù)據(jù)的特征提取(例如圖)，可以使用一種新的網(wǎng)絡(luò)——圖卷積網(wǎng)絡(luò)GCN。GCN設(shè)計了一種從圖數(shù)據(jù)中提取特征的方法，可以直接作用于圖并直接使用其結(jié)構(gòu)信息，因此可以將提取的特征用于節(jié)點分類、圖分類等。GCN和CNN之間的區(qū)別在于用于更新節(jié)點特征的卷積層。到目前為止，圖卷積層有很多種，下面介紹其中一種。

假設(shè)圖數(shù)據(jù)有v個節(jié)點，每個節(jié)點都有C個特征，數(shù)據(jù)是維數(shù)為v*C的矩陣X。所有節(jié)點之間的關(guān)系將形成維數(shù)為v*v的矩陣A，也稱為鄰接矩陣。X和A是第1個圖卷積層的輸入,在每個圖卷積層中，對每個節(jié)點的鄰居節(jié)點都進行一次卷積操作。這樣，該節(jié)點的特征將根據(jù)卷積結(jié)果進行更新，然后應(yīng)用激活函數(shù)獲取輸出數(shù)據(jù)。每通過一個圖卷積層后，圖上所有節(jié)點的特征如式(1)所示:

(1)

2.2 時空圖卷積網(wǎng)絡(luò)

與普通的圖卷積網(wǎng)絡(luò)把每一幀的骨骼視為一個圖不同，時空圖卷積網(wǎng)絡(luò)是把整個視頻視為一個完整的時空圖，應(yīng)用GCN單元和TCN單元同時學(xué)習(xí)空間和時間特性，這使得用統(tǒng)一的網(wǎng)絡(luò)來分析手勢成為可能。

首先介紹如何利用輸入的節(jié)點序列構(gòu)造一個時空圖。用G表示圖，用V表示一組頂點，在時空圖中V如式(2)所示：

V={Vti∣t=1,…,T;i=1,…,v}

(2)

其中，節(jié)點Vti上的特征向量是第t幀第i個關(guān)節(jié)的坐標(biāo)向量。用E表示關(guān)節(jié)的邊，E分為第1子集和第2子集2部分，第1子集是每一幀中骨骼自然連接的索引，第2子集是每個節(jié)點連續(xù)幀的連接索引，第1子集和第2子集分別如式(3)和式(4)所示：

ES={VtiVtj∣(i,j)∈H}

(3)

EF={VtiV(t+1)i}

(4)

其中，H是自然連接的人體關(guān)節(jié)的集合。

下面簡單介紹時空圖卷積網(wǎng)絡(luò)中使用的GCN和TCN。GCN用于了解空間中相鄰關(guān)節(jié)的局部特征。本文用基于劃分規(guī)則的卷積定義代替原來的GCN，即將A分成3個部分A1、A2和A3,它們分別表示向心運動、離心運動和靜止的動作特性，每一部分都具有相同的參數(shù)。TCN用于獲取關(guān)節(jié)隨時間變化的局部特征，實質(zhì)由一維卷積和殘差跳層組成。

2.3 時空圖卷積網(wǎng)絡(luò)在手勢識別上的不足

時空圖卷積網(wǎng)絡(luò)在構(gòu)建時存在幾個缺點，目前已有不少關(guān)于空間上的改進。本文在空間上的修改較少，著重于時序上的優(yōu)化。首先，GCN中使用的鄰接矩陣只考慮了相鄰關(guān)節(jié)點的連接信息，但一階的GCN感受野十分有限，必須設(shè)計足夠深的網(wǎng)絡(luò)才可以學(xué)習(xí)到拓?fù)渚嚯x較遠(yuǎn)的節(jié)點之間的空間信息，這不利于網(wǎng)絡(luò)的收斂。其次，若TCN感受野大則不易提取小目標(biāo)的特征，若TCN感受野小則不利于得到結(jié)構(gòu)化的高級語義信息。最后，TCN本質(zhì)上是時間軸上的一維卷積，而卷積會導(dǎo)致尺寸不斷縮小，但在實際使用中，為了方便計算固定尺寸，每層網(wǎng)絡(luò)都需要填充0，導(dǎo)致引入了大量干擾信息。

3 基于路徑簽名的改進時空圖卷積網(wǎng)絡(luò)SSIT-GCN

3.1 路徑簽名

路徑簽名是一個將原始路徑信息轉(zhuǎn)換為一組實數(shù)集合的函數(shù)，集合中的每一個實數(shù)代表著原始路徑的某一個幾何特征。首先給出路徑簽名的定義。

(5)

其中，對于任意的整數(shù)k≥1和下標(biāo)集合

如式(6)所示：

(6)

由logS(X)a,b表示的路徑X的日志簽名是路徑X簽名的對數(shù)。日志簽名以更緊湊的方式攜帶與簽名相同的信息，因為簽名中存在一些冗余?？梢詫⑷罩竞灻暈楹灻膲嚎s版本。與簽名本身一樣，日志簽名也分為多個階數(shù)。

路徑簽名可以唯一地決定路徑，它包含了路徑的所有信息，每一階簽名都代表路徑明確的幾何意義，例如一階路徑代表路徑的一維增量。

簽名變換也可以用于機器學(xué)習(xí)問題，因為它能夠從數(shù)據(jù)中提取特征。可以通過將原始數(shù)據(jù)嵌入到一條路徑中并計算該路徑的簽名來獲得有關(guān)原始數(shù)據(jù)的重要信息。

3.2 簽名層預(yù)處理

本文使用不相交窗口和滑動窗口方法求得路徑簽名特征，作為SIT-GCN網(wǎng)絡(luò)的輸入，對數(shù)據(jù)信息進行預(yù)處理，以解決傳統(tǒng)時空圖卷積網(wǎng)絡(luò)對時間信息描述不足的問題。下面介紹簽名層預(yù)處理的具體方法。假設(shè)有N個視頻，一個視頻中有M個人，每個人有v個節(jié)點。C維屬性代表每幀中的每個節(jié)點的特征，就骨骼數(shù)據(jù)而言，這些C維屬性是二維或三維坐標(biāo)。假設(shè)每個視頻都有T幀，因此每個人的節(jié)點都可以表示為坐標(biāo)張量的時間序列。用X表示輸入數(shù)據(jù)，則X是(N,M,T,v,C)的張量，對于視頻的骨骼數(shù)據(jù)，X是(N,M,T,v,2)的張量或(N,M,T,v,3)的張量。

將視頻中每個人的每個節(jié)點的所有幀對應(yīng)的坐標(biāo)看作一個時間序列，然后通過線性插值將其轉(zhuǎn)換為路徑。路徑的維數(shù)是每個節(jié)點的特征數(shù)量。然后，本文以2種方式拆分此路徑：不相交的窗口和滑動的窗口。用l表示窗口大小，即拆分后的每條路徑中所含的視頻幀數(shù)，用P表示路徑數(shù)。生成路徑后，視頻的骨骼數(shù)據(jù)被劃分為N×M×v×P條路徑。

當(dāng)使用不相交窗口方法生成路徑時，對于每個視頻中每個人的每個節(jié)點，從第1幀開始，以該節(jié)點坐標(biāo)及相鄰L-1幀的節(jié)點坐標(biāo)作為第1條路徑。然后將1+l幀作為下一條路徑的起點，以該節(jié)點坐標(biāo)及相鄰L-1幀的節(jié)點坐標(biāo)作為第2條路徑，然后從1+l+l幀開始，將相鄰的L-1幀的節(jié)點坐標(biāo)到此節(jié)點的路徑作為第3條路徑，依此類推。如果最后一條路徑中的視頻幀數(shù)少于l，則將幀數(shù)設(shè)置為等于其剩余視頻幀數(shù)。在這種情況下，路徑數(shù)如式(7)所示：

(7)

當(dāng)使用滑動窗口方法生成路徑時，對于每個視頻中每個人的每個節(jié)點，從第1幀開始，以該節(jié)點坐標(biāo)及相鄰L-1幀的節(jié)點坐標(biāo)作為第1條路徑。然后將第2幀作為第2條路徑的起點，以該節(jié)點坐標(biāo)及相鄰L-1幀的節(jié)點坐標(biāo)作為第2條路徑。然后從第3幀開始，將該節(jié)點坐標(biāo)及與之相鄰L-1幀的節(jié)點坐標(biāo)作為第3條路徑，依此類推，即相鄰路徑之間的步長僅為1。如果使用滑動窗口生成路徑，則P=T-l+1。

生成路徑后，為每條路徑計算相應(yīng)的m級簽名或日志簽名特征。這里，m表示簽名或日志簽名的截斷級別。然后，對于每條路徑中第1幀之后的每一幀，簽名層都將丟棄節(jié)點的原始C維特征。因此，每條路徑的新特征由2部分組成：一部分為與該路徑第1幀相對應(yīng)的節(jié)點的原始C維特征，另一部分為該路徑的簽名或日志簽名特征。這樣，在簽名層中計算了生成路徑的簽名特征，這些特征可以很好地代表路徑的幾何特征，通過這樣的方法可以將原始數(shù)據(jù)轉(zhuǎn)換成一組可用于機器學(xué)習(xí)任務(wù)的特征。

為了得到更精確的簽名層參數(shù)，本文設(shè)置K-折交叉驗證的K=4，即將訓(xùn)練數(shù)據(jù)分為4組，其中1組組成驗證集，其他3組組成訓(xùn)練集。

3.3 網(wǎng)絡(luò)架構(gòu)

改進時空圖卷積網(wǎng)絡(luò)SIT-GCN應(yīng)用GCN單元和TCN單元同時學(xué)習(xí)空間和時間特性，并在TCN前引入1×1的卷積核與TCN的結(jié)果相乘來自動調(diào)節(jié)權(quán)重。圖1給出了SIT-GCN中的GCN單元、TCN單元與ST-GCN中的GCN單元、TCN單元的對比。在圖1中假設(shè)時間卷積核的大小為w×1，在圖1a所示的TCN單元的“輸出的數(shù)據(jù)”一行中，填充的黑色代表數(shù)據(jù)為0。ST-GCN中GCN的鄰接矩陣只包含相鄰的骨骼節(jié)點的連接，而SIT-GCN的GCN重新設(shè)計了非物理意義上的關(guān)節(jié)相連，手工構(gòu)建了如圖1b所示的非骨骼鏈接。相比ST-GCN，SIT-GCN的TCN將補零操作改為反卷積操作以還原輸入的尺寸。

Figure 1 Comparison between SIT-GCN and ST-GCN

基于路徑簽名的改進時空圖卷積網(wǎng)絡(luò)，本文首先通過簽名層對輸入數(shù)據(jù)進行預(yù)處理，提取數(shù)據(jù)的簽名或日志簽名特征，然后將其輸入到SIT-GCN中。圖2顯示了該網(wǎng)絡(luò)架構(gòu)，其中拆分路徑的方法分別為不相交窗口和滑動窗口。

Figure 2 Structure of signature spatial improved temporal graph convolutional network

在圖2中，在“劃分連續(xù)路徑”一列中，①表示劃分路徑的方法為不相交窗口，②表示劃分路徑的方法為滑動窗口。在“基于坐標(biāo)信息的骨骼序列”和“基于簽名特征的骨骼序列”中，每個圓和正方形均代表圖中的1個節(jié)點，圓代表節(jié)點的位置信息，正方形代表簽名層提取的特征。盡管節(jié)點在骨骼圖上具有相同的位置，但前者只代表了位置信息，而后者代表了位置和局部動態(tài)變化信息?！癝IT-GCN”的結(jié)構(gòu)如圖1b所示。

與ST-GCN相比，SSIT-GCN可以有效地解決ST-GCN在構(gòu)建時存在的缺點：(1)重新考慮GCN的鄰接矩陣：GCN中的鄰接矩陣只包含相鄰關(guān)節(jié)點的連接信息，只有網(wǎng)絡(luò)層足夠深時，才能學(xué)習(xí)到遠(yuǎn)端關(guān)節(jié)之間的語義信息。本文充分考慮了身體各節(jié)點之間的連接能力，綜合人體行動時的動作協(xié)調(diào)性，在部分非關(guān)節(jié)點之間建立了連通關(guān)系，有利于讓信息在更淺的網(wǎng)絡(luò)層得到交互，例如2個手掌之間的連線。(2)引入簽名層對數(shù)據(jù)進行預(yù)處理，以有效提取骨骼數(shù)據(jù)局部的動態(tài)特征：TCN使用固定的大感受野，缺乏對時序中包含的多級語義信息進行建模的靈活性和能力。本文利用數(shù)字簽名提前提取局部特征，可以使TCN在保持大感受野的同時不會損失太多的細(xì)節(jié)。雖然理論上深層網(wǎng)絡(luò)也可以學(xué)習(xí)到這些信息，但本文的預(yù)處理一方面可以降低數(shù)據(jù)的維度，加速網(wǎng)絡(luò)的訓(xùn)練效率，使網(wǎng)絡(luò)收斂更穩(wěn)定；另一方面可以減少網(wǎng)絡(luò)的擬合壓力，有效減少時空模塊的數(shù)量，減小過擬合。(3)使用反卷積來代替補零：充分保留并盡量還原時間信號，避免引入額外信息。(4)在TCN模塊之后設(shè)計了1×1的卷積模塊與TCN的結(jié)果相乘，在保證特征圖尺度不變的的情況下提高非線性特性，增強了網(wǎng)絡(luò)的表達(dá)能力。

4 實驗與結(jié)果分析

4.1 實驗預(yù)分析

在實驗中，首先將視頻的骨骼數(shù)據(jù)輸入簽名層，本節(jié)使用3.2節(jié)中介紹的符號，即l表示窗口大小，P表示路徑數(shù)，m表示簽名的截斷級別。在輸入SIT-GCN之前，對數(shù)據(jù)進行歸一化處理，即對不同幀中關(guān)節(jié)的位置特征進行歸一化處理。由于本文的數(shù)據(jù)量較少，所以本文設(shè)計的網(wǎng)絡(luò)由3層SIT-GCN單元和1層全連接層組成，每層SIT-GCN的輸出通道數(shù)為64，128和256，實際使用時請結(jié)合需求自行調(diào)整。最終輸出被發(fā)送到SoftMax分類器，以獲得預(yù)測。

4.2 Chalearn2013

本文在Chalearn2013數(shù)據(jù)集上進行了實驗，以調(diào)查和評估SSIT-GCN的性能。在手勢識別實驗中，本文僅使用Chalearn2013中的骨骼數(shù)據(jù)。首先，通過減去樣本中所有關(guān)節(jié)的平均位置來對該數(shù)據(jù)進行預(yù)處理。然后，通過線性插值和統(tǒng)一采樣對數(shù)據(jù)進行歸一化，并將所有視頻剪輯采樣到39幀。

通過調(diào)整與簽名層有關(guān)的超參數(shù)，選取表現(xiàn)較好的一組，并將其與ST-GCN、基于簽名的ST-GCN、SIT-GCN比較，以表明SSIT-GCN對ST-GCN改進的有效性。結(jié)果如表1所示，可以觀察到SSIT-GCN在準(zhǔn)確性方面優(yōu)于ST-GCN。通過添加簽名層和使用SIT-GCN，其識別精度提高了大約5%。觀察時間消耗可知，雖然SIT-GCN訓(xùn)練時間比ST-GCN的長，但添加簽名層會使訓(xùn)練時間縮短約200 s，SSIT-GCN的訓(xùn)練時間相比ST-GCN的縮短了近50 s。所以，與ST-GCN相比，本文提出的網(wǎng)絡(luò)得到了顯著改進。

Table 1 Comparison of the results of SSIT-GCN and original ST-GCN(Chalearn2013)

接著，對SSIT-GCN與其他網(wǎng)絡(luò)在Chalearn2013數(shù)據(jù)集上的識別結(jié)果進行對比，表2列出了現(xiàn)有手勢識別方法在Chalearn2013上的表現(xiàn)情況。結(jié)果表明,本文提出的網(wǎng)絡(luò)是最好的。

Table 2 Accuracy comparison between SSIT-GCN and other networks

4.3 在其他數(shù)據(jù)集上的表現(xiàn)

本文從NTU-D數(shù)據(jù)集中挑選出15個手勢相關(guān)動作作為數(shù)據(jù)集，以測試本文提出的網(wǎng)絡(luò)訓(xùn)練出來的模型的性能。表3列出了ST-GCN、基于簽名的ST-GCN、SIT-GCN和SSIT-GCN的識別精度和訓(xùn)練時間。

Table 3 Comparison of the results of SSIT-GCN and original ST-GCN(NTU-D)

實驗結(jié)果表明,通過引入簽名和使用SIT-GCN，本文方法識別精度提高了約5.5%，訓(xùn)練時間縮短了50 s,表明本文提出的網(wǎng)絡(luò)具有較好的識別能力和識別速度。

5 結(jié)束語

由于ST-GCN對于骨骼空間遠(yuǎn)端關(guān)節(jié)之間的語義信息學(xué)習(xí)能力有限且對時間序列的時間信息描述能力不足，使得其識別精度較低，訓(xùn)練時間較長，因此本文使用路徑簽名特征進行數(shù)據(jù)預(yù)處理，并改進了時空圖卷積神經(jīng)網(wǎng)絡(luò)，提出了一種有效的基于骨骼信息的動態(tài)手勢識別網(wǎng)絡(luò)——SSIT-GCN。在簽名層中，將骨骼坐標(biāo)時間序列劃分為多條路徑并提取簽名特征，重新設(shè)計GCN的非一階鄰域，以便獲取遠(yuǎn)端關(guān)節(jié)之間的語義信息，并使用反卷積代替補零，避免引入干擾信息，加入1×1卷積核增加網(wǎng)絡(luò)的表達(dá)能力。實驗結(jié)果表明，本文提出的網(wǎng)絡(luò)能有效地捕捉空間結(jié)構(gòu)和時間動態(tài)。與ST-GCN相比，基于該網(wǎng)絡(luò)訓(xùn)練的模型提高了識別精度，并縮短了訓(xùn)練時間。

更進一步的優(yōu)化建議從時間與空間2方面來考慮，空間方面可以更著重關(guān)節(jié)拓?fù)浣Y(jié)構(gòu)的非手動設(shè)計，以及骨骼數(shù)據(jù)的結(jié)構(gòu)化信息(如骨骼的長度和方向)；在時間方面可以嘗試使用當(dāng)下流行的Transformer結(jié)構(gòu)來探索網(wǎng)絡(luò)更好的可能性。