面向視頻中人體行為識別的復合型深度神經(jīng)網(wǎng)絡

黃 敏 尚瑞欣 錢惠敏

視頻人體行為識別研究旨在識別并描述視頻中人體的運動模式并進一步分析行為暗含的情感和目的.此研究在視頻檢索、人機交互、醫(yī)療保健、智能安防等領域具有廣泛的應用前景.隨著深度學習在計算機視覺研究中的發(fā)展，基于深度學習的人體行為識別方法因其良好的泛化性能，逐漸替代基于手工設計特征的人體行為識別方法和基于淺層機器學習的人體行為識別方法[1-2].

隨著視頻傳輸技術的發(fā)展和各類視頻軟件的出現(xiàn)，用于人體行為識別的視頻數(shù)據(jù)也越來越多，小型、中型、大型和超大型數(shù)據(jù)集相繼出現(xiàn).例如，小型數(shù)據(jù)集HMDB51(Human Motion Database)[3]包含51類行為,視頻量不過萬條；中型數(shù)據(jù)集UCF101(Uni-versity of Central Florida)[4]包含101類行為,視頻量有1萬多條；大型數(shù)據(jù)集Kinetics-400[5]包含400類行為及30萬多條視頻；超大型數(shù)據(jù)集IG-65M[6]、Sports-1M[7]等包含高達百萬級的視頻量.而這些視頻數(shù)據(jù)中的人體行為的多樣性，如人體的自遮擋和被遮擋、動態(tài)背景、視角和光照變化等，使視頻中的人體行為識別仍面臨諸多挑戰(zhàn).

在基于深度學習的人體行為識別研究中，目前最常用的網(wǎng)絡架構為三維卷積神經(jīng)網(wǎng)絡(簡稱3D網(wǎng)絡)[8-12]和雙流卷積神經(jīng)網(wǎng)絡(簡稱雙流網(wǎng)絡)[13-17].3D網(wǎng)絡旨在從三維視頻數(shù)據(jù)(含有多幀圖像的視頻段)中學習人體行為的特征表示，識別行為類型.但是，隨著視頻數(shù)據(jù)的增加，往往需要更深的3D網(wǎng)絡學習人體行為的特征表示，從而使網(wǎng)絡因參數(shù)量過大而難以訓練.針對此問題，Carreira等[9]提出I3D(Two-Stream Inflated 3D ConvNet)，將遷移學習引入模型的預訓練中，在ImageNet數(shù)據(jù)集[18]上預訓練的二維模型的權重膨脹填充到三維模型中相應的權重位置，使三維卷積網(wǎng)絡無需從頭開始訓練，降低網(wǎng)絡的訓練難度.Qiu等[11]提出P3D(Pseudo-3D Residual Net)網(wǎng)絡，將三維卷積核分解為1個1×3×3的空間卷積核和1個3×1×1的時間卷積核，減少網(wǎng)絡參數(shù)量，降低網(wǎng)絡的訓練難度.Tran等[12]提出R(2+1)D(ResNets with (2+1)D Convolutions)，將3D卷積核進行時空分解，為了保證模型的表征能力，引入一個超參數(shù)，使分解前后的網(wǎng)絡參數(shù)量不變，實驗證實即使參數(shù)量相同，時空分解后的R(2+1)D比R3D(3D ResNets)[8]更容易訓練.

在早期人體行為視頻數(shù)據(jù)集不足時，學者們已開始廣泛研究雙流網(wǎng)絡.雙流網(wǎng)絡旨在從視頻數(shù)據(jù)的兩個部分(即空間流和時間流)中分別實現(xiàn)人體行為的表示學習和識別，并融合兩部分的結果，實現(xiàn)最終的人體行為識別.研究多關注于網(wǎng)絡結構、網(wǎng)絡輸入和融合方式的改進.I3D[9]采用淺層的CNN-M(Medium Convolutional Neural Network)架構[18]，將視頻分為時間流和空間流分別進行訓練，再將時間流和空間流在最后一層進行均值融合,得到最終識別結果.Wang等[14]以更深層的VGG-16(Visual Geo-metry Group, VGG)[19]作為雙流網(wǎng)絡的主干網(wǎng)絡.Feichtenhofer等[15]選擇ResNet[15]架構作為主干網(wǎng)絡.Wang等[16]提出以Inception[20]為主干網(wǎng)絡的TSN(Temporal Segment Networks)，并證明更深的網(wǎng)絡通?？色@得更高的人體行為識別精度.Feichten-hofer等[17]全面研究雙流網(wǎng)絡的融合方式，發(fā)現(xiàn)在網(wǎng)絡的最后一個卷積層進行特征融合的結果更優(yōu)，并將其稱為早期融合.但是，雙流網(wǎng)絡中時間流數(shù)據(jù)(通常為光流圖像序列)的生成通常需要獨立于雙流網(wǎng)絡提前獲得，一方面使雙流網(wǎng)絡不能實現(xiàn)端到端的訓練和預測，另一方面，由于光流圖像序列的生成帶來巨大的計算開銷，影響雙流網(wǎng)絡的時效性.

針對此問題，學者們相繼提出基于深度學習的光流提取網(wǎng)絡.Dosovitskiy等[21]提出FlowNet(Lear-ning Optical Flow with Convolutional Network)，由兩個結構略有不同的子網(wǎng)絡FlowNetS (FlowNet Sim-ple)和FlowNetC(FlowNet Correlation)構成.由于缺乏訓練數(shù)據(jù)，使用椅子的渲染模型對自然圖像進行分層，生成FlyingChairs數(shù)據(jù)集.雖然訓練數(shù)據(jù)缺乏導致FlowNet與傳統(tǒng)方法相比無明顯優(yōu)勢，但被證實采用端到端回歸架構實現(xiàn)光流估計的可能性.Ilg等[22]堆疊多個FlowNet子網(wǎng)絡,提出FlowNet2.0，精度比FlowNet提高近50%.但是，F(xiàn)lowNet2.0的網(wǎng)絡結構較深，參數(shù)量較大，預測耗時較長.針對這些問題，Sun等[23]引入金字塔結構，改進FlowNet，提出PWC-Net(CNNs for Optical Flow Using Pyramid, Warping and Cost Volume)，模型尺寸僅為FlowNet2.0的1/17，預測速度提高一倍，預測精度更高.但根據(jù)文獻[2]，在基于雙流架構的人體行為識別研究中，基于PWC-Net的研究并不多.

因此，針對3D網(wǎng)絡和雙流網(wǎng)絡各自的優(yōu)缺點，本文提出結合雙流網(wǎng)絡架構和三維網(wǎng)絡架構的復合型深度神經(jīng)網(wǎng)絡——雙流-I(2+1)D卷積神經(jīng)網(wǎng)絡(Two-Stream Network with Improved (2+1)D CNN, TN-I(2+1)D CNN).在雙流架構的時間流子網(wǎng)絡和空間流子網(wǎng)絡部分均采用改進的R(2+1)D卷積神經(jīng)網(wǎng)絡(Improve R(2+1)D CNN, I(2+1)D CNN)，并基于時間流子網(wǎng)絡的PWC-Net實現(xiàn)端到端的人體行為識別.I(2+1)D CNN以34層殘差型結構作為主干網(wǎng)絡，在網(wǎng)絡的所有批規(guī)范化層(BatchNorm, BN)之后添加失活層,應對方差漂移問題.同時，采用Leaky ReLU激活函數(shù),避免神經(jīng)元權重不更新問題.在網(wǎng)絡訓練過程中，提出基于梯度中心化算法(Gradient Centralization, GC)改進的帶動量的隨機梯度下降算法(Stochastic Gradient Descent with Mo-mentum, SGDM),簡記為GC-SGDM.在不改變網(wǎng)絡結構的情況下進一步提高網(wǎng)絡的泛化性能.

1 結合雙流網(wǎng)絡架構和3D網(wǎng)絡架

構的復合型深度卷積神經(jīng)網(wǎng)絡

針對現(xiàn)有3D網(wǎng)絡與雙流網(wǎng)絡的不足，本文提出結合雙流網(wǎng)絡架構和3D網(wǎng)絡架構的復合型深度卷積神經(jīng)網(wǎng)絡(TN-I(2+1)D CNN).網(wǎng)絡在時間流、空間流子網(wǎng)絡均采用I(2+1)D CNN分別學習人體行為的特征表示，并識別行為類型.最后，融合雙流(時間流、空間流)子網(wǎng)絡的結果，實現(xiàn)人體行為識別.

TN-I(2+1)D CNN結構如圖1所示.具體地，給定一個人體行為視頻并按幀提取視頻，生成RGB圖像序列.然后，RGB圖像序列分別輸入空間流子網(wǎng)絡和時間流子網(wǎng)絡進行識別.最后，采用融合方法實現(xiàn)空間流子網(wǎng)絡和時間流子網(wǎng)絡分類結果的融合.在時間流子網(wǎng)絡部分，RGB圖像序列經(jīng)由PWC-Net[15]，生成光流圖像序列，繼而輸入I(2+1)D CNN，并使用Softmax層預測人體行為的類型.在空間流子網(wǎng)絡部分， RGB圖像序列直接輸入I(2+1)D CNN，也使用Softmax層預測人體行為的類型.

圖1 TN-I(2+1)D CNN結構圖Fig.1 Structure of TN-I(2+1)D CNN

1.1 PWC-Net

PWC-Net[15]是FlowNet2.0[22]的改進，引入P(Pyramid)、W(Warping)、C(Cost Volume)技術，解決光流提取計算量較大且耗時的問題.其中，P，W，C分別指基于特征金字塔網(wǎng)絡(Feature Pyramid Network， FPN)[24]的多尺度特征提取、扭曲[25]和代價容量計算[26].PWC-Net的網(wǎng)絡結構如圖2所示(以4級特征金字塔為例).

圖2 PWC-Net結構圖Fig.2 Network structure of PWC-Net

PWC-Net將相鄰或間隔N0幀的圖像幀(幀1，幀2)分別送入FPN，提取多尺度特征，獲得各個尺度下的特征圖，使各級代價容量層的輸入特征的維度均不大，故網(wǎng)絡可在逐級提高光流精度的同時保持計算量很小.除此之外，PWC-Net還通過扭曲操作實現(xiàn)對幀2的運動補償，減弱像素點在圖像幀間的形變與位移，克服大位移與運動遮擋對光流計算的影響，進一步提高光流估計的精度.

1.2 改進的R(2+1)D卷積神經(jīng)網(wǎng)絡

為了更好地學習行為在時間流和空間流上的演變，在R(2+1)D[7]基礎上，本文提出I(2+1)D CNN，并在雙流網(wǎng)絡的時間流子網(wǎng)絡和空間流子網(wǎng)絡均采用I(2+1)D CNN.具體改進如下.

1)針對較深網(wǎng)絡會在小規(guī)模數(shù)據(jù)集上產(chǎn)生過擬合的問題，本文采用失活層進行抑制，并就其作用位置進行理論實驗分析，發(fā)現(xiàn)失活層在全連接層之后效果最優(yōu).

2)鑒于R(2+1)D中的ReLU激活函數(shù)會引起神經(jīng)元死亡(梯度恒為0，神經(jīng)元不更新)，本文采用Leaky ReLU避免此問題.

在R(2+1)D基礎上添加失活層的34層I(2+1)D CNN的網(wǎng)絡結構如表1所示.

表1 34層I(2+1)D CNN網(wǎng)絡結構Table 1 Network structure of 34-layer I(2+1)D CNN

下面將進一步對I(2+1)D CNN中失活層作用位置及Leaky ReLU激活函數(shù)的使用原因進行理論說明.

1)失活層與BN結合產(chǎn)生方差偏移現(xiàn)象,對失活層作用位置產(chǎn)生影響.I(2+1)D CNN在全連接層之后使用失活層技術抑制小數(shù)據(jù)集的過擬合問題，但是文獻[20]表明，失活技術與I(2+1)D CNN中使用的BN技術存在沖突，會產(chǎn)生方差偏移現(xiàn)象.具體地，假設網(wǎng)絡中某失活層的輸入為d維特征向量

X=(x1，x2，…，xd)，

服從正態(tài)分布N～(0,1)，輸出

Y=(y1，y2，…，yd)，

輸出Y中的yk與輸入X的元素xk對應，k=1,2,…,d.在網(wǎng)絡訓練時，失活層的輸出為

其中:p為神經(jīng)元的丟棄率;1/(1-p)為輸入的縮放尺度，使輸出Y在訓練階段和測試階段的期望相同(均為0)；ak為符合伯努利分布的隨機變量，滿足

在網(wǎng)絡測試時，失活層不丟棄神經(jīng)元，即p=0，因此輸出Y等于輸入X.經(jīng)失活層后，輸出數(shù)據(jù)在訓練階段和測試階段的方差分別為1/(1-p)和1.與此同時，若在失活層后繼續(xù)使用BN層， 則測試階段的BN層會沿用訓練階段計算得到的方差對測試數(shù)據(jù)進行歸一化操作.但失活層在訓練階段和測試階段的輸出分布不同，這使得BN 層在訓練時統(tǒng)計的方差和測試時需要的方差不一致，從而產(chǎn)生方差偏移，導致網(wǎng)絡性能的下降.為此，將失活層置于所有BN層之后可避免方差偏移現(xiàn)象.因此，本文在設計I(2+1)D CNN時，將失活層放置在全連接層之后、Softmax層之前.

2)Leaky ReLU激活函數(shù)避免神經(jīng)元死亡.I(2+1)D CNN在conv3_x層中殘差塊的結構如圖3所示.由圖可知，I(2+1)D CNN的激活函數(shù)為Leaky ReLU.原始R(2+1)D采用的激活函數(shù)是ReLU，表達式如下：

圖3 I(2+1)D CNN的Conv3_x層中的殘差塊結構Fig.3 Residual block structure in Conv3_x of I(2+1)D CNN

當x<0時，ReLU(x)=0，其梯度也為0，這意味著該輸入對應的神經(jīng)元將永不被更新(神經(jīng)元死亡)，從而影響網(wǎng)絡性能.而本文采用的Leaky ReLU表達式如下：

其中，γ為人工設置數(shù)值的超參數(shù)，作用為保證Leaky ReLU的梯度不為0，即反向傳播時不會有神經(jīng)元死亡現(xiàn)象.

除此之外Leaky ReLU的引入還保證網(wǎng)絡的復雜度,可有效提高網(wǎng)絡精度.

1.3 融合方案

時間流子網(wǎng)絡和空間流子網(wǎng)絡的識別結果的融合方式是提高雙流架構深度神經(jīng)網(wǎng)絡識別性能的因素之一.本文選擇較常用的預測值融合方法，包括最大值法和加權融合法.這兩種方法的優(yōu)點是沒有需要訓練的權重.最大值融合將同一輸入的空間流子網(wǎng)絡和時間流子網(wǎng)絡的預測分數(shù)中的最高項對應的類別作為最終識別結果，即

ymax=max{xs,xt}，

其中，xs、xt分別表示空間流子網(wǎng)絡和時間流子網(wǎng)絡的Softmax層的輸出結果.加權融合是將空間流子網(wǎng)絡和時間流子網(wǎng)絡的預測分數(shù)加權求和，然后將分數(shù)最高的對應項作為最終預測結果，即

ywei=λxs+(1-λ)xt，

其中，λ、1-λ分別為空間流和時間流的對應權重.

2 基于梯度中心化算法改進的帶

動量的隨機梯度下降算法

為了解決3D網(wǎng)絡因參數(shù)量較大而難以訓練的問題，本文在模型訓練過程中提出使用梯度中心化的GC-SGDM.梯度中心化算法(GC)[27]計算梯度向量的均值，對梯度向量進行零均值化，約束網(wǎng)絡參數(shù)梯度下降的方向，使網(wǎng)絡訓練更穩(wěn)定、更具泛化能力.

GC對梯度向量進行零均值化是指對每層反向傳播得到的梯度向量零均值化.如果是卷積層，使每個卷積核的梯度向量均值為0.下面以全連接層為例，說明GC的工作原理.

設權重矩陣W∈RM×N，M、N分別對應全連接層的輸入、輸出通道數(shù)，wi∈RM為權重矩陣W的第i列，L為損失函數(shù).令?wiL為L對wi的梯度向量，M維梯度向量?wiL的均值為

其中?wi,jL為梯度向量?wiL的第j個元素.權重矩陣W的第i列梯度向量經(jīng)梯度中心化后，可表示為

再將上式擴展至所有列之后乘以eT，得

eTΦGC(?WL)=eT(I-eeT)?WL=

eTP?WL=0,

(1)

其中I∈RM×M為單位矩陣.通過上述公式推導發(fā)現(xiàn)，GC可幾何解釋為把原先的梯度?WL投射到一個與eT垂直的超平面P上，P?WL是?WL在超平面P上的投影.假設P?WL為權重的更新量，而Wk為第k次梯度下降后的權重，則可在式(1)的基礎上進一步推出：

eTP?WL=eT(Wk+1-Wk)=0.

由上式可發(fā)現(xiàn)，GC能使每次更新后的權重都被限制在超平面P內，這也意味著GC能有效限制梯度下降，約束網(wǎng)絡的解空間，降低網(wǎng)絡訓練的困難.

3 實驗及結果分析

本文實驗的硬件配置為：型號為RTX 2080Ti的GPU，型號為i7-7800X @3.50GHz×12的CPU.實驗環(huán)境為：Ubuntu16.04，CUDA 8.0，CUDNN 7.4.所有實驗均在PyTorch框架下完成，并使用tensor-boardX將訓練可視化.

3.1 實驗環(huán)境

本文研究在中、小型數(shù)據(jù)集上均能獲得良好泛化性能的端到端的深度神經(jīng)網(wǎng)絡，因此，實驗數(shù)據(jù)集選擇中型數(shù)據(jù)集UCF101[17]和小型數(shù)據(jù)集HMDB51[16].UCF101數(shù)據(jù)集上所有視頻均從YouTube收集，樣本量為13 320個，類別數(shù)為101類.HMDB51數(shù)據(jù)集上視頻多數(shù)來源于電影，還有一部分來自公共數(shù)據(jù)庫及YouTube等網(wǎng)絡視頻庫.數(shù)據(jù)集包含6 849段視頻，分為51類，每類至少包含101段視頻.這兩類數(shù)據(jù)集在相機運動、物體外觀和姿勢、物體比例、視角、背景雜亂度、照明條件等方面均存在較大變化.

在TN-I(2+1)D CNN中，時間流子網(wǎng)絡中的PWC-Net使用在FlyingThings3DHalfRes和Flying-Chairs混合數(shù)據(jù)集上訓練的模型(https://github.com/philferriere/tfoptflow)[21]，用于提取光流圖集.基于該光流圖集和輸入視頻對應的RGB圖集，分別訓練時間流和空間流I(2+1)D CNN.訓練前按訓練集數(shù)量和測試集數(shù)量為7∶3的比例劃分已有數(shù)據(jù)集.

為了提高網(wǎng)絡性能，本文共使用2種預訓練模型(https://github.com/open-mmlab/mmaction/blob/

master/MODEL_ZOO.md)，一種在Kinetics- 400上訓練，另一種在IG65M上訓練后又在Kinetics- 400上微調.然后，設置Leaky ReLU激活函數(shù)中γ=0.02.在模型訓練過程中，采用GC-SGDM作為優(yōu)化器，設置權重衰減為0.000 5，動量為0.9，初始學習率為0.000 1，并以損失是否下降為指標更新學習率，學習耐心設置為10.根據(jù)現(xiàn)有實驗條件，所有實驗網(wǎng)絡的輸入幀長均為8,批尺寸均為10.

3.2 主干網(wǎng)絡的選擇

本文根據(jù)現(xiàn)有實驗條件，分別采用18層殘差網(wǎng)絡ResNet-18和34層殘差網(wǎng)絡ResNet-34作為主干網(wǎng)絡進行實驗.實驗發(fā)現(xiàn)，在UCF101數(shù)據(jù)集上，34層網(wǎng)絡的性能更優(yōu).但是在HMDB51數(shù)據(jù)集上，兩種深度的網(wǎng)絡均出現(xiàn)過擬合現(xiàn)象.綜合考慮，本文之后的實驗均選擇ResNet-34作為I(2+1)D CNN的主干網(wǎng)絡.

在UCF101、HMDB51數(shù)據(jù)集上，采用ResNet-34，網(wǎng)絡的輸入幀長為8 h的訓練精度和測試精度曲線如圖4所示.由圖可知:對于中型數(shù)據(jù)集UCF101而言，網(wǎng)絡擬合效果良好,但對于小型數(shù)據(jù)集HMDB51而言，訓練精度不斷上升，測試精度卻增長緩慢，并且測試精度與訓練精度曲線的差距較大，說明以ResNet-34為主干網(wǎng)絡的I(2+1)D CNN時間流子網(wǎng)絡出現(xiàn)過擬合.針對此問題，本文引入失活層抑制過擬合，并就失活層位置進行實驗探究.

圖4 2個數(shù)據(jù)集上的訓練精度和測試精度曲線Fig.4 Training and testing accuracy curves on 2 datasets

3.3 失活層及丟棄率的選擇

本文在1.2節(jié)中已論述：當網(wǎng)絡中同時采用失活層和BN層時，將失活層置于所有BN層之后可避免方差偏移現(xiàn)象，提高網(wǎng)絡性能.本節(jié)將通過實驗驗證該結論.此外，失活層的神經(jīng)元丟棄率會影響網(wǎng)絡性能，本節(jié)也將尋找最佳神經(jīng)元丟棄率.

在HMDB51數(shù)據(jù)集上，分別將失活層置于BN層之后(即全連接層后)和BN層之前(以置于conv5_x前為例).根據(jù)經(jīng)驗，神經(jīng)元丟棄率分別設置為0.2，0.3，0.4.本文在空間流子網(wǎng)絡和時間流子網(wǎng)絡上分別進行上述實驗，結果如表2所示.由表可知，將失活層置于BN層之后時，空間流子網(wǎng)絡和時間流子網(wǎng)絡的精度均優(yōu)于失活層置于BN層之前時.當空間流子網(wǎng)絡和時間流子網(wǎng)絡的失活層丟失率分別取0.3和0.2時，網(wǎng)絡的識別精度最高.

表2 失活層的位置和丟失率對識別精度的影響Table 2 Effect of loss rates and locations of inactivation layer on recognition accuracy

3.4 激活函數(shù)的改進

本文提出在I(2+1)D CNN的殘差塊中采用Leaky ReLU激活函數(shù)，通用實驗驗證引入Leaky ReLU激活函數(shù)后網(wǎng)絡性能優(yōu)于采用ReLU激活函數(shù)時的網(wǎng)絡.在HMDB51數(shù)據(jù)集上，采用Kinetics-400的預訓練模型，失活層放置在全連接層后，空間流子網(wǎng)絡、時間流子網(wǎng)絡的神經(jīng)元丟失率分別為0.3和0.2，采用SGDM[27]優(yōu)化器訓練網(wǎng)絡.

識別精度對比如表3所示.由表可知，基于Leaky ReLU激活函數(shù)改進I(2+1)D CNN，空間流子網(wǎng)絡和時間流子網(wǎng)絡的識別精度均有所提高，空間流子網(wǎng)絡的識別精度提高約0.5%，時間流子網(wǎng)絡的識別精度提高約0.6%.

表3 激活函數(shù)不同對識別精度的影響Table 3 Effect of different activation functions on recognition accuracy %

3.5 優(yōu)化器的改進

在HMDB51數(shù)據(jù)集上，使用SGDM優(yōu)化器和GC-SGDM優(yōu)化器時的識別精度對比如表4所示.由表可知，采用GC-SGDM優(yōu)化器時，空間流子網(wǎng)絡和時間流子網(wǎng)絡的識別精度均提高約1%，說明基于GC改進SGDM優(yōu)化器，可提高網(wǎng)絡性能.

表4 優(yōu)化器對識別精度的影響Table 4 Effect of optimizer on recognition accuracy %

3.6 實驗結果對比

為了進一步提高實驗結果的參考性，針對訓練集和測試集采用7∶3的劃分方式.最終的實驗結果為網(wǎng)絡識別精度均值.此外，本文還使用一個更大的預訓練數(shù)據(jù)集(IG65M+Kinetics-400)用于對比實驗.實驗選用對比網(wǎng)絡如下：P3D[11]、34層R(2+1)D(簡記為R(2+1)D-34)[12]、Two-Stream ConvNets(Two-Stream Convolutional Networks)[13]、TSN[16]、文獻[17]網(wǎng)絡[17]、C3D(Convolutional 3D)[28]、34層R3D(簡記為R3D-34)[28]、50層R(2+1)D(簡記為R(2+1)D-50)[28]、STFT(Spatio-Temporal Short Term Fourier Transform)[29]、ActionCLIP(Action Re-cognition Using Contrastive Language-Image Pretrai-ning)[30].各網(wǎng)絡的識別精度對比如表5所示.需要說明的是，表中的算法均關注網(wǎng)絡結構的改進，除ActionCLIP采用Transformer結構以外，輸入僅為RGB的行為識別算法均采用3D網(wǎng)絡，輸入為RGB+光流的行為識別算法均采用雙流網(wǎng)絡,預訓練數(shù)據(jù)集中其他表示對應網(wǎng)絡使用的預訓練數(shù)據(jù)集無名稱.

表5 各網(wǎng)絡在2個數(shù)據(jù)集上的識別精度對比Table 5 Accuracy comparison of different networks on 2 datasets %

由表5可知，本文網(wǎng)絡識別性能更佳.R(2+1)D-34的性能優(yōu)于R(2+1)D-50，而采用雙流架構的TN-I(2+1)D在2種融合方式下的性能又均優(yōu)于R(2+1)D-34，其中以采用加權融合的TN-I(2+1)D的性能最佳，在UCF101、HMDB51數(shù)據(jù)集上的精度分別比R(2+1)D-34提高0.6%和5.6%.此外，相比基于3D架構的STFT和基于Transformer架構的ActionCLIP，基于加權融合的TN-I(2+1)D CNN在兩個數(shù)據(jù)集上的識別精度也更高.綜上所述，本文網(wǎng)絡在中小型數(shù)據(jù)集上都具有良好的精度.

4 結 束 語

本文提出結合雙流網(wǎng)絡架構和3D網(wǎng)絡架構的復合型深度神經(jīng)網(wǎng)絡(TN-I(2+1)D CNN),對于時間流、空間流均使用基于34層殘差網(wǎng)絡的I(2+1)D CNN作為主干網(wǎng)絡，提取視頻中人體行為的時空特征.在時間流子網(wǎng)絡部分，采用PWC-Net提取光流圖像序列，不僅提高光流提取速度，而且實現(xiàn)端到端的行為識別.本文通過主干網(wǎng)絡的深度、激活函數(shù)、失活層的設置及優(yōu)化器的改進，提高網(wǎng)絡性能.后續(xù)可通過其它技術改進進一步提升網(wǎng)絡性能.例如：1)在網(wǎng)絡輸入部分，可采用多種數(shù)據(jù)增強技術擴大小數(shù)據(jù)集的規(guī)模，改善網(wǎng)絡輸入；2)可采用剪枝等網(wǎng)絡壓縮方法實現(xiàn)網(wǎng)絡的輕量化，便于實際應用.