基于多特征融合及Transformer 的人體跌倒動(dòng)作檢測(cè)算法

劉文龍，陳春雨

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

當(dāng)前，人工智能和高性能計(jì)算設(shè)備的迅速發(fā)展，為大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和部署提供了可行性保障。動(dòng)作識(shí)別作為計(jì)算機(jī)視覺(jué)的研究方向之一，在各個(gè)領(lǐng)域具有良好的應(yīng)用前景。在醫(yī)療領(lǐng)域，可以通過(guò)動(dòng)作識(shí)別來(lái)判斷病人的狀態(tài)，減輕病房看護(hù)者的負(fù)擔(dān)。病人一旦發(fā)生摔倒等行為可以通過(guò)動(dòng)作識(shí)別來(lái)進(jìn)行判斷，并提醒看護(hù)人員進(jìn)行及時(shí)救助[1]。在安防領(lǐng)域，可以利用動(dòng)作識(shí)別實(shí)現(xiàn)對(duì)打架斗毆等違法犯罪行為進(jìn)行識(shí)別并記錄，為刑事案件的偵破提供有利幫助[2]。在監(jiān)考任務(wù)中，可以通過(guò)行為識(shí)別來(lái)判斷應(yīng)試者是否存在扭頭、轉(zhuǎn)身以及東張西望等作弊行為[3]。可見(jiàn)動(dòng)作識(shí)別在現(xiàn)實(shí)場(chǎng)景中具有重要的應(yīng)用價(jià)值。傳統(tǒng)的視頻動(dòng)作行為識(shí)別常常通過(guò)人工肉眼觀察來(lái)完成，耗費(fèi)了大量的人力和時(shí)間，長(zhǎng)期工作還會(huì)對(duì)視力造成損傷，這項(xiàng)任務(wù)被計(jì)算機(jī)取代是大勢(shì)所趨。基于深度學(xué)習(xí)的動(dòng)作檢測(cè)方法相對(duì)于傳統(tǒng)方法可以實(shí)現(xiàn)無(wú)人化、智能化[4]。

陳永彬等[5]采用了OpenPose 網(wǎng)絡(luò)提取人體關(guān)鍵點(diǎn)信息，并融合了場(chǎng)景的語(yǔ)義信息，通過(guò)判斷頭部以下關(guān)鍵點(diǎn)的下移量進(jìn)行判斷是否存在摔倒行為。烏民雨等[6]采用了包含長(zhǎng)短期記憶（long short-term memory, LSTM）的雙流的網(wǎng)絡(luò)結(jié)構(gòu)，2個(gè)流分別輸入RGB 圖片和光流圖片。劉峰等[7]通過(guò)目標(biāo)檢測(cè)器檢測(cè)到運(yùn)動(dòng)的行人，對(duì)行人提取了頭部運(yùn)動(dòng)特征，通過(guò)深度森林算法對(duì)特征進(jìn)行分類，來(lái)判斷行人是否發(fā)生摔倒行為。魏振剛等[8]通過(guò)對(duì)視頻中的人物的前景提取得到目標(biāo)，對(duì)前景目標(biāo)進(jìn)行形態(tài)學(xué)處理得到了最小外接矩形，通過(guò)分析外接矩形的寬高比篩選出可能存在跌倒行為的樣本，再運(yùn)用統(tǒng)計(jì)學(xué)方法對(duì)異常目標(biāo)繪制橢圓邊界作為特征進(jìn)行分類，判斷是否發(fā)生跌倒行為。Tran 等[9]提出了3D 卷積（3D convolution，C3D）方法，可以通過(guò)訓(xùn)練學(xué)習(xí)，簡(jiǎn)單有效地對(duì)動(dòng)作的時(shí)空特征進(jìn)行提取，這項(xiàng)方法常用于對(duì)動(dòng)作進(jìn)行分類，但單獨(dú)的C3D 方法無(wú)法完成對(duì)執(zhí)行動(dòng)作的目標(biāo)進(jìn)行空間定位，對(duì)此本文吸收了C3D 方法可以提取時(shí)空特征的思想，實(shí)現(xiàn)了跌倒動(dòng)作的時(shí)空定位。

1 網(wǎng)絡(luò)結(jié)構(gòu)

得益于GPU 性能的高速發(fā)展，大規(guī)模神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及部署成為了可能。動(dòng)作識(shí)別作為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究分支，可以通過(guò)深度學(xué)習(xí)方法來(lái)解決；動(dòng)作的定位可以通過(guò)借鑒目標(biāo)檢測(cè)的方法，采用邊界框的回歸來(lái)實(shí)現(xiàn)。對(duì)于動(dòng)作的分類不僅需要空間特征信息，還需要時(shí)間維度上的特征信息，因?yàn)閯?dòng)作是連貫的，所以必須通過(guò)一定的手段來(lái)提取時(shí)間維度上的特征。因此本文借鑒了YOLOv3 目標(biāo)檢測(cè)網(wǎng)絡(luò)[10]和雙流網(wǎng)絡(luò)[11]的設(shè)計(jì)思想。

1.1 動(dòng)作識(shí)別網(wǎng)絡(luò)整體結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1 所示。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)了可以實(shí)現(xiàn)動(dòng)作識(shí)別與定位的算法，通過(guò)在2D 卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)并聯(lián)了一路3D 卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)用于提取時(shí)間維度特征，并通過(guò)通道融合機(jī)制對(duì)空間維度特征和時(shí)間維度特征在通道維度上進(jìn)行拼接(cat)。為了提高模型對(duì)小目標(biāo)的檢測(cè)能力，本算法采用特征金字塔結(jié)構(gòu)，對(duì)骨干網(wǎng)絡(luò)提取3 個(gè)不同尺度的特征(分別為F_S、F_M、F_L)，提升對(duì)小目標(biāo)的檢測(cè)能力，對(duì)這3 個(gè)尺度的特征采用Transformer 結(jié)構(gòu)進(jìn)行深層次特征融合，提取語(yǔ)義信息。最終經(jīng)過(guò)分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)進(jìn)行動(dòng)作分類和動(dòng)作定位。

1.1.1 特征提取網(wǎng)絡(luò)

由于動(dòng)作具有連續(xù)性，幾乎不能通過(guò)單張圖片來(lái)進(jìn)行判斷動(dòng)作類型，所以必須獲得動(dòng)作的連續(xù)信息，也就是時(shí)間維度上的特征。這種時(shí)間維度上的特征采用3D 卷積來(lái)進(jìn)行提取，他的計(jì)算過(guò)程可以通過(guò)圖2 來(lái)表示。圖2 中h3D、w3D和l分別為特征圖空間維度的高度、空間維度的寬度、時(shí)間維度的長(zhǎng)度，k3D為卷積核空間維度的寬度和高度，d為卷積核時(shí)間維度的長(zhǎng)度。

圖2 3D 卷積計(jì)算示意

3D 卷積的輸入是由視頻拆分出來(lái)的一系列連續(xù)的圖片幀。本文中采用的是連續(xù)的16 幀圖片，將其組成一個(gè)五維張量，并由B表示批次大小、C表示圖片通道數(shù)目、N表示圖片數(shù)目、W表示圖片的寬度、H表示圖片的高度。3D 卷積的卷積核包含3 個(gè)維度，可以在圖2 中的長(zhǎng)方體數(shù)據(jù)中的3 個(gè)方向滑動(dòng)，最終堆疊到同一個(gè)輸出，這樣就可以提取多個(gè)相鄰圖片之間的特征。本文采用的3D 卷積網(wǎng)絡(luò)為3D ResNet101[12]。

圖3 所示的是2D 卷積示意圖，圖中h2D,w2D分別代表特征圖空間維度的高度和寬度。k2D代表卷積核空間維度的寬度和高度。在3D 卷積輸入的多個(gè)連續(xù)圖片序列中抽取最后一幀作為關(guān)鍵幀，將其輸入到2D 卷積網(wǎng)絡(luò)中。2D 卷積的卷積核包含2 個(gè)維度，可以在圖3 中的長(zhǎng)方形數(shù)據(jù)中的2 個(gè)方向進(jìn)行滑動(dòng)，得到特征圖，提取輸入圖像空間上的信息。本文采用ResNeXt101 作為2D 網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有良好的特征提取能力。

圖3 2D 卷積計(jì)算示意

1.1.2 特征金字塔Transformer 結(jié)構(gòu)

為了更好地提取語(yǔ)義特征，提升模型對(duì)動(dòng)作的專注度，本文采用了Transformer 結(jié)構(gòu)。Transformer最早應(yīng)用于自然語(yǔ)言處理任務(wù)中，因其優(yōu)秀的表現(xiàn)被遷移到計(jì)算機(jī)視覺(jué)中[13]。而本文則將其應(yīng)用到動(dòng)作檢測(cè)任務(wù)中，將其作為注意力機(jī)制與傳統(tǒng)注意力機(jī)制進(jìn)行對(duì)比。本文應(yīng)用的Transformer結(jié)構(gòu)如圖4 所示。

圖4 特征金字塔Transformer 結(jié)構(gòu)

本文對(duì)特征提取網(wǎng)絡(luò)的3 個(gè)預(yù)測(cè)特征層構(gòu)成的特征金字塔使用了Transformer 結(jié)構(gòu)，Transformer結(jié)構(gòu)可以使得特征可以跨空間和尺度進(jìn)行交互。文中應(yīng)用的特征金字塔Transformer 包含了3 個(gè)子模塊，分別是自我特征交互模塊、自頂而下特征交互模塊和自底而上特征交互模塊。經(jīng)過(guò)該結(jié)構(gòu)輸出的特征圖與輸入特征圖尺寸相同，但蘊(yùn)含了豐富的上下文信息。加權(quán)后的Q經(jīng) 過(guò) 3×3卷 積與通過(guò) 3×3卷積進(jìn)行下采樣的V相加，相加后的結(jié)果經(jīng)過(guò) 3×3卷積運(yùn)算后得到輸出特征圖。計(jì)算過(guò)程如式(5)：

如圖4 所示的網(wǎng)絡(luò)結(jié)構(gòu)圖，3 個(gè)不同尺度的預(yù)測(cè)特征層在經(jīng)過(guò)上文所述的3 種模塊之后得到的特征圖，按照尺寸大小進(jìn)行重新排列，再將原始預(yù)測(cè)特征層與排列后的特征圖在通道維度進(jìn)行拼接，經(jīng)過(guò)卷積得到與原始預(yù)測(cè)特征層尺寸相同的特征圖。可以看到，輸出的特征圖與輸入特征圖相比，增加了空間和尺度信息的交互，包含了更為豐富的語(yǔ)義信息。

1.2 數(shù)據(jù)處理及損失函數(shù)

本文考慮到小目標(biāo)檢測(cè)的問(wèn)題，采用了YOLOv3 算法的檢測(cè)方案。通過(guò)K-means 算法對(duì)數(shù)據(jù)集的邊界框大小進(jìn)行統(tǒng)計(jì)，最終聚類出9 個(gè)預(yù)選框。選取3 個(gè)預(yù)測(cè)特征層，在3 個(gè)尺度上對(duì)目標(biāo)進(jìn)行檢測(cè)，每個(gè)預(yù)測(cè)特征層對(duì)應(yīng)3 個(gè)聚類出來(lái)的預(yù)選框。在經(jīng)過(guò)Transformer 和卷積之后，最終的每個(gè)預(yù)測(cè)特征層通道為 3×(A+5)。其中：3 為該預(yù)測(cè)特征層預(yù)選框的數(shù)目；A為數(shù)據(jù)集中動(dòng)作類別數(shù)目；每個(gè)預(yù)選框?qū)?yīng)A+5個(gè)參數(shù)，5 為邊界框的中心坐標(biāo)和邊界框的寬高回歸所需要的4 個(gè)參數(shù)和1 個(gè)置信度參數(shù)。

損失函數(shù)共包括3 部分，分別是邊界框回歸損失、分類損失和置信度損失。其中邊界框回歸損失采用完整交并比(complete intersection-overunion，CIoU) 損失函數(shù)[15]，分類和置信度損失采用Focal Loss 損失函數(shù)[16]。由于YOLOv3 的正樣本負(fù)樣本存在嚴(yán)重的不均衡問(wèn)題，大量的負(fù)樣本大部分為簡(jiǎn)單易于區(qū)分的負(fù)樣本，會(huì)造成對(duì)真樣本的淹沒(méi)，影響檢測(cè)效果，針對(duì)樣本不均衡問(wèn)題，本文采用式（6）作為分類和置信度損失函數(shù)。

邊界框回歸損失函數(shù)通常采用L2 范數(shù)損失函數(shù)，由于L2 范數(shù)損失函數(shù)不能很好地反應(yīng)預(yù)測(cè)框與真實(shí)位置的重合程度，所以在本文中采用了CIoU 損失函數(shù)，它能夠很好地反應(yīng)預(yù)測(cè)框與真實(shí)位置的重疊程度，并具有尺度不變性，還充分考慮了預(yù)測(cè)框與真實(shí)位置的中心距離、預(yù)測(cè)框的長(zhǎng)寬比等因素，比L2 范數(shù)損失函數(shù)具有更大的優(yōu)勢(shì)。圖5 為CIoU 函數(shù)計(jì)算所需參數(shù)示意圖。其中綠色矩形框?yàn)槟繕?biāo)的真實(shí)邊界框，它的寬高分別為wgt和hgt；黑色方框?yàn)榫W(wǎng)絡(luò)預(yù)測(cè)的邊界框，它的寬高分別為wp和hp；d為真實(shí)框和預(yù)測(cè)框的中心距離，c為真實(shí)框與預(yù)測(cè)框的最小外接矩形的對(duì)角距離。

圖5 CIoU 函數(shù)計(jì)算所需參數(shù)示意

2 實(shí)驗(yàn)

2.1 跌倒動(dòng)作數(shù)據(jù)集

目前，跌倒動(dòng)作的公開數(shù)據(jù)集數(shù)目不多，很少有提供跌倒動(dòng)作的人物邊界框數(shù)據(jù)。本文從Muticam 數(shù)據(jù)集中選取部分視頻，共包含6 個(gè)場(chǎng)景，每個(gè)場(chǎng)景由8 個(gè)攝像頭在不同角度進(jìn)行拍攝，分辨率為320 ×240。對(duì)拍攝的視頻進(jìn)行了分幀處理，并進(jìn)行了手工標(biāo)注，一共標(biāo)記了7 083 張圖片。其中6 373 張圖片作為訓(xùn)練集，710 張圖片作為驗(yàn)證集和測(cè)試集。每次輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練和推理的圖片數(shù)據(jù)均來(lái)自于同一個(gè)攝像頭，8 個(gè)攝像頭的數(shù)據(jù)最終都會(huì)獨(dú)立地被送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和推理。

2.2 跌倒動(dòng)作識(shí)別實(shí)驗(yàn)

2.2.1 實(shí)驗(yàn)環(huán)境與訓(xùn)練策略

本文中所有實(shí)驗(yàn)的硬件平臺(tái)均在Ubuntu 18.04 操 作 系 統(tǒng) 下，GPU 采 用Nvidia RTX2080Ti，GPU 顯存大小為11 GB，CPU 采用I7-8700K，內(nèi)存大小為32 GB。軟件環(huán)境如下：深度學(xué)習(xí)框架為Pytorch-1.7.1、CUDA 版本為10.1。

每次實(shí)驗(yàn)訓(xùn)練集迭代訓(xùn)練10 次，一次訓(xùn)練輸入到網(wǎng)絡(luò)的樣本數(shù)目為2，共計(jì)訓(xùn)練31 870 次。基本學(xué)習(xí)率（Rlearning）為0.002，學(xué)習(xí)率的動(dòng)態(tài)變化如圖6 所示，其中包含了2 種策略：對(duì)于前1 000 次訓(xùn)練采用線性預(yù)熱；預(yù)熱完成后采用余弦衰減策略直到訓(xùn)練結(jié)束。優(yōu)化器采用帶有動(dòng)量參數(shù)的隨機(jī)梯度下降算法。

圖6 學(xué)習(xí)率變化曲線

2.2.2 預(yù)選框的設(shè)置

本文的算法需要預(yù)先設(shè)定好預(yù)選框，合適的預(yù)選框設(shè)定可以加速模型的收斂。預(yù)選框的設(shè)定原則是盡可能與數(shù)據(jù)集中的目標(biāo)寬高相似，所以需要對(duì)數(shù)據(jù)集進(jìn)行分析。由于本文采用了3 個(gè)尺度的預(yù)測(cè)特征層，每個(gè)預(yù)測(cè)特征層對(duì)應(yīng)3 個(gè)預(yù)選框，所以一共需要設(shè)置9 個(gè)預(yù)選框。預(yù)選框通過(guò)K-means 算法得到。圖7 中黃色的圓點(diǎn)代表數(shù)據(jù)集中的目標(biāo)的寬高信息，其中橫坐標(biāo)為目標(biāo)的寬度像素值，縱坐標(biāo)為目標(biāo)的高度像素值，其余顏色的9 個(gè)點(diǎn)為聚類中心，紅色的3 個(gè)聚類中心是設(shè)置在特征金字塔網(wǎng)絡(luò)輸出的最大尺寸特征圖上的預(yù)選框，綠色的3 個(gè)聚類中心是設(shè)置在特征金字塔網(wǎng)絡(luò)輸出的中等尺寸特征圖上的預(yù)選框，藍(lán)色的3 個(gè)聚類中心是設(shè)置在特征金字塔網(wǎng)絡(luò)輸出的最小尺寸特征圖上的預(yù)選框。因?yàn)樘卣鹘鹱炙W(wǎng)絡(luò)中尺寸相對(duì)較大的特征圖用于更好地預(yù)測(cè)小目標(biāo)，尺寸相對(duì)較小的特征圖用于預(yù)測(cè)相對(duì)較大的目標(biāo)，這里通過(guò)對(duì)聚類中心面積的大小進(jìn)行排序?qū)⑦@9 個(gè)預(yù)選框分配給特征金字塔網(wǎng)絡(luò)的3 個(gè)特征層。

圖7 聚類算法設(shè)定預(yù)選框

2.2.3 骨干網(wǎng)路結(jié)構(gòu)有效性實(shí)驗(yàn)

該部分實(shí)驗(yàn)旨在判斷不同的骨干網(wǎng)絡(luò)結(jié)構(gòu)對(duì)檢測(cè)精度的影響，從而確定最佳的網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)比實(shí)驗(yàn)中除了骨干網(wǎng)絡(luò)的結(jié)構(gòu)不同外其余的參數(shù)均相同，該部分的注意力機(jī)制均采用了特征金字塔Transformer，輸入圖像像素尺寸均為320 ×256，3D 卷積神經(jīng)網(wǎng)絡(luò)均輸入連續(xù)16 張圖片，采用IoU 閾值為0.5 的均值平均精度(mean average precision，mAP）δmAP作為評(píng)價(jià)指標(biāo)。

對(duì)比單獨(dú)使用2D 網(wǎng)絡(luò)、單獨(dú)使用3D 網(wǎng)絡(luò)、同時(shí)使用2D 和3D 網(wǎng)絡(luò)的實(shí)驗(yàn)精度結(jié)果，從表1數(shù)據(jù)可以看出，同時(shí)使用2D 和3D 網(wǎng)絡(luò)具有最好的mAP 精度。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)實(shí)驗(yàn)精度結(jié)果 %

分析發(fā)現(xiàn)，單獨(dú)使用2D 網(wǎng)絡(luò)，無(wú)法提取時(shí)間維度上的特征。從跌倒這個(gè)動(dòng)作中來(lái)看，這個(gè)動(dòng)作無(wú)法從單個(gè)圖片中確定，所以單獨(dú)使用2D 網(wǎng)絡(luò)得到該動(dòng)作的AP 指標(biāo)相比于其余2 組對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果低了很多；單獨(dú)使用3D 網(wǎng)絡(luò)相比于單獨(dú)使用2D 網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果平均精度（average precision，AP）值δAP提 升 很 大，但 與 同 時(shí) 使用2D 和3D 網(wǎng)絡(luò)的mAP 精度上還是有一定差距。這是因?yàn)?D 網(wǎng)絡(luò)注重于提取時(shí)間維度的特征而缺乏空間維度的特征，從而導(dǎo)致邊界框的定位不準(zhǔn)?？梢钥闯?，同時(shí)使用2D 和3D 網(wǎng)絡(luò)在動(dòng)作時(shí)空定位任務(wù)上具有充分的有效性。

2.2.4 3D 網(wǎng)絡(luò)圖片輸入數(shù)目實(shí)驗(yàn)

在2.2.3 節(jié)中對(duì)3D 網(wǎng)絡(luò)用于跌倒動(dòng)作檢測(cè)的有效性進(jìn)行了驗(yàn)證，由于動(dòng)作具有連續(xù)性的特點(diǎn)，人類無(wú)法通過(guò)一幀圖片判定一個(gè)動(dòng)作的類別，同理計(jì)算機(jī)也如此。但是觀察一個(gè)動(dòng)作時(shí)間的或長(zhǎng)或短，會(huì)對(duì)動(dòng)作類別的預(yù)測(cè)產(chǎn)生影響。對(duì)于算法來(lái)說(shuō)就是網(wǎng)絡(luò)一次性該輸入多少?gòu)堖B續(xù)圖片這一問(wèn)題值得深入探究。對(duì)此本文算法的3D 網(wǎng)絡(luò)部分，作者通過(guò)實(shí)驗(yàn)進(jìn)行了探究，發(fā)現(xiàn)輸入圖片數(shù)目為16 時(shí)具有最好的效果。分析其原因是因?yàn)楫?dāng)輸入圖片數(shù)目較少時(shí)，時(shí)間維度上提取的特征沒(méi)有經(jīng)過(guò)長(zhǎng)時(shí)間的建模，包含的時(shí)間特征不夠全面；而輸入相對(duì)較多的圖片時(shí)，很多動(dòng)作持續(xù)時(shí)間較短，輸入的圖片序列中包含了其他動(dòng)作的特征，造成網(wǎng)絡(luò)學(xué)習(xí)混亂，效果也不佳。表2 為3D 網(wǎng)絡(luò)一次性輸入不同數(shù)目的圖片時(shí)所對(duì)應(yīng)的mAP 結(jié)果。

表2 3D 網(wǎng)絡(luò)輸入不同圖片數(shù)目實(shí)驗(yàn)精度結(jié)果 %

2.2.5 Transformer 有效性實(shí)驗(yàn)

本文對(duì)骨干網(wǎng)絡(luò)獲得的特征采用了通道拼接的方法進(jìn)行特征融合，融合后的2D 和3D 特征缺乏深層次的融合交互，本文為解決這個(gè)問(wèn)題使用了Transformer 結(jié)構(gòu)作為注意力機(jī)制，該結(jié)構(gòu)應(yīng)用在特征金字塔之后，可以融合不同預(yù)測(cè)特征層的特征，達(dá)到了特征跨空間、時(shí)間、尺度融合的目的。這部分實(shí)驗(yàn)將本文算法同通道注意力機(jī)制算法（Cam）和空間注意力算法（Sam）進(jìn)行對(duì)比。表3的結(jié)果表明特征金字塔Transformer 結(jié)構(gòu)對(duì)檢測(cè)性能具有很大的提升。

表3 特征金字塔Transformer 結(jié)構(gòu)有效性實(shí)驗(yàn) %

3 結(jié)論

針對(duì)跌倒動(dòng)作檢測(cè)任務(wù)，本文提出了一種基于多特征融合及Transformer 結(jié)構(gòu)的時(shí)空定位檢測(cè)架構(gòu)，通過(guò)Transformer 結(jié)構(gòu)深度融合2D 和3D 網(wǎng)絡(luò)提取的空間和時(shí)間維度以及不同尺度的特征，并通過(guò)一系列的對(duì)比實(shí)驗(yàn)證明了本文算法的有效性。本文算法相比于C3D 等算法不僅完成了動(dòng)作的分類還實(shí)現(xiàn)了動(dòng)作的時(shí)空定位。與僅使用2D 卷積網(wǎng)絡(luò)相比，mAP 提升了14.84%；與僅使用3D 卷積網(wǎng)絡(luò)相比，mAP 提升5.3%。加入Transformer 結(jié)構(gòu)相比于傳統(tǒng)注意力機(jī)制mAP 最少提升了1.44%，可見(jiàn)將本方法應(yīng)用于跌倒動(dòng)作的時(shí)空定位，具有相當(dāng)大的理論和經(jīng)濟(jì)價(jià)值。