FMCW雷達(dá)基于光學(xué)字符識別的連續(xù)動作識別研究

蔣留兵，吳岷洋，車 俐

（1.桂林電子科技大學(xué)信息與通信學(xué)院，廣西桂林 541004；2.桂林電子科技大學(xué)計算機與信息安全學(xué)院，廣西桂林 541004）

0 引 言

根據(jù)第七次全國人口普查顯示，2020年我國60 歲及以上人口有2.6 億人，占總?cè)丝诘?8.70%，中國已經(jīng)逐步進(jìn)入深度老齡化社會［1-2］。老人活動不便，很容易跌倒并且無法依靠自身能力站起來，這給醫(yī)療保健行業(yè)帶來巨大的壓力，需要該行業(yè)在老人發(fā)生跌倒等重大事件時能夠及時做出響應(yīng)［3］。

目前對于人體動作主要采用基于攝像頭［4-5］和基于穿戴設(shè)備兩種方法［6-7］。前者采用圖像處理的技術(shù)而后者則采集人體運動數(shù)據(jù)。很顯然，基于攝像頭的動作識別方法存在侵犯個人隱私，容易受到外界干擾的問題；基于穿戴設(shè)備的動作識別方法存在設(shè)備容易損壞，穿戴不適等問題?；诶走_(dá)的人體動作檢測則能很好地解決上述兩種方法存在的問題。該方法是一種通過雷達(dá)向目標(biāo)發(fā)射電磁波，接收目標(biāo)回波信號判斷人體動作的主動探測方式。

基于雷達(dá)的動作識別方法主要基于深度學(xué)習(xí)，對雷達(dá)信號進(jìn)行預(yù)處理，然后輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和識別。文獻(xiàn)［7］使用UWB 雷達(dá)采集代表運動特性隨時間變化的時變距離多普勒圖像（TRDI），采用自動編碼器（CAE）提取特征，輸入到長短記憶網(wǎng)絡(luò)（LSTM）中進(jìn)行識別達(dá)到了96.80%的準(zhǔn)確率。文獻(xiàn)［8］使用雙向長短記憶網(wǎng)絡(luò)（Bi-LSTM），將可穿戴傳感器和雷達(dá)數(shù)據(jù)直接的軟特征融合，在連續(xù)活動和跌倒事件方面的準(zhǔn)確度提高到大約96%。文獻(xiàn)［9］利用超寬帶雷達(dá)提取動作特征生成圖像，然后將圖像輸入到卷積網(wǎng)絡(luò)中進(jìn)行識別，達(dá)到了99.2%的準(zhǔn)確率。文獻(xiàn)［10］提出基于主成分分析法（PCA）和離散余弦變換（DCT）相結(jié)合的人體動作特征提取方法，并利用改進(jìn)網(wǎng)格搜索算法優(yōu)化的支持向量機在小樣本數(shù)據(jù)下對人體動作進(jìn)行識別，最終得到超過96%的識別精度。基于深度學(xué)習(xí)的雷達(dá)動作識別方法主要通過將采集的信號進(jìn)行預(yù)處理，生成相應(yīng)的特征圖，然后將這些特征圖輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和識別，這就導(dǎo)致了識別速度相比直接對原始信號處理慢一些［11-12］。文獻(xiàn)［11］提出一種新的端到端網(wǎng)絡(luò)，直接對收集的FMCW 雷達(dá)原始數(shù)據(jù)進(jìn)行處理，對5 種動作超過90%的識別準(zhǔn)確率。文獻(xiàn)［12］提出了一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNNs）和長短記憶網(wǎng)絡(luò)（LSTM）組成的深度學(xué)習(xí)模型直接對原始信號進(jìn)行處理，在對7種動作達(dá)到超過95%的識別精度的同時，訓(xùn)練參數(shù)少很多，因此識別速度也快很多。目前大部分基于深度學(xué)習(xí)的雷達(dá)動作識別算法只能對單個動作進(jìn)行識別，通過簡單的信號處理，將原始信號處理成相應(yīng)的特征圖像，然后輸入到基于分類的深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行識別。這種情況導(dǎo)致了當(dāng)一組數(shù)據(jù)中包含多個動作信息的時候算法也只能將其識別為單個動作。

針對上述問題，該文提出一種基于文本識別技術(shù)（OCR）的連續(xù)動作雷達(dá)微多普勒特征識別方法。首先對采集的雷達(dá)數(shù)據(jù)采用RDM（Range-Doppler Map）向速度維投影的方法逐幀獲取微多普勒時頻圖，然后將處理得到的時頻圖輸入一個特別定制的，由卷積神經(jīng)網(wǎng)絡(luò)、inception_resnet、最大池化層和Bi-LSTM的網(wǎng)絡(luò)組成，使用聯(lián)結(jié)主義時間分類（CTC）作為損失函數(shù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò)。實驗結(jié)果表明該方法對步行、跑步、蹲下、站起、跳躍這5 種動作的識別準(zhǔn)確率分別高達(dá)96.16%，95.34%，88.49%，89.37%，96.72%。對一個時間窗口內(nèi)多個動作的識別也取得了不錯的效果，時間上的識別準(zhǔn)確率整體令人滿意。

1 FMCW雷達(dá)信號處理

1.1 FMCW 雷達(dá)信號模型

FMCW 雷達(dá)由一個波形發(fā)生器、一個帶有2個發(fā)射器和4個接收器的天線陣列、一個信號解調(diào)器和一個模數(shù)轉(zhuǎn)換器（ADC）組成。波形發(fā)生器通過發(fā)射Chirp 信號，然后利用低頻濾波器（LPF）得到中頻信號。假設(shè)FMCW 雷達(dá)發(fā)射調(diào)頻連續(xù)波信號，其發(fā)射信號模型［13］可以表示為

式中，AT表示發(fā)射功率，fc表示Chirp的起始頻率，B表示Chirp 的帶寬，Tc表示Chirp 的持續(xù)時間，φ(t)表示相位噪音。

目標(biāo)反射回來的是一個有延遲的信號，可以表示為

式中，td=2R(t)/c表示信號在與距離雷達(dá)R(t)距離處的目標(biāo)之間的往返時間，α表示回波損耗系數(shù)。將發(fā)射信號xT(t)和接收信號xR(t)混頻以后再結(jié)合I/Q信號分析，其差拍信號可以表示為

式中AR為接收信號的功率，fb表示為

相位φb(t)則表示為

通常情況下，探測近距離目標(biāo)的時候，殘留的相位噪聲Δφ(t)可以忽略不計。并且，πBt2d/Tc的數(shù)值也非常小，可以被忽略掉。因此，最終的可以用雷達(dá)采樣數(shù)據(jù)矩陣表述差拍信號為

式中，n表示快時間采樣軸上對應(yīng)的標(biāo)號，m表示慢時間采樣軸上對應(yīng)的標(biāo)號，Tf表示快時間采樣軸上的ADC 采樣時間間隔，Ts表示慢時間采樣軸上的采樣時間間隔。

1.2 微多普勒時頻圖

傳統(tǒng)的短時傅里葉變換（STFT）采用定長窗函數(shù)進(jìn)行時頻分析，對于連續(xù)的Chirp 信號能夠取得不錯的效果，不過對于沒有連續(xù)Chirp 而是連續(xù)幀（幀內(nèi)Chirp 連續(xù)，幀間的Chirp 不連續(xù)）的信號來說一旦參數(shù)調(diào)整不好就會出現(xiàn)嚴(yán)重的功率泄露的情況。為了解決這個問題，使用文獻(xiàn)［14］所提出的RDM投影法獲取微多普勒時頻圖。對單幀的快時間維數(shù)據(jù)加上漢寧窗，然后進(jìn)行RangeFFT 獲得距離信息，然后再對單幀的慢時間維數(shù)據(jù)加上漢寧窗，進(jìn)行DopplerFFT 獲得目標(biāo)的速度信息，最后將零頻率分量搬移至頻率中間，得到最終的RDM（Range-Doppler-Map）。該RDM能夠很好地描述在該幀下人體所有散射點的距離和速度。假設(shè)RD(i,j,t)表示t幀下位于RDM 中第ith距離門、jth速度門下的信號功率值。

每幀RDM通過對距離門的投影可以得到目標(biāo)與雷達(dá)的距離變化，如圖1（a）所示，計算公式為

圖1 距離門與RDM投影

通過距離門可以得到目標(biāo)在運動中距離雷達(dá)的最小/最大徑向距離，記錄下對應(yīng)的距離門標(biāo)號為imin及imax。提取對應(yīng)距離內(nèi)的RDM，然后將RDM 向速度方向投影并且進(jìn)行逐幀積累得到微多普勒時頻圖，如圖1（b）所示，具體公式為

本質(zhì)上，RDM 投影是一個窗口長度，步長都為一幀中慢時間的Chirp 數(shù)（實驗中為128），重疊率為0 的短時傅里葉變化。微多普勒視頻圖的構(gòu)建流程如圖2所示。

圖2 微多普勒圖構(gòu)建流程

德州儀器AWR1843 因為存在幀的概念，即每幀存在若干個Chrip，然后每個Chrip間存在若干個采樣點，這種情況導(dǎo)致了單個幀內(nèi)的Chrip 時間是等長的，然而多個幀之間的Chrip 是不等長的，這種情況就會導(dǎo)致使用短時傅里葉變換出現(xiàn)嚴(yán)重的功率泄露的情況，生成的圖像質(zhì)量非常差，嚴(yán)重影響深度學(xué)習(xí)網(wǎng)絡(luò)的識別精度。而RDM投影是通過對單個幀的累加得到，沒有涉及到多個幀之間的操作，因此不存在功率泄露的情況，相比于短時傅里葉生成的圖像，質(zhì)量要高很多。

2 基于文本識別的連續(xù)動作識別

一組連續(xù)動作的微多普勒時頻特征如圖3所示，不同動作的微多普勒特征有很大的不同。受到文獻(xiàn)［15］的啟發(fā)，將不同動作的微多普勒特征進(jìn)行編碼，使用文本識別的思路進(jìn)行識別。具體來說，是將包含多個動作特征的微多普勒時頻圖輸入到一個由卷積神經(jīng)網(wǎng)絡(luò)，inception_resnet 網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)對時頻圖進(jìn)行壓縮并提取特征得到一組幀序列，然后使用BLSTM 網(wǎng)絡(luò)對每幀進(jìn)行預(yù)測，最后使用CTC［16］將每幀的預(yù)測編碼解碼成標(biāo)簽序列。

圖3 一組連續(xù)動作的微多普勒時頻圖

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該網(wǎng)絡(luò)要求圖像輸入的高度為256，寬度w不限，通道數(shù)為3，即輸入圖像的尺寸為256×w×3，核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)、inception_resnet 提取特征，然后使用最大池化層對圖像進(jìn)行壓縮，圖像最后會被壓縮成一個如圖5所示，一共由w/16 個1×1×512 維度長方體特征組成的時間序列，然后將該序列輸入到Bi-LSTM 網(wǎng)絡(luò)中進(jìn)行預(yù)測。網(wǎng)絡(luò)的參數(shù)如表1所示。

圖5 壓縮以后的長方體序列

表1 基于文本識別的網(wǎng)絡(luò)框架參數(shù)

2.2 Bi-LSTM

連續(xù)動作的微多普勒特征存在時序的特性，因此運動會被依次順序紀(jì)錄下來。傳統(tǒng)的CNN 網(wǎng)絡(luò)只能提取微多普勒特征，無法對時序序列進(jìn)行動態(tài)預(yù)測。為了解決這個問題，引入Bi-LSTM 網(wǎng)絡(luò)，提取CNN 網(wǎng)絡(luò)輸出的特征序列的時間特征，并且對每個時間序列進(jìn)行預(yù)測。簡單地說，Bi-LSTM分別結(jié)合了前向和后向LSTM 網(wǎng)絡(luò)還處理兩個方向的時間信息,除了使用過去的信息對現(xiàn)在進(jìn)行預(yù)測以外還能使用將來的信息預(yù)測現(xiàn)在。LSTM 是一種特殊的RNN，加入了遺忘門，能夠丟棄過去無用的信息，保留有效的信息，從而緩解梯度消失的問題，其計算模型如下：

式中σ為激活函數(shù)，i(t)為輸入門，f(t)為遺忘門，o(t)為輸出門。Bi-LSTM 由前向和后向LSTM 組成，其模型如下：

2.3 聯(lián)結(jié)主義時間分類

假設(shè)一段數(shù)據(jù)時長為9 s，有人可能在3～6 s的時間內(nèi)執(zhí)行了動作，也有人可能在4～9 s 內(nèi)執(zhí)行了動作，不同的人在不同的時間段內(nèi)執(zhí)行了不同時間的動作，因此需要精確標(biāo)注數(shù)據(jù)是很困難的。為此，使用CTC 算法自動學(xué)習(xí)時間序列和標(biāo)簽間的對齊情況，從而避免了精確標(biāo)注數(shù)據(jù)集，只需要數(shù)據(jù)標(biāo)注順序正確即可。

如果序列預(yù)測為y=(y1,y2,…,yN)，對應(yīng)的真實標(biāo)簽為I=(I1,I2,…,IW)，這其中序列長度要大于等于標(biāo)簽長度（即N≥W）?？紤]到不同的動作間存在過渡（一個動作執(zhí)行完，過一段時間再執(zhí)行下一個動作），過渡的這段時間內(nèi)沒有任何動作，因此需要定義一個blank 作為空白符加入到原始標(biāo)簽序列中構(gòu)造一個新的標(biāo)簽序列，即L'=L∪{-}，其中L'為新的標(biāo)簽序列，L為原始標(biāo)簽序列。很顯然一個真實的標(biāo)簽對應(yīng)的預(yù)測輸出有很多，假設(shè)一個y預(yù)測輸出序列為T=(t1,t2,t3,t4)的數(shù)據(jù)對應(yīng)的真實標(biāo)簽序列為label=(l1,l2,l3)，那么其對應(yīng)的預(yù)測有p(π1)=(l1,-,l2,l3)，p(π2)=(l1,l2,-,l3)，p(π4)=(-,l1,l2,l3)等多種可能的路徑。因此在真實標(biāo)簽為y的情況下，預(yù)測標(biāo)簽為I的概率為

式中π表示Bi-LSTM 的輸出序列，p(π|y)表示路徑的概率。由于各個時間序列間的預(yù)測概率是相互獨立的，因此對于任意時刻輸出序列π的概率計算如下：

式中πt∈L'，是在時間t上路徑π下預(yù)測的標(biāo)簽，是在時間t下標(biāo)簽為πt的概率。損失函數(shù)可以定義為Lctc=-lnp(I|y)，通過對每個步長的每個標(biāo)簽求導(dǎo)進(jìn)行梯度更新。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

實驗中所用的毫米波雷達(dá)硬件平臺由德州儀器研發(fā)的AWR1843BOOST 雷達(dá)傳感器模塊和DCA1000EVM 數(shù)據(jù)采集模塊組成。設(shè)置該雷達(dá)的起始工作頻率為77 GHz、帶寬為4 GHz,單個Chirp下的采樣點為256，單個幀下有128 個Chirp，單個幀的周期為30 ms。對單個動作和兩個連續(xù)動作采集300 幀及9 s 的數(shù)據(jù)，對3 個連續(xù)動作采集400幀即12 s的數(shù)據(jù)。

實驗中所用數(shù)據(jù)均在室內(nèi)采集，雷達(dá)掃描扇面內(nèi)除了單個測試者外沒有其他目標(biāo)。雷達(dá)置于距離地面0.8 m的支架上，測試者在雷達(dá)正前方2 m處原地執(zhí)行指定動作。前后共有10名志愿者參與采集數(shù)據(jù)，他們的體重在41～80 kg，身高在1.60～1.80 m，年齡在22～25之間。實驗中總共采集5種動作，分別是步行、跑步、蹲下、站起、跳躍，采集環(huán)境如圖6所示，單個動作的微多普勒時頻圖如圖7所示。總共采集1 600組數(shù)據(jù)，其中單個動作為800組，兩個連續(xù)動作為500組，3個連續(xù)動作為300組。

圖6 實驗環(huán)境

圖7 單個動作的微多普勒時頻圖

深度學(xué)習(xí)網(wǎng)絡(luò)基于TensorFlow2.0 中的keras框架，優(yōu)化函數(shù)為Adam，使用默認(rèn)學(xué)習(xí)率，設(shè)置批量大小為8。深度學(xué)習(xí)實驗在一臺配有GPU 為RTX2080Ti（8G顯存），16G內(nèi)存和酷睿i7的服務(wù)器上進(jìn)行。訓(xùn)練測試數(shù)據(jù)的比例為8∶2。圖像輸入的高度為256，寬度不限，即圖像輸入的尺寸為256×w。實驗中，9 s 的數(shù)據(jù)輸入網(wǎng)絡(luò)的寬度為576 像素（w=576,input=256×576×3），輸出為1×36×512，即由36 個1×512 組成的特征序列，每個序列代表大約0.25 s 時長的數(shù)據(jù)；12 s 數(shù)據(jù)輸入網(wǎng)絡(luò)的寬度為768 像素（w=768,input=256×768×3），輸出為1×48×512，即由48 個1×512組成的特征序列，每個序列代表大約0.25 s時長的數(shù)據(jù)。

3.2 單個動作的識別

該文所提出的方法既能夠?qū)Χ鄠€連續(xù)的動作進(jìn)行識別，也能夠?qū)蝹€動作進(jìn)行識別。圖8為5種動作的混淆矩陣。實驗表明，該方法對5種動作識別的平均準(zhǔn)確率高達(dá)93.22%，其中對步行、跑步和跳躍的識別準(zhǔn)確率分別高達(dá)96.16%，95.34%，96.72%。由于蹲下和站起的為多普勒頻率是相反的，同時在蹲下和站起的時候為了保持平衡手臂也會擺動，最終導(dǎo)致蹲下和站起的微多普勒特征比較相似，導(dǎo)致了在識別蹲下和站起這兩個動作時的精度只有88.49%和89.37%。

圖8 5種動作的混淆矩陣

為了能夠進(jìn)一步驗證該文所提出方法的可能性，將該方法與文獻(xiàn)［7］，文獻(xiàn)［10］和文獻(xiàn)［12］中提出的動作識別方法進(jìn)行對比。文獻(xiàn)［7］提出了一種時變距離-微多普勒圖（TRDM）的方法，在目標(biāo)執(zhí)行動作區(qū)間中的數(shù)據(jù)進(jìn)行距離和速度FFT 得到一組時序的RDM 圖形成數(shù)據(jù)流，然后利用所提出的CAE+LSTM 網(wǎng)絡(luò)提取數(shù)據(jù)流的時序特征和像素特征進(jìn)行識別。文獻(xiàn)［10］首先使用PCA 技術(shù)對原始數(shù)據(jù)降維，然后使用DCT 技術(shù)對降維以后的數(shù)據(jù)進(jìn)行處理，最后使用一種改進(jìn)型的SVM 網(wǎng)絡(luò)對經(jīng)過PCA 和DCT 處理以后的數(shù)據(jù)進(jìn)行識別，取得了不錯的效果。文獻(xiàn)［12］將STFT 和深度學(xué)習(xí)相結(jié)合，直接對經(jīng)過短時傅里葉變換以后的特征矩陣進(jìn)行處理，使用1D_CNN 網(wǎng)絡(luò)和LSTM 提取特征矩陣的信息，從而實現(xiàn)對單個動作的識別。對比效果如表2所示。

表2 本文方法同不同方法的對比

通過表2對比可以得知，本文所提方法同文獻(xiàn)［7］、文獻(xiàn)［10］和文獻(xiàn)［12］所提方法相比，識別精度會稍微低一些。導(dǎo)致這種情況的原因是，CTC決定了不需要單個網(wǎng)絡(luò)的輸出序列的識別精度最高，但是需要整個序列組的輸出精度最高，即h(x)=arg maxp(I|y)，其中h(x)為輸出序列，p(I|y)為真實標(biāo)簽為y的情況下預(yù)測標(biāo)簽為I的概率。

3.3 連續(xù)動作的識別

實驗表明，本文所提方法對單個動作的識別達(dá)到了一個較高的準(zhǔn)確率。為了進(jìn)一步衡量本文方法的綜合性能，除了測試對單個動作的識別準(zhǔn)確率以外，還需要識別在時間上的準(zhǔn)確率（假設(shè)一個24 s 的時間段，目標(biāo)執(zhí)行動作的區(qū)間分別為4～10 s，13～20 s，算法需要知道目標(biāo)在具體哪幾個時間段內(nèi)執(zhí)行了動作）。由于動作蹲下、站起、跳躍都是一瞬間完成的，因此僅僅對步行、跑步兩個連續(xù)性動作進(jìn)行測試。實驗中使用長達(dá)24 s的數(shù)據(jù)，總共分4個場景，分別是只執(zhí)行單個動作（步行，跑步）和執(zhí)行兩個動作（先步行后跑步，先跑步后步行）。單個動作的示例時間表如圖9所示，目標(biāo)第一個執(zhí)行動作的窗口時間為5～10 s，第二個執(zhí)行動作的窗口時間為15～24 s。網(wǎng)絡(luò)輸出的是一個序列，一個序列代表著一個時間段，也就是說如果一個24 s數(shù)據(jù)的微多普勒時頻圖的寬度為1 536個像素，那么經(jīng)過主干網(wǎng)絡(luò)的壓縮以后輸出一個長度為96的時間序列，也就是說一個序列代表0.25 s的時間，在這個窗口時間內(nèi)認(rèn)為動作是沒有變化的。因此在最終預(yù)測的時候也不完全是連續(xù)的時間預(yù)測，一旦一個序列預(yù)測錯誤就意味著這0.25 s的預(yù)測都錯誤，該方法的本質(zhì)上是將連續(xù)的時間分割成時間很短的時間序列，然后對這一段時間序列進(jìn)行特征提取并且認(rèn)為這段時間序列內(nèi)只有一個動作。

圖9 單個動作的示例時間表

執(zhí)行兩個動作的示例時間表如圖10所示，目標(biāo)執(zhí)行第一個動作的窗口時間為4～10 s，總共6 s，執(zhí)行第二個動作的窗口時間為15～21 s，同樣也是6 s。很顯然，該算法在時間上有不錯的識別準(zhǔn)確率。對一段時間內(nèi)的兩個動作進(jìn)行識別時，雖然出現(xiàn)時間上沒有完全對齊，在沒有動作的時間預(yù)測執(zhí)行動作的錯誤，但是整體上的預(yù)測還是正確的，并且沒有出現(xiàn)預(yù)測順序錯誤的情況。出現(xiàn)真實標(biāo)簽和預(yù)測標(biāo)簽在時間上沒有完全對齊的一個可能性是實驗誤差，在實驗的時候是目標(biāo)需要在發(fā)出信號以后等待到指定的時間區(qū)間再執(zhí)行動作，因此會出現(xiàn)時間上的誤差，在執(zhí)行完一個動作之后目標(biāo)沒有完全立正不動，導(dǎo)致還存在一些微多普勒調(diào)制，因此出現(xiàn)誤判的情況。

圖10 兩個動作的示例時間表

4 結(jié)束語

本文提出一種FMCW 雷達(dá)基于文本識別技術(shù)的連續(xù)動作識別方法。該方法將不同動作的微多普勒時頻圖的特征抽象成不同的字符，使用文本識別的思路進(jìn)行識別。首先對原始數(shù)據(jù)進(jìn)行預(yù)處理，使用RDM 投影的方法獲取微多普勒時頻圖，從而避免了雷達(dá)幀與幀之間的Chirp 不連續(xù)導(dǎo)致STFT 變換調(diào)參麻煩和功率泄露的問題。然后，將處理得到的微多普勒時頻圖輸入到有卷積神經(jīng)網(wǎng)絡(luò)、inception_resnet 和最大池化層組成的主干網(wǎng)絡(luò)對圖像進(jìn)行提取特征和壓縮，將原始輸入尺寸為256×w×3 壓縮成一個由w/16 個1×1×512 維度長方體特征組成的時間序列，然后輸入到兩層Bi-LSTM 網(wǎng)絡(luò)對每個序列進(jìn)行預(yù)測。由于一個目標(biāo)在固定長度的時間窗口內(nèi)執(zhí)行動作的起始時間和結(jié)束時間是不同的，數(shù)據(jù)無法被精確標(biāo)注，因此最后使用CTC 作為損失函數(shù)，對參數(shù)進(jìn)行求導(dǎo)。實驗表明，該方法對步行、跑步、蹲下、站起、跳躍這5 種動作的識別準(zhǔn)確率分別高達(dá)96.16%，95.34%，88.49%，89.37%，96.72%。對一個時間窗口內(nèi)多個動作的識別也取得了不錯的效果，時間上的識別準(zhǔn)確率整體令人滿意。由于連續(xù)的動作存在前后的合法性，比如蹲下以后的動作只能是站起，不能是其他動作，因此下一階段打算對該方法進(jìn)行改進(jìn)用以判斷連續(xù)動作是否合法。