基于小樣本和隨機(jī)化的跨域人體動(dòng)作泛化識(shí)別模型

摘 要：隨著IEEE 802.11bf標(biāo)準(zhǔn)的發(fā)布，WiFi感知技術(shù)已從學(xué)術(shù)研究走向工業(yè)應(yīng)用。針對(duì)現(xiàn)有人體動(dòng)作識(shí)別在域內(nèi)能夠準(zhǔn)確感知，但面對(duì)跨域場景時(shí)模型識(shí)別性能差的問題，提出了一種基于小樣本和隨機(jī)化的跨域人體動(dòng)作泛化識(shí)別模型SSRCD-Fi。首先，使用特征提取器將輸入樣本映射到向量空間，實(shí)現(xiàn)同一動(dòng)作的樣本聚集、不同動(dòng)作的樣本分離；然后針對(duì)新的場景域，通過隨機(jī)化方法和少量被標(biāo)記樣本計(jì)算出動(dòng)作的原型表示；最后，計(jì)算查詢樣本與動(dòng)作原型之間的距離，從而實(shí)現(xiàn)了人體動(dòng)作的分類。實(shí)驗(yàn)結(jié)果和分析表明，SSRCD-Fi能夠?qū)崿F(xiàn)魯棒的跨域人體動(dòng)作的泛化感知，在不可見的用戶和位置上實(shí)驗(yàn)準(zhǔn)確率分別為92.73%和97.99%。實(shí)驗(yàn)代碼公開在：https：//github.com/4three2one/SSRCD-Fi。

關(guān)鍵詞：人體動(dòng)作識(shí)別；小樣本；隨機(jī)化；跨域泛化感知

中圖分類號(hào)：TP391.41"" 文獻(xiàn)標(biāo)志碼：A""" 文章編號(hào)：1001-3695（2025）03-027-0849-07

doi： 10.19734/j.issn.1001-3695.2024.05.0308

Cross domain human action generalization recognition model based on small sample size and randomization

Hu Ming1， 2， Xu Jiawei2， Zhao Lijun3， Wang Yang2， Ouyang Shaoxiong2， Hou Hailun2

（1.School of Network Engineering， Wuhu Institute of Technology， Wuhu Anhui 241002， China; 2. School of Computer amp; Information， Anhui Normal University， Wuhu Anhui 241000， China; 3. Yangtze River Delta Region Hart Robotics Industry Technology Research Institute， Wuhu Anhui 241000， China）

Abstract：The release of the IEEE 802.11bf standard propels WiFi sensing technology from academic research to industrial applications. Existing human action recognition models perform well within a single domain， but their recognition accuracy significantly deteriorates in cross-domain scenarios. To address this issue， this paper proposed a small sample and randomized cross-domain human action generalization recognition model called SSRCD-Fi to achieve cross-domain human action generalization perception in WiFi. The SSRCD-Fi model operated in several steps. Firstly， it" used a feature extractor to map input samples to a vector space， achieved sample aggregation for the same action and sample separation for different actions. Then， for a new scene domain， randomization and a small number of labeled samples could calculate the prototype representation of the action. Finally， it calculated the distance between the query sample and the action prototype achieves the classification of human actions. The experimental results and analysis show that SSRCD-Fi can achieve robust cross domain generalization perception of human actions， with accuracies of 92.73% and 97.99% for unseen users and locations， respectively. The experimental code of this article is publicly available at： https：//github.com/4three2one/SSRCD-Fi .

Key words：human motion recognition; small sample; randomization; cross domain generalization perception

0 引言

人體動(dòng)作識(shí)別一直是計(jì)算機(jī)視覺和無線感知研究領(lǐng)域的關(guān)鍵研究內(nèi)容之一［1～5］。隨著視頻網(wǎng)絡(luò)信息量的急劇增加，傳統(tǒng)的機(jī)器學(xué)習(xí)方法如基于人體關(guān)節(jié)點(diǎn)、基于時(shí)空興趣點(diǎn)和基于密集軌跡等已經(jīng)不能滿足日益增長的應(yīng)用需求，因此人體動(dòng)作識(shí)別的關(guān)鍵技術(shù)已經(jīng)轉(zhuǎn)向應(yīng)用深度學(xué)習(xí)和WiFi感知技術(shù)融合的方式。其難點(diǎn)主要在于：a）場景的復(fù)雜性。場景復(fù)雜性主要是影響動(dòng)作識(shí)別的準(zhǔn)確性，在不同角度、不同光照下，場景所呈現(xiàn)的信息往往不同，相同的人體動(dòng)作通常也會(huì)產(chǎn)生較為明顯的差異；此外，對(duì)于人體活動(dòng)尺度較大、不同人的外型和人體自遮掩、部分物體遮掩等問題也都是人體動(dòng)作識(shí)別中場景信息復(fù)雜性的體現(xiàn)，對(duì)動(dòng)作識(shí)別準(zhǔn)確性有很大影響。 b）動(dòng)作邊界的模糊性。對(duì)于實(shí)時(shí)視頻來說，其中可以包括多個(gè)動(dòng)作，并且每個(gè)動(dòng)作的延續(xù)時(shí)間長短不同、速度變化快，不能在時(shí)間上對(duì)動(dòng)作邊界進(jìn)行準(zhǔn)確的定位，也不能在時(shí)域和時(shí)序范圍內(nèi)對(duì)人體動(dòng)作進(jìn)行更加精細(xì)的分析。 然而，模糊的動(dòng)作邊界在很大程度上會(huì)減弱動(dòng)作識(shí)別的準(zhǔn)確度，并且對(duì)動(dòng)作識(shí)別效率也有較大影響。

基于WiFi的感知工作利用細(xì)粒度的物理層屬性信道狀態(tài)信息（channel state information，CSI）來測量人體在WiFi環(huán)境下執(zhí)行動(dòng)作（如走動(dòng)或肘部移動(dòng)）對(duì)無線信號(hào)的特定變化。然而，無線信號(hào)歷經(jīng)多徑傳播，采集到的CSI樣本中不僅包含人體動(dòng)作信息同時(shí)包含環(huán)境信息。圖1顯示同一動(dòng)作跨域（跨用戶、跨位置、跨方向）且相同動(dòng)作轉(zhuǎn)換兩次時(shí)，CSI幅度的變化情況?？梢钥闯?CSI幅值模型存在顯著差異，此現(xiàn)象被稱為域轉(zhuǎn)移（domain shift）。具體來說，圖1（a）顯示的是位置相同、方向相同、僅用戶不同時(shí)CSI振幅的變化情況；圖1（b）顯示的是在用戶相同、方向相同、僅位置不同時(shí)CSI振幅的變化情況；圖1（c）顯示的是在用戶相同、位置相同、僅方向不同時(shí)CSI振幅的變化情況。

現(xiàn)有基于深度學(xué)習(xí)的WiFi感知方案，主要從同一域采集一定量的標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練和測試，因此域轉(zhuǎn)移會(huì)直接影響模型性能［５］。以ARIL（activity recognition and indoor localization）模型［６］為例，在同一位置上訓(xùn)練和測試時(shí)平均準(zhǔn)確率可以達(dá)到80%以上，然而訓(xùn)練模型時(shí)使用位置為1～10的數(shù)據(jù)，測試的數(shù)據(jù)為11～16位置上時(shí)，模型活動(dòng)識(shí)別準(zhǔn)確率僅為36.79%。為了進(jìn)一步說明域轉(zhuǎn)移對(duì)模型的影響，圖2使用t-SNE分別可視化源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)（見電子版），展示了經(jīng)過ARIL模型的編碼層輸出的向量化表征（embeddings）。當(dāng)測試數(shù)據(jù)為不可見的目標(biāo)域時(shí)，同類動(dòng)作向量化的可視化點(diǎn)非常分散，說明模型不能有效學(xué)習(xí)到目標(biāo)域數(shù)據(jù)中同類動(dòng)作的共性特征表示。

為了解決WiFi跨域感知的問題，學(xué)術(shù)界已經(jīng)提出了多種解決方案，主要包括基于域無關(guān)特征、基于遷移學(xué)習(xí)、基于域?qū)褂?xùn)練和基于少樣本學(xué)習(xí)等［7～13］?；谟驘o關(guān)特征的方法通常不僅需要手動(dòng)設(shè)計(jì)特征，而且依賴于多個(gè)特征提取器。基于遷移學(xué)習(xí)的思想旨在利用預(yù)訓(xùn)練模型，將源域的知識(shí)遷移到新的目標(biāo)域中。然而實(shí)際場景下，當(dāng)源域和目標(biāo)域之間存在較大差異時(shí)，可能會(huì)出現(xiàn)負(fù)遷移現(xiàn)象。域?qū)褂?xùn)練可以促使特征提取器學(xué)習(xí)到具有泛化能力的特征表示，從而在新的目標(biāo)域上有更好的性能表現(xiàn)，但目前基于域?qū)褂?xùn)練的方法依賴大量來自源域和目標(biāo)域的樣本進(jìn)行訓(xùn)練?；谏贅颖緦W(xué)習(xí)的方法利用少量目標(biāo)域數(shù)據(jù)就可將源域映射到目標(biāo)域，并且不需要重新訓(xùn)練模型，但小樣本學(xué)習(xí)器并不能學(xué)習(xí)到域無關(guān)的特征表示，僅在基本集的多個(gè)任務(wù)下找到最優(yōu)的起點(diǎn)，以便快速適應(yīng)測試任務(wù)。

1 問題分析與系統(tǒng)模型

WiFi信號(hào)經(jīng)歷多徑傳播過程的時(shí)變特性導(dǎo)致環(huán)境的改變最終反映在正交頻分復(fù)用（orthogonal frequency division multiplexing，OFDM）系統(tǒng)中每個(gè)子載波的子信道參數(shù)上，因此在WiFi環(huán)境下，人體的活動(dòng)會(huì)引起CSI在時(shí)間和子信道參數(shù)上的變化［14，15］。WiFi感知首先需要搭建數(shù)據(jù)采集環(huán)境采集數(shù)據(jù)，一般包括發(fā)射端和接收端，如發(fā)射端為一臺(tái)商用無線路由器，接收端為一臺(tái)配有Intel 5300網(wǎng)卡的電腦。通常采集的CSI數(shù)據(jù)充滿噪聲，并且接收端收到的數(shù)據(jù)也可能出現(xiàn)丟包，這時(shí)需要對(duì)收集的數(shù)據(jù)使用信號(hào)處理技術(shù)進(jìn)行降噪，丟失過多的包需要進(jìn)行插值。接著需要根據(jù)具體場景設(shè)計(jì)合理的模型來感知目標(biāo)任務(wù)。有了模型和數(shù)據(jù)后還需要經(jīng)過訓(xùn)練，找到最優(yōu)的模型參數(shù)，才可以實(shí)現(xiàn)魯棒的感知，且不同的訓(xùn)練方式也決定模型優(yōu)化方向。

1.1 問題分析

小樣本學(xué)習(xí)（few-shot learning，F(xiàn)SL）的目標(biāo)是解決在數(shù)據(jù)稀缺條件下模型仍可以進(jìn)行有效學(xué)習(xí)的問題。傳統(tǒng)的深度學(xué)習(xí)算法訓(xùn)練模型時(shí)依賴大量樣本數(shù)據(jù)，而小樣本學(xué)習(xí)從極少的標(biāo)注樣本中提取并學(xué)習(xí)到有效的特征，在新的少量樣本上同樣可以進(jìn)行準(zhǔn)確預(yù)測。為了實(shí)現(xiàn)小樣本學(xué)習(xí)，其中常見的方法是元學(xué)習(xí)。小樣本學(xué)習(xí)作為一種元學(xué)習(xí)技術(shù)，在計(jì)算機(jī)視覺領(lǐng)域已經(jīng)得到廣泛應(yīng)用。傳統(tǒng)深度學(xué)習(xí)模型旨在學(xué)習(xí)數(shù)據(jù)獨(dú)有的特征表示，并以此預(yù)測所對(duì)應(yīng)的類別標(biāo)簽。相比之下，F(xiàn)SL的特征提取器使用基本集（訓(xùn)練集）預(yù)訓(xùn)練，接著利用少量標(biāo)記數(shù)據(jù)構(gòu)建支持集，并通過查詢集和支持集特征表示的相似性進(jìn)行預(yù)測。最近，F(xiàn)SL技術(shù)同樣被應(yīng)用在WiFi感知領(lǐng)域，以解決域轉(zhuǎn)移問題。一般而言，機(jī)器學(xué)習(xí)的目標(biāo)是設(shè)計(jì)一個(gè)可以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)知識(shí)的模型，然后將模型應(yīng)用在新的測試數(shù)據(jù)上。傳統(tǒng)的機(jī)器學(xué)習(xí)模型是假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)獨(dú)立同分布的，然而在實(shí)際場景下訓(xùn)練和測試數(shù)據(jù)的分布并不是一致的，特別是在無線感知領(lǐng)域，訓(xùn)練與測試數(shù)據(jù)的分布往往差異很大，機(jī)器模型的性能因此也會(huì)大大降低。域泛化學(xué)習(xí)的目標(biāo)在于增強(qiáng)模型在訓(xùn)練和測試數(shù)據(jù)分布不一致，并且測試數(shù)據(jù)完全不可見的情況下的泛化能力。現(xiàn)有實(shí)現(xiàn)域泛化的主要方式有：a）數(shù)據(jù)操作。其專注于通過操作輸入數(shù)據(jù)來輔助模型學(xué)習(xí)泛化特征表示，常見技術(shù)有：（a）數(shù)據(jù)增強(qiáng)，對(duì)輸入數(shù)據(jù)進(jìn)行增強(qiáng)、隨機(jī)化和變換；（b）數(shù)據(jù)生成，通過生成多樣化的樣本實(shí)現(xiàn)泛化。b）表征學(xué)習(xí)。其是領(lǐng)域泛化中最常用方式，主要有：（a）域不變表征學(xué)習(xí)，包括核方法、對(duì)抗訓(xùn)練或不變風(fēng)險(xiǎn)最小化等；（b）特征解纏，將特征解纏為域共享或域特定，從而得到更好的泛化效果。c）學(xué)習(xí)策略。利用學(xué)習(xí)策略提高模型的泛化特征表示能力，主要有：（a）集成學(xué)習(xí)，依賴于集成的方法學(xué)習(xí)到通用且泛化的預(yù)測函數(shù)；（b）元學(xué)習(xí)，構(gòu)建元學(xué)習(xí)任務(wù)模擬域轉(zhuǎn)移，以此學(xué)習(xí)到泛化表征；（c）分布魯棒性優(yōu)化，優(yōu)化訓(xùn)練領(lǐng)域最壞情況分布場景的方法；（d）梯度操作，直接對(duì)梯度進(jìn)行操作來學(xué)習(xí)到泛化表示；（e）自監(jiān)督學(xué)習(xí)，設(shè)計(jì)好的前置任務(wù)學(xué)習(xí)到泛化特征表示。

本文設(shè)計(jì)了基于小樣本和隨機(jī)化的跨域WiFi人體動(dòng)作泛化識(shí)別模型：SSRCD-Fi。首先，特征提取器將輸入樣本映射到向量空間，同一動(dòng)作的樣本被聚集，不同動(dòng)作的樣本被分離；然后，面對(duì)新域僅需要少量標(biāo)記樣本，即可計(jì)算出原型表示；最后，計(jì)算查詢樣本與原型之間的距離實(shí)現(xiàn)分類。

1.2 系統(tǒng)模型

為了讓SSRCD-Fi特征提取器學(xué)習(xí)到動(dòng)作相關(guān)但域無關(guān)的特征表示，本節(jié)對(duì)原型網(wǎng)絡(luò)進(jìn)行如下改進(jìn)：a）在特征提取器上加入子載波注意力結(jié)構(gòu)，讓特征提取器更關(guān)注受人體動(dòng)作影響更為顯著的子載波信號(hào)；b）加入共享特征提取器的動(dòng)作分類器，輔助原型網(wǎng)絡(luò)更好地學(xué)習(xí)到每類動(dòng)作的原型表示；c）將嵌入的特征表示的均值和方差作為域風(fēng)格，然后對(duì)特征使用域風(fēng)格隨機(jī)化，迫使特征提取器學(xué)習(xí)到域無關(guān)的特征表示。

圖3直觀展示了SSRCD-Fi模型的學(xué)習(xí)過程，顏色一致為同類動(dòng)作，形狀一致為同一個(gè)域（見電子版）。模型首先需要學(xué)習(xí)同類動(dòng)作的原型表示，動(dòng)作分類器輔助原型網(wǎng)絡(luò)將同類動(dòng)作更好地聚集，不同類別的動(dòng)作盡量遠(yuǎn)離，但僅使用原型網(wǎng)絡(luò)和動(dòng)作分類器，學(xué)習(xí)到的原型表示會(huì)受到域信號(hào)的影響，如圖3會(huì)聚集顏色一致但形狀不同的向量。因此，本節(jié)加入域隨機(jī)化，讓模型在模糊的域風(fēng)格向量下學(xué)習(xí)到域無關(guān)的原型表示。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 數(shù)據(jù)集選擇

本節(jié)在三個(gè)人體動(dòng)作數(shù)據(jù)集上驗(yàn)證SSRCD-Fi模型的跨域感知能力：

a）ARIL（action recognition and indoor localization dataset）數(shù)據(jù)集［6］。該數(shù)據(jù)集支持人體動(dòng)作識(shí)別和室內(nèi)定位的聯(lián)合任務(wù)，具體為單個(gè)房間內(nèi)的15個(gè)位置上的6種活動(dòng)，包括手向上、手向下、手向左、手向右、手繞圈和手交叉的具體動(dòng)作。ARIL 數(shù)據(jù)集中的 CSI 樣本使用通用軟件無線電外圍設(shè)備（universal software radio peripherals，USRP）收集，每個(gè)CSI樣本的數(shù)據(jù)形狀為 1×52×192，域信息僅有位置。記錄活動(dòng)期間的CSI信息后，并對(duì)數(shù)據(jù)進(jìn)行去噪和歸一化等預(yù)處理，以提取關(guān)鍵特征。隨后，通過特征提取分析出如幅度和相位等特征，并將每個(gè)樣本關(guān)聯(lián)到具體的活動(dòng)標(biāo)簽。利用圖表和熱圖等可視化方法展示不同活動(dòng)在特征空間中的分布差異，使用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)自動(dòng)識(shí)別。最后，通過驗(yàn)證集評(píng)估模型的準(zhǔn)確性、精確率和召回率，并使用混淆矩陣分析不同活動(dòng)的分類準(zhǔn)確性，從而將每種活動(dòng)映射為可識(shí)別的結(jié)構(gòu)化數(shù)據(jù)，支持后續(xù)的分析和應(yīng)用。

b）CSIDA（channel state information data for applications）數(shù)據(jù)集［7］。其為基線模型WiGr［7］所采集，基于Atheros網(wǎng)卡平臺(tái)，由一個(gè)發(fā)射端和一個(gè)接收端組成，工作在5 GHz的monitor模式，信道帶寬為40 MHz，子載波數(shù)量為114個(gè)，采樣頻率為1 kHz，經(jīng)過預(yù)處理后每個(gè)CSI樣本的數(shù)據(jù)形狀為3×114×1 800，域信息包括位置、人員、房間。

c）本文數(shù)據(jù)集。數(shù)據(jù)采集平臺(tái)由1個(gè)路由器和1臺(tái)配有Intel 5300 網(wǎng)卡的電腦組成，路由器充當(dāng)發(fā)射器，安裝Intel 5300 網(wǎng)卡的電腦充當(dāng)接收器。本文數(shù)據(jù)集采集了6種動(dòng)作，包括滑動(dòng)、推手、畫圈、舉手、鼓掌和握拳。經(jīng)過處理后每個(gè)CSI樣本形狀為3×30×500，域信息位置、人員。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)

本節(jié)具體的跨域?qū)嶒?yàn)包含多種子實(shí)驗(yàn)，如跨位置實(shí)驗(yàn)中，對(duì)每名人員不同位置上進(jìn)行實(shí)驗(yàn)，因此本節(jié)后續(xù)實(shí)驗(yàn)均以多次實(shí)驗(yàn)的平均精度（mean Acc）作為評(píng)價(jià)指標(biāo)。訓(xùn)練模型時(shí)均使用Adam優(yōu)化器，學(xué)習(xí)率統(tǒng)一為5E-4，Lf損失的權(quán)重λ設(shè)為1，迭代次數(shù)為300輪。訓(xùn)練框架選用的PyTorch-lightning版本為1.1.8，對(duì)應(yīng)的PyTorch版本為1.8.0。具體實(shí)驗(yàn)環(huán)境如表1所示。

2.3 域內(nèi)識(shí)別結(jié)果

本節(jié)首先驗(yàn)證模型在同一個(gè)域下，其小樣本學(xué)習(xí)能力。圖7給出了在各個(gè)數(shù)據(jù)集上6-way 1-shot識(shí)別結(jié)果的混淆矩陣（這里混淆矩陣的準(zhǔn)確率值相對(duì)較簡單，因?yàn)樵谕挥蛏系耐活悇?dòng)作測試的樣本數(shù)量也較少）；最終得到在ARIL、CSIDA、本文數(shù)據(jù)集的識(shí)別結(jié)果，對(duì)應(yīng)的準(zhǔn)確率分別為83.3%、91.67%和87.5%。

可以看到在域內(nèi)環(huán)境下，本文在自采集的真實(shí)場景下的六種動(dòng)作實(shí)驗(yàn)結(jié)果如圖7（c）所示，其中Y軸代表實(shí)際的動(dòng)作類別，X軸代表預(yù)測的動(dòng)作類別。可以看到模型對(duì)slide、raise、fist這三種動(dòng)作正確預(yù)測分類表現(xiàn)非常好，正確率達(dá)到100%；push動(dòng)作被正確預(yù)測分類概率為88%，12%的錯(cuò)誤分類為slide；circle動(dòng)作被正確預(yù)測分類概率為88%，12%的錯(cuò)誤分類為fist；clap動(dòng)作被正確預(yù)測分類概率僅僅50%，25%被錯(cuò)誤預(yù)測為push，另外25%被錯(cuò)誤預(yù)測為fist。出現(xiàn)上述部分動(dòng)作分類不精準(zhǔn)的原因可能是某些動(dòng)作在執(zhí)行時(shí)存在較高的相似性，導(dǎo)致模型難以區(qū)分。例如，clap和fist可能在某些特定姿勢或動(dòng)作過程中有相似的特征（如手部動(dòng)作或肢體運(yùn)動(dòng)軌跡），這可能導(dǎo)致模型將clap誤分類為 fist，push和 clap可能在手臂或手部的初始或終止位置相似，導(dǎo)致模型在某些情況下無法準(zhǔn)確區(qū)分。另外也可能是特征提取不足，模型可能在特征提取過程中未能捕捉到某些動(dòng)作類別的關(guān)鍵特征。例如，clap動(dòng)作可能涉及到雙手接觸的細(xì)微特征，如果模型未能有效捕捉這些特征，可能會(huì)導(dǎo)致誤分類。雖然存在一定動(dòng)作分類的誤差，但模型整體性能優(yōu)異，實(shí)驗(yàn)效果顯著，保證了SSRCD-Fi模型在域內(nèi)環(huán)境下的魯棒性。

2.4 跨域識(shí)別結(jié)果

本節(jié)進(jìn)一步在三個(gè)數(shù)據(jù)集上測試了模型的跨域?qū)嶒?yàn)結(jié)果，實(shí)驗(yàn)包括了跨位置、跨用戶、跨場景。對(duì)于每個(gè)跨域?qū)嶒?yàn)，本節(jié)僅改變單個(gè)域信息。

a）跨位置分析。在ARIL［6］、本文數(shù)據(jù)集上進(jìn)行了跨位置實(shí)驗(yàn)。其中，ARIL包含的位置有16個(gè)；本文數(shù)據(jù)集共包含4個(gè)位置。圖８（a）表明1-shot平均準(zhǔn)確率分別為60%、78%左右，可以看到隨著支持集樣本數(shù)量增加，模型在ARIL、本文數(shù)據(jù)集跨位置性能也隨之提升，當(dāng)3-shot時(shí)本文數(shù)據(jù)集與ARIL的平均準(zhǔn)確率相近，表明本文模型在跨位置自采集的真實(shí)場景下的實(shí)驗(yàn)效果顯著，能很好地識(shí)別每種動(dòng)作，并且可以很好地在實(shí)際場景中進(jìn)行具體應(yīng)用。

b）跨用戶分析。在CSIDA和本文數(shù)據(jù)集上進(jìn)行了跨人員實(shí)驗(yàn)，CSIDA和本文數(shù)據(jù)集人員分別為5與4名。如圖8（b）中所示，在兩個(gè)數(shù)據(jù)集上1-shot平均準(zhǔn)確率分別在70%、90%左右，隨著支持集樣本數(shù)量增加，模型在CSIDA上的平均準(zhǔn)確率達(dá)到95%以上。從圖8（b）可以觀察到，在3-shot時(shí)本文數(shù)據(jù)集在跨用戶上平均準(zhǔn)確率達(dá)到將近90%，表明本文模型在跨用戶環(huán)境中自采集的真實(shí)場景下的有效性和適用性。

c）跨場景分析?？鐖鼍皩?shí)驗(yàn)僅在CSIDA上進(jìn)行，圖8（c）表明，1-shot、2-shot和3-shot的平均結(jié)果在80%～90%。

2.5 與其他模型對(duì)比

本文對(duì)比的其他模型分別為WiGr［7］、EI［8］、JADA［9］，其中EI與JADA基于域?qū)箤W(xué)習(xí)，WiGr基于小樣本學(xué)習(xí)。表2給出具體比較結(jié)果：a）JADA使用4個(gè)階段的訓(xùn)練方式，其參數(shù)量最高，本文SSRCD-Fi因?yàn)榧尤胱⒁饬C(jī)制以及域模糊，其參數(shù)量相較于WiGr更高；b）SSRCD-Fi、WiGr相較于基于域?qū)褂?xùn)練的EI、JADA，在平均準(zhǔn)確率上提升明顯；c）SSRCD-Fi的平均準(zhǔn)確率對(duì)比WiGr更優(yōu)，說明本文模型更能幫助模型學(xué)習(xí)到域無關(guān)的特征表示。

2.6 輸入類型的對(duì)比

CSI樣本包含幅度和相位信息，本節(jié)在CSIDA和本文數(shù)據(jù)集上進(jìn)行跨域?qū)嶒?yàn)，以此評(píng)估輸入類型（僅幅值、僅相位、幅值和相位）對(duì)模型學(xué)習(xí)的影響。圖9給出了模型在CSIDA和本文數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果：a）僅幅值的實(shí)驗(yàn)結(jié)果最差；b）實(shí)驗(yàn)人員的手勢運(yùn)動(dòng)影響到無線信號(hào)的傳播路徑，進(jìn)而引起接收端CSI的相位變化，因此不管是在公開數(shù)據(jù)集還是自采數(shù)據(jù)集中相位的變化比幅值的變化包含更多信息，相位對(duì)實(shí)驗(yàn)結(jié)果影響更顯著。

2.7 相似性度量的比較

在原型學(xué)習(xí)任務(wù)的階段，查詢向量需要與每個(gè)類別的原型表示進(jìn)行相似性計(jì)算，通過這個(gè)計(jì)算結(jié)果來判斷動(dòng)作的類別（這與傳統(tǒng)的線性預(yù)測方式有很大區(qū)別）。例如，在本文數(shù)據(jù)集中，系統(tǒng)需要識(shí)別一名用戶在特定位置上做出的“滑動(dòng)”動(dòng)作。首先，系統(tǒng)通過特征提取器對(duì)輸入的CSI數(shù)據(jù)進(jìn)行處理，將其映射到向量空間中。接下來，系統(tǒng)利用本文SSRCD-Fi計(jì)算該樣本與各個(gè)動(dòng)作原型之間的余弦相似性，余弦相似性最高的為識(shí)別結(jié)果，經(jīng)過測試可以得到，在本文數(shù)據(jù)集上利用本文模型能夠準(zhǔn)確識(shí)別出“滑動(dòng)”動(dòng)作；在自采集的真實(shí)場景下的六種動(dòng)作進(jìn)行實(shí)驗(yàn)，對(duì)每種動(dòng)作都能精準(zhǔn)識(shí)別區(qū)分，實(shí)驗(yàn)效果顯著，保證了SSRCD-Fi在判斷動(dòng)作類別上的魯棒性。因此，相似性計(jì)算方式對(duì)模型的感知性能有著重要的影響。比較歐氏距離與余弦相似性這兩種方式的影響，如圖10所示（注：ARIL僅包含一個(gè)域因素，因此使用柱狀圖）?？梢钥闯觯褂糜嘞蚁嗨菩栽谌齻€(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于使用歐氏距離的結(jié)果。需要注意的是，基線模型WiGr通過正交正則化輔助特征提取器構(gòu)建適合余弦相似性的特征嵌入空間。然而SSRCD-Fi未加入正交正則化，說明線性預(yù)測任務(wù)同樣能夠促進(jìn)構(gòu)建適合余弦相似性的特征嵌入空間。

2.8 模型結(jié)構(gòu)消融

本節(jié)通過實(shí)驗(yàn)探究隨機(jī)化、子載波注意力結(jié)構(gòu)對(duì)模型的貢獻(xiàn)程度。圖11給出在本文數(shù)據(jù)集上跨位置以及跨用戶6-way 1-shot的實(shí)驗(yàn)結(jié)果。

圖11中的“w/o DRamp;SA”表示兩個(gè)結(jié)構(gòu)都不加入域隨機(jī)化和子載波注意力結(jié)構(gòu)；“w/o SA”表示不加入子載波注意結(jié)構(gòu)；“w/o DR”表示不加入域隨機(jī)化?？梢钥闯?，當(dāng)域隨機(jī)化和子載波注意力結(jié)構(gòu)均加入時(shí)即本文SSRCD-Fi，整體實(shí)現(xiàn)結(jié)果最優(yōu)。

3 結(jié)束語

本文主要提出了一種基于小樣本學(xué)習(xí)的SSRCD-Fi模型。模型通過在原型網(wǎng)絡(luò)上加入輔助的線性動(dòng)作識(shí)別任務(wù)，并結(jié)合域隨機(jī)化操作，有效實(shí)現(xiàn)動(dòng)作相關(guān)但域無關(guān)的特征表示學(xué)習(xí)。由于基于原型網(wǎng)絡(luò)的小樣本學(xué)習(xí)需要依賴目標(biāo)域的支持集數(shù)據(jù)，所以SSRCD-Fi編碼器尚不能學(xué)習(xí)到獨(dú)立于目標(biāo)域數(shù)據(jù)的泛化表征。為解決這一問題，將在下一步工作中使用子載波的統(tǒng)計(jì)特征作為域風(fēng)格，并加入對(duì)抗域?qū)W習(xí)，以期從多個(gè)源域數(shù)據(jù)集中學(xué)習(xí)泛化的特征表示。

參考文獻(xiàn)：

［1］Chen Zhenghua， Zhang Le， Jiang Chaoyang，et al. WiFi CSI based passive human activity recognition using attention based BLSTM ［J］. IEEE Trans on Mobile Computing， 2019， 18（11）： 2714-2724.

［2］朱相華， 智敏. 基于改進(jìn)深度學(xué)習(xí)方法的人體動(dòng)作識(shí)別綜述 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2022， 39（2）： 342-348. （Zhu Xianghua， Zhi Min. Review of human action recognition based on improved deep learning methods ［J］. Application Research of Computers， 2022， 39（2）： 342-348.）

［3］Yao Yancheng， Zhao Chuanxin， Pan Yahui，et al. Human gesture recognition based on CT-A hybrid deep learning model in WiFi environment ［J］. IEEE Sensors Journal， 2023， 23（22）： 28021-28034

［4］Tan Sheng， Yang Jie， Chen Yingying. Enabling fine-grained finger gesture recognition on commodity WiFi devices ［J］. IEEE Trans on Mobile Computing， 2022， 21（8）： 2789-2802.

［5］王楊， 許佳煒， 王傲， 等. 基于CSI實(shí)例標(biāo)準(zhǔn)化的域泛化人體動(dòng)作識(shí)別模型 ［J］. 通信學(xué)報(bào)， 2024， 45（6）： 196-209. （Wang Yang， Xu Jiawei， Wang Ao， et al. Domain-generalization human activity recognition model based on CSI instance normalization ［J］. Journal on Communications， 2024， 45（6）： 196-209.）

［6］Wang Fei， Feng Jianwei， Zhao Yinliang，et al. Joint activity recognition and indoor localization with WiFi fingerprints ［J］. IEEE Access， 2019， 7： 80058-80068.

［7］Zhang Xie， Tang Chengpei， Yin Kang，et al. WiFi-based cross-domain gesture recognition via modified prototypical networks ［J］. IEEE Internet of Things Journal， 2021， 9（11）： 8584-8596.

［8］Jiang Wenjun， Miao Chenglin， Ma Fenglong，et al. Towards environment independent device free human activity recognition［C］// Proc of the 24th Annual International Conference on Mobile Computing and Networking. New York： ACM Press， 2018： 289-304.

［9］Zou Han， Yang Jianfei， Zhou Yuxun，et al. Joint adversarial domain adaptation for resilient WiFi-enabled device-free gesture recognition ［C］//Proc of the 17th IEEE International Conference on Machine Learning and Applications. Piscataway，NJ：IEEE Press， 2018： 202-207.

［10］Liu Shijia， Chen Yanru， Wang Hao，et al. A low-calculation contactless continuous authentication based on postural transition ［J］. IEEE Trans on Information Forensics and Security， 2022， 17： 3077-3090.

［11］Zhou Mu， Long Yuexin， Pu Qiaolin，et al. Indoor WiFi fingerprint localization method based on CSI tensor decomposition. ［J］. Journal on Communications， 2021， 42（11）： 159-171.

［12］Wu Dan， Zeng Youwei， Gao Ruiyang，et al. WiTraj： robust indoor motion tracking with WiFi signals ［J］. IEEE Trans on Mobile Computing， 2023， 22（5）： 3062-3078.

［13］Zhang Jin， Chen Zhuangzhuang， Luo Chengwen，et al. MetaGanFi： cross-domain unseen individual identification using WiFi signals ［C］//Proc of ACM on Interactive， Mobile， Wearable and Ubiquitous Technologies. New York：ACM Press， 2022： 1-21.

［14］Chignell M， Wang Lu， Zare A，et al. The evolution of HCI and human factors： integrating human and artificial intelligence ［J］. ACM Trans on Computer-Human Interaction， 2023， 30（2）： 1-30.

［15］Yang Jianfei， Zou Han， Jiang Hao，et al. Device-free occupant activity sensing using WiFi-enabled IoT devices for smart homes ［J］. IEEE Internet of Things Journal， 2018， 5（5）： 3991-4002.