WiGNet:一種適用于無線感知場景的手勢識(shí)別模型

馬凱凱,段鵬松,孔金生

(鄭州大學(xué)網(wǎng)絡(luò)空間安全學(xué)院,450000,鄭州)

隨著物聯(lián)網(wǎng)及人工智能技術(shù)的快速發(fā)展,人機(jī)交互技術(shù)(HCI)的使用場景越來越多[1],手勢識(shí)別技術(shù)也成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)之一[2-3]。利用手勢識(shí)別技術(shù),人與設(shè)備的交互更為便捷,其相關(guān)技術(shù)及應(yīng)用在萬物互聯(lián)背景下潛力巨大。例如,在智能家居中,可以使用手勢控制電視、空調(diào)、冰箱等家用設(shè)備,而無需額外的控制器,能極大提升用戶的使用體驗(yàn)和操作效率。

目前,實(shí)現(xiàn)手勢識(shí)別的主流技術(shù)可以分為基于計(jì)算機(jī)視覺[4-5]、專用傳感器[6]和射頻信號(hào)[7]三類。其中,基于計(jì)算機(jī)視覺的手勢識(shí)別技術(shù)通過收集大量的手勢照片,利用機(jī)器學(xué)習(xí)等技術(shù)學(xué)習(xí)和識(shí)別具體手勢信息。該技術(shù)研究成果較多,識(shí)別精度也較高,但存在弱光照條件受限及低隱私保護(hù)等缺點(diǎn)?；趯Ｓ脗鞲衅鞯氖謩葑R(shí)別技術(shù)通過專用傳感器(如可穿戴設(shè)備)采集手勢動(dòng)作,再通過內(nèi)部自帶的識(shí)別系統(tǒng)感知手勢類別[6]。該技術(shù)在手勢識(shí)別粒度及精度上有較大優(yōu)勢,但安裝和維護(hù)成本較高,難以實(shí)現(xiàn)大規(guī)模應(yīng)用[8]?；谏漕l信號(hào)的手勢識(shí)別技術(shù)通過分析信號(hào)的變化情況實(shí)現(xiàn)手勢的分類,其中基于Wi-Fi信號(hào)的手勢識(shí)別技術(shù)因其易部署、成本低、非接觸式、隱私保護(hù)性好等優(yōu)勢,逐漸受到研究者的青睞。

在早期的Wi-Fi手勢識(shí)別研究中,研究者通常使用接收信號(hào)強(qiáng)度指示(RSSI)作為感知特征載體。Abdelnasser等提出了一種通過分析RSSI變化來感知用戶手勢系統(tǒng)的WiGest[9],在單個(gè)無線設(shè)備接入點(diǎn)實(shí)驗(yàn)條件下實(shí)現(xiàn)了87.5%的識(shí)別準(zhǔn)確度。由于多徑效應(yīng),RSSI測量的是多路徑信號(hào)的疊加結(jié)果,無線感知的識(shí)別易受室內(nèi)布局影響,因此RSSI僅能感知粗粒度的目標(biāo)行為(如走動(dòng)、跳躍等)。對(duì)于細(xì)粒度的目標(biāo)行為(如手勢動(dòng)作等),則需要通過信道狀態(tài)信息(CSI)來感知。CSI可以從一個(gè)數(shù)據(jù)包中同時(shí)測量多個(gè)子載波的頻率響應(yīng),而非全部子載波疊加的總體幅度響應(yīng),從而更加精細(xì)地刻畫頻率選擇性信道。隨著CSI Tool[10]工具的開源,使得從商用Wi-Fi設(shè)備中提取CSI成為可能,基于CSI的手勢識(shí)別研究也逐漸占據(jù)主導(dǎo)。2016年,Tan等提出了利用CSI進(jìn)行細(xì)粒度手指動(dòng)作的系統(tǒng)WiFinger[11],實(shí)現(xiàn)了93%以上的動(dòng)作識(shí)別準(zhǔn)確率。但是,由于WiFinger只選擇了關(guān)鍵子載波的感知數(shù)據(jù),造成了大量的數(shù)據(jù)浪費(fèi)和信息丟失。Han等提出的DANGR[12]使用生成對(duì)抗網(wǎng)絡(luò)對(duì)感知數(shù)據(jù)進(jìn)行增強(qiáng),降低數(shù)據(jù)集不完整引起的過擬合風(fēng)險(xiǎn),最終達(dá)到了94.5% 的手勢識(shí)別平均準(zhǔn)確率。Meng等提出的FaSee[13]通過使用動(dòng)態(tài)時(shí)間規(guī)整算法,使手勢識(shí)別的平均準(zhǔn)確率達(dá)到了94.75%。但是,該算法需要和k-最鄰近分類算法相結(jié)合,時(shí)間復(fù)雜度較高。

現(xiàn)有基于Wi-Fi感知技術(shù)的手勢識(shí)別研究中,大多數(shù)研究者從CSI中選擇特定子載波,并基于一維時(shí)序數(shù)據(jù)流進(jìn)行特征識(shí)別[11,14],未能很好地利用不同頻率子載波之間的空間特征差異,使得感知特征辨識(shí)度較低,且噪聲信息不能有效濾除,導(dǎo)致難以實(shí)現(xiàn)高準(zhǔn)確率的手勢識(shí)別。為解決此問題,本文在以下方面做出改進(jìn)。

(1)提出了一種具有較高辨識(shí)度的感知特征表征機(jī)制。首先,將采集到的一維時(shí)序CSI數(shù)據(jù)重構(gòu)為多維矩陣形式,以提取載波內(nèi)和載波間所蘊(yùn)含的手勢特征;其次,對(duì)重構(gòu)后的多維感知數(shù)據(jù)進(jìn)行二維離散小波變換(2D-DWT),以進(jìn)行時(shí)間和空間層面上的數(shù)據(jù)降噪和平滑,得到具有較高辨識(shí)度的感知特征表征機(jī)制。

(2)本文提出了一種基于深度學(xué)習(xí)的高精度手勢識(shí)別模型WiGNet。WiGNet以2D-DWT處理后的多維矩陣為輸入,由多個(gè)NGConv模塊構(gòu)成的卷積神經(jīng)網(wǎng)絡(luò)組成。自建數(shù)據(jù)集和公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均表明,WiGNet相比同類模型有明顯優(yōu)勢。

1 問題定義

1.1 信道狀態(tài)信息

信道狀態(tài)信息是在正交頻分復(fù)用(OFDM)技術(shù)中估計(jì)信道狀態(tài)的信息[15]。通常來說,每一條無線鏈路有多個(gè)子載波,每一個(gè)子載波都會(huì)產(chǎn)生對(duì)應(yīng)的CSI值。

當(dāng)信號(hào)在無線信道中傳播時(shí),會(huì)遇到路徑中物體的反射、折射等擾動(dòng),這些擾動(dòng)最終體現(xiàn)為接收端的CSI數(shù)據(jù)。假設(shè)接收端的和發(fā)射端的無線信號(hào)分別為α和β,則有

α=Hβ+a

(1)

式中:a為無線信號(hào)傳播過程產(chǎn)生的噪聲向量;H表示所有子載波組成的信道矩陣,如果把噪聲表示為a～cN(O,S)形式的正態(tài)分布,那么就可以估計(jì)出信道矩陣H

(2)

對(duì)于H的估計(jì)就是CSI的值,對(duì)于單個(gè)子載波來說,可以用以下形式表示CSI

h=|h|ejsinθ

(3)

式中|h|表示CSI的振幅。當(dāng)人在無線信道中做手勢動(dòng)作時(shí),|h|就會(huì)產(chǎn)生相應(yīng)的變化,通過分析這些變化就能實(shí)現(xiàn)對(duì)不同手勢的檢測。

1.2 問題定義

每一個(gè)OFDM信道中每一條子載波可以得到一個(gè)CSI序列。假設(shè)有一個(gè)具有Ns個(gè)發(fā)射器天線,Nr個(gè)接收器天線的系統(tǒng),則每個(gè)接收到的CSI數(shù)據(jù)包都可以解析出Ns×Nr×n個(gè)CSI序列,其中n表示每個(gè)無線信道中子載波的數(shù)量。為了獲得CSI數(shù)據(jù)流,需要在接收端持續(xù)采集時(shí)間間隔為T的CSI數(shù)據(jù),每個(gè)子載波可以得到一個(gè)長度為T的CSI序列。目前大部分基于CSI的手勢識(shí)別研究大都僅使用單個(gè)子載波的CSI數(shù)據(jù)進(jìn)行分析實(shí)驗(yàn),其形式如式(4)所示

X=[h1,k,h2,k,…,ht,k,…,hT,k]T

(4)

式中ht,k表示t時(shí)刻第K個(gè)子載波的數(shù)值。每個(gè)子載波間手勢特征變化不總是相同的,為了更好地利用不同頻率子載波之間的空間特征差異,本文將每條無線信道間所有子載波的CSI序列重構(gòu)為二維矩陣形式,如式(5)所示

(5)

根據(jù)Wi-Fi感知中OFDM和MIMO(multiple-input multiple-out-put)的技術(shù)特性,以及實(shí)際采集中多發(fā)射器、多接收器的場景,對(duì)于每個(gè)采集時(shí)間間隔T,可以得到Ns×Nr個(gè)如式(5)所示的二維矩陣。由于不同收發(fā)天線獲取的信號(hào)具有一定的差異,為了保留這些信號(hào)差異,本文將Ns×Nr個(gè)矩陣在深度方向堆疊,增強(qiáng)手勢動(dòng)作的特征,消除不同無線信道間手勢特征的差異,提高魯棒性[16]。

2 模型設(shè)計(jì)

本文設(shè)計(jì)的手勢識(shí)別系統(tǒng)方案總體流程圖如圖1所示。

圖1 手勢識(shí)別總體流程圖

首先,使用收發(fā)設(shè)備獲取包含不同手勢特征的CSI數(shù)據(jù);其次,將采集得到的CSI數(shù)據(jù)重構(gòu)為tensor格式的二維矩陣形式,并對(duì)重構(gòu)數(shù)據(jù)進(jìn)行2D-DWT變換等達(dá)到降噪和平滑的目的;最后,將處理后的數(shù)據(jù)放入設(shè)計(jì)好的深度神經(jīng)網(wǎng)絡(luò)WiGNet中,提取手勢特征信息,并對(duì)不同手勢特征進(jìn)行分類,實(shí)現(xiàn)手勢識(shí)別功能。

2.1 二維離散小波變換

在采集CSI手勢數(shù)據(jù)的過程中,Wi-Fi無線信號(hào)會(huì)受到墻壁、桌椅以及身體其他部位微小動(dòng)作的影響,這些多徑效應(yīng)會(huì)讓CSI信號(hào)產(chǎn)生細(xì)微波動(dòng)。時(shí)間精度和頻率精度是小波變換在高頻和低頻時(shí)具有的特性,這使其可以聚焦到無線信號(hào)變化的所有細(xì)節(jié),對(duì)時(shí)頻信號(hào)分析有很高的契合度。基于這些特點(diǎn),本文對(duì)重構(gòu)的CSI數(shù)據(jù)采用2D-DWT方法進(jìn)行降噪和降維處理。

在對(duì)無線信號(hào)的處理中,需要將連續(xù)的小波及其小波變換離散化。假設(shè)f(x)表示無線信號(hào),則其可以在子空間中用小波函數(shù)ψ(x)和尺度函數(shù)φ(x)的展開形式來表示,如式(6)所示

(6)

式中:x表示單個(gè)子載波的值;j0是任意的開始尺度;cj0,k為近似系數(shù);dj(k)為小波系數(shù)。將式(6)展開即可得到正向的離散小波變換(DWT),如式(7)和式(8)所示

(7)

(8)

有些背景噪聲在一維信號(hào)中體現(xiàn)的是隨機(jī)性,但可能在二維信號(hào)中就顯示出很強(qiáng)的區(qū)域性或較明顯的特征性。由于DWT只能在無線信號(hào)的時(shí)間維度上運(yùn)作,為更好地利用不同頻率子載波之間的空間特征差異,本文引入了2D-DWT。對(duì)于重構(gòu)數(shù)據(jù),2D-DWT不僅能在無線信號(hào)的時(shí)間維度上運(yùn)作,還能對(duì)不同子載波間的CSI信號(hào)進(jìn)行平滑降噪處理。

在二維的情況下,給定尺度函數(shù)φ(x)和小波函數(shù)ψ(x),可以組合出1個(gè)二維尺度函數(shù)和3個(gè)二維小波函數(shù),分別如式(9)～(12)所示

φ(x,y)=φ(x)φ(y)

(9)

ψT(x,y)=ψ(x)φ(y)

(10)

ψV(x,y)=φ(x)ψ(y)

(11)

ψD(x,y)=ψ(x)ψ(y)

(12)

式中T、V、D分別表示列方向、行方向、對(duì)角線方向。

于是,對(duì)于大小為M×N的二維矩陣f(x,y),其離散小波變換如式(13)和式(14)所示

(13)

i={T,V,D}

(14)

如同一維的情況,j0是一個(gè)任意開始的尺度,尺度j0處的近似由式(13)定義。圖2直觀地表示了2D-DWT如何對(duì)矩陣從水平和豎直兩個(gè)方向進(jìn)行處理。其中a是原始矩陣,b是經(jīng)過一階2D-DWT處理后的矩陣,c是經(jīng)過2階2D-DWT處理后的矩陣,以此類推。

圖2 矩陣的2D-DWT處理過程

本文所使用的小波函數(shù)為多貝西(Daubechies, db)小波函數(shù)。在使用2D-DWT對(duì)數(shù)據(jù)處理時(shí)使用tensor數(shù)據(jù)格式,此格式已被證明能加快數(shù)據(jù)處理速度[17]。頻率能量圖[16]是CSI數(shù)據(jù)的可視化表示,圖3所示分別為經(jīng)過2D-DWT處理前和處理后的2種手勢動(dòng)作(上滑、畫圓)的頻率能量圖,其中橫軸表示采樣時(shí)間,豎軸表示子載波數(shù)量,顏色表示CSI數(shù)據(jù)的大小?？梢灾庇^地看出,經(jīng)過2D-DWT處理后,數(shù)據(jù)的尺寸變小,頻率能量圖信號(hào)的變化情況更加突出。3.2節(jié)的實(shí)驗(yàn)也證明了經(jīng)過2D-DWT處理后的數(shù)據(jù)提高了手勢識(shí)別的準(zhǔn)確率,降低了系統(tǒng)整體運(yùn)算時(shí)間。

(a)上滑,處理前

2.2 WiGNet模型

對(duì)原始CSI數(shù)據(jù)重構(gòu)后,考慮到卷積神經(jīng)網(wǎng)絡(luò)在多維矩陣特征提取方面的巨大優(yōu)勢,本文使用神經(jīng)架構(gòu)搜索技術(shù)(NAS)[18-19]搜索網(wǎng)絡(luò)深度以及卷積核個(gè)數(shù)的合理化配置,使用搜索得到的網(wǎng)絡(luò)提取數(shù)據(jù)特征,進(jìn)行手勢分類。

2.2.1 神經(jīng)架構(gòu)搜索技術(shù)

NAS指一系列搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)的算法,其思想為:首先定義一組可能用于網(wǎng)絡(luò)的“構(gòu)建塊”(如卷積核、池化層等)。在NAS算法中,控制器遞歸神經(jīng)網(wǎng)絡(luò)對(duì)這些構(gòu)建塊進(jìn)行采樣,將它們放在一起創(chuàng)建某種端到端架構(gòu)。這種架構(gòu)的風(fēng)格通常與經(jīng)典的網(wǎng)絡(luò)設(shè)計(jì)相似,如ResNet[20]或DenseNet[21],塊之間的組合和配置是它們之間的主要差別。然后,小規(guī)模訓(xùn)練這種新的網(wǎng)絡(luò)體系結(jié)構(gòu),在獲得一定的精度后通過生成更好地體系結(jié)構(gòu)更新控制器。

在搜索過程中,增加網(wǎng)絡(luò)的深度能夠得到更加豐富、復(fù)雜的特征,但網(wǎng)絡(luò)深度過深往往會(huì)產(chǎn)生過擬合、梯度消失等問題。增加網(wǎng)絡(luò)的寬度(卷積核的個(gè)數(shù))能夠獲得更高細(xì)粒度的特征并且也更容易訓(xùn)練,但對(duì)于寬度很大而深度較淺的網(wǎng)絡(luò)往往很難學(xué)習(xí)到更深層次的特征。結(jié)合重構(gòu)后CSI數(shù)據(jù)的特點(diǎn),本文使用NAS技術(shù)得到了更加適合重構(gòu)后CSI數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)。

2.2.2 注意力機(jī)制結(jié)構(gòu)

本文加入了注意力機(jī)制結(jié)構(gòu)以聚焦無線信號(hào)的關(guān)鍵信息。當(dāng)手勢做出動(dòng)作時(shí),無線信號(hào)會(huì)發(fā)生特定的波動(dòng),注意力機(jī)制的引入能更好地提取波動(dòng)變化信息。

如圖4所示,本文設(shè)計(jì)的注意力機(jī)制由一個(gè)全局平均池化層和兩個(gè)卷積層組成,第一個(gè)卷積層使用SiLU激活函數(shù)結(jié)構(gòu),第二個(gè)卷積層使用Sigmoid激活函數(shù),其輸出和注意力機(jī)制結(jié)構(gòu)的輸入在深度上堆疊以保留聚焦得到的特征。

圖4 注意力機(jī)制結(jié)構(gòu)

2.2.3 NGConv模塊

本文使用的網(wǎng)絡(luò)結(jié)構(gòu)由8個(gè)NGConv模塊組合而成。如圖5所示,首先,數(shù)據(jù)經(jīng)過一個(gè)卷積核大小為1×1的卷積層達(dá)到數(shù)據(jù)升維作用。之后,進(jìn)行正則化和激活處理。正則化可以防止模型過擬合和加速模型收斂,激活函數(shù)選用SiLU激活函數(shù),如式(15)所示,SiLU激活函數(shù)具有平滑、非單調(diào)、無上界有下界的特性。

圖5 NGConv模塊示意圖

SilU(x)=x*Sigmoid(x)

(15)

然后,數(shù)據(jù)進(jìn)入一個(gè)卷積核大小為3×3的深度可分離卷積層中[22],同樣經(jīng)過正則化和SiLU激活函數(shù)處理后輸入注意力結(jié)構(gòu)塊中。

最后,數(shù)據(jù)經(jīng)過注意力機(jī)制塊處理后經(jīng)過一個(gè)卷積核大小為1×1的卷積層以降低矩陣維度,經(jīng)過正則化層之后使用Dropout操作防止模型過擬合,其中Drouout率設(shè)置為0.2。

NGConv模塊還使用了殘差連接操作[20],如式(16)所示

xl+1=h(xl)+F(xl,Wl)

(16)

在輸入下一個(gè)模塊之前,每次經(jīng)過NGConv模塊處理的數(shù)據(jù)都會(huì)和輸入數(shù)據(jù)相加,殘差連接能很好地解決梯度消失和網(wǎng)絡(luò)退化的問題[20]。

數(shù)據(jù)在輸入WiGNet模型后,先進(jìn)入一個(gè)卷積核大小為3×3的卷積層,之后由8個(gè)以線性結(jié)構(gòu)連接的NGConv模塊進(jìn)行特征提取,最后經(jīng)由卷積核大小為1×1的卷積層展開為各個(gè)手勢動(dòng)作的預(yù)測值。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集描述

本文分別使用自建采集的數(shù)據(jù)集和公共數(shù)據(jù)集評(píng)估模型的性能。

由于無線信號(hào)的傳播會(huì)受到多徑效應(yīng)的顯著影響,因此不同多徑效應(yīng)下無線信號(hào)的效果有一定區(qū)別?？紤]模型在不同多徑效應(yīng)環(huán)境下的運(yùn)行效果,弱多徑效應(yīng)環(huán)境遮擋物少,環(huán)境開闊,信號(hào)傳播路徑相對(duì)簡單;強(qiáng)多徑效應(yīng)環(huán)境物品較多,信號(hào)傳播路徑較為復(fù)雜。為保證實(shí)驗(yàn)數(shù)據(jù)的多樣性和客觀性,在采集數(shù)據(jù)時(shí)選擇了弱多徑效應(yīng)的數(shù)據(jù)采集室和強(qiáng)多徑效應(yīng)的學(xué)生實(shí)驗(yàn)室兩種環(huán)境,如圖6所示。

(a)數(shù)據(jù)采集室

發(fā)射器選擇具有一個(gè)發(fā)射天線的TP_LINK AC1750無線路由器,接收器為一臺(tái)具有 3個(gè)接收天線安裝有開源CSI Tool工具的計(jì)算機(jī)。采樣頻率為1 kHz,Wi-Fi工作頻率為5 GHz。如圖6所示,發(fā)射器和接收器相距2 m,考慮到視距路徑和非視距路徑對(duì)無線信號(hào)傳播的影響,消除位置誤差并結(jié)合現(xiàn)實(shí)情況,在發(fā)射器和接收器中間選擇3個(gè)不同位置進(jìn)行CSI數(shù)據(jù)的采集,采集過程中受測者始終面向接收器。每次接收含90(1×3×30)個(gè)子載波的CSI數(shù)據(jù)。本文在每種環(huán)境下分別安排2個(gè)受測者,兩種環(huán)境下每個(gè)受測者分別采集9種手勢動(dòng)作,分別為左滑、右滑、上滑、下滑、畫O、畫十、畫Z、畫W、畫S,每次采集時(shí)間間隔為2 s,每種動(dòng)作在每個(gè)采集位置處采集20條數(shù)據(jù),處理后得到2 160條數(shù)據(jù)。

公共數(shù)據(jù)集[23]在教室、大廳、辦公室3個(gè)實(shí)驗(yàn)地點(diǎn)采集。使用的接收設(shè)備是配有Intel 5300無線網(wǎng)卡的筆記本計(jì)算機(jī)。每個(gè)采集環(huán)境的設(shè)備和實(shí)驗(yàn)布置相同,有一個(gè)發(fā)射器(每個(gè)發(fā)射器1條發(fā)射天線)、6個(gè)接收器(每個(gè)接收器3條接收天線),每個(gè)接收器每次接收含90(1×3×30)個(gè)子載波的CSI數(shù)據(jù)。本文選取數(shù)據(jù)集中的6種手勢進(jìn)行實(shí)驗(yàn),分別為拍手、橫掃、畫O、推拉、擺動(dòng)、畫Z。每個(gè)實(shí)驗(yàn)地點(diǎn)分別選取4個(gè)受測者的手勢數(shù)據(jù)。對(duì)于每個(gè)實(shí)驗(yàn)地點(diǎn),每種手勢動(dòng)作各整理了1 500個(gè)數(shù)據(jù),每個(gè)地點(diǎn)分別整理9 000個(gè)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。

自建數(shù)據(jù)集和公共數(shù)據(jù)集主要參數(shù)設(shè)置如表1所示。

表1 數(shù)據(jù)集主要參數(shù)設(shè)置

3.1.2 模型超參數(shù)

本文實(shí)驗(yàn)基于深度學(xué)習(xí)框架PyTorch實(shí)現(xiàn)。優(yōu)化器使用隨機(jī)梯度下降算法(SGD),其動(dòng)量因子設(shè)置為0.9,L2正則化參數(shù)設(shè)置為0.000 5以防止過擬合。Batch_size設(shè)置為16。初始學(xué)習(xí)率設(shè)置為0.01,并使用余弦學(xué)習(xí)率衰減策略優(yōu)化學(xué)習(xí)速度[24],最終學(xué)習(xí)率下降為0.000 1。將每個(gè)環(huán)境的數(shù)據(jù)劃分為80%訓(xùn)練集和20%測試集,使用測試集評(píng)估識(shí)別效果。

3.1.3 評(píng)估指標(biāo)

本文采用準(zhǔn)確率(A)、精確率(P)、召回率(R)、特異度(SP)、方差評(píng)估模型效果。模型最終需要判斷樣本的結(jié)果是正確(positive)還是錯(cuò)誤(negative)。以FN表示真實(shí)值是positive,預(yù)測值是negative的數(shù)量;TP表示真實(shí)值是positive,預(yù)測值是positive的數(shù)量;TN表示真實(shí)值是negative,預(yù)測值是negative的數(shù)量;FN表示真實(shí)值是negative,預(yù)測值是positive的數(shù)量;S2為總體方差,Y表示預(yù)測值,N為數(shù)據(jù)總數(shù)。準(zhǔn)確率指正確分類樣本數(shù)占總體樣本數(shù)比例;精確率指預(yù)測的所有positive中,預(yù)測正確的比例;召回率指預(yù)測正確的positive占所有真實(shí)positive的比例;特異度指預(yù)測正確的negative占所有真實(shí)negative的比例。方差描述的是訓(xùn)練模型中每個(gè)預(yù)測值與預(yù)測均值差的平方和的平均數(shù)。評(píng)估指標(biāo)的公式如下

(17)

(18)

(19)

(20)

(21)

3.2 實(shí)驗(yàn)結(jié)果

為了評(píng)估所提出方法的性能:首先,本文驗(yàn)證了所提出的2D-DWT方法的有效性;然后,給出了模型的最終分類結(jié)果并和現(xiàn)有模型的性能進(jìn)行對(duì)比;最后,給出所提方法在公共數(shù)據(jù)集上的表現(xiàn)。

3.2.1 2D-DWT的有效性實(shí)驗(yàn)

圖7為使用2D-DWT和不使用2D-DWT的準(zhǔn)確率,分別在自建數(shù)據(jù)集中數(shù)據(jù)采集室和學(xué)生實(shí)驗(yàn)室進(jìn)行實(shí)驗(yàn)。結(jié)果顯示:在數(shù)據(jù)采集室環(huán)境下,不使用2D-DWT的分類準(zhǔn)確率為97.3%,使用2D-DWT的分類準(zhǔn)確率為98.2%;在學(xué)生實(shí)驗(yàn)室環(huán)境下,不使用2D-DWT的分類準(zhǔn)確率為97.2%,使用2D-DWT的分類準(zhǔn)確率為98.1%。

圖7 是否使用2D-DWT的準(zhǔn)確率對(duì)比

圖8為不使用和使用2D-DWT情況下在數(shù)據(jù)采集室下訓(xùn)練集損失隨時(shí)間變化圖。盡管對(duì)數(shù)據(jù)進(jìn)行2D-DWT時(shí)會(huì)消耗一定的運(yùn)行時(shí)間,但先進(jìn)的處理方式[17]與處理后更小的數(shù)據(jù)尺寸使整體的運(yùn)行時(shí)間更短。從圖中可以看出,使用2D-DWT訓(xùn)練時(shí)損失值能夠更快地收斂。實(shí)驗(yàn)結(jié)果充分說明,使用2D-DWT對(duì)數(shù)據(jù)進(jìn)行降噪后,不僅提高了分類結(jié)果的準(zhǔn)確率,還降低了訓(xùn)練所需時(shí)間,證明了2D-DWT的有效性。

圖8 是否使用2D-DWT的loss變化曲線

3.2.2 系統(tǒng)整體性能

混淆矩陣可以觀察模型在各個(gè)類別上的表現(xiàn)。圖9為使用本文提出的基于WiGNet的方法對(duì)9種手勢動(dòng)作的最終分類結(jié)果的混淆矩陣,其中橫軸表示實(shí)際的手勢動(dòng)作,豎軸表示預(yù)測的手勢動(dòng)作,對(duì)角矩陣表示每一種手勢動(dòng)作的識(shí)別準(zhǔn)確率?？梢钥闯鰧?duì)于所采集的9種手勢動(dòng)作,WiGNet對(duì)于每一種動(dòng)作都有很好的分類效果,對(duì)于左滑、畫圓、畫S等區(qū)分度高的動(dòng)作的分類最準(zhǔn)確。兩種環(huán)境下識(shí)別準(zhǔn)確率分別達(dá)到了98.2%和98.1%,表明WiGNet能實(shí)現(xiàn)高精度手勢識(shí)別,且具有一定的魯棒性。

(a)標(biāo)準(zhǔn)數(shù)據(jù)采集實(shí)驗(yàn)室

為了評(píng)估WiGNet的性能,將WiGNet和當(dāng)前流行的手勢識(shí)別方法對(duì)比。本文使用在標(biāo)準(zhǔn)數(shù)據(jù)采集實(shí)驗(yàn)室下的數(shù)據(jù)分別與經(jīng)典分類模型ResNet50[20]、經(jīng)過神經(jīng)架構(gòu)搜索技術(shù)改良的適用于本文數(shù)據(jù)集的最佳深度ResNet網(wǎng)絡(luò)ResNet36、手勢識(shí)別最新模型FaSee[13]進(jìn)行對(duì)比,結(jié)果如表2所示。

表2 不同手勢識(shí)別方法的結(jié)果對(duì)比

在訓(xùn)練過程中發(fā)現(xiàn),當(dāng)ResNet50達(dá)到了一定的效果后,隨著輪次的不斷增加,訓(xùn)練集和測試集的準(zhǔn)確率相差變大,出現(xiàn)過擬合,具體表現(xiàn)為結(jié)果的方差較大;盡管ResNet36使用神經(jīng)架構(gòu)搜索技術(shù)得到了適合于本文數(shù)據(jù)集的網(wǎng)絡(luò)深度,但其表現(xiàn)和ResNet50相差不大,仍出現(xiàn)過擬合問題;本文提出的WiGNet采用更加輕量級(jí)的網(wǎng)絡(luò),網(wǎng)絡(luò)深度更淺,并且在每個(gè)NGConv模塊中加入了dropout層用以防止過擬合,結(jié)果顯示W(wǎng)iGNet訓(xùn)練結(jié)果的方差最小,模型穩(wěn)定性更高,訓(xùn)練效果更好;FaSee方法的效果雖然好于ResNet,但動(dòng)態(tài)時(shí)間規(guī)整算法和k-最鄰近分類算法的時(shí)間復(fù)雜度高,開銷大,且其并沒有考慮各個(gè)子載波之間的空間特征,最終效果差于本文提出的WiGNet。從表2可以看出,不管是在識(shí)別準(zhǔn)確率還是其他評(píng)估指標(biāo)下,WiGNet相較于其他方法的效果都更好。

3.2.3 公共數(shù)據(jù)集結(jié)果

為了突出本文方法的高性能,本節(jié)將和使用相同公共數(shù)據(jù)集的方法對(duì)比,分別是Widar3.0[23]、CGRU-ELM[25],對(duì)比結(jié)果如表3所示,可以看出,WiGNet相較于其他方法具有更好的分類性能。

表3 公共數(shù)據(jù)集準(zhǔn)確率對(duì)比

圖10展示了使用WiGNet在公共數(shù)據(jù)集上的評(píng)估結(jié)果。通過對(duì)兩個(gè)環(huán)境下的每個(gè)動(dòng)作進(jìn)行評(píng)估可以看出,對(duì)于畫Z、畫O等區(qū)分度高的動(dòng)作的分類最準(zhǔn)確,對(duì)于擺動(dòng)、橫掃等動(dòng)作的識(shí)別準(zhǔn)確率相對(duì)較低。圖11所示為經(jīng)過2D-DWT處理過后的擺動(dòng)和橫掃動(dòng)作的頻率能量圖,可以看出兩種動(dòng)作的特征重合度較高,模型對(duì)于不同特征的提取相對(duì)困難?？傮w來說,對(duì)于兩個(gè)環(huán)境下的6種手勢動(dòng)作,WiGNet對(duì)于每一種手勢動(dòng)作都實(shí)現(xiàn)了較好的分類效果,兩種環(huán)境下的高準(zhǔn)確率分類效果表明WiGNet具有較好的魯棒性。

(a)教室環(huán)境下評(píng)估結(jié)果

(a)拍手

4 結(jié) 論

傳統(tǒng)基于Wi-Fi的手勢動(dòng)作識(shí)別模型,大多數(shù)研究者采用從CSI信息中選擇特定子載波,并基于一維時(shí)序數(shù)據(jù)流進(jìn)行特征識(shí)別,這造成大量的數(shù)據(jù)浪費(fèi),未能很好利用不同頻率子載波之間的空間特征差異,存在因感知特征辨識(shí)度較低及難以提取而導(dǎo)致識(shí)別準(zhǔn)確率不高的問題。本文首次將二維離散小波變換引入感知特征的重構(gòu)流程中,實(shí)現(xiàn)了在時(shí)間和空間層面上的數(shù)據(jù)降噪和平滑。在此基礎(chǔ)上,本文還提出了基于深度學(xué)習(xí)的高精度手勢識(shí)別模型WiGNet。WiGNet以2D-DWT處理后的多維矩陣為輸入,能準(zhǔn)確地提取手勢動(dòng)作的特征。實(shí)驗(yàn)結(jié)果表明,使用二維離散小波變換對(duì)數(shù)據(jù)處理能提高識(shí)別準(zhǔn)確率和運(yùn)算速度,提出的WiGNet在自建數(shù)據(jù)集和公共數(shù)據(jù)集上均有良好的識(shí)別分類性能,并且相比同類模型表現(xiàn)更好。

CSI含有豐富的無線信號(hào)信息,如振幅、相位、多普勒頻移、功率分布信息以及人體坐標(biāo)系下的速度譜等,如何將這些信息結(jié)合起來,提高整體識(shí)別性能與適應(yīng)能力可以作為未來的研究方向。