一種信道狀態(tài)信息下的復(fù)雜動態(tài)手勢識別方法

黨小超,劉 洋,郝占軍,曹 淵

1(西北師范大學(xué) 計算機科學(xué)與工程學(xué)院,蘭州 730070)2(甘肅省物聯(lián)網(wǎng)工程研究中心,蘭州 730070)

1 概 述

隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展,使得過去僅用于傳輸數(shù)據(jù)的WiFi信號,還可用于行為識別和環(huán)境感知等領(lǐng)域[1,2].基于WiFi信號的行為識別技術(shù)已經(jīng)成為人機交互(Human Computer Interaction,HCI)的重要研究方向,HCI技術(shù)不斷進步對手勢識別技術(shù)也提出了更高的要求[3,4].傳統(tǒng)的手勢識別技術(shù)主要是基于計算機圖像的手勢識別技術(shù)、基于傳感器設(shè)備的手勢識別技術(shù)和基于專用特殊硬件的手勢識別技術(shù)等,但受到周圍環(huán)境和視距情況的影響,以及硬件設(shè)備成本昂貴、技術(shù)開銷大等原因限制,其推廣難度較大.隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,WiFi設(shè)備得以廣泛部署與應(yīng)用,為借助WiFi信號的無線感知技術(shù)提供了可能,因此也為無線感知應(yīng)用的推廣創(chuàng)造了條件[5].

普通WiFi信號環(huán)境下使用信道狀態(tài)信息(Channel State Information,CSI)的細粒度無線信道測量技術(shù)進行細粒度手勢識別,既易實現(xiàn),且成本低廉[6](1)http://kns.cnki.net/kcms/detail/11.1826.TP.20180303.1407.018.html..CSI用作物理層(Physical Layer,PHY)信息[7],并且對于室內(nèi)環(huán)境的變化十分敏感,目前大量文獻通過獲取WiFi信號中的CSI數(shù)據(jù)來實現(xiàn)行為識別[8,9]與室內(nèi)定位[10,11].文獻[12]中提出了WiGest,該系統(tǒng)分析了信號與其他參數(shù)的組合,如速度和振幅.具體而言,對于單個接入點和三個接入點,WiGest的識別精度分別為0.87和0.96.與接收信號強度(Received Signal Strength,RSS)的物理特性相比,通過分析CSI的波動,細粒度的CSI則更適合用于動作識別.文獻[13]中提出FIMD方案,通過利用CSI在靜態(tài)環(huán)境中研究了人體移動檢測,但沒有考慮到環(huán)境的遷移性,該方法魯棒性有待提高.文獻[14]提出了WiG方案,該方案設(shè)計了對4種常見揮手手勢的識別,不同場景下識別平均準確率達到0.9.與上述方法不同,本文提出了一種基于CSI的復(fù)雜動態(tài)手勢識別技術(shù),即用戶無需佩戴任何傳感器設(shè)備,利用數(shù)據(jù)處理方法與手勢匹配算法,識別出空中手寫0-9中任意一個數(shù)字的動作手勢.

通過實驗發(fā)現(xiàn)手勢動作對CSI信號的影響情況,證明了CSI信號子載波敏感性的差異;借助有效的降噪濾波算法對CSI信號進行處理,可利用詳細細粒度CSI信號來表征每個手勢動作所表達的不同含義;結(jié)合K-means和DTW兩個算法的特性,得到K-DTW手勢匹配算法,該算法能夠準確、有效地識別空中數(shù)字手勢動作.

2 復(fù)雜動態(tài)手勢識別方法

手勢是一種形象、直觀、便于理解、包含豐富信息和具有較強視覺效果的肢體語言,通常利用手勢動作來傳達相關(guān)信息,手勢動作是人們?nèi)粘Ｉ钪械摹暗诙Z言”.手指做出各種各樣的手勢動作,而每個手勢動作所代表的含義也是多姿多彩的,因此進行手勢識別技術(shù)的研究對于推動HCI技術(shù)的發(fā)展有著很大的幫助,同時對改善人類日常生活有著巨大的意義[15,16].本文提出一種基于CSI的空中數(shù)字手勢識別技術(shù)CSI-Num,用于識別空中手寫0-9中任意一個數(shù)字的動作手勢.

圖1 CIS-Num結(jié)構(gòu)圖Fig.1 Structure of CIS-Num

CSI-Num方法的識別過程主要通過采集CSI的原始數(shù)據(jù)包,對采集到的數(shù)據(jù)進行子載波選擇,以得到識別需要的數(shù)據(jù)形式.接著,對數(shù)據(jù)使用小波閾值函數(shù)降噪和平滑處理,消除人為的噪聲或環(huán)境的干擾得到平滑的數(shù)據(jù)圖像[17,18],通過手勢識別算法提取有效的手勢圖像,獲得有意義的數(shù)據(jù)內(nèi)容,并對其進行數(shù)據(jù)特征提取,找到不同手勢相對應(yīng)的數(shù)據(jù).最后,在線下階段借助機器學(xué)習(xí)中K-means算法,訓(xùn)練相同數(shù)字的手勢聚類的模型,在線上階段從利用DTW算法通過訓(xùn)練好的模型進行手勢識別,本文提出的空中手寫數(shù)字識別流程圖,如圖1主要分為兩個主要階段進行研究:研究動態(tài)手勢數(shù)據(jù)選取與處理;研究動態(tài)手勢數(shù)據(jù)特征匹配與識別.

3 CSI-Num數(shù)據(jù)選取與處理

由于CSI信號易受多徑效應(yīng)、信號衰減等干擾因素的影響,直接獲取的手勢數(shù)據(jù)則含有諸多干擾數(shù)據(jù),無法直接用于手勢的匹配和識別,需要對數(shù)據(jù)進行預(yù)先處理,其目的是將噪聲數(shù)據(jù)從手勢數(shù)據(jù)中去除.在該階段,首先進行子載波的選取[19],并對選取到的子載波CSI振幅的原始數(shù)據(jù)進行處理,處理過程中先使用小波閾值[20]對原始數(shù)據(jù)進行降噪,再使用五點三次平滑法對處理過的CSI數(shù)據(jù)實現(xiàn)進一步降噪平滑的作用,從而更加清晰地展現(xiàn)了每個手勢對應(yīng)子載波變化的局部特征.

3.1 子載波選取

由于接收和發(fā)送兩端的多根天線在空間上的分布特點,決定了執(zhí)行同一手勢時任一組收發(fā)天線對應(yīng)的不同數(shù)據(jù)流下的CSI具有不同的變化趨勢,以及由于不同頻段對應(yīng)的子載波相差范圍并不大,決定了執(zhí)行同一手勢時不同子載波對應(yīng)的CSI具有相似的變化趨,如圖2所示.

圖2 不同子載波的變化Fig.2 Variation for different subcarriers

經(jīng)過理論分析發(fā)現(xiàn),同組數(shù)據(jù)流中子載波幅值的方差越大,表示其對環(huán)境的變化越敏感.單純的 CSI 幅值信息并不能很好地反映每個手勢動作的特征,只能表示不同手勢動作引起 CSI 序列整體的變化情況,并且每個子載波的變化和CSI值也有一定的差異.因此選取方差作為特征值,對于任意動作對應(yīng)的 CSI 序列,在選取的每一個時隙內(nèi),方差的分布情況能夠反映 CSI幅值的離散程度,同時也可以反映對應(yīng)手勢動作的變化情況,并作為每個動作的特征.因此,通過計算 CSI 值的方差來提取每個動作的特征是合理并且有效的.對于每個手勢,從同一數(shù)據(jù)流的30個子載波中得到30個CSI幅值流.假設(shè)樣本數(shù)是M,那么用來存儲CSI振幅流的矩陣有M行和30列,計算矩陣每一列的方差,將方差值小于方差最大值的子載波過濾掉,選取方差最大值子載波作為被選取的原始數(shù)據(jù),原始CSI振幅如圖3(a)所示.

3.2 數(shù)據(jù)的降噪和平滑

選取出能夠刻畫手勢動作變化情況的子載波信號后,由于CSI信號特征,子載波信號中的噪聲會對信號的質(zhì)量造成嚴重的干擾,直接影響動作檢測、特征提取等過程,會導(dǎo)致后期的手勢識別結(jié)果出現(xiàn)偏差,甚至是錯誤,所以必須對選取到的信號進行進一步的降噪和平滑處理.

對被選取子載波數(shù)據(jù)中的幅值進行小波閾值降噪,

s(i)=f(i)+e(i)i=1,2,…,n-1

(1)

其中f(i)代表原始信號,e(i)代表噪聲信號,s(i)代表含噪聲的原始信號;對原始信號進行離散小波變換:

(2)

其中Ψj,k(t)為離散小波基函數(shù);將原始信號表示為:

Sj,k=Fj,k+Ej,k

(3)

其中Sj,k為含噪信號,s(i)小波變換后的各層小波系數(shù),Fj,k為原始信號f(i)的小波變換系數(shù),Ej,k為噪聲信號,e(i)的小波變換系數(shù);根據(jù)有用信號和噪聲小波系數(shù)的統(tǒng)計特征,采用軟閾值函數(shù)為:

(4)

為了消除突變數(shù)據(jù)的影響,通過五點三次平滑方法處理降噪后的手勢數(shù)據(jù),在手勢數(shù)據(jù)中取五個相鄰的采樣點,參照最小二乘法的原理,擬合出一條三次多項式的平滑曲線,從而構(gòu)建動態(tài)手勢數(shù)據(jù)模型.

圖3 手勢數(shù)據(jù)處理Fig.3 Processing of gesture data

(5)

經(jīng)過上述CSI數(shù)據(jù)的處理后,得到圖3(c)所示完整的CSI手勢曲線圖,并為后期的CSI-Num特征提取打下基礎(chǔ).

4 CSI-Num特征提取與識別

4.1 有效手勢提取

在進行人體手勢動作識別的研究過程中,對手勢動作數(shù)據(jù)特征的提取是非常關(guān)鍵的.原始數(shù)據(jù)的信息并不能直接被分類器識別,因此需要從原始的手勢數(shù)據(jù)中提取和選擇那些最能代表手勢的特征.為了可以有效的提取出手勢數(shù)據(jù),一個完整的手勢動作需要包括三部分:手勢前的靜止狀態(tài)、手勢動作、手勢后的靜止狀態(tài),本文使用約束條件進行特征提取,特征提取流程如圖4所示.k-means聚類算法是一種無監(jiān)督硬聚類算法,所謂無監(jiān)督是指在對數(shù)據(jù)進行聚類之前沒有對任何數(shù)據(jù)進行分類標識,硬聚類算法是指當(dāng)聚類結(jié)果產(chǎn)生時,各類之間不存在數(shù)據(jù)重疊,DTW算法采用動態(tài)規(guī)劃的思想可以求出不同長度數(shù)據(jù)的相似度,并且可以調(diào)整數(shù)據(jù)在時間上的差異性,使匹配最接近.

通過對處理后的動態(tài)手勢信號幅值|H(fj,t)|的變化進行判斷,在不作任何手勢的情況下采集一段數(shù)據(jù),取平均值作為閾值T;根據(jù)一般手勢特點,以A[i]為起點,A[1]表示手勢

圖4 手勢提取流程圖Fig.4 Fflow chart of gesture extraction

數(shù)據(jù)中的第一個數(shù)據(jù),逐個判斷|A[n]|是否大于閾值T,得到A[n]中|A[n]|連續(xù)大于閾值T的第一段數(shù)據(jù)區(qū)A[a]～A[b],判斷樣本數(shù)目是否在區(qū)間{start,end}內(nèi),滿足約束條件(6)的數(shù)據(jù)為有效手勢數(shù)據(jù);

(6)

其中t為手勢持續(xù)時間,若實驗時發(fā)包速率為200 p/s,有效手勢動作從第4秒開始至第8秒結(jié)束,手勢前后均有一段靜止狀態(tài),得出樣本數(shù)目{start,end}={800,1600};提取出手勢數(shù)據(jù)后,如果直接作為特征來訓(xùn)練分類器,將會使計算復(fù)雜度很大,為此對提取出的特征再進行處理,計算出手勢數(shù)據(jù)的關(guān)鍵信息平均絕對偏差MAD;

(7)

其中P為提取出的手勢特征數(shù)據(jù).

4.2 手勢的匹配和識別

(8)

重復(fù)計算中心點,不斷迭代直到中心點不再變化;聚類結(jié)束輸出k個手勢類,并設(shè)每類模板手勢數(shù)據(jù)m(i)={m1,m2,…,mm},1≤i≤m,其中m為模板手勢數(shù)據(jù)m(i)的數(shù)據(jù)點個數(shù),待識別手勢s(j)={s1,s2,…,sn},1≤j≤n,其中n為待識別手勢數(shù)據(jù)m(i)的數(shù)據(jù)點個數(shù),使用動態(tài)規(guī)劃的思想,計算出待識別手勢數(shù)據(jù)的每一個數(shù)據(jù)與模板手勢數(shù)據(jù)的每一個數(shù)據(jù)之間的距離,距離矩陣R(i,j):

R(i,j)=(m(i)-s(i))2

(9)

根據(jù)距離矩陣R(i,j)求出每一列、每一行匹配距離,并得到匹配距離DS(d,n):

DS(d,n)=D(i,j)+DD=min[DS(i-1,j),DS(i-1,j-1),DS(i,j-1)]

(10)

得出待識別手勢數(shù)據(jù)與所有模板手勢數(shù)據(jù)的匹配距離DS[k],k表示第k種模板手勢,由與最接近的匹配距離對應(yīng)的模板手勢表示的手勢與待識別手勢表示的手勢結(jié)果一致,從而完成復(fù)雜動態(tài)手勢識別.

圖5 手勢識別流程圖Fig.5 Flow chart of gesture recognition

5 實驗結(jié)果與分析

5.1 實驗數(shù)據(jù)采集

在實驗階段,使用裝有Intel 5300NIC無線網(wǎng)卡的天線作為接收器(DP)接收信號,通過TP-link路由器作為發(fā)射器(AP)發(fā)射信號,頻率為5GHz.CSI值由Daniel Halperin等人提出的Linux CSI Tool解析[21],并使用MATLAB軟件處理數(shù)據(jù).在室內(nèi)多徑實驗室和室內(nèi)空曠會議室兩個環(huán)境中評估該方法.實驗中選取了空中手寫數(shù)字0-9的10個手勢,測試者兩種環(huán)境下分別做手寫10個數(shù)字的手勢動作,同時利用CSI工具在接收端獲得實驗所需的CSI信息.

圖6(a)為實驗室平面圖,該場景下辦公桌、辦公椅、書柜、電腦、花卉等物品較多,并有人員干擾,其大小為7米×8米,圖6(b)為會議室平面圖,相對空曠的會議室大小為6米×4米.在室內(nèi)空曠和室內(nèi)多徑兩個環(huán)境中分別建立手勢數(shù)據(jù)庫,數(shù)據(jù)庫中包含了上述10種測試手勢,每種手勢測試行為前后均有一段靜止時間,手勢動作持續(xù)時間為4秒,測試人員在兩個場景中反復(fù)進行試驗.

圖6 實驗場景分布圖Fig.6 Distribution diagram of experimental scenario

5.2 硬件參數(shù)優(yōu)化分析

5.2.1 不同發(fā)包速率的影響

不同的分組傳輸速率通常對實驗的準確率具有很大的影響.在本文實驗中,驗證了在實驗室和會議室兩個不同的室內(nèi)環(huán)境下,當(dāng)發(fā)射速率分別為50p/s、100p/s、150p/s、200p/s、250p/s、300p/s 時,該方法對準確度的影響.如圖7(a)所示,兩個不同的場景的發(fā)包速率均與該場景下的準確率呈正相關(guān)性,在發(fā)射速率為200p/s 時,該方法準確率達到最高值,且空曠的會議室內(nèi)識別效果優(yōu)于復(fù)雜多徑的實驗室,但 300p/s以上的發(fā)射速率則需要更好的硬件設(shè)施來支撐存儲以及計算的開銷,因此對于發(fā)射速率大于300p/s的情況不予討論.在后續(xù)的實驗中,則將發(fā)射速率統(tǒng)一設(shè)置為200p/s,以對實驗產(chǎn)生最好的效果.

5.2.2 子載波數(shù)不同的影響

子載波數(shù)量不同時,也會對實驗效果產(chǎn)生很大的影響.在子載波的選取階段,分析了子載波的選取方法,但單一子載波通常不能很好的反映出信號包含的所有信息.因而在此環(huán)節(jié),主要通過實驗驗證了不同場景中子載波數(shù)量對于實驗準確度的影響.選取子載波時,從方差最大值依次開始選取,分別選取了數(shù)量為 1個、2個、3個、4個和5個子載波作對比,識別結(jié)果則采用多數(shù)優(yōu)先,識別相同次數(shù)多的為最終結(jié)果.實驗結(jié)果如圖7(b)所示,分別在兩個不同場景中采集CSI手勢數(shù)據(jù),選取3個子載波時手勢識別準確率最高,當(dāng)選取數(shù)量大于3個時,識別準確度呈下降趨勢,是因為剩余的大部分子載波方差值相對較小,會導(dǎo)致識別準確度下降,后續(xù)實驗均設(shè)置子載波選取數(shù)目為3.

5.2.3 發(fā)射機、接收機高度

無線信號在室內(nèi)沿直線傳播,會在地面、墻壁、設(shè)備等地方發(fā)生反射和折射等現(xiàn)象.當(dāng)動態(tài)手勢動作發(fā)生時會改變無線信號的傳播路徑,但當(dāng)測試者的抬手高度與接收機、發(fā)射機不在同一高度時,則對CSI信號的影響程度有所區(qū)別,本文在兩個不同室內(nèi)場景中,分別在0.6米、0.8 米、1.0米、1.2米、1.4米和1.6米高度進行測驗,圖7(c)描述了CSI-Num性能受高度變化的影響情況,在初始條件下,由于不相關(guān)的身體運動和嚴重的多路徑效應(yīng),手勢動作的平均準確率最低.當(dāng)天線高度達到1.2m時,準確度達到峰值,且反射信號較強,在實驗室和會議室內(nèi)均表現(xiàn)出較好的識別效果.因此需保證測試者抬手高度與接收機、發(fā)射機高度越接近時,可提高手勢識別率,經(jīng)過反復(fù)的實驗測試,當(dāng)動作手指與接收機、發(fā)射機的高度接近時,系統(tǒng)檢測性能最好.

圖7 硬件參數(shù)對準確率的影響Fig.7 Influence of hardware parameters on accuracy

5.3 樣本數(shù)量優(yōu)化分析

為了確定樣本數(shù)量對手寫數(shù)字手勢識別準確度的影響,本次實驗測試了在實驗室和會議室兩種室內(nèi)環(huán)境中,CSI-Num分別在每個數(shù)字10、50、100個訓(xùn)練樣本集情況下的數(shù)字識別準確度.圖8展示了兩個場景不同訓(xùn)練樣本集中的識別平均準確率,從圖中可以看出,設(shè)置100個訓(xùn)練樣本集的兩種室內(nèi)場景中平均準確率明顯高于10、50個訓(xùn)練樣本集中的平均準確率.因此,通過適當(dāng)增加訓(xùn)練樣本集的數(shù)量,可以提高識別準確精度.

圖8 樣本數(shù)對準確率的影響Fig.8 Effect of the number of sample on accuracy

5.4 魯棒性對比分析

本小節(jié)選擇兩種較典型的不同情況進行詳細闡述,表1為7位不同測試人員的身體指標,由圖9(a)所示7位不同的測試人員在兩種不同實驗場景中手勢識別準確度對比情況,圖9(b)分別對比三種不同的數(shù)據(jù)分類算法,從而分析不同算法與準確率的關(guān)系.圖9(a)中,無論是在實驗室還是會議室,不同的測試人員進行實驗的準確率均保持在較高的水平,測試人員的改變,不會對測試結(jié)果造成較大波動.在本文實驗場景下,算法的計算復(fù)雜度與待測手勢數(shù)據(jù)點個數(shù),模板手勢數(shù)據(jù)點個數(shù)以及迭代次數(shù)相關(guān),K-DTW計算復(fù)雜度為O(n3)與SVM相同,略高于KNN,但出于對算法性能和識別準確度的考慮,如圖9(b)所示對使用KNN、SVM和K-DTW算法分別進行測試,可以看出K-DTW算法的性能高于KNN或SVM算法,最終本文選擇K-DTW算法對不同手勢動作進行匹配識別.實驗結(jié)果表明,CSI-Num的平均準確率高于92%,在不同情況下獲得較高的檢測率,能夠充分考慮各類因素的影響,其魯棒性較高.

表1 不同人員身體指標
Table 1 Body indexes of different people

人員編號ABCDEFG性別男男女男女女男身高cm180176160173157166187體重kg65795361504973

圖9 魯棒性分析對比圖Fig.9 Diagram of analyzing and comparing the robustness

5.5 系統(tǒng)性能分析

此外,為了進一步評估方法性能,圖10對于不同手勢在

圖10 不同手勢的識別情況Fig.10 Situations of recognition for various gestures

最優(yōu)條件的下的識別情況進行了描述,即數(shù)據(jù)包發(fā)送速率200 p/s,處理數(shù)據(jù)時選擇方差最大的3個子載波以及設(shè)備高度1.2米,在此情況下進行兩種室內(nèi)場景測試,并與同類方案FIMD和WiG的識別率進行對比如圖11,從圖中可以看出,無論是所有手勢的識別率,還是不同手勢的平均識別率,其識別效果均保持在較高水平上,且優(yōu)于同類方案.這也驗證了CSI-Num復(fù)雜動態(tài)手勢數(shù)據(jù)處理方法和匹配算法的有效性.

6 結(jié)束語

本文提出了一種基于CSI的復(fù)雜動態(tài)手勢識別方法CSI-Num.主要將子載波幅值作為特征值,首先進行信號采集、子載波選取、數(shù)據(jù)處理、有效手勢提取等步驟,然后利用k-means算法和DTW算法特征相融合的k-DTW匹配算法識別出不同的手勢動作,該方法具備良好的有效性和穩(wěn)定性.可針對不同環(huán)境的室內(nèi)場景,相應(yīng)地調(diào)整參數(shù)設(shè)置,能夠穩(wěn)定且高效的識別出10個空中手寫數(shù)字手勢,從而實現(xiàn)復(fù)雜動態(tài)手勢識別的目的.整體實驗結(jié)果表明,CSI-Num方法在靈敏度、魯棒性、準確率等方面均有較好表現(xiàn).后續(xù)的工作需要對該方法進行進一步完善,以實現(xiàn)多種復(fù)雜動態(tài)手勢在家居環(huán)境下的識別.

圖11 不同方案的準確度對比Fig.11 Accuracy comparison of different schemes