蒙倩霞 余 江 常 俊 浦 鈺
(云南大學(xué)信息學(xué)院 云南 昆明 650500)
基于攝像機(jī)的行為識別方法無法監(jiān)測光線盲區(qū)且隱私無法得到保障;基于雷達(dá)的部署成本過于昂貴,不適用于普通家庭;基于傳感器的方法傳感器一般佩戴于腰上,對于特殊人群來說,發(fā)生意外的時(shí)候無疑會增加危險(xiǎn)指數(shù)?;赪i-Fi信道狀態(tài)信息(CSI)的活動識別系統(tǒng)克服了以上方法的缺陷,為活動識別提供了一種新的保密隱私、價(jià)格實(shí)惠且無須攜帶設(shè)備的方法。Wi-Fi信號易受到人體行為的影響,不同動作速度的快慢、維持的時(shí)間、身體的擺動幅度都會對CSI的變化造成不同的影響。因此可以根據(jù)CSI的變化去判別相應(yīng)的行為。
Wi-Fall[1]跌倒檢測系統(tǒng)分析出不同行為CSI幅值變化情況,平均實(shí)驗(yàn)精度為87%,但忽略了相位帶來的影響。Emosens系統(tǒng)[2]從CSI識別用戶的情緒狀態(tài),同樣使用的是幅值特征。文獻(xiàn)[3]提出了一種吸煙檢測系統(tǒng),用于室內(nèi)環(huán)境吸煙行為檢測,單個(gè)人的吸煙檢測正確率為97.6%,但是多人條件下,性能急劇下降。文獻(xiàn)[4]采用RNN網(wǎng)絡(luò)可以有效識別其動作,穿墻識別精度高達(dá)95%以上。利用機(jī)器學(xué)習(xí)的方法雖然可以自動提取特征,識別精度也甚好,但是計(jì)算的復(fù)雜度很高,需要大量的數(shù)據(jù)訓(xùn)練且提取特征的合理性也難以解釋。在最新的研究成果中,文獻(xiàn)[5]提出了一種穿墻識別的結(jié)構(gòu),但僅限理論分析。文獻(xiàn)[6]提出的TS-see系統(tǒng)同樣也實(shí)現(xiàn)了穿墻識別。文獻(xiàn)[7]提出在多人場景中無設(shè)備位置行為特征轉(zhuǎn)換的問題,場景復(fù)雜化和多人適應(yīng)性將是今后研究的重點(diǎn)之一。文獻(xiàn)[8]利用CSI來識別駕駛員的注意力狀態(tài),獲得了較好的識別性能。文獻(xiàn)[9]利用多通道CSI測量數(shù)據(jù)轉(zhuǎn)化二維圖像,并使用深度學(xué)習(xí)進(jìn)行訓(xùn)練和分類,這是基于觀察而得到的方法。
本文利用CSI信號和聲音信號傳播相似性和兩者共享帶寬頻譜的性質(zhì),把CSI信號當(dāng)作語音流來處理,在CSI數(shù)據(jù)中提取了MFCC特征向量的統(tǒng)計(jì)特征以及提取了對數(shù)頻譜能量特征,然后用蟻群和粒子群混合優(yōu)化SVM(Ant Colony and Particle Swarm Optimization SVM,ACO+POS-SVM)[10]算法進(jìn)行分類識別。實(shí)驗(yàn)結(jié)果表明,此方法在會議室場景的視距和非視距情況下都可以獲得較好的識別結(jié)果。
由于Wi-Fi信號以多路徑方式傳播,環(huán)境中的物體會反射無線信號,那么一個(gè)發(fā)送信號x(t)就會通過多條路徑到達(dá)接收器。假設(shè)x(t)通過N條不同的路徑到達(dá)接收器,那么接收到的信號y(t)如式(1)所示。
(1)
式中:ak(t)是t時(shí)刻第k條路徑的幅值大??;e-j2πfτk(t)是第k條路徑上的相移;τk(t)為其傳播延遲;e-j2πΔft是發(fā)送器和接收器之間的載波頻率差Δf引起的相移。如圖1所示。
圖1 行為引起的多徑變化
當(dāng)人在t到t+Δt的時(shí)間內(nèi)在發(fā)射機(jī)和接收機(jī)的視距之間活動時(shí),第k條路徑上的信號由dk(t)變化到dk(t+Δt),此時(shí)接收端產(chǎn)生傳播延遲相移τk(t)=dk(t+Δt)/c,則根據(jù)λ=c/f可以得到該條路徑上的相移為e-j2πdk(t+Δt)/λ,其中:λ為波長;c為光速。這說明路徑的變化會導(dǎo)致相應(yīng)路徑上Wi-Fi信號的幅度和相位的變化。
無線通信鏈路信道的特性通常是用信道信息狀態(tài)來衡量,根據(jù)時(shí)域卷積性質(zhì),可以把式(1)表示為:
(2)
由式(1)和式(2)可得信道沖擊響應(yīng)(Channel Impulse Response,CIR)[11]為:
(3)
在IEEE 802.11n標(biāo)準(zhǔn)中,利用正交頻分復(fù)用技術(shù)可以從物理層解析得到CSI數(shù)據(jù)。根據(jù)時(shí)頻域的轉(zhuǎn)換性質(zhì),可得到頻域的信道信息響應(yīng)H(f,t)為:
(4)
式中:ak(f,t)是t時(shí)刻第k條路徑的衰減和初始相位偏移的復(fù)數(shù)值表示。
在MIMO系統(tǒng)中,設(shè)NTX為發(fā)射端的天線數(shù)量,NRX為接收端的天線數(shù)量。對于每個(gè)采樣時(shí)刻t,CFR值構(gòu)成NTX×NRX×i維的一個(gè)矩陣,其中i為Wi-Fi的子載波數(shù)。所以,在一段時(shí)間內(nèi),CSI由NTX×NRX×i維CFR值構(gòu)成。H(f,t)也可以表示為:
(5)
MFCC向量是基于人耳對聲音的頻率感知的能力,其對應(yīng)的梅爾頻率與赫茲頻率成非線性關(guān)系,頻率與梅爾頻率之間轉(zhuǎn)換公式如式(6)所示[12]。
(6)
MFCC向量[13]提取過程中首先要對預(yù)處理過的信號進(jìn)行分幀和加窗處理,常用的有漢明窗口如式(7)所示。
w(n)=0.54-0.46cos(2nπ/N-1)
(7)
式中:n是窗口的長度;w是窗口值。
然后,將各幀信號h(n)求快速傅里葉變換(FFT)得到各幀的頻譜H(k):
H(k)=FFT[h(n)]
(8)
(9)
式中:N是FFT的點(diǎn)數(shù);m為濾波器的中心頻率。Hm(k)是三角形重疊的窗口,其描述方程為:
(10)
在估計(jì)了加權(quán)頻率系數(shù)之后,將梅爾頻譜S(m)進(jìn)行離散余弦變換(DCT),得到MFCC系數(shù)cg:
(11)
式中:cg為第g個(gè)MFCC序列,M為濾波器的個(gè)數(shù)。因?yàn)槿梭w日常行為引起的CSI信號主要集中在低頻階段,因此在本文中提取了前12個(gè)序列。
本文首先利用巴特沃斯濾波器去除了原始信號中的高頻信號,然后再用PCA對信號進(jìn)行處理,結(jié)果為一維時(shí)間序列。將預(yù)處理過的CSI數(shù)據(jù)當(dāng)作時(shí)間流來提取MFCC系數(shù)特征,為了提升識別的精度,本文把統(tǒng)計(jì)特征(MFCC的均值、平均標(biāo)準(zhǔn)差和平均變化率)作為分類特征量。此外,CSI數(shù)據(jù)中的相位信息攜帶的信息是不可忽視的,為了充分利用相位信息,在特征向量中還增加了無偏移信號的對數(shù)能量,這個(gè)無偏移信號是經(jīng)過相位校準(zhǔn)之后得到的信號,最后進(jìn)行數(shù)據(jù)匹配和行為判別,總體流程如圖2所示。
圖2 總體流程
2.1.1濾波和PCA處理
在數(shù)據(jù)預(yù)處理階段,本文使用巴特沃斯濾波器和PCA聯(lián)合的方式對數(shù)據(jù)進(jìn)行預(yù)處理,由于多徑效應(yīng)、設(shè)備和干擾等多種噪聲的存在,原始采集的CSI信號毛刺較重,十分不平滑;另外,人的活動屬于低頻活動,需要把由于環(huán)境和設(shè)備而帶入的高頻濾除。經(jīng)過巴特沃斯濾波器處理后的數(shù)據(jù)如圖3所示。
圖3 濾波前后結(jié)果對比
在t到t+Δt的時(shí)間內(nèi),當(dāng)信號的傳播路徑由dk(t)變化到dk(t+Δt)時(shí),假設(shè)變化的路徑為Δk(t),那么Δk(t)=dk(t+Δt)-dk(t),即dk(t+Δt)=dk(t)+Δk(t),其中dk(t)是路徑的初始長度,設(shè)φk=e-j2πΔft為子載波的初始相位,那么在t+Δt時(shí)刻副載波n的相位如式(12)所示。
cos(2πdk(t+Δt)/λn+φk)=
cos(2πdk(t)/λn+2πΔk(t)/λn+φk)=
cos(2πdk(t)/λn+φk)cos(2πΔk(t)/λn)-
sin(2πdk(t)/λn+φk)sin(2πΔk(t)/λn)
(12)
考慮到Wi-Fi信道中子載波的波長之間的差異很小,即兩個(gè)不同子載波的波長存在λ1≈λ2的關(guān)系,且Δk(t)很小,則可以得到以下兩式:
cos(2πΔk(t)/λ1)≈cos(2πΔk(t)/λ2)
(13)
sin(2πΔk(t)/λ1)≈sin(2πΔk(t)/λ2)
(14)
但是,式(3)中的兩個(gè)子載波的常數(shù)項(xiàng)是不相等的,因?yàn)槌跏悸窂介L度dk(t)遠(yuǎn)大于Δk(t),因此,即使波長略有不同,兩個(gè)子載波之間的初始相位差不可忽略。因此對于不同的副載波,CSI是具有不同初始相位的同一組時(shí)變波形的線性組合,因此,同一根天線上的CSI是相關(guān)的。圖4(a)表示的是走動動作發(fā)生時(shí)一路天線上30個(gè)子載波的變化情況,可以直觀地看出不同子載波的數(shù)據(jù)相關(guān)性大、冗余度很高?;贑SI流的相關(guān)性,本文采用了PCA對信號進(jìn)行處理。由上文可知,在采集的CSI原始數(shù)據(jù)中,無論是靜止環(huán)境還是有行為發(fā)生子載波之間都呈現(xiàn)出高度的相關(guān)性。但是從采集的角度來說,行為發(fā)生的時(shí)間只占據(jù)了整個(gè)采集過程的少部分而靜態(tài)環(huán)境占據(jù)絕大部分。在主成分分析時(shí),靜態(tài)環(huán)境的信號與人體行為信號會一起在第一主成分中被捕獲。然而,根據(jù)式(12),可得知子載波的相位是兩個(gè)正交分量的線性組合。根據(jù)PCA處理的正交性,可知在第一主成分中捕獲的人體行為信號的所有信息也被捕獲在其他主分量中,但是第一主成分中最多的是靜態(tài)環(huán)境引起的噪聲,因此,丟棄第一主成分可以消除靜態(tài)噪聲且人體行為信息又得到保留。本文方法中丟棄了第一主成分,并計(jì)算后五個(gè)主成分的平均值。經(jīng)過PCA處理以后的走動動作的信號如圖4(b)所示。
(a) 走動動作30個(gè)子載波 (b) 走動動作PCA處理結(jié)果圖4 PCA處理結(jié)果對比
2.1.2相位校準(zhǔn)
CSI的大量信息存在相位中,相位是不可忽視的一個(gè)方面。為了充分利用相位信息,在特征向量中還增加了無偏移信號的對數(shù)頻譜能量特征,這個(gè)無偏移信號是經(jīng)過相位校準(zhǔn)之后得到的信號。子載波在不同的時(shí)刻的原始相位無規(guī)律可循,也無法使用。由式(3)可知,相位的偏差既有來自于設(shè)備自身誤差也有來自于人體行為的變化引起的影響。如果將信號傳播的路徑分為靜態(tài)和動態(tài)的話,在t到t+Δt的時(shí)間內(nèi),當(dāng)信號的傳播路徑由dk(t)變化到dk(t+Δt)時(shí),式(5)就可以表示為:
(15)
式中:Hs(f)表示靜態(tài)路徑的CSI。本文采用共軛乘法來消除時(shí)變隨機(jī)相位偏移,跌倒動作校準(zhǔn)前后的相位如圖5所示。
圖5 跌倒動作相位校準(zhǔn)
2.2.1MFCC特征向量提取
嘗試在CSI信號中提取MFCC特征的原因有以下四點(diǎn):(1) 帶寬的相關(guān)性。在文獻(xiàn)[14]對CARM數(shù)據(jù)集的每個(gè)日?;顒拥腃SI信號平均占用的帶寬進(jìn)行了分析;其中包括了跌倒、深蹲和行走等動作,從統(tǒng)計(jì)數(shù)據(jù)中可以得出所用數(shù)據(jù)集的所有活動的帶寬都在5 kHz以內(nèi),這和語音信號的帶寬和能量分布極為相似??梢哉f由于活動影響CSI信號變化所占用的帶寬是人類聽力頻譜的范圍,大約為2~20 kHz,這為本文提取CSI數(shù)據(jù)的MFCC向量奠定了基礎(chǔ)。(2) 信號的相似性。MFCC向量特征是識別語音信號的一個(gè)重要的特征,語音信號能量集中于低頻段且變化迅速,從而使用密集的梅爾濾波器組放大這種特性。對于CSI信號而言,同樣具備這樣的性質(zhì)。例如,當(dāng)?shù)箘幼靼l(fā)生時(shí),速度極快,CSI信號的變化也非常迅速。(3) 傳播的相似性,語音和Wi-Fi信號分別是聲波和電磁波,它們根據(jù)波動方程在測量環(huán)境中傳播。它們遵循來自墻壁和其他障礙物的反射、折射和衍射的相同定律到達(dá)了它們的接收器,并由于類似的物理機(jī)制而變形。無論是聲波和電磁波,都能產(chǎn)生時(shí)空共振現(xiàn)象。(4) 在文獻(xiàn)[15]中已經(jīng)證實(shí)OFDM信號的梅爾頻率倒譜既保留了信號的基本特征,也移除了信號的冗余信息,相對原始接收信號的抗噪能力更加魯棒[16]。相關(guān)研究表明,基于MFCC特征的方法能夠有效實(shí)現(xiàn)多徑信道下OFDM信號子載波多種調(diào)制方式的識別,且識別性能優(yōu)于傳統(tǒng)方法。
基于聲音信號和CSI信號的這些共同特征,本文在CSI時(shí)間序列分類中提取MFCC向量特征,不同行為的對數(shù)MFCC向量如圖6所示。
(a) 跌倒動作MFCC向量 (b) 深蹲動作MFCC向量
(c) 跳躍動作MFCC向量 (d) 走動動作MFCC向量圖6 MFCC向量特征
不同行為CSI信號的MFCC向量互不相同,因此可以將CSI信號的MFCC向量作為識別不同行為特征參量。為了提高分類的準(zhǔn)確性,本文提出使用MFCC向量的統(tǒng)計(jì)特征作為分類標(biāo)準(zhǔn),分別是MFCC向量的均值、標(biāo)準(zhǔn)差和平均變化率作為分類特征量。根據(jù)1.3節(jié)中對MFCC向量的定義,MFCC向量的均值定義為:
(16)
式中:G是MFCC向量的個(gè)數(shù)。
平均標(biāo)準(zhǔn)差定義為:
(17)
式中:I表示幀數(shù)。
平均變化率定義為:
(18)
2.2.2對數(shù)頻譜能量
(19)
(20)
式中:H(f,t)表示經(jīng)相位校準(zhǔn)之后的CSI。
2.2.3識別方法
本文根據(jù)ACO和PSO優(yōu)勢互補(bǔ)特性,對原始SVM算法的懲罰參數(shù)和核函數(shù)參數(shù)進(jìn)行優(yōu)化[10],具體流程如圖7所示。在實(shí)驗(yàn)中,ACO參數(shù)設(shè)置為:ρ=0.65,Q=70,c1=c2=1.5,種群規(guī)模為30,迭代次數(shù)為45。PSO參數(shù)設(shè)置為:c1=c2=1.5,種群規(guī)模為28,進(jìn)化次數(shù)為270。
圖7 算法流程
實(shí)驗(yàn)的收發(fā)裝置為兩臺配有Intel 5300網(wǎng)卡的主機(jī),其中發(fā)射天線網(wǎng)卡上配有1根全向天線,接收天線網(wǎng)卡上均配有3根全向天線,為了得到穩(wěn)定且采樣率較高的CSI數(shù)據(jù),采用Linux 802.11n CSI tool Monitor模式對網(wǎng)卡固件進(jìn)行修改,帶寬為40 MHz,中心頻率為5 755 MHz。
實(shí)驗(yàn)的場景設(shè)置在環(huán)境較為復(fù)雜空間的會議室,平面圖如圖8所示。把收發(fā)裝置放于50 cm高的桌子的對角,收發(fā)裝置之間的距離始終保持4.5 m,本實(shí)驗(yàn)中邀請了3名志愿者,在收發(fā)裝置的視距(圖8中位置1)和非視距(圖8中位置2和位置3)位置分別進(jìn)行坐站、走動、跳躍、深蹲和跌倒五個(gè)動作,每名志愿者在每個(gè)位置重復(fù)每個(gè)動作30次,每次采集時(shí)間為30 s,第15 s的時(shí)候開始做動作,第30 s時(shí)候停止,重復(fù)此過程,接著采集下一個(gè),總共采集1 350個(gè)樣本。其中:1 000個(gè)樣本用來訓(xùn)練;350個(gè)樣本用來測試。
圖8 實(shí)驗(yàn)場景
3.2.1分類算法的性能分析
表1表示的是用SVM和ACO+POS-SVM[10]對志愿者的五種行為(坐站、走動、跳躍、深蹲和跌倒)進(jìn)行上述特征識別的結(jié)果。結(jié)果表明,使用ACO+POS-SVM比SVM平均精度分別提高了5.1百分點(diǎn)、4.8百分點(diǎn)、5.3百分點(diǎn)、4.5百分點(diǎn)和5.1百分點(diǎn)。整體而言,使用ACO+POS-SVM比SVM總平均精度提高了4.8百分點(diǎn),這說明使用ACO+POS-SVM算法優(yōu)于傳統(tǒng)的SVM算法。用ACO+POS-SVM識別效果最好為跌倒行為平均達(dá)到了93.4%,這是因?yàn)榈剐袨榕c其他行為相比,下降趨勢更明顯、速度更快、能量高度集中,所提取的MFCC向量也更容易識別。而跳躍和深蹲兩個(gè)動作識別率比較低,分別是85.5%和86.3%,由于跳躍和深蹲兩個(gè)動作都是相似的運(yùn)動,跳躍動作自下而上,深蹲動作自上而下,而且維持的時(shí)間相似以及速度相當(dāng),故系統(tǒng)會出現(xiàn)誤報(bào)情況。
表1 算法對比(%)
3.2.2視距和非視距位置的性能分析
圖9表示的是基于本文方法對會議室場景不同位置的五種行為的識別結(jié)果,其中,在視距條件下(位置1),坐站、走動、跳躍、深蹲和跌倒平均識別結(jié)果分別為90.2%、93.9%、87.2%、88.4%和95.4%,在非視距(位置2和位置3)的行為識別結(jié)果會有所下降,但是走動和跌倒的識別結(jié)果都在90%以上。走動行為在五個(gè)行為里持續(xù)時(shí)間最長,跌倒行為速度最大,也使得這兩個(gè)行為的識別結(jié)果較好。在視距情況下,只有一條直射路徑,使得能量高度集中,相比于非視距情況而言,會有更加好的識別效果。在非視距狀態(tài)下,實(shí)驗(yàn)采集了距發(fā)射機(jī)不同距離的兩個(gè)位置,位置2和位置3的平均識別結(jié)果分別為88.3%和88%,實(shí)驗(yàn)結(jié)果表明,非常相似的行為坐站、跳躍和深蹲三個(gè)動作的識別結(jié)果都在88%以上,且在位置2和位置3的識別結(jié)果無明顯差距。在實(shí)驗(yàn)中,位置2和位置3距離收發(fā)機(jī)的距離是有區(qū)別的,這也說明本文的識別方法在靜態(tài)多徑?jīng)]有變化的情況下,如果僅僅由于位置發(fā)生了變化,識別效果不會下降太多,且在非視距的位置識別結(jié)果具有相似性。同時(shí)也說明了本文的識別方法對活動的人體行為識別具有一定的魯棒性,對于實(shí)際情況而言,相比于其他只有視距情況的方法更具有實(shí)用性。
圖9 位置識別結(jié)果對比
3.2.3特征對性能的影響
不同行為CSI信號的MFCC向量互不相同,因此可以將CSI信號的MFCC向量作為識別不同行為特征參量。為了提高分類的準(zhǔn)確性,本文提出了使用MFCC向量的統(tǒng)計(jì)特征作為分類標(biāo)準(zhǔn),分別是MFCC向量的均值、標(biāo)準(zhǔn)差和平均變化率作為分類特征量。圖10為單用MFCC向量識別和用統(tǒng)計(jì)特征識別的結(jié)果。結(jié)果表明,用統(tǒng)計(jì)特征識別準(zhǔn)確率分別提高3.8百分點(diǎn)、4.4百分點(diǎn)、4.8百分點(diǎn)、5.2百分點(diǎn)和4.7百分點(diǎn)。其中跳躍和深蹲動作提高明顯,這說明了本文提出的基于MFCC向量的統(tǒng)計(jì)值比單獨(dú)用MFCC向量識別具有一定的優(yōu)越性。
圖10 統(tǒng)計(jì)特征對性能的影響
除了MFCC向量特征外,本文還額外增加了一個(gè)無偏移信號的對數(shù)頻譜能量作為特征,圖11表示的是此對數(shù)能量對整個(gè)識別結(jié)果的影響。對于總體數(shù)據(jù)而言,有對數(shù)能量的平均識別結(jié)果為89.1%,反之,識別結(jié)果僅為81.6%。增加了額外對數(shù)頻譜能量特征,對于比較相似動作的區(qū)分是非常有用的。如圖11所示,跳躍和深蹲動作的識別分別提升了7.4百分點(diǎn)和6.1百分點(diǎn),這與2.2.2節(jié)的理論相符。跌倒動作在視距和非視距情況下平均識別效果可達(dá)93.4%??梢姡黾訜o偏移信號的對數(shù)頻譜能量特征給整體識別結(jié)果帶來了提升,使系統(tǒng)更容易區(qū)分速度相似的動作。
圖11 有無對數(shù)能量性能對比
本文還將實(shí)驗(yàn)結(jié)果與時(shí)頻特征和小波特征相進(jìn)行了對比,如表2所示。結(jié)果表明,在預(yù)處理相同的前提下,本文方法均優(yōu)于時(shí)頻特征和小波特征識別結(jié)果。
表2 方法對比(%)
本文參考了日常行為的CSI信號與語音信號傳播的相似性以及共享帶寬的性質(zhì),利用梅爾濾波器組能使低頻率范圍(0~10 kHz)的能量集中更加明顯的特性,提出在CSI信號中提取MFCC向量統(tǒng)計(jì)特征作為識別日常人體行為識別方法。本文首先對數(shù)據(jù)做了濾波處理,論證了CSI信號流之間的相關(guān)性并用PCA對其處理,相位校準(zhǔn)處理;然后在CSI中提取了MFCC向量統(tǒng)計(jì)特征和無相位偏移信號的對數(shù)頻譜能量作為分類特征;最后用ACO+POS-SVM算法對在復(fù)雜場景下的視距和非視距情況的數(shù)據(jù)進(jìn)行了識別,此方法對日常幾個(gè)活動的分類達(dá)到了較好的效果。但是此實(shí)驗(yàn)中,識別的精度還有限,且僅考慮了一個(gè)人識別結(jié)果,這是比較局限的,未來的工作將會在實(shí)時(shí)活動識別、多人及更復(fù)雜的條件下推進(jìn),增加識別系統(tǒng)的廣泛性與實(shí)用性。