基于視頻到Wi-Fi信號的手勢建模

柴亦聰 梁思雨

【摘? 要】基于視頻到Wi-Fi信號的手勢識別建模主要提出一種從視頻模擬Wi-Fi信號的方法，將視頻信息與Wi-Fi信號相結(jié)合，一種新的視頻跨模式的身份識別系統(tǒng)。它使用一個或多個無線收發(fā)器的Wi-Fi信號測量，最后可以識別手勢模型。采用基于從視頻恢復(fù)人體3D Mesh的HMR算法及從3D Mesh點源模擬真實Wi-Fi信號Born approximation算法，結(jié)合視頻插幀、獲取Wi-Fi CSI信息等Wi-Fi信號處理技術(shù)，挖掘視頻信息與Wi-Fi信號之間的內(nèi)在關(guān)系，為后續(xù)手勢識別等相關(guān)應(yīng)用提供相應(yīng)技術(shù)支持。

【關(guān)鍵詞】視頻;Wi-Fi，Born逼近;手勢識別;HMR

引言

（1）現(xiàn)有技術(shù)和背景。

進(jìn)入21世紀(jì)以來，人機(jī)交互技術(shù)不斷發(fā)展，手勢識別就是其中的代表之一。人體手勢和活動識別經(jīng)常被用于許多實際活動中。目前基于Wi-Fi的手勢識別已經(jīng)有了一定的進(jìn)展，手勢識別作為一個極其重要的研究領(lǐng)域，在世界范圍內(nèi)引起了很大的關(guān)注。根據(jù)手勢動作數(shù)據(jù)采集的渠道不同，主要分為三個方向：基于傳感器（Sensor-based）的手勢識別、基于視覺（Vision-based）的手勢識別和基于Wi-Fi（WIFI-based）的手勢識別?；谝曈X（Vision-based）的手勢識別利用Running Average方法不斷更新背景，背景減法用于識別運動和提取候選區(qū)域，提高了手勢檢測和定位的準(zhǔn)確性。

（2）現(xiàn)有技術(shù)的優(yōu)缺點。

然而，基于視覺的方法很難應(yīng)用于光照不足的環(huán)境，同時攝像頭太多會導(dǎo)致用戶隱私的侵犯，使用者的肖像生活環(huán)境也有可能曝光于公眾?；赪i-Fi的手勢識別，雖然我們周圍幾乎時時刻刻都有無線電信號，可以在黑暗中使用，其優(yōu)點是成本低、使用簡單、可以穿墻等，但缺點也是顯而易見的，識別精度不高，容易受到使用者身高體型動作幅度等影響，而且無法跨用戶識別等。

（3）手勢建模的目的和意義。

基于視頻的Wi-Fi信號檢測是人適應(yīng)機(jī)器到機(jī)器不斷適應(yīng)人的過程。它將視頻和Wi-Fi結(jié)合在一起，保留了二者原有的優(yōu)勢，并在一定程度上改善了缺點，比如經(jīng)過視頻前期的手勢動作訓(xùn)練后，用戶的隱私得到了更好的保護(hù)，而且用戶不需要像手勢Wi-Fi那樣不斷地訓(xùn)練。所以基于視頻的Wi-Fi手勢識別技術(shù)的研究對新一代人機(jī)交互技術(shù)的發(fā)展具有重要的意義，同時對人類社會的發(fā)展具有重要意義。例如，它可以用于智能家居，在家居進(jìn)行手勢控制，減少對遠(yuǎn)程控制的依賴，減少對移動設(shè)備的額外成本;它可以用于手語識別，彌補語音識別在聾啞人群等的短板情況，提高其生活水平;它是可用于汽車領(lǐng)域的汽車互聯(lián)網(wǎng)，如喚醒汽車系統(tǒng)的不同功能，通過各種手勢方便駕駛員的操作，只要有Wi-Fi網(wǎng)絡(luò)覆蓋;可以搭建家庭娛樂平臺，豐富家庭生活，比如應(yīng)用到體感游戲中，提高游戲的趣味性和可玩性。

1.視頻到Wi-Fi建模的基本原理

1.1頻道狀態(tài)信息 CSI

Wi-Fi手勢識別基礎(chǔ)是借助無線信道狀態(tài)信息（Channel State Information，CSI）來進(jìn)行手勢識別研究，通過使用滑動平均對獲取到原始的 CSI 數(shù)據(jù)信息進(jìn)行數(shù)據(jù)平滑處理以濾除存在的高頻信息的干擾。包含多個子載波振幅和相位信息，有助于我們進(jìn)行細(xì)粒度的手勢識別。通過捕捉微弱的多普勒效應(yīng)變化以及人體在環(huán)境中移動導(dǎo)致的Wi-Fi信號變形實現(xiàn)的。這里多普勒效應(yīng)的變化是指波源跟接收器的相對位移變化會導(dǎo)致波的頻率變化。而人體反射回的Wi-Fi信號會被接收器當(dāng)成波源。也就是說當(dāng)人體在Wi-Fi的覆蓋中做出某個動作時，那接收器就能獲取到對應(yīng)的多普勒效應(yīng)的變化。他們只要將不同手勢跟不同的多普勒效應(yīng)變化對應(yīng)起來就可以了——比如手臂畫個圈或者各隔空推兩下。

Wi-Fi信號在傳播過程中遇到人體時，會發(fā)生反射、折射、衍射以及散射受到障礙物或者是地形條件的影響等現(xiàn)象，對信號的正常傳播產(chǎn)生擾動，通過分析接收信號和檢測信號變化的特征，感知信號傳播過程中所遇到人體的狀態(tài)，以到達(dá)行為識別的目的。

1.2短時傅里葉變換（STFT）

手勢的頻率相對較低。收集的 CSI 包含高頻分量，影響檢測的準(zhǔn)確性。我們需要用短時傅里葉變換對頻率進(jìn)行優(yōu)化。通過實驗，我們選擇了短時傅里葉變換得到信號的頻譜來從而獲得最佳性能。信號的頻譜的應(yīng)用非常廣泛，信號的壓縮、降噪都可以基于頻譜。然而傅立葉變換有一個假設(shè)，那就是信號是平穩(wěn)的，即信號的統(tǒng)計特性不隨時間變化。手勢頻率信號不是很平穩(wěn)的信號，在很長的一段時間內(nèi)，有很多信號會出現(xiàn)，然后立即消失。如果將這信號全部進(jìn)行傅立葉變換，就不能反映手勢隨時間的變化。

2.手勢建模的研究內(nèi)容和關(guān)鍵步驟

基于視頻到Wi-Fi的手勢建模項目主要是提出一種新的視頻跨模式身份識別系統(tǒng)。它只使用一個或多個無線收發(fā)器的亮度測量，最后可以識別手勢模型。為了實現(xiàn)這種跨模式識別功能，模型將給定Wi-Fi測量的手勢特征與給定視頻片段的手勢特征進(jìn)行比較，并推斷出手勢。

研究內(nèi)容主要是提出主要提出從視頻模擬Wi-Fi信號的方法，將視頻信息與Wi-Fi信號相結(jié)合。采用HMR及Born approximation算法，結(jié)合一系列視頻及Wi-Fi信號處理技術(shù)，挖掘視頻信息與Wi-Fi信號之間內(nèi)在關(guān)系，為一種新的視頻跨模式的身份識別系統(tǒng)提供支持。為了實現(xiàn)這種跨模式識別功能，模型將給定Wi-Fi測量的手勢特征與給定樣本視頻片段的手勢特征進(jìn)行比較，并推斷出手勢。在不侵犯隱私的前提下，只要有Wi-Fi網(wǎng)絡(luò)覆蓋，就可以進(jìn)行手勢識別。

2.1視頻還原3D網(wǎng)格點

用人的手勢的樣本錄像片段生成3D網(wǎng)格點。給定一個人的視頻幀，首先使用the Human Mesh Recovery （HMR） algorithm來生成密集的3D網(wǎng)格，這包括了很多3D點來描述人體的外表面。給定一個人的視頻片段，就可以構(gòu)建每一幀的3D點集。這種集合的序列就可以捕捉到人的手勢。

由視頻生產(chǎn)模擬Wi-Fi信號。為了模擬人在Wi-Fi區(qū)域行走的Wi-Fi信號，使用Born approximation來建模Wi-Fi反射的人體網(wǎng)格表面。

2.2利用Born approximation從點源模擬信號的場分布

在真實的Wi-Fi環(huán)境下，Wi-Fi發(fā)射器位于，接收器位于。為了模擬人在Wi-Fi區(qū)域行走的Wi-Fi信號，使用Born approximation來建模Wi-Fi反射的人體網(wǎng)格表面。更確切的說，在時間t模擬的接收到的Wi-Fi信號可以寫成如下：

這里是從點x到點y的在三維坐標(biāo)系下的格林函數(shù)，并且

這里是歐幾里得范數(shù)，λ是無線信號的波長， 是所有和可見的人體網(wǎng)格點的子集，因為只有這些點能夠?qū)⑿盘柗瓷浣o。我們在 上應(yīng)用the Hidden Point Removal （HPR） algorithm來確定

從點反射的信號強度由兩個因素決定：所屬的身體部位的表面積和方向。比如，人的軀干比其他部位有更高的反射率因為它有更大的表面積。這個因素由體現(xiàn)。人體的朝向確定入射信號將被反射的方向。一個完美的反射面將會在僅從方向反射入射波，這里? ? ? ? ? ? ? ? ? ? ? ?是點在人體上的法線向量。然而人體最好被建模為類準(zhǔn)反射鏡，將信號以不同的振幅反射到很多方向，最強烈的是方向。從點到的反射波的振幅將相反地與向量和夾角相關(guān)聯(lián)。這種關(guān)聯(lián)可以由Gaussian mask表示：

3.手勢識別的實施方案與模型

3.1手勢定義

首先，通過拍攝不同動作的手勢視頻樣本，對視頻樣本進(jìn)行加工處理。

在系統(tǒng)中定義有意義的手勢，將15個不同的動作定位為有效手勢，并確定其動作規(guī)范。

共定義15個有效手勢，分別為雙手招手，深蹲，直行，左抬手，左半圓，左推手，拿起煙，放下煙，右半圓，右抬手，右推手，右揮手，放大，縮小。

3.2視頻到Wi-Fi的手勢模型

其次，利用的人類網(wǎng)格恢復(fù)（HMR）算法生成三維網(wǎng)格，其中包含大量描述人體外表面的三維點。給定一個人的視頻片段，然后為每一幀構(gòu)造一組3D點。生成3D mesh圖像和不同手勢的人體坐標(biāo)值。用人體行走的樣本錄像片段生成3D網(wǎng)格點。給定一個人的視頻幀，首先使用the Human Mesh Recovery （HMR） algorithm來生成密集的3D網(wǎng)格。這包括了很多描述人體的外表面的3D點。給定一個人的視頻片段，就可以構(gòu)建每一幀的3D點集。這種集合的序列就可以捕捉到人體的步態(tài)。

表示人體在時間t生成的3D網(wǎng)格點。

然后，提出新的框架和用來獲取人體基于Wi-Fi CSI幅度信號的步態(tài)特征的特征集。更準(zhǔn)確地說，綜合使用了短時傅里葉變換和埃爾米特函數(shù)來生成一個頻譜，并且提取關(guān)鍵特征。更進(jìn)一步提出一種提取頻譜關(guān)鍵部分的方法和運動的方向，這使得我們能夠做識別并且無需追蹤。

3.3基于Wi-Fi的手勢模型

一個人在Wi-Fi覆蓋的區(qū)域行走，一個Wi-Fi發(fā)射器發(fā)送了一個無線信號，該信號從人體的不同部位反射，并由Wi-Fi接收器接收。復(fù)基帶接收信號可以寫作如下：

是復(fù)雜的接收信號，包括直接路徑和靜態(tài)路徑的影響，是從第m個身體部位反射的信號的振幅，是在時間t=0時那條路徑的長度，

是第m個身體部位在時間t的速度。

其中是s（t）的直流分量，并且。注意是隨時間變化的。

3.4基于以測量Wi-Fi信號的光譜生成

信號 s（t）是多個正弦波的總和，其頻率與移動人的不同手勢部位的各自速度線性相關(guān)。因此，評估信號s（t）的瞬時頻率分量可提供有關(guān)手勢的信息。最后我們使用短時傅里葉變換。短時傅里葉變換中，將一個長度為的短移動窗口應(yīng)用于s（t），并將傅立葉變換應(yīng)用于該移動窗口的每個實例，以估計頻率分量，從而產(chǎn)生信號頻譜圖。更準(zhǔn)確地說，公式如下：

盡管STFT提供了有關(guān)不同身體部位的瞬時速度的有價值的信息，但文獻(xiàn)已經(jīng)表明，相應(yīng)的時頻分辨率的折衷會影響該信息的質(zhì)量。然后，提出多窗口埃爾米特頻譜圖（HS），以提高STFT頻譜圖的濃度。在埃爾米特頻譜圖中，多個埃爾米特函數(shù)用作時頻分析的窗口，更準(zhǔn)確地說：

這里是第k個埃爾米特函數(shù)， 是通過求解：

獲得的加權(quán)系數(shù)。

為了結(jié)合HS的理想濃度特性和STFT檢測來自人體不同部位的微小反射的能力，我們建議通過組合以下兩個頻譜圖來生成最終的Wi-Fi頻譜圖：

4.手勢識別的的實驗結(jié)果分析

4.1基于MATLAB的實驗分析

MATLAB能夠解決關(guān)于實驗研究計算中的很多問題，首先其操作界面和編程語言自然簡單，可以對對象進(jìn)行動態(tài)模擬，便于分析計算過程變化，用強大的數(shù)學(xué)公式編程功能和圖形功能將復(fù)雜高深的理論變成可視化的仿真結(jié)果。其次，和MATLAB能夠?qū)⑺胁煌氖謩輨幼鞯腍MR數(shù)據(jù)進(jìn)行單獨處理，觀測不同手勢下信號輸出，清楚明了的觀察變量變化帶來的實際影響。

我們提出了一種新的方法來模擬Wi-Fi信號，該信號將由一對收發(fā)器測量，基于一個人手勢動作的視頻片段。 更具體地說，我們構(gòu)造并提取視頻中的人的三維網(wǎng)格模型，并模擬相應(yīng)的Wi-Fi CSI震級測量。也就是說，我們隨著時間的推移傳播這個網(wǎng)格模型，使用信號幅度來生成信號的光譜圖，然后進(jìn)行短時傅里葉變換（STFT），最后使用Born approximation在MATLAB中來模擬相應(yīng)的接收到的Wi-Fi信號，如果該人在一對Wi-Fi收發(fā)器附近進(jìn)行手勢動作的演示。

4.2Wi-Fi信號模擬圖樣

5.結(jié)語

基于視頻到Wi-Fi信號的手勢識別建模主要提出一種從視頻模擬Wi-Fi信號的方法，將視頻信息與Wi-Fi信號相結(jié)合，一種新的視頻跨模式的身份識別系統(tǒng)。它使用一個或多個無線收發(fā)器的Wi-Fi信號測量，最后可以識別手勢模型。采用基于從視頻恢復(fù)人體3D Mesh的HMR算法及從3D Mesh點源模擬真實Wi-Fi信號Born approximation算法，結(jié)合視頻插幀、獲取Wi-Fi CSI信息等Wi-Fi信號處理技術(shù)，挖掘視頻信息與Wi-Fi信號之間的內(nèi)在關(guān)系，為后續(xù)手勢識別等相關(guān)應(yīng)用提供相應(yīng)技術(shù)支持。

參考文獻(xiàn)

[1]陳鵬展， 羅漫， 李杰. 基于加速度傳感器的連續(xù)動態(tài)手勢識別[J]. 傳感器與微系統(tǒng)， 2016， 35（01）：39-42.

[2]劉凱. Wi-Fi技術(shù)及其在智能家居中的應(yīng)用研究[J]. 黑龍江科技信息， 2013， 000（030）：167-167.

[3]操文昌. 基于 Wi-Fi 信號的手勢識別研究[D]

[4]邱顯杰. 基于視頻的三維人體運動捕獲方法研究[D].

作者簡介：柴亦聰（2001.04-），女，河南南陽人，陜西省西安市西北大學(xué) 電子信息科學(xué)與技術(shù)（中外合辦）專業(yè)，本科生。

梁思雨（2001.04-），女，陜西延安人，陜西省西安市西北大學(xué) 電子信息科學(xué)與技術(shù)（中外合辦）專業(yè)，本科生。

西北大學(xué)? ? 陜西西安? ? 710000