郭夢(mèng)麗 許 勇 何 昕 陳錫敏 李鳳妹 方 群
(安徽師范大學(xué)計(jì)算機(jī)與信息學(xué)院 蕪湖 241002)
物聯(lián)網(wǎng)的發(fā)展帶動(dòng)了“智慧+”產(chǎn)業(yè)的興起和應(yīng)用。例如,智能教室、智能家居和智能農(nóng)業(yè)的發(fā)展。同時(shí),用戶的興趣愛(ài)好、醫(yī)療信息、社會(huì)關(guān)系等敏感信息也有泄露給未經(jīng)授權(quán)人員使用的危險(xiǎn)。因此,為智能設(shè)備的接入提供安全有效的接口已成為亟待解決的問(wèn)題。
長(zhǎng)期以來(lái),身份識(shí)別一直是以人為中心的計(jì)算研究的核心[1]?;谙鄼C(jī)的、傳感器的傳統(tǒng)接觸式身份識(shí)別方法有著需要近距離接觸的弊病,不適合在疫情當(dāng)下使用。然而,人臉識(shí)別[2~3]、虹膜識(shí)別[4]等各種非接觸式識(shí)別技術(shù)雖然識(shí)別結(jié)果較好。但這些基于視覺(jué)的[5~6]識(shí)別方法對(duì)光照條件要求嚴(yán)格,在實(shí)際應(yīng)用中需要無(wú)障礙阻擋等嚴(yán)苛條件且不易在室內(nèi)環(huán)境部署。然而,人臉識(shí)別更是飽受爭(zhēng)議。2020年9月12日,李開(kāi)復(fù)在HICOOL全球企業(yè)家峰會(huì)上的演講中表示,他的團(tuán)隊(duì)曾在早期幫助過(guò)曠視科技從美圖和螞蟻金服獲得了大量的人臉數(shù)據(jù)。這個(gè)看似成功的商業(yè)案例,將互聯(lián)網(wǎng)公司共享人臉數(shù)據(jù)的“內(nèi)幕”公布與眾。讓人一度懷疑我們的“臉”真的安全嗎?生物特征識(shí)別通常容易受到重放攻擊和隱私問(wèn)題的影響。這些問(wèn)題的存在促使研究人員整合更加方便、安全和有效的識(shí)別技術(shù)。
曾和張等人證明了步態(tài)和手勢(shì)是可用于識(shí)別人類的重要生物特征。不同人的體型和運(yùn)動(dòng)方式存在差異。在執(zhí)行某種行為的過(guò)程中,動(dòng)作引起CSI變化所揭示的信息不僅包括具體的位置,還包括與體型大小和個(gè)人習(xí)慣有關(guān)的身份信息。從而對(duì)接收到的信號(hào)產(chǎn)生高度可識(shí)別的特征響應(yīng)[7]。我們提出了DrawU(用手勢(shì)來(lái)描摹身份),用戶執(zhí)行相應(yīng)的手勢(shì)就能識(shí)別合法用戶的身份。我們的整體系統(tǒng)設(shè)計(jì)如圖1所示。
圖1 DrawU身份識(shí)別系統(tǒng)結(jié)構(gòu)
本文的主要貢獻(xiàn)如下:
1)在采集的數(shù)據(jù)集上,我們實(shí)現(xiàn)了DrawU,并進(jìn)行廣泛的實(shí)驗(yàn)以評(píng)估所提出系統(tǒng)的性能。實(shí)驗(yàn)結(jié)果表明了該系統(tǒng)的可行性和有效性。與現(xiàn)有方法相比,識(shí)別準(zhǔn)確率更高,且識(shí)別單個(gè)用戶的時(shí)間僅為0.59389ms,保證了良好的用戶體驗(yàn)。
2)本文采用改進(jìn)的巴特沃斯濾波器去除噪聲,采用多徑消除算法去除志愿者無(wú)意識(shí)的冗余動(dòng)作和環(huán)境中障礙物的靜態(tài)反射,解決了CSI子載波間的信號(hào)冗余問(wèn)題,由于在預(yù)處理階段去除了環(huán)境中的靜態(tài)反射,故本文提出的模型對(duì)域的敏感度較低。
3)對(duì)于手勢(shì)這種細(xì)膩度的人類活動(dòng),特征提取更加困難。我們?cè)O(shè)計(jì)了兩個(gè)改進(jìn)的殘差模塊來(lái)自動(dòng)提取更好的特征,并驗(yàn)證了其他代價(jià)損失沒(méi)有增加,而且實(shí)現(xiàn)了一些優(yōu)化。
基于PHY層的身份識(shí)別技術(shù)主要包括三大理論和技術(shù),本節(jié)將做一個(gè)簡(jiǎn)單的回顧。
與RSSI相比,CSI更加敏感和細(xì)膩,促使研究人員開(kāi)始使用CSI信息進(jìn)行感知活動(dòng),但在CSI采集過(guò)程中,必要的硬件設(shè)備是必不可少的。目前,我們已經(jīng)通過(guò)智能手機(jī)和現(xiàn)有的商用WiFi路由器實(shí)現(xiàn)了CSI數(shù)據(jù)的采集。其中,路由器是WiFi報(bào)文傳輸?shù)臒狳c(diǎn)。智能手機(jī)嵌入了定制固件和匹配的編碼軟件,以捕獲手勢(shì)動(dòng)作生成的CSI數(shù)據(jù)。
WiFi感知身份識(shí)別中常用的特征算法主要有三類?;谀0迤ヅ涞乃惴ㄖ饕衅栠d相關(guān)系數(shù)、歐幾里得距離、曼哈頓距離和DTW(動(dòng)態(tài)時(shí)間規(guī)整)算法。例如,Xin等提出的FreeSense[8]通過(guò)擴(kuò)展和縮短時(shí)序數(shù)據(jù),直接計(jì)算新獲取的信號(hào)與模板的相似度,在2人~6人的智能家居環(huán)境中實(shí)現(xiàn)了94.5%~88.9%的識(shí)別準(zhǔn)確率。無(wú)需訓(xùn)練即可快速匹配?;跈C(jī)器學(xué)習(xí)的算法主要有KNN算法和SVM算法。WiFiU[9]利用信號(hào)處理技術(shù)從CSI數(shù)據(jù)中生成頻譜圖,并使用SVM算法在50人的數(shù)據(jù)集中實(shí)現(xiàn)了79.28%的識(shí)別率?;谏疃葘W(xué)習(xí)的LSTM(長(zhǎng)短期記憶)算法適用于處理時(shí)間序列數(shù)據(jù)。CSIID[10]使用LSTM層自動(dòng)提取特征,減少了人工提取特征的大量數(shù)據(jù)預(yù)處理工作。當(dāng)實(shí)驗(yàn)數(shù)據(jù)為2人~6人時(shí),系統(tǒng)的平均識(shí)別準(zhǔn)確率為97.4%~94.8%。CNN感知能力強(qiáng),但分類器訓(xùn)練耗時(shí)。WiNet[11]搭建了卷積神經(jīng)網(wǎng)絡(luò)模型并以頻率能量圖作為模型的輸入矩陣,實(shí)現(xiàn)WiFi環(huán)境下的單目標(biāo)步態(tài)識(shí)別,在現(xiàn)實(shí)的實(shí)驗(yàn)室場(chǎng)景中40個(gè)人的分組,識(shí)別準(zhǔn)確率達(dá)到98.5%。
目前,基于WiFi感知的步態(tài)識(shí)別技術(shù)發(fā)展迅速,取得了豐碩的成果。曾等提出的WiWho在2人~6人的小組中的平均準(zhǔn)確率為92%~80%。實(shí)驗(yàn)者只有步行2m~3m才能達(dá)到更準(zhǔn)確的識(shí)別。但是,智能識(shí)別的準(zhǔn)確性是從WiWho開(kāi)始得到驗(yàn)證的。WiFi-ID[12]展現(xiàn)了步態(tài)識(shí)別的可靠性,在2人~6人的數(shù)據(jù)集中實(shí)現(xiàn)了93%~77%的識(shí)別準(zhǔn)確率。然而,基于手勢(shì)的身份識(shí)別發(fā)展緩慢。值得一提的是,Kong等設(shè)計(jì)的Fingerpass[13]在人機(jī)交互過(guò)程中不斷對(duì)用戶進(jìn)行認(rèn)證。采用遷移學(xué)習(xí)的方法,實(shí)現(xiàn)了系統(tǒng)的跨域。在真實(shí)的智能家居環(huán)境下,識(shí)別準(zhǔn)確率達(dá)到91.4%。WiHF[14]從WiFi信號(hào)中推導(dǎo)出手臂手勢(shì)的跨域運(yùn)動(dòng)變化模式,通過(guò)提出的分割拼接優(yōu)化方法實(shí)現(xiàn)手勢(shì)和身份的雙任務(wù)識(shí)別,準(zhǔn)確率與當(dāng)前最先進(jìn)的方法相當(dāng),域內(nèi)手勢(shì)識(shí)別和用戶識(shí)別準(zhǔn)確率分別為97.65%和96.74%分別為6個(gè)用戶和5個(gè)位置和方向,但總處理時(shí)間縮短了30倍。
與現(xiàn)有工作不同,我們的工作旨在感知人機(jī)交互過(guò)程中的細(xì)粒度手勢(shì),從而識(shí)別執(zhí)行預(yù)定義的手勢(shì)的用戶,實(shí)現(xiàn)更輕量級(jí)的用戶識(shí)別系統(tǒng),可以嵌入到智能設(shè)備中,適應(yīng)更多真實(shí)場(chǎng)景,為“智能+”行業(yè)提供更便捷的應(yīng)用。
本節(jié)簡(jiǎn)要介紹DrawU的理論基礎(chǔ),即通道狀態(tài)信息、基于WiFi的手勢(shì)識(shí)別和身份識(shí)別。
在過(guò)去的幾年里,基于WiFi的傳感已經(jīng)獲得了極大的普及。研究人員提出了多種基于WiFi的系統(tǒng)來(lái)識(shí)別人類手勢(shì)的系統(tǒng)[15~18]。在逐步探索和實(shí)踐中,也驗(yàn)證了WiFi感知的可行性和有效性。CSI描述了WiFi信號(hào)傳播路徑的信道特性,主要以信道頻率響應(yīng)(CFR)[19]的形式表示,即:
使用OFDM調(diào)制時(shí),每個(gè)子載波上的幅度和相位信息可以看作是CFR頻譜的一組采樣數(shù)據(jù)。CSI可以表示為
其中,H()fk代表以fk子載波為中心頻率的CSI,和∠H()
fk分別代表第k個(gè)子載波的幅度和相位。
手勢(shì)動(dòng)作的特征是否足以代表用戶身份?根據(jù)實(shí)驗(yàn)觀察,當(dāng)志愿者執(zhí)行手勢(shì)時(shí),潛在生物識(shí)別手的大小和執(zhí)行速度不同,導(dǎo)致不同用戶做出相同手勢(shì)時(shí)CSI的幅度存在顯著差異。因此可以識(shí)別不同的用戶。
與基于被動(dòng)步態(tài)識(shí)別的方案相比,以基于WiFi的手勢(shì)識(shí)別為前提的身份識(shí)別具有兩個(gè)優(yōu)點(diǎn):1)無(wú)需步行一定距離即可收集到足夠的信息。2)手勢(shì)動(dòng)作不需要移動(dòng),保證了驗(yàn)證的靈活性。因此,我們?cè)O(shè)計(jì)了一個(gè)基于殘差卷積神經(jīng)網(wǎng)絡(luò)的DrawU?;赪iFi的手勢(shì)身份識(shí)別,主要包括數(shù)據(jù)預(yù)處理和模型訓(xùn)練與分類兩個(gè)階段。
本文使用的數(shù)據(jù)集是使用智能手機(jī)收集的CSI數(shù)據(jù)集。15名志愿者由年齡在22歲至27歲(7名女性和8名男性)的本科生和研究生組成。志愿者從初始站立狀態(tài)執(zhí)行規(guī)定動(dòng)作到恢復(fù)站立狀態(tài)為一個(gè)完整的周期,共30個(gè)周期。我們共收集了20種常見(jiàn)的步態(tài)和手勢(shì),其中9種手勢(shì)的數(shù)據(jù)被用于我們的實(shí)驗(yàn),手勢(shì)樣式如圖2所示。
圖2 手勢(shì)樣式圖
在所設(shè)計(jì)的系統(tǒng)中,考慮到計(jì)算復(fù)雜度和效率,使用四階巴特沃斯IIR濾波器,并借助了巴特沃斯濾波器在阻帶內(nèi)逐漸下降到零的特點(diǎn)。數(shù)據(jù)采樣頻率為1000Hz,濾波器的截止頻率wc可以通過(guò)以下公式進(jìn)行估算:
手勢(shì)動(dòng)作是一種相對(duì)剛性的動(dòng)作,但它無(wú)法避免志愿者產(chǎn)生的其他無(wú)意識(shí)動(dòng)作和環(huán)境引起的靜態(tài)反射的存在,這些數(shù)據(jù)中并不反映身份信息。因此,我們需要去除延遲較長(zhǎng)的反射在我們的實(shí)驗(yàn)中。DrawU使用商用正交頻分復(fù)用(OFDM)的WiFi設(shè)備對(duì)CSI去除部分多路徑。首先,對(duì)采集到的CSI信號(hào)采用逆快速傅里葉變換(IFFT),得到近似時(shí)域的功率延遲分布。然后我們根據(jù)經(jīng)驗(yàn)去除延遲超過(guò)500ns[19]的多徑分量。最后,通過(guò)快速傅里葉變換(FFT)將剩余功率延遲曲線轉(zhuǎn)換回頻域中的CSI。多徑去除提高了用戶認(rèn)證的魯棒性,降低了系統(tǒng)對(duì)域的靈敏度。
對(duì)處理后的數(shù)據(jù)進(jìn)行小波變換,小波變換的尺度收縮性促使小波能夠捕獲信號(hào)之間的局部相似性,可用于數(shù)據(jù)壓縮和特征提取。根據(jù)小波變換原理,將信號(hào)分解為近似系數(shù)和細(xì)節(jié)系數(shù),為了保留CSI信號(hào)的形狀和趨勢(shì),同時(shí)保留足夠的CSI特征用于身份識(shí)別。我們使用DB4小波變換,結(jié)合了實(shí)驗(yàn)的時(shí)間復(fù)雜度和運(yùn)算的效率。
對(duì)經(jīng)過(guò)信號(hào)處理技術(shù)處理后的CSI數(shù)據(jù)進(jìn)行分割,去除不反映身份信息的部分,我們提出了一種分割算法。檢測(cè)信號(hào)波動(dòng)的波動(dòng)因子,從而獲得手勢(shì)的起點(diǎn)和終點(diǎn)。由于志愿者連續(xù)執(zhí)行30組相同的手勢(shì),因此智能手機(jī)接收到的CSI序列是一個(gè)連續(xù)的時(shí)間序列,需要對(duì)接收到的時(shí)間序列進(jìn)行分割。從上圖中可以看出,每個(gè)周期的數(shù)據(jù)中都有明顯的間隔來(lái)分割不同的周期,具體過(guò)程如算法1所示。
為了解決WiFi信號(hào)中手指手勢(shì)動(dòng)作特征難以高效提取的問(wèn)題,以及變化率、信號(hào)能量、幅度、最大峰值和最小谷值等普通特征由于不同的人具有相似性,所以效果不佳。因此,為了從射頻信號(hào)中自動(dòng)提取更好反映身份的手勢(shì)特征,本文提出了一種基于殘差網(wǎng)絡(luò)的深度學(xué)習(xí)算法來(lái)提取特征矩陣的深層特征。故本文基于手勢(shì)的身份識(shí)別系統(tǒng)的分類是基于CNN和ResNet。與直接通過(guò)CNN網(wǎng)絡(luò)進(jìn)行識(shí)別相比,ResNet網(wǎng)絡(luò)更好地?cái)M合了分類功能,獲得了更高的識(shí)別準(zhǔn)確率。網(wǎng)絡(luò)模型如圖3所示。ResNet網(wǎng)絡(luò)是通過(guò)多個(gè)卷積層和BN層構(gòu)成的,在兩個(gè)殘差塊的連接處連接了一個(gè)池化層。各層的結(jié)構(gòu)和設(shè)置說(shuō)明如下。
圖3 模型殘差網(wǎng)絡(luò)結(jié)構(gòu)
殘差模塊:常見(jiàn)的殘差網(wǎng)絡(luò)結(jié)構(gòu)都是由殘差和直接映射組成。殘差塊的設(shè)計(jì)與相關(guān)參數(shù)設(shè)置如圖4所示。
圖4 殘差結(jié)構(gòu)設(shè)計(jì)
殘差部分包括三個(gè)卷積層。每一層卷積層后都連接一個(gè)BN標(biāo)準(zhǔn)化(BN),以提高模型的收斂速度。相比Dropout層,BN不僅簡(jiǎn)化了參數(shù)調(diào)整過(guò)程的步驟,而且大大提高了訓(xùn)練速度。值得一提的是,本文使用的激活函數(shù)是Gelu。直接映射部分連接了一個(gè)卷積層和一個(gè)1×1的卷積核來(lái)匹配輸入的維度。通過(guò)實(shí)驗(yàn)驗(yàn)證,殘差網(wǎng)絡(luò)可以有效解決由于加深網(wǎng)絡(luò)層次而導(dǎo)致的網(wǎng)絡(luò)退化問(wèn)題,以提取細(xì)化的特征。剩余模塊的其余部分的計(jì)算表示如下。
池化層:具有特征矩陣下采樣、擴(kuò)展感知域、降維等功能。在本文中,Maxpool函數(shù)被用作第一個(gè)殘差塊之后的池化層。為了簡(jiǎn)化網(wǎng)絡(luò)參數(shù)調(diào)整的步驟,增加網(wǎng)絡(luò)的可移植性,在第二個(gè)殘差模塊的末尾使用了AdaptivePool2d函數(shù),它可以獨(dú)立于接收到的殘差的輸入張量來(lái)處理不同數(shù)據(jù)維度的架構(gòu)。池化層的輸入為x,輸出可以由式(5)計(jì)算得出:
卷積層:在這一層,本文使用了1×1的二維卷積核,可以在一定程度上提高模型的表示能力。使用1×1卷積核降維后,為了壓縮網(wǎng)絡(luò)結(jié)構(gòu)和減少參數(shù),我們并沒(méi)有使用全連接層,神經(jīng)元的卷積過(guò)程表示為
數(shù)據(jù)展平層(Flatten):大大減少了參數(shù)的使用,避免了過(guò)擬合現(xiàn)象,簡(jiǎn)化了網(wǎng)絡(luò)計(jì)算。
為了測(cè)試模型的性能,我們?cè)谡鎸?shí)環(huán)境中進(jìn)行了測(cè)試,在實(shí)驗(yàn)中取得了不錯(cuò)的效果。
為了驗(yàn)證模型的可靠性,本文選擇了兩個(gè)真實(shí)環(huán)境進(jìn)行驗(yàn)證。測(cè)試環(huán)境1為學(xué)院南樓2號(hào)樓一樓實(shí)驗(yàn)室,面積為6m×8m。實(shí)驗(yàn)室環(huán)境相對(duì)開(kāi)闊,障礙物較少,故多路徑組件較少。另一個(gè)測(cè)試環(huán)境是學(xué)院南樓1號(hào)樓二樓的實(shí)驗(yàn)室,面積為10m×15m。這個(gè)實(shí)驗(yàn)室里擺滿了各種實(shí)驗(yàn)設(shè)備和家具。是一個(gè)典型的復(fù)雜室內(nèi)環(huán)境,環(huán)境中有墻壁、桌椅、書架等靜態(tài)反射器,故障礙物多、多路徑組件多。實(shí)驗(yàn)室旁邊的教室只有上課時(shí)間有噪音,實(shí)驗(yàn)室場(chǎng)景如圖5所示。
圖5 實(shí)驗(yàn)室場(chǎng)景圖
不同分組大小的比較分析:本文通過(guò)輸入隨機(jī)選擇的不同CSI數(shù)據(jù)分組大小來(lái)訓(xùn)練DrawU。當(dāng)人類識(shí)別群體規(guī)模為2人~8人時(shí),DrawU在兩種室內(nèi)環(huán)境下的準(zhǔn)確率分別達(dá)到97.86%~100%和97.2%~99.35%。圖6展示了本文所提出的模型在不同實(shí)驗(yàn)場(chǎng)景中的結(jié)果,展現(xiàn)了的系統(tǒng)的魯棒性,在15人的群體中識(shí)別準(zhǔn)確率均達(dá)到了92%以上,但隨著識(shí)別人數(shù)的增加,相似度變大,識(shí)別準(zhǔn)確率避免不了有所下降。圖7是復(fù)雜環(huán)境下8人分組時(shí)的混淆矩陣。圖中黑色部分記錄了一個(gè)身份被正確識(shí)別的頻率,白色部分記錄了一個(gè)身份被錯(cuò)誤識(shí)別的頻率。
圖6 不同分組檢測(cè)精度
圖7 混淆矩陣
不同激活函數(shù)的比較:在本文中,選擇了Gelu激活函數(shù)。作為一種新穎的激活函數(shù),與Relu、tanh等其他激活函數(shù)相比,Gelu引入了隨機(jī)正則的思想。是對(duì)神經(jīng)元輸入的概率描述,更符合訓(xùn)練過(guò)程中的自然理解。然而Relu等其他激活函數(shù)缺少隨機(jī)因素。實(shí)驗(yàn)結(jié)果繪制在圖8中。Gelu作為模型的激活函數(shù),定義為
圖8 不同激活函數(shù)對(duì)準(zhǔn)確性的影響
與現(xiàn)有方法的比較:圖9顯示了DrawU和其他模型在不同分組中的基于手勢(shì)的身份識(shí)別結(jié)果。觀察實(shí)驗(yàn)結(jié)果,隨著手勢(shì)識(shí)別規(guī)模的增加,不同模型的識(shí)別準(zhǔn)確率或多或少都有所下降。但本文提出的模型具有良好的魯棒性。隨著問(wèn)題規(guī)模的增加,準(zhǔn)確率仍然保持在很高的水平。
圖9 不同模型對(duì)識(shí)別精度的影響
身份識(shí)別是人類信息安全的重要保障。隨著WiFi設(shè)備的普及,在物理層使用PHY層的感知技術(shù)也正在成為一個(gè)新的研究方向。在此前提下,利用現(xiàn)有Wi-Fi協(xié)議(802.11n)中可用的細(xì)膩度CSI,實(shí)現(xiàn)基于手勢(shì)動(dòng)作和物理層信息無(wú)設(shè)備的身份認(rèn)證。本文提出了一種利用殘差網(wǎng)絡(luò)提取CSI特征矩陣的算法。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)具有良好的識(shí)別性能,8人組的平均識(shí)別準(zhǔn)確率為98.1%。但是,也存在一些不足之處。識(shí)別準(zhǔn)確率與數(shù)據(jù)預(yù)處理的“清潔”程度有很大關(guān)系,這也促使我們簡(jiǎn)化實(shí)驗(yàn)步驟,計(jì)算更準(zhǔn)確的特征,避免繁瑣的數(shù)據(jù)處理。使用基于WiFi的手勢(shì)識(shí)別來(lái)增強(qiáng)用戶識(shí)別的另一個(gè)應(yīng)用領(lǐng)域是軟訪問(wèn)。比如在智慧教室中,課程老師的手勢(shì)可以控制投影設(shè)備,但是一些坐在講臺(tái)下的學(xué)生的類似的動(dòng)作是不被允許控制設(shè)備的。最近,一些團(tuán)隊(duì)已經(jīng)實(shí)現(xiàn)了交互過(guò)程,防止當(dāng)前“智能+”行業(yè)提供的服務(wù)被錯(cuò)誤地提供給其他用戶,使身份識(shí)別不是一次性行為。但是,交互間隔很難確定。因此,在本文中,我們的工作將適用場(chǎng)景設(shè)置為智慧教室,并通過(guò)課堂節(jié)奏設(shè)置用戶交互。在未來(lái)的工作中,我們將更多地關(guān)注WiFi傳感中的交互。