多模態(tài)下的手寫識別信息特征精確預測研究

摘要：近年來，隨著人工智能、可穿戴和移動設備的快速發(fā)展，空中寫作逐漸成為新型人機交互（Human-Computer Interaction，HCI）的研究熱點。最新的研究均闡述了基于Wi-Fi信道狀態(tài)信息（Channel State Information，CSI）的空中手寫識別技術。該技術具有靈活部署和更少設備成本等硬性約束，在智能家居、醫(yī)療保健等領域有著廣闊的應用前景。但是當測試環(huán)境發(fā)生變化，該技術在Wi-Fi環(huán)境下所能達到的識別性能迅速下降，此時，單純使用以CSI為基礎的手寫識別技術存在較大的局限性。為此，文章引入一種與環(huán)境無關的手環(huán)加速度模態(tài)，通過對CSI模態(tài)和手環(huán)加速度模態(tài)進行融合，優(yōu)化了信號處理方法，從而實現(xiàn)空中手寫信息有效特征的精準預測，解決了環(huán)境變化帶來的手寫識別研究的局限性問題。

關鍵詞：人機交互；空中寫作；Wi-Fi CSI信息；加速度信息

中圖分類號：TP311 "文獻標志碼：A

0 引言

本文設計了基于Wi-Fi CSI和手環(huán)加速度的2種模態(tài)信息，通過分析手寫字母行為對室內多徑和手環(huán)加速度的影響，優(yōu)化Wi-Fi CSI信號數(shù)據(jù)處理和手環(huán)加速度信號數(shù)據(jù)處理的方法，實現(xiàn)多模態(tài)下的手寫識別信息特征的精確預測。

1 系統(tǒng)模型

商用無線設備和智能手環(huán)能夠識別26個不同的大寫字母A～Z?？罩惺謱懶畔⒆R別的處理流程分為4個模塊：數(shù)據(jù)采集模塊、Wi-Fi CSI數(shù)據(jù)處理模塊、手環(huán)加速度數(shù)據(jù)處理模塊和分類及模態(tài)融合模塊。系統(tǒng)架構及處理流程如圖1所示。

1.1 數(shù)據(jù)采集模塊

通過設計模態(tài)信息采集和環(huán)境設置2種方法，記錄Wi-Fi CSI數(shù)據(jù)和手環(huán)在手寫動作下的加速度數(shù)據(jù)。

1.2 Wi-Fi CSI數(shù)據(jù)處理模塊

本文研究CSI幅值和相位的分布特征，選擇最優(yōu)的信號處理方法進行濾波，利用連續(xù)小波變換［1］將手寫活動引起的Wi-Fi信號路徑變化速度與振幅分離。與以往的研究工作不同，本文將幅度、相位和信號路徑變化速度信息轉換為RGB映射，引入卷積神經(jīng)網(wǎng)絡模型來提取更深層次的手寫字母特征，使用支持向量機來實現(xiàn)最終的分類過程。

1.3 手環(huán)加速度數(shù)據(jù)處理模塊

本文研究信號處理方法，消除加速度噪聲，獲得更魯棒的加速度數(shù)據(jù)。首先，根據(jù)加速度信息在三維空間中的相關性，利用主成分分析法，選擇貢獻最大的主成分作為后續(xù)分類依據(jù)，將多維信息簡化為低維信息。其次，采用離散小波變換特征提取方法，從降維加速度信息中提取魯棒歸一化行為特征。最后，引入粒子群算法優(yōu)化的DTW-SVM構造加速度信息分類器，實現(xiàn)最終的分類過程。手環(huán)加速度數(shù)據(jù)處理模塊流程如圖2所示。

1.4 分類及模態(tài)融合模塊

將手環(huán)加速度數(shù)據(jù)處理模塊和Wi-Fi CSI數(shù)據(jù)處理模塊的輸出作為輸入，發(fā)送給相應轉換單元，利用波形檢測算法獲取空中手寫字母信息的有效特征，實現(xiàn)對手寫字母信息精確的預測。

2 數(shù)據(jù)采集

2.1 CSI數(shù)據(jù)采集

在Wi-Fi狀態(tài)下采集CSI信號時，本文使用Intel 5300無線網(wǎng)卡設備，基于802.11a/b/g/n WLAN標準，在2.4 GHz頻段搭建CSI數(shù)據(jù)采集數(shù)據(jù)所需要的環(huán)境并將Intel 5300網(wǎng)卡配置3根定向天線，實現(xiàn)在短時間內產(chǎn)生足夠的數(shù)據(jù)輸出。

本文通過在主機設備上安裝Intel 5300網(wǎng)卡固件、開源驅動以及配套的Linux環(huán)境下的CSITOOL軟件包，實現(xiàn)從網(wǎng)卡驅動中提取并保存實時CSI數(shù)據(jù)。參考802.11n標準，本文提取的CSI數(shù)據(jù)僅為序列為{-28、-26、-24、-22、-20、-18、-16、-14、-12、-10、-8、-6、-4、-2、-1、1、3、5、7、9、11、13、15、17、19、21、23、25、27、28}的30個子載波數(shù)據(jù)，以減少CSI數(shù)據(jù)占用的內存空間。假設Ta和Ra分別表示發(fā)射和接收天線的數(shù)量，則所收集的CSI實時數(shù)據(jù)是一個維度為Ta×Ra×30的矩陣。

2.2 加速度數(shù)據(jù)采集

在收集手環(huán)加速度信號時，本文使用小米3手環(huán)，設計了一款用于收集手環(huán)加速度信息的App。該應用使用藍牙連接到手環(huán)，在手寫字母移動時傳輸加速信息。在收集過程中，用戶佩戴小米3手環(huán)，模擬在空中寫字。小米3手環(huán)內置的加速度傳感器會在用戶手寫時，自動記錄用戶手部三維空間的加速度變化。在采集過程中，App采集須要與用戶的動作時間同步，即用戶每寫完一個字母，App采集過程也會相應終止。重復上述過程足夠次數(shù)后，收集到的手寫加速度數(shù)據(jù)以.CSV格式保存。

3 CSI數(shù)據(jù)處理

3.1 CSI幅值數(shù)據(jù)處理

3.1.1 時間序列構造

Halperin等［2］開發(fā)的CSITOOL工具將無線網(wǎng)卡內的CSI數(shù)據(jù)信息以.dat文件的形式存儲在主機內存中，通過解析所得文件，提取Ta×Ra×30的多維CSI信息矩陣數(shù)據(jù)。本文通過分離CSI信息的振幅和相位部分，獲得關于手寫動作的詳細變化，以接收時間為階，將離散的CSI幅值或相位連接起來，形成一個時序數(shù)據(jù)序列。一個天線流中的每個子載波的CSI時間-幅度序列如圖3所示。

3.1.2 離群點去除

無線環(huán)境中的突然噪聲會使原始CSI的相位或幅度信息出現(xiàn)少量的異常值（離群點），使得商用無線網(wǎng)卡記錄的CSI信息數(shù)據(jù)不能直接用于后續(xù)的分類處理。由于設備本身的不確定性以及無線信號對外部環(huán)境影響的敏感性，這些離群點與手寫動作無關。由于無線信號的多徑衰落特性，在數(shù)據(jù)從發(fā)射端向接收端傳輸?shù)倪^程中，會出現(xiàn)數(shù)據(jù)丟失的現(xiàn)象。因此，為提高數(shù)據(jù)質量，增強系統(tǒng)穩(wěn)定性，本文引入Hampel濾波器［3］，用于消除離群點。Hampel過濾器是一種決策過濾器，通過使用更合適的數(shù)值替換數(shù)據(jù)序列中找出的異常值。對于CSI收集的數(shù)據(jù)集合，濾波器根據(jù)預先設定的概率分布模型，利用不一致檢驗對數(shù)據(jù)進行處理。

濾波器采用公式（1）計算當前CSI的門限值：

TC=∑30i=1Gi Gi=1QT1，ilt;csiilt;QT3，i

0otherwise（1）

式中，QT1，i和QT3，i分別表示當前CSI的1/4值和3/4值。離群點處理方法：濾波器將當前CSI的門限值TC與給定的門限閾值Tthod比較，若當前CSI值的門限值小于該閾值，則濾波器會將其看作異常值并替換為該段序列的中值；反之，該CSI將會被保留。

3.1.3 濾波及速度提取

由于無線信號的不穩(wěn)定性，從原始CSI信息中分離出來的幅度波形會受到影響，因此數(shù)據(jù)去噪就顯得尤為重要。在室內環(huán)境中，空中手寫動作引起的無線信號變化頻率較低，為實現(xiàn)對CSI數(shù)據(jù)的降噪，本文使用巴特沃茲（Butterworth）低通濾波器去除數(shù)據(jù)中的高頻噪聲。

1930年，英國工程師、物理學家斯替芬·巴特沃茲提出的巴特沃茲低通濾波器在無線通信領域得到廣泛應用。其特點是具有最大平坦幅度響應的低通濾波函數(shù)，可表示為：

|G2（w）|=|H（jw）|2=G021+wwc2n（2）

式中，n表示濾波器的階數(shù)，wc表示通帶截止頻率，G0為直流增益。巴特沃茲濾波器隨著階數(shù)變化的頻幅特性如圖4所示。

通帶截止頻率、阻帶截止頻率的設置是實現(xiàn)巴特沃茲濾波器中重要一環(huán)。其中，通帶截止頻率可表示為：

wc=2πfFs（3）

式中，根據(jù)具體的采集環(huán)境設置信號頻率Fs和采樣率f。

由于巴特沃茲濾波器中阻帶截止頻率的阻帶衰減特性最小，大多數(shù)CSI數(shù)據(jù)只能消除高頻噪聲。因此，為消除數(shù)據(jù)中殘留的深度噪聲，本文引入加權移動平均（Weighted Moving Average，WMA）濾波算法。

加權移動平均濾波器是對移動平均濾波器的改進。在加權移動平均濾波器中，權重的大小與預測值在時間上的距離成反比。加權移動平均的優(yōu)點在于通過分配不同的權重，更好地反映整體的變化趨勢。

設降噪后的第i條子載波CSI為{α^1，i，α^2，i，…，α^t，i}，則WMA工作過程可描述為：

αt，i=m×α^t，i+…+1×α^t-m-1，im+（m-1）+…+1（4）

式中，m為最大的權重因子（窗口大小），α表示濾波后的輸出。通過WMA濾波算法，原始波形中的深層噪聲被濾除，使波形更加平滑。

接著，從去噪的振幅信息中提取路徑變化速度信息。路徑長度的變化是由發(fā)射機/接收機的位置和移動方向決定的，而不同的書寫方式將引起不同的運動方向，從而引入不同的路徑變化速度。事實上，人們很難去測量一條路徑的相位，但是可以通過CFR功率推測，即總CFR功率可描述為一個恒定偏移量和一組頻率是路徑長度變化速度函數(shù)的正弦信號的總和。通過將這些正弦波的頻率與載波波長相乘，就可以得到路徑長度變化的速度。因此，本文引入連續(xù)小波變換（Continue Wavelet Transform，CWT）處理去噪后的CSI幅值時間序列，得到了一個小波光譜圖，其本質是該時間序列從時域到時頻域的變換。通過CWT得到的路徑變化速度如圖5所示。

3.2 CSI相位數(shù)據(jù)處理

在CSI數(shù)據(jù)的采集過程中，任何細微的環(huán)境變化都會引起幅值信息的變化，為得到更為準確的空中手寫字母信息，僅僅利用CSI幅值信息來反映空中手寫動作是不夠的，因此，本文在CSI幅值的基礎上增加對手寫字母動作更為敏感的相位信息。

事實上，采集到的原始相位信息并不能直接用于提取手寫字母相對應的指紋特征，原因在于采集過程中沒法同步無線網(wǎng)卡和商用設備之間誤差的完全實時同步，導致從CSI信息中分離的相位信息分布呈一種隨機的狀態(tài)。因此，對于原始相位信息而言，預處理操作必不可少，以改變相位的分布狀態(tài)。

由于相位的循環(huán)位移，相位信息相互重疊，相位集中分布在［-π，π］。因此，式（8）處理后的線性相位與真實的CSI測量相位之間仍存在數(shù)倍的差異。圖6（a）顯示了3個天線流的原始相位分布。為消除相位循環(huán)移位，本文引入Wang等［6］設計的相位映射算法。通過將原相位減去一個因子，有效地消除相位中存在的循環(huán)移位和重疊。如圖6（b）所示，可以看到，通過相位映射算法，循環(huán)移位和重疊現(xiàn)象明顯減少。

圖7為從商用無線網(wǎng)卡獲得的原始CSI相位信息與經(jīng)過上述處理后的相位信息分布的對比?？梢钥闯?，初始相位分布是隨機的。上述方法的應用完全消除了原始相位的隨機性。

3.3 RGB圖像生成

傳統(tǒng)的CSI識別依賴于上述提取的原始信息測量值并從中手工提取特征。此類特征提取方式依賴一定的專家知識，往往提取的特征不一定是最優(yōu)的，難以實現(xiàn)較高的識別準確度。

本文充分考慮卷積神經(jīng)網(wǎng)絡在圖特征提取方面的天然優(yōu)勢，首先將上述提取的原始特征信息轉化為圖像的形式，將3種通道信息合并成一個更為復雜的RGB圖。具體而言，將原始預處理后的振幅測量矩陣、相位量測矩陣和速度矩陣看作無線電圖像的矩陣形式，即可更深入地對應于以時間為x軸、以原始信息（振幅、相位、速度）為y軸、以通道為z軸的RGB圖像的3個通道?；谶@個思想，本文將CSI原始測量映射到RGB中，從而通過卷積神經(jīng)網(wǎng)絡強大的圖像處理能力自動獲得最優(yōu)空中手寫字母信息的特征。

4 加速度數(shù)據(jù)處理

4.1 時間序列構造

在空中手寫過程中，大量的瞬時加速度組成了原始加速度信息。這些瞬時加速度信息可由特定的手環(huán)加速度采集軟件獲得并以.csv的格式保存。因此，通過解析.csv文件，可獲得3個維度上的手寫加速度信息。本文以時間為順序，排列每個維度上的加速度信息，以構成3個維度的時序加速度序列，代表當前時間上的加速度值，其描述手寫運動過程中三維空間內加速度的變化模式。該時間序列即為原始波形。

4.2 數(shù)據(jù)降維

為降低數(shù)據(jù)維度并最大可能地減少原始數(shù)據(jù)信息損失，本文引入主成分分析法（Principal Component Analysis，PCA）。PCA在圖像處理領域應用廣泛，可通過最大樣本方差變化將原始的高維轉換成低維數(shù)據(jù)，屬于線性變換方式。PCA主要變換過程如下：

（1）數(shù)據(jù)分塊。對維度為N×3的加速度數(shù)據(jù)矩陣H進行拆分，N為時間序列長度，拆分格式為：

H=H1，1H1，2H1，3

H2，1H2，2H2，3

H3，1H3，2H3，3

…………

HN，1HN，2HN，3（9）

式中，Hj，i表示對應于第i維度上的j時刻的加速度值。

（2）相關性估計。將上述矩陣標準化，即：

Zj，i=Hj，i-h-is-i（10）

式中，s-i和h-i分別表示三維加速度矩陣中每一維度上的方差與均值。隨后，構造H的相關系數(shù)矩陣。可以看出，該相關系數(shù)矩陣即為Z的協(xié)方差矩陣。

（3）特征分解。從H的相關系數(shù)矩陣中提取降序排列加速度相關特征值并將前p個特征值及其對應的p個特征向量組成特征向量矩陣Q。

（4）重構加速度矩陣。利用特征向量矩陣Q構造一個主成分矩陣，包含原始加速度矩陣映射，即：

Z{1：p}=Z×Q（11）

如圖8所示，在字母A的三維加速度樣本中提取了第一個主成分，很明顯，該主成分波形與原始加速度中的波形基本一致。從另一方面而言，PCA的降維特性降低了識別系統(tǒng)的整體復雜度，提高了系統(tǒng)的實時性。其根據(jù)維度貢獻度，折中3個維度上的加速度特征，使得系統(tǒng)提取出手寫字母對應于加速度模態(tài)的最主要變化。

5 模態(tài)融合

有效地從數(shù)據(jù)中檢測和分離動作相關的主波形是空中手寫信息精準識別的關鍵，因此，本文引入了一種結合滑動窗口和閾值分割方法的波形檢測算法來獲取手寫字母波形的起始點和結束點［7］，得到了空中手寫字母信息的有效特征，實現(xiàn)對手寫字母信息的精確預測。采用上述方法進行動作分割的最終結果如圖9所示，其中2條虛線分別代表手寫動作的起點Ts和終點Te。

6 結語

本文引入一種與環(huán)境無關的手環(huán)加速度模態(tài)，對基于Wi-Fi CSI和手環(huán)加速度的多種模態(tài)信息進行融合，優(yōu)化信號處理方法，從而實現(xiàn)了從靜態(tài)環(huán)境中分離出空中手寫字母的有效片段，解決了空中手寫信息有效特征的精準預測難題和環(huán)境變化帶來的手寫識別研究的局限性。

參考文獻

［1］武利秀，姚曉峰，王松，等.基于多核學習和四元數(shù)小波變換的無參考圖像質量評價［J］.無線互聯(lián)科技，2020（11）：119-121.

［2］HALPERIN D，HU W，SHETH A，et al.Tool release：Gathering 802.1 In traces with channel state information［J］.ACM SIGCOMM Computer Communication Review，2011（1）：53.

［3］DAVIES L，GATHER U.The identification of multiple outliers［J］.Journal of the American Statistical Association，1993（423）：782-792.

［4］黨小超，汝春瑞，郝占軍.基于CSI與SVM回歸的室內定位方法［J］.計算機工程與科學，2021（5）：853-861.

［5］楊燕，杜康，武旭棟.基于改進線性變換的迭代優(yōu)化去霧算法［J］.激光與光電子學進展，2021（6）：204-212.

［6］WANG X，GAO L，MAO S.CSI phase fingerprinting for indoor localization with a deep learning approach［J］.IEEE Internet of Things Journal，2016（6）：1113-1123.

［7］李賀舉.基于WiFi信號的人體行為感知技術研究［D］.合肥：安徽師范大學，2020.

（編輯 王雪芬）

Research on accurate prediction of handwriting recognition information features in multi-modalityCAO" Yi1， LI" Jianhui1， LIU" Hui1， CHEN" Ying1， WU" Qianqian2*

（1.Foshan Polytechnic， Foshan 528137， China;

2.Guangdong University of Foreign Studies， Guangzhou 510000， China）

Abstract： In recent years， with the rapid development of artificial intelligence， wearable and mobile devices， in-flight writing has gradually become a research hotspot of new human-computer interaction （HCI）. The latest researches all expound the in-air handwriting recognition technology based on Wi-Fi Channel State Information （CSI）， which has hard constraints such as flexible deployment and less equipment cost， and has a wide application prospect in smart home， healthcare and other fields. However， when the test environment changes， the recognition performance that can be achieved in Wi-Fi environment decreases rapidly. At this time， there are great limitations in the research of handwriting recognition based on CSI alone. Therefore， this paper introduced an environment-independent wristband acceleration mode. Through the fusion of CSI mode and wristband acceleration mode， the signal processing method was optimized， so as to realize the accurate prediction of effective features of aerial handwriting information and solve the limitations of handwriting recognition research caused by environmental changes.

Key words： human-computer interaction; writing in the air; Wi-Fi CSI information; acceleration information