擬合稀疏信號(hào)的可穿戴設(shè)備混合現(xiàn)實(shí)視覺人機(jī)交互方法

摘"要：常規(guī)人機(jī)交互方法主要依托于深度自適應(yīng)算法，缺少對(duì)動(dòng)作特征的重構(gòu)，無法對(duì)待檢測(cè)樣本進(jìn)行動(dòng)態(tài)對(duì)齊，使得動(dòng)作識(shí)別錯(cuò)誤率較高。為此，提出了擬合稀疏信號(hào)的可穿戴設(shè)備混合現(xiàn)實(shí)視覺人機(jī)交互方法?；诠趋佬畔⑷诤显慝@取動(dòng)作動(dòng)態(tài)，并將動(dòng)作圖像從深度圖像中分割出來，通過將動(dòng)作圖像進(jìn)行超平面轉(zhuǎn)換，得到動(dòng)作參數(shù)峰值。結(jié)合動(dòng)作邊緣方程提取動(dòng)作特征值，采用擬合稀疏信號(hào)算法對(duì)特征點(diǎn)進(jìn)行空域離散化處理，利用稀疏信號(hào)陣列模型對(duì)動(dòng)作特征進(jìn)行重構(gòu)與動(dòng)態(tài)對(duì)齊，從而近似分類與識(shí)別動(dòng)作類型，借助鼠標(biāo)控制pynput庫對(duì)角色進(jìn)行動(dòng)作驅(qū)動(dòng)，由此實(shí)現(xiàn)人機(jī)交互。以可穿戴設(shè)備混合現(xiàn)實(shí)視覺數(shù)據(jù)集作為實(shí)驗(yàn)對(duì)象，將所提方法應(yīng)用于人機(jī)交互的動(dòng)作識(shí)別，結(jié)果表明，所提方法對(duì)于不同類別的動(dòng)作識(shí)別具有更低的識(shí)別錯(cuò)誤率。

關(guān)鍵詞：擬合稀疏信號(hào)；可穿戴設(shè)備；混合現(xiàn)實(shí)視覺；人機(jī)交互

中圖分類號(hào)：TP212""""""文獻(xiàn)標(biāo)識(shí)碼：A

Wearable"Device"Hybrid"Reality"Visual"Humanmachine

Interaction"Method"for"Fitting"Sparse"Signals

ZHANG"Heng1，REN"Xiaokang1，HAO"Fei1，GAO"Yajuan2，WANG"Tianyu3，XIE"Lide1

（1.Biomedical"Engineering，"Chengde"Medical"University，Chengde，"Hebei"067000，China;

2.Department"of"Radiology，Peking"University"Third"Hospital，Beijing"100191，China;

3.Institute"of"Medical"Technology，Peking"University"Health"Science"Center，Beijing"100191，China）

Abstract：The"conventional"humancomputer"interaction"methods"mainly"rely"on"deep"adaptive"algorithms."Due"to"the"lack"of"reconstruction"of"action"features，"they"cannot"dynamically"align"the"detected"samples，"resulting"in"a"high"error"rate"in"action"recognition.To"this"end，"a"wearable"device"hybrid"reality"visual"humanmachine"interaction"method"that"fits"sparse"signals"is"proposed."Based"on"the"principle"of"bone"information"fusion，"motion"dynamics"are"obtained，"and"the"motion"image"is"segmented"from"the"depth"image."Through"the"hyperplane"transformation"of"the"motion"image，"the"peak"value"of"the"motion"parameters"is"obtained."Combined"with"the"action"edge"equation，"the"action"feature"values"are"extracted，"and"the"feature"points"are"processed"by"spatial"discretization"using"the"sparse"signal"fitting"algorithm."The"action"features"are"reconstructed"and"dynamically"aligned"using"the"sparse"signal"array"model，"Thus，"approximate"classification"and"recognition"of"action"types"can"be"achieved，"and"the"pynput"library"can"be"controlled"by"the"mouse"to"drive"the"actions"of"characters，"thereby"achieving"humanmachine"interaction."Using"a"wearable"device"mixed"reality"visual"dataset"as"the"experimental"object，"the"proposed"method"was"applied"to"action"recognition"in"humancomputer"interaction."The"results"showed"that"the"proposed"method"has"a"lower"recognition"error"rate"for"different"types"of"action"recognition.

Key"words：fitting"sparse"signals;"wearable"devices;"hybrid"reality"vision;"humanmachine"interaction

計(jì)算機(jī)技術(shù)和虛擬現(xiàn)實(shí)技術(shù)正逐漸滲透到人們的生活中，推動(dòng)人機(jī)交互領(lǐng)域的升級(jí)和演變。其中，可穿戴設(shè)備及其附帶的各種運(yùn)動(dòng)傳感器在人機(jī)交互過程中催生了各種運(yùn)動(dòng)識(shí)別應(yīng)用。通過傳感器數(shù)據(jù)收集和特定的反饋機(jī)制實(shí)現(xiàn)了人與虛擬機(jī)之間的運(yùn)動(dòng)匹配，從而達(dá)到人機(jī)交互的目的。

目前已實(shí)現(xiàn)的人機(jī)交互動(dòng)作識(shí)別算法主要包括文獻(xiàn)[1]基于眼動(dòng)方法和文獻(xiàn)[2]基于語義本體方法?；谘蹌?dòng)方法的人機(jī)交互方法以眼電與腦電信號(hào)為基礎(chǔ)，通過自適應(yīng)閾值歸一化方法進(jìn)行眼電信號(hào)識(shí)別，結(jié)合特征匹配模板實(shí)現(xiàn)對(duì)角色的實(shí)時(shí)控制。但該方法為單通道交互方式，對(duì)于類不均衡的數(shù)據(jù)樣本無法達(dá)到理想的交互識(shí)別效果?；谡Z義本體的人機(jī)交互方法將體感設(shè)備作為輸入，通過三維醫(yī)學(xué)影像的顯示結(jié)果，構(gòu)建自適應(yīng)識(shí)別模型，由此完成人機(jī)交互。但此方法對(duì)于非接觸式單手動(dòng)態(tài)交互軌跡無法進(jìn)行實(shí)時(shí)跟蹤，且不適用于具有深度信息的動(dòng)作識(shí)別。

針對(duì)以上所述方法存在的不足，提出了一種基于擬合稀疏信號(hào)的人機(jī)交互方法，適用于可穿戴設(shè)備混合現(xiàn)實(shí)視覺的人機(jī)交互。

1"可穿戴設(shè)備混合現(xiàn)實(shí)視覺人機(jī)交互方法

設(shè)計(jì)

1.1"動(dòng)作特征提取

為了確保動(dòng)作識(shí)別不受環(huán)境光照條件和其他干擾因素的影響，應(yīng)首先對(duì)操作員的動(dòng)作進(jìn)行分割，并根據(jù)分割參數(shù)提取動(dòng)作特征，以實(shí)現(xiàn)更準(zhǔn)確的人機(jī)交互[3]。

本文采用骨骼信息融合的原理，首先獲得操作者的運(yùn)動(dòng)動(dòng)力學(xué)，根據(jù)操作人員右手的骨骼特征數(shù)據(jù)，建立關(guān)鍵關(guān)節(jié)點(diǎn)的空間坐標(biāo)，并將其與深度坐標(biāo)系進(jìn)行深度轉(zhuǎn)化，根據(jù)同一關(guān)節(jié)點(diǎn)在不同坐標(biāo)系下的映射坐標(biāo)值，對(duì)動(dòng)作圖像設(shè)定相應(yīng)的分割閾值，進(jìn)而將動(dòng)作從深度圖像中分割出來[4]。一般情況下，建立以手的主要關(guān)節(jié)點(diǎn)為質(zhì)心的邊界框，以及將邊界框的高度作為分割閾值，以達(dá)到分割動(dòng)作的目的。

定義動(dòng)作分割的損失函數(shù)為：

f（x）=1－Ac－UcAc－αc（1）

式中，Ac、Uc分別表示動(dòng)作動(dòng)態(tài)估計(jì)邊框的質(zhì)心點(diǎn)與模糊邊緣點(diǎn)；αc表示提取框與圖像邊緣的距離。

度量動(dòng)作包圍框?qū)捀弑鹊南嗨菩杂?jì)算公式為：

vv=4π2［arctan"wchc×f（x）］"（2）

式中，wc表示目標(biāo)框與預(yù)測(cè)框的距離；hc表示預(yù)測(cè)框的重疊率。

設(shè)包圍框重采樣點(diǎn)的離散序列為A，Ak（xk，yk）為框中的第k個(gè)點(diǎn)，取當(dāng)前采樣點(diǎn)前后各4個(gè)點(diǎn)，利用最小二乘法分別對(duì)采樣點(diǎn)進(jìn)行擬合[5]，則得到的矩陣形式為：

Mk=α0（Akb+vv）（3）

式中，α0表示目標(biāo)框的參量；b表示目標(biāo)框與預(yù)測(cè)框的轉(zhuǎn)換系數(shù)。

假設(shè)左右相機(jī)距離剛好為深度圖像的長度ls，則視場(chǎng)角下的動(dòng)作范圍可由下式得到：

ω1=arctan"4d×lfls－Mk"（4）

式中，ω1表示動(dòng)作范圍視場(chǎng)角；d表示觀察距離；lf表示手部等效直徑。

動(dòng)作關(guān)節(jié)點(diǎn)的三維坐標(biāo)系與圖像基準(zhǔn)坐標(biāo)系之間的轉(zhuǎn)換方法為：

T1=ω1（Rr*R－1s）"（5）

式中，T1表示圖像坐標(biāo)系；Rr表示旋轉(zhuǎn)矩陣；Rs表示平移矩陣。

則得到動(dòng)作包圍框的長、寬、高的像素值為：

L1=Tl－T1B1=Nk'*255H1=n0+p0（6）

式中，Tl表示圖像的轉(zhuǎn)置矩陣；Nk'表示k'級(jí)灰度的像素?cái)?shù)；n0表示像素個(gè)數(shù)；p0表示標(biāo)定點(diǎn)數(shù)量。

利用上式對(duì)操作人員關(guān)節(jié)坐標(biāo)點(diǎn)單位進(jìn)行換算，并從深度圖像中二值分割出動(dòng)作，以手勢(shì)動(dòng)作為例，具體如圖1所示。

圖1"手勢(shì)動(dòng)作分割圖

將操作人員的動(dòng)作動(dòng)態(tài)分割出來后，需要提取動(dòng)作的關(guān)鍵特征，為人機(jī)交互的實(shí)現(xiàn)奠定基礎(chǔ)[6]。假設(shè)動(dòng)作關(guān)節(jié)點(diǎn)x的鄰域?yàn)楦咚菇?，則可以利用x的鄰域信息根據(jù)動(dòng)作周邊像素點(diǎn)坐標(biāo)估計(jì)出極值，具體如下：

y=12δ0π×exp"－L1B1H142"（7）

式中，y表示一維高斯函數(shù)；δ0表示擬合系數(shù)。

利用動(dòng)作分割圖的等效質(zhì)心點(diǎn)的坐標(biāo)對(duì)高斯函數(shù)進(jìn)行超平面轉(zhuǎn)換，獲得動(dòng)作參數(shù)μ0即為峰值位置[7]，由此得到動(dòng)作邊緣的橢圓方程表達(dá)式為：

f1（x）=by+fpo"（8）

式中，b表示方程系數(shù)；fpo表示橢圓中心點(diǎn)坐標(biāo)。

將在橢圓方程上均勻的生成點(diǎn)作為特征點(diǎn)集合，則得到的動(dòng)作特征向量集合為：

fn（p）=∑f1（x）×2τ（p;x0，y0）（9）

式中，τ表示特征點(diǎn)描述子；p（x0）、p（y0）分別是圖像中x0、y0的像素灰度值；fn（p）表示動(dòng)作特征點(diǎn)向量集合。

根據(jù)動(dòng)作關(guān)節(jié)坐標(biāo)系與深度圖像坐標(biāo)系之間的關(guān)系，采用骨骼融合原理對(duì)動(dòng)作輪廓進(jìn)行分割，結(jié)合動(dòng)作邊緣橢圓方程，提取動(dòng)作關(guān)鍵特征點(diǎn)，并構(gòu)造特征向量集合。該過程可為后續(xù)動(dòng)作識(shí)別做準(zhǔn)備。

1.2"基于擬合稀疏信號(hào)的動(dòng)作類型識(shí)別

在對(duì)動(dòng)作進(jìn)行特征提取和表示之后，需要使用提取的動(dòng)作特征來訓(xùn)練分類器，以完成動(dòng)作類型的分類和識(shí)別[8]。本文采用稀疏信號(hào)擬合方法，通過最大區(qū)間超平面將兩類數(shù)據(jù)盡可能分離，對(duì)輸入樣本進(jìn)行近似可分，進(jìn)而實(shí)現(xiàn)動(dòng)作類型分類。

首先，基于動(dòng)作特征值構(gòu)建稀疏陣列信號(hào)模型，并根據(jù)特征點(diǎn)在整個(gè)空間域中的稀疏特性對(duì)其進(jìn)行離散化[9]。動(dòng)作特征點(diǎn)的空域稀疏性示意圖如圖2所示。

圖中，θ1、θ2、θ3分別表示特征點(diǎn)對(duì)應(yīng)的空域參數(shù)；θi－1、θi、θi+1分別表示第i－1、i和i+1個(gè)特征點(diǎn)的信號(hào)矢量；θI、θI－1、θI－2分別表示對(duì)應(yīng)特征點(diǎn)的高斯白噪聲。

通過將特征點(diǎn)在空域進(jìn)行離散化以后，可以將特征向量的這列流行矩陣A（θ）擴(kuò)展為一個(gè)完備的導(dǎo)向矢量字典D（θ），則有：

D（θ）=A（θ）（fn（p）+θi）（10）

式中，fn（p）表示特征點(diǎn)向量集合。

此時(shí)，陣列特征點(diǎn)的處理模型可表示為：

x（t）=m×D（θ）×θI"（11）

式中，m表示陣元個(gè)數(shù)。

基于上述模型，將特征向量進(jìn)行稀疏信號(hào)重構(gòu)，可得到：

x'（t）=2n/s0x（t）"（12）

式中，n表示特征點(diǎn)個(gè)數(shù)；s0表示重構(gòu)范數(shù)。

采用動(dòng)態(tài)規(guī)劃方式將兩個(gè)序列進(jìn)行動(dòng)態(tài)對(duì)齊[10]，將兩段序列的特征匹配路徑定義為R，則輸入特征序列T1和待匹配序列T2之間的規(guī)整距離為：

d1（T，T2）=min"∑rk/x′（t）"（13）

式中，rk表示匹配系數(shù)。

參考人體運(yùn)動(dòng)的運(yùn)動(dòng)學(xué)規(guī)律，初步設(shè)計(jì)了上點(diǎn)擊、下點(diǎn)擊、左點(diǎn)擊和右點(diǎn)擊4個(gè)基本動(dòng)作，根據(jù)可穿戴設(shè)備的功能人機(jī)交互開關(guān)，擴(kuò)展了上滑動(dòng)、下滑動(dòng)、左滑動(dòng)和右滑動(dòng)4個(gè)控制動(dòng)作以及另外2個(gè)輔助動(dòng)作[11]，并制定了數(shù)字人的動(dòng)作規(guī)范，具體如表1所示。

使用基尼指數(shù)作為分類器的分割指標(biāo)，每次選擇最優(yōu)屬性，在每次迭代中，分類器選擇基尼指數(shù)最低的特征及其對(duì)應(yīng)的分割點(diǎn)進(jìn)行分類[12]，則第j個(gè)樣本的類別被標(biāo)記為第l類動(dòng)作類型的概率為：

pjl=exp"（αi）∑Ci=1d1（T，T2）（14）

式中，αi表示分類器最后一層的輸出；C表示樣本數(shù)。

根據(jù)求得的pjl的大小，即可識(shí)別數(shù)字人當(dāng)前的動(dòng)作規(guī)范類型，為接下來實(shí)現(xiàn)人機(jī)交互提供有利條件。

1.3"實(shí)現(xiàn)人機(jī)交互

在上述對(duì)于操作人員肢體動(dòng)作分類與識(shí)別的基礎(chǔ)上，文中采用鼠標(biāo)控制pynput庫進(jìn)行人機(jī)交互。具體實(shí)現(xiàn)過程如下。

（1）通過pynput.mouse設(shè)置和控制鼠標(biāo)與觸摸板的監(jiān)控輸入設(shè)備的后端參數(shù)[13]。

（2）將運(yùn)動(dòng)捕捉數(shù)據(jù)庫中角色的所有關(guān)節(jié)坐標(biāo)和X、Y、Z軸方向設(shè)置為初始姿勢(shì)，即右側(cè)坐標(biāo)系是具有X、Y和Z軸方向的標(biāo)準(zhǔn)世界坐標(biāo)系。

（3）將角色與操作人員的不同動(dòng)作類型與運(yùn)動(dòng)數(shù)據(jù)加載到運(yùn)動(dòng)模型的資源庫中，其中不同的手勢(shì)類型對(duì)應(yīng)不同的肢體動(dòng)作[14]。根據(jù)手勢(shì)類型選擇要調(diào)用的運(yùn)動(dòng)類型。

（4）對(duì)特定的動(dòng)作片段進(jìn)行虛擬預(yù)演分析，獲得分解后的動(dòng)作信息，并將其映射到當(dāng)前視野中場(chǎng)景的水平面。

（5）修改運(yùn)動(dòng)數(shù)據(jù)庫中角色的水平坐標(biāo)，對(duì)運(yùn)動(dòng)軌跡數(shù)據(jù)進(jìn)行歸一化，并根據(jù)更新后的運(yùn)動(dòng)類型對(duì)數(shù)據(jù)進(jìn)行校正，以驅(qū)動(dòng)角色運(yùn)動(dòng)[15]。

通過以上分析，借助pynput數(shù)據(jù)庫，即可實(shí)現(xiàn)對(duì)虛擬角色的交互控制。至此，完成基于擬合稀疏信號(hào)的可穿戴設(shè)備混合現(xiàn)實(shí)視覺人機(jī)交互方法的設(shè)計(jì)。

2"實(shí)驗(yàn)論證

2.1"實(shí)驗(yàn)準(zhǔn)備

由于缺乏具體的動(dòng)作控制數(shù)據(jù)集，當(dāng)前開源數(shù)據(jù)庫中針對(duì)人機(jī)交互動(dòng)作識(shí)別的數(shù)據(jù)樣本較少，容易導(dǎo)致樣本與總體之間出現(xiàn)偏離，使得樣本結(jié)果不能夠泛化到總體，從而影響實(shí)驗(yàn)結(jié)論的可靠性。為了降低實(shí)驗(yàn)樣本選取的偏差性影響，在本實(shí)驗(yàn)中，采用數(shù)據(jù)依賴項(xiàng)采集的方式收集大量角色的動(dòng)作視頻，增加樣本量，使得樣本更具代表性，減少選取偏差，提高實(shí)驗(yàn)結(jié)果的可靠性。并通過區(qū)域標(biāo)記與動(dòng)作幀截取構(gòu)造實(shí)驗(yàn)數(shù)據(jù)集。對(duì)于利用雙目攝像機(jī)與虛擬現(xiàn)實(shí)技術(shù)捕捉的動(dòng)態(tài)彩色人物動(dòng)作圖像，可進(jìn)行去噪與二值化等預(yù)處理，得到最終用于實(shí)驗(yàn)的像素級(jí)灰度圖像。并以10幀/s的速度將其從深度圖像中分割出來，之后采用擬合稀疏信號(hào)算法進(jìn)行手動(dòng)標(biāo)記，標(biāo)記內(nèi)容包括動(dòng)作的類別信息與方位信息。

實(shí)驗(yàn)中主要針對(duì)的交互類型是可穿戴設(shè)備的虛擬界面交互。將智能設(shè)備的心智映射到可穿戴設(shè)備上，從交互邏輯的角度分析可穿戴設(shè)備和智能設(shè)備在顯示界面上的差異，從而深入用戶的實(shí)際應(yīng)用場(chǎng)景，并根據(jù)交互信息的水平完成與界面的直接觸屏交互。

實(shí)驗(yàn)中主要對(duì)可穿戴設(shè)備的手勢(shì)進(jìn)行識(shí)別，手勢(shì)交互模式如圖3所示。

如圖3所示，利用可穿戴設(shè)備內(nèi)置的三軸加速度傳感器收集用戶當(dāng)前的行為和運(yùn)動(dòng)數(shù)據(jù)，通過算法對(duì)數(shù)據(jù)進(jìn)行分析，并建立運(yùn)動(dòng)模型。當(dāng)用戶的動(dòng)作與相應(yīng)的運(yùn)動(dòng)模型相匹配時(shí)，可以通過特定的反饋機(jī)制觸發(fā)相應(yīng)的反饋，完成人機(jī)交互動(dòng)作。

2.2"實(shí)驗(yàn)說明

選擇健康的受試者進(jìn)行實(shí)驗(yàn)，并按照前文所述方法進(jìn)行動(dòng)作特征提取以及動(dòng)作類型分類與識(shí)別等操作。首先，令受試者雙腳呈平行狀態(tài)站立在交互區(qū)域，然后在鼠標(biāo)控制pynput庫中調(diào)用激活模塊，對(duì)虛擬角色進(jìn)行動(dòng)作控制，并根據(jù)手勢(shì)的實(shí)時(shí)運(yùn)動(dòng)軌跡，將所有動(dòng)作類型歸一化到平面場(chǎng)景窗口，然后利用轉(zhuǎn)換指令控制角色按照指定的運(yùn)動(dòng)軌跡移動(dòng)，并通過手勢(shì)的上下移動(dòng)來控制角色的動(dòng)作速度。

設(shè)計(jì)實(shí)驗(yàn)如下：受試者隨機(jī)做出5種待識(shí)別樣本中的任意一種手勢(shì)動(dòng)作，交互界面從pynput運(yùn)動(dòng)數(shù)據(jù)庫中檢索手勢(shì)圖像并進(jìn)行特征值提取，之后將特征信息反饋給監(jiān)控計(jì)算機(jī)，計(jì)算機(jī)根據(jù)監(jiān)測(cè)到的手勢(shì)調(diào)用反饋程序來控制角色做出相應(yīng)的動(dòng)作。同時(shí)，監(jiān)測(cè)模塊通過實(shí)時(shí)監(jiān)測(cè)人機(jī)交互界面的角色動(dòng)作對(duì)其進(jìn)行調(diào)整，從而實(shí)現(xiàn)人機(jī)交互。

2.3"人機(jī)交互結(jié)果分析

選取操作人員5種待檢測(cè)手勢(shì)（如圖3）。將所提方法應(yīng)用于實(shí)驗(yàn)設(shè)計(jì)的人機(jī)交互場(chǎng)景，引入虛擬角色反饋手勢(shì)與操作人員的動(dòng)作手勢(shì)之間的匹配度來衡量人機(jī)交互效果。動(dòng)作匹配度的計(jì)算公式如下。

Ms=1k1J（α1－α2）"（15）

式中，Ms表示動(dòng)作匹配度；k表示動(dòng)作類別樣本數(shù)；J表示實(shí)驗(yàn)次數(shù)；α1表示動(dòng)作的真實(shí)方位；α2表示動(dòng)作的識(shí)別方位。

采用所設(shè)計(jì)的方法進(jìn)行人機(jī)交互，利用上式求取動(dòng)作匹配度，所得匹配度越高，表明動(dòng)作識(shí)別越準(zhǔn)確，人機(jī)交互效果越好。基于本文方法的人機(jī)交互結(jié)果如圖4所示。

如圖4所示，利用本文設(shè)計(jì)的人機(jī)交互方法對(duì)待檢測(cè)的手勢(shì)動(dòng)作進(jìn)行識(shí)別，對(duì)于5種不同的動(dòng)作類型，本文方法均以較高準(zhǔn)確率對(duì)其進(jìn)行了分類與識(shí)別，在整個(gè)實(shí)驗(yàn)過程中，角色與操作人員的動(dòng)作匹配度始終在80%以上。由此可以說明，本文所提的人機(jī)交互方法能夠使角色按照操作人員的具體手勢(shì)完成相應(yīng)的動(dòng)作，可以達(dá)到預(yù)期效果，人機(jī)交互效果良好。

2.4"動(dòng)作識(shí)別準(zhǔn)確性對(duì)比實(shí)驗(yàn)分析

為進(jìn)一步證明本文設(shè)計(jì)的人機(jī)交互方法在動(dòng)作識(shí)別方面的優(yōu)越性能，采用文獻(xiàn)[1]基于眼動(dòng)（方法1）、文獻(xiàn)[2]基于語義本體（方法2）作為本文方法的對(duì)比方法。以上述5種手勢(shì)動(dòng)作類別作為不同方法的輸入樣本數(shù)據(jù)，并統(tǒng)計(jì)三種人機(jī)交互方法的動(dòng)作識(shí)別錯(cuò)誤率，以定量、直觀地比較不同方法的人機(jī)交互效果。對(duì)比結(jié)果如圖5所示。

從圖5可以看出，本文提出的方法對(duì)于不同類別的手勢(shì)動(dòng)作識(shí)別得到的識(shí)別錯(cuò)誤率相對(duì)更低，始終控制在10%～30%范圍內(nèi)，而方法1與方法2的識(shí)別錯(cuò)誤率較高，其中方法2的最高錯(cuò)誤率達(dá)到90%以上，該方法在分類模型的訓(xùn)練過程中通過減慢動(dòng)作損失的下降速度來提升模型的訓(xùn)練效率，因此影響了模型是識(shí)別效果；方法1雖然可以考慮不同動(dòng)作尺度參數(shù)對(duì)回歸損失的影響，但未考慮到待檢測(cè)手勢(shì)與反饋手勢(shì)位置坐標(biāo)的相關(guān)性，所以兩個(gè)手勢(shì)的重合程度較差。通過實(shí)驗(yàn)對(duì)比結(jié)果可以得知，本文方法能夠準(zhǔn)確識(shí)別人體動(dòng)作，更好地實(shí)現(xiàn)人機(jī)交互。本文方法之所以能在對(duì)比實(shí)驗(yàn)中取得優(yōu)勢(shì)，是因?yàn)樵摲椒ɑ诠趋佬畔⑷诤显慝@取全面的動(dòng)作動(dòng)態(tài)，并對(duì)動(dòng)作圖像進(jìn)行分割和超平面轉(zhuǎn)換，得到動(dòng)作參數(shù)峰值，為后續(xù)人體動(dòng)作識(shí)別提供了更為精準(zhǔn)的基礎(chǔ)數(shù)據(jù)；結(jié)合動(dòng)作邊緣方程提取動(dòng)作特征值，采用擬合稀疏信號(hào)算法對(duì)特征點(diǎn)進(jìn)行空域離散化處理，并對(duì)動(dòng)作特征進(jìn)行重構(gòu)與動(dòng)態(tài)對(duì)齊，提高了動(dòng)作類型的識(shí)別精度，從而加強(qiáng)了人機(jī)交互效果。

3"結(jié)"論

為提高人機(jī)交互動(dòng)作識(shí)別的準(zhǔn)確性，結(jié)合擬合稀疏信號(hào)算法研究并設(shè)計(jì)了針對(duì)可穿戴設(shè)備混合現(xiàn)實(shí)視覺的人機(jī)交互方法。通過提取動(dòng)作特征向量與識(shí)別動(dòng)作類型，借助運(yùn)動(dòng)數(shù)據(jù)庫實(shí)現(xiàn)人機(jī)交互。但本研究在動(dòng)作交互場(chǎng)景的實(shí)時(shí)識(shí)別方面還存在一定不足，接下來將對(duì)該方面進(jìn)行深入研究。

參考文獻(xiàn)

［１］"蔣貴虎，劉仲，王亞卓.基于眼動(dòng)的戰(zhàn)機(jī)座艙人機(jī)交互方法[J].飛機(jī)設(shè)計(jì)，2022，42（3）：11-14+19."

[2]"徐巍峰，徐非非，王文軍，等.基于語義本體的無人機(jī)人機(jī)交互控制方法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2021，38（12）：103-109+148.

[3]"柯健，張量.用于虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)人機(jī)交互的實(shí)時(shí)動(dòng)作識(shí)別方法的研究[J].現(xiàn)代計(jì)算機(jī)，2023，29（1）：59-62.

[4]"程瑞洲，黃攀峰，劉正雄，等.一種面向在軌服務(wù)的空間遙操作人機(jī)交互方法[J].宇航學(xué)報(bào)，2021，42（9）：1187-1196.

[5]"厲鈺琪，鞏淼森.復(fù)雜駕駛?cè)蝿?wù)下基于多資源理論的汽車人機(jī)交互設(shè)計(jì)方法[J].設(shè)計(jì)，2022，35（10）：24-27.

[6]"張玉蘭，杜羽.多自由度包裝機(jī)器人人機(jī)交互控制方法[J].包裝工程，2021，42（15）：239-244."

[7]"周巡，黃保青，陳亞晨，等.智能眼鏡人機(jī)交互功能中眼行為識(shí)別方法的設(shè)計(jì)與實(shí)現(xiàn)[J].激光雜志，2022，43（3）：76-81.

[8]"蘇翎菲，化永朝，董希旺，等.人與無人機(jī)集群多模態(tài)智能交互方法[J].航空學(xué)報(bào)，2022，43（S1）：129-142.

[9]"段文婷.智能翻譯機(jī)器人人機(jī)交互模塊自動(dòng)優(yōu)化方法[J].自動(dòng)化與儀器儀表，2021（10）：194-197."

[10]"郭馨蔚，陶霖密.用于輕度認(rèn)知障礙測(cè)試的自然交互方法[J].應(yīng)用科技，2022，49（2）：33-39.

[11]"錢一潤，王從慶，張聞銳，等.基于SSVEP的空間機(jī)械臂腦機(jī)交互方法[J].計(jì)算機(jī)測(cè)量與控制，2022，30（6）：197-202."

[12]"蘇靜，劉兆峰，王嫄，等.基于改進(jìn)的YOLOv3實(shí)現(xiàn)動(dòng)作識(shí)別的人機(jī)交互方法[J].天津科技大學(xué)學(xué)報(bào)，2021，36（6）：49-54."

[13]"劉尚旺，王培哲，張翰林，等.人機(jī)交互系統(tǒng)多維語音信息識(shí)別方法[J].計(jì)算機(jī)仿真，2021，38（12）：367-370+469.

[14]"龍年，劉智惠.虛擬運(yùn)動(dòng)目標(biāo)人機(jī)交互方法設(shè)計(jì)與仿真[J].計(jì)算機(jī)仿真，2022，39（6）：201-205.

[15]"任雅琪.新聞?lì)I(lǐng)域中的可穿戴交互技術(shù)應(yīng)用[J].全媒體探索，2022（7）：111-112.