增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互仿真

張艾佳,劉正捷

(大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院,遼寧 大連116026)

1 引言

虛擬現(xiàn)實(shí)是借助虛擬環(huán)境實(shí)現(xiàn)虛擬裝配的,是一種新興的計(jì)算機(jī)環(huán)境,在制造業(yè)中虛擬現(xiàn)實(shí)技術(shù)具有廣闊的應(yīng)用前景和重要的價(jià)值[1]。交互性是虛擬環(huán)境的主要特征之一,虛擬裝配在機(jī)械制造領(lǐng)域中的特點(diǎn),決定了其對人機(jī)交互提出了更高的要求。虛擬裝配系統(tǒng)結(jié)合了計(jì)算機(jī)能力和人的決策能力以及經(jīng)驗(yàn),節(jié)約設(shè)計(jì)制造成本的同時(shí)輔助裝配設(shè)計(jì)的驗(yàn)證和規(guī)劃[2]。各項(xiàng)功能在虛擬裝配系統(tǒng)中實(shí)現(xiàn)的基本保障是人機(jī)交互,虛擬裝配系統(tǒng)在目前階段設(shè)計(jì)的中心是技術(shù)和功能,對人機(jī)交互體驗(yàn)的重視程度較低,難以發(fā)揮交互性的優(yōu)點(diǎn),導(dǎo)致在行業(yè)內(nèi)虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用不是很廣泛。為了提高虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用率需要對人機(jī)交互方法進(jìn)行分析和研究。

文獻(xiàn)[3]提出基于優(yōu)化目的的人機(jī)交互方法,該方法研究界面操作中存在的交互行為,通過界面知識(shí)化表示方法獲取人機(jī)界面特征集,建立交互描述模型,在推理規(guī)則的基礎(chǔ)上結(jié)合心理語義模型和界面語義模型實(shí)現(xiàn)人機(jī)交互,該方法沒有構(gòu)建數(shù)據(jù)傳輸模型采集交互行為數(shù)據(jù)和信息,存在特征識(shí)別率低和特征識(shí)別準(zhǔn)確率低的問題。文獻(xiàn)[4]提出基于Kinect融合深度信息的人機(jī)交互方法,該方法通過Kinect采集深度數(shù)據(jù),獲得深度圖像,利用深度閾值法提取相關(guān)信息,并采用形態(tài)學(xué)運(yùn)算處理信息,根據(jù)獲取的信息實(shí)現(xiàn)人機(jī)交互,該方法沒有在數(shù)據(jù)傳輸模型的基礎(chǔ)上采集數(shù)據(jù),無法理解用戶的意圖和需求,存在主機(jī)接收數(shù)據(jù)概率低和用戶滿意度低的問題。

為了解決上述方法中存在的問題,提出增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法。

2 數(shù)據(jù)傳輸模型

增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法在博弈論的基礎(chǔ)上構(gòu)建數(shù)據(jù)傳輸模型,獲取人機(jī)交互過程中的數(shù)據(jù)。

在本模型GCGM中博弈論中的基本因素描述如下:除Sink節(jié)點(diǎn)外存在的所有節(jié)點(diǎn)即為理性參與人集合;效益函數(shù)描述的是節(jié)點(diǎn)i上一節(jié)點(diǎn)在人機(jī)交互過程中獲得的收益;策略集是由Sink節(jié)點(diǎn)以外剩余節(jié)點(diǎn)的策略組成的[5]。

對收益產(chǎn)生影響的因素主要包括以下幾點(diǎn):

1)節(jié)點(diǎn)i和節(jié)點(diǎn)j在人機(jī)交互過程中的剩余能量水平,當(dāng)節(jié)點(diǎn)在人機(jī)交互過程中剩余的能量較少時(shí),該節(jié)點(diǎn)在人機(jī)交互過程中應(yīng)該減少轉(zhuǎn)發(fā)的數(shù)據(jù)量。

2)鄰居節(jié)點(diǎn)與節(jié)點(diǎn)i之間存在的距離,根據(jù)通信衰減模型可知,當(dāng)無線通信的距離較遠(yuǎn)時(shí)需要較高的能量。

3)節(jié)點(diǎn)i在人機(jī)交互過程中對應(yīng)的通信負(fù)荷,可以利用節(jié)點(diǎn)i在網(wǎng)絡(luò)中存在的子節(jié)點(diǎn)數(shù)量對通信負(fù)荷進(jìn)行衡量,通信負(fù)荷隨著子節(jié)點(diǎn)數(shù)量的增多而增大[6]。

4)Sink節(jié)點(diǎn)與節(jié)點(diǎn)i之間存在的跳數(shù),當(dāng)跳數(shù)較多的情況下中繼節(jié)點(diǎn)選取節(jié)點(diǎn)i時(shí),上游鏈路損耗的能量較大。

綜合上述因素,衡量節(jié)點(diǎn)i是否可以作為節(jié)點(diǎn)j在人機(jī)交互過程中的中繼節(jié)點(diǎn)。通過效用函數(shù)計(jì)算節(jié)點(diǎn)i在人機(jī)交互過程中對應(yīng)的收益

(1)

通過電源電壓衡量節(jié)點(diǎn)的剩余能量,節(jié)點(diǎn)發(fā)送數(shù)據(jù)的功率通常情況下由鏈路損耗水平?jīng)Q定[7],獲取RSSI值對應(yīng)的偏移量,結(jié)合經(jīng)驗(yàn)值獲得節(jié)點(diǎn)間存在的RSSI標(biāo)準(zhǔn)值λ,通過下式描述節(jié)點(diǎn)距離與RSSI值之間存在的關(guān)系

RSSI=-(A+log10d×10k)

(2)

式中,A代表的是當(dāng)距離為1米時(shí)接收信號(hào)強(qiáng)度;k通常為信號(hào)傳播常量;d描述的是通信父子節(jié)點(diǎn)在交互過程中存在的距離。

節(jié)點(diǎn)j到節(jié)點(diǎn)i的RSSI值與發(fā)送能量之間存在的關(guān)系可通過下式進(jìn)行描述

(3)

式中,P(i,j)代表的是發(fā)送功率,可以通過信息幀記錄Sink節(jié)點(diǎn)到節(jié)點(diǎn)i之間存在的跳數(shù)。通過節(jié)點(diǎn)的路由表獲取節(jié)點(diǎn)i的子節(jié)點(diǎn)數(shù)量。

通過博弈論構(gòu)建信息傳輸模型的具體步驟如下:

1)除Sink節(jié)點(diǎn)之外,剩余節(jié)點(diǎn)以最大傳輸半徑廣播請求連接信息幀Sink節(jié)點(diǎn)進(jìn)入監(jiān)聽模式。

2)根絕RSSI值和Sink節(jié)點(diǎn)接收的信息幀對各節(jié)點(diǎn)對應(yīng)的效益值進(jìn)行計(jì)算,在設(shè)定閾值的基礎(chǔ)上確定需要返回的節(jié)點(diǎn),并命令返回的節(jié)點(diǎn)在交互過程中連接應(yīng)答幀,節(jié)點(diǎn)的狀態(tài)在收到應(yīng)答幀后發(fā)生改變,轉(zhuǎn)變?yōu)閭陕牋顟B(tài),Sink節(jié)點(diǎn)命令其它節(jié)點(diǎn)不連接應(yīng)答幀,獲取與Sink節(jié)點(diǎn)對應(yīng)的RSSI值,繼續(xù)廣播。

3)節(jié)點(diǎn)i獲取到與Sink節(jié)點(diǎn)路徑后在請求連接信息幀的基礎(chǔ)上劃分節(jié)點(diǎn),將其分為兩組,一組節(jié)點(diǎn)與Sink節(jié)點(diǎn)的RSSI值低于θ,另一組節(jié)點(diǎn)與Sink節(jié)點(diǎn)的RSSI值高于θ,將第一組節(jié)點(diǎn)作為參與博弈論的節(jié)點(diǎn),迭代Sink節(jié)點(diǎn)的過程,當(dāng)全部節(jié)點(diǎn)都成功獲取路徑后停止迭代。

4)將周期設(shè)置為24h,Sink節(jié)點(diǎn)將重新尋路命令幀廣播給所有下游節(jié)點(diǎn),節(jié)點(diǎn)收到該管理幀后按照順序?qū)⒋藥瑥V播給其下游節(jié)點(diǎn),當(dāng)全部節(jié)點(diǎn)受到此管理幀后停止。

5)重復(fù)上述步驟,獲得數(shù)據(jù)傳輸模型,采集人機(jī)交互過程中傳輸?shù)臄?shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)采集。

3 人機(jī)交互仿真

手勢識(shí)別是實(shí)現(xiàn)人機(jī)交互的基礎(chǔ),增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法提取采集數(shù)據(jù)的特征,根據(jù)特征完成手勢識(shí)別,實(shí)現(xiàn)人機(jī)交互。

手勢加速度特征通常包括頻域特征、時(shí)域特征和其它域的特征。頻域特征包括利用小波或傅里葉變化提取的頻域熵、FFT系數(shù)等特征;時(shí)域特征包括信號(hào)幅度面積、統(tǒng)計(jì)最大值、活動(dòng)窗口長度、均值、軸相關(guān)系數(shù)和標(biāo)準(zhǔn)差等;其它域的特征為通過LDA或PCA提取的特征等[8]。

每個(gè)手勢動(dòng)作圖像中都存在s×k個(gè)像素點(diǎn),所有像素點(diǎn)的取值通過下述公式?jīng)Q定

(4)

式中,i代表的是該像素點(diǎn)位置通過的波形曲線數(shù)量。根據(jù)手勢加速度動(dòng)作獲取手勢圖像,將其作為矩陣Vn×m中的一列

[x1,1…xs,1x1,2…xs,2…x1,k…x1,k]T

(5)

變換手勢動(dòng)作訓(xùn)練集中存在的數(shù)據(jù),獲得手勢動(dòng)作矩陣Vn×m。

屬于多元數(shù)據(jù)分析方法的非負(fù)矩陣分解是用兩個(gè)低秩的非負(fù)矩陣乘積代替一個(gè)非負(fù)矩陣,通過非負(fù)矩陣分解方法提取手勢特征[9]。

利用下式描述非負(fù)矩陣算法

Vn×m≈Wn×rHr×m

(6)

式中,H代表的是權(quán)值矩陣;W代表的是基矩陣;V代表的是非負(fù)矩陣;r代表的是分解矩陣的秩。

優(yōu)化目標(biāo)函數(shù)的表達(dá)式如下

(7)

迭代算法完成基矩陣W和權(quán)值矩陣H的分解,通過非負(fù)矩陣分解手勢動(dòng)作矩陣Vn×m獲得權(quán)值矩陣Hr×m和基矩陣Wn×r。

增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法提取手勢特征的具體步驟如下:

通過對投影向量Y進(jìn)行計(jì)算獲得手勢動(dòng)作矩陣Vn×m中存在的特征信息,經(jīng)過圖像化處理后測試集中手勢動(dòng)作加速度樣本數(shù)據(jù)轉(zhuǎn)變?yōu)橐粋€(gè)列向量f[10,11],計(jì)算基矩陣Wn×r中列向量f對應(yīng)的投影向量Y

(8)

直接投影變換列向量f獲得的特征分量之間容易出現(xiàn)信息冗余和統(tǒng)計(jì)相關(guān)性的問題,通過變換投影軸獲取有效特征信息,避免投影軸之間存在相關(guān)性,去除特征分量間存在的統(tǒng)計(jì)相關(guān)性[12]。共軛正交化處理基矩陣Wn×r中存在的列矢量,獲得矢量投影軸WI=[ε1,ε2,…,εr],針對手勢動(dòng)作矩陣Vn×m,通過變換后的矩陣Ω=(WI)Γ提取每列數(shù)據(jù)的特征:

Yr×m=[y1,y2,…,ym]

(9)

將獲取的特征輸入下述分類器中實(shí)現(xiàn)手勢識(shí)別,完成人機(jī)交互

(10)

式中,j代表的是特征向量中存在的第j個(gè)特征;pj代表的是不等式的方向;gj(x)代表的是第j個(gè)矩形在待檢測子窗口中對應(yīng)的特征值;θj代表的是分類器的閾值;hj(x)代表的是分類器。

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法的整體有效性,需要對增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法進(jìn)行測試,本次測試的實(shí)驗(yàn)平臺(tái)為Division mockup,將主機(jī)接收數(shù)據(jù)概率作為測試指標(biāo)對增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法(方法1)、基于優(yōu)化目的的人機(jī)交互方法(方法2)和基于Kinect融合深度信息的人機(jī)交互方法(方法3)進(jìn)行測試,主機(jī)接收數(shù)據(jù)概率越高,人機(jī)交互的效果越好,測試結(jié)果如圖1所示。

圖1 主機(jī)接收數(shù)據(jù)概率測試結(jié)果

分析圖1中的數(shù)據(jù)可知,在人機(jī)交互過程中方法1的主機(jī)接收數(shù)據(jù)概率均在90%以上,可以接收到大部分的相關(guān)數(shù)據(jù)實(shí)現(xiàn)人機(jī)交互,而方法2和方法3的主機(jī)接收概率分別在80%和70%附近波動(dòng),上述兩種方法接收的數(shù)據(jù)不足以有效的實(shí)現(xiàn)人機(jī)交互。對比上述方法的測試結(jié)果可知,方法1在人機(jī)交互過程中的主機(jī)接收數(shù)據(jù)概率較高,因?yàn)樵摲椒ㄔ诓┺恼摰幕A(chǔ)上構(gòu)建了數(shù)據(jù)傳輸模型,采集人機(jī)交互過程中存在的相關(guān)數(shù)據(jù)和信息,提高了主機(jī)接收數(shù)據(jù)概率。

采用方法1、方法2和方法3對人的手勢進(jìn)行識(shí)別,將特征識(shí)別率和識(shí)別準(zhǔn)確率作為測試指標(biāo),測試結(jié)果分別如圖2和圖3所示。

圖2 特征識(shí)別率測試結(jié)果

圖3 特征識(shí)別準(zhǔn)確率測試結(jié)果

分析圖2和圖3中的數(shù)據(jù)可知,采用方法1對人的手勢進(jìn)行識(shí)別時(shí),在多次實(shí)驗(yàn)中的特征識(shí)別率和識(shí)別準(zhǔn)確率均較高,表明方法1可以準(zhǔn)確且全面的識(shí)別出人的手勢。采用方法2對人的手勢進(jìn)行識(shí)別時(shí),特征識(shí)別率和特征識(shí)別準(zhǔn)確率均較低,表明方法2無法有效且全面的實(shí)現(xiàn)人手勢的識(shí)別。采用方法3對人的手勢進(jìn)行識(shí)別時(shí),該方法可準(zhǔn)確的識(shí)別出人的手勢,但識(shí)別率較低,表明該方法無法全面的實(shí)現(xiàn)人手勢的識(shí)別,對比方法1、方法2和方法3的測試結(jié)果可知,方法1在人機(jī)交互過程中的性能最佳,因?yàn)榉椒?利用構(gòu)建的數(shù)據(jù)傳輸模型采集人機(jī)交互的相關(guān)信息,采用非負(fù)矩陣分解方法提取手勢信息的特征,并將其輸入分類器中,準(zhǔn)確的實(shí)現(xiàn)手勢的識(shí)別,提高了方法1的特征識(shí)別率和特征識(shí)別準(zhǔn)確率。

在人機(jī)交互的過程中用戶滿意度是關(guān)注的重點(diǎn),將用戶滿意度作為測試指標(biāo),對上述方法的整體性能進(jìn)行測試,測試結(jié)果如圖4所示。

圖4 用戶滿意度測試結(jié)果

對圖4中的數(shù)據(jù)進(jìn)行分析可知,在多次迭代中用戶對方法1的滿意度均在80%以上,用戶對方法2和方法3的滿意度分別在40%和60%附近波動(dòng),通過上述分析可知,方法1的人機(jī)交互效果較好,獲得的用戶滿意度最高,因?yàn)榉椒?通過博弈論構(gòu)建了數(shù)據(jù)傳輸模型,在人機(jī)交互過程中可準(zhǔn)確的采集用戶靜態(tài)信息和動(dòng)態(tài)信息,將融合后動(dòng)態(tài)信息和靜態(tài)信息反饋給人機(jī)交互系統(tǒng),人機(jī)交互系統(tǒng)根據(jù)獲取的數(shù)據(jù)做出響應(yīng),完成人機(jī)交互過程,滿足用戶的需求,進(jìn)而提高了用戶的滿意度。

5 結(jié)束語

虛擬現(xiàn)實(shí)系統(tǒng)指的是部分達(dá)到或能夠達(dá)到人機(jī)交互目的的系統(tǒng),操作行為是人在生產(chǎn)實(shí)踐和生活實(shí)踐中掌握的基本能力,在現(xiàn)實(shí)世界中通常存在人和復(fù)雜感知能力的協(xié)助以及物理定律的作用,使得可以隨心所欲的進(jìn)行操作行為,通過裝配操作行為人們可以完成產(chǎn)品的裝配生產(chǎn)和裝配實(shí)踐。但在虛擬環(huán)境中不存在物理定律的作用,人們難以感知和認(rèn)識(shí)環(huán)境中存在的復(fù)雜關(guān)系,并建立三維虛擬空間的深度,因此虛擬技術(shù)中的人機(jī)交互方式是目前研究的熱點(diǎn)和難點(diǎn)。當(dāng)前人機(jī)交互方法存在主機(jī)接收數(shù)據(jù)概率低、特征識(shí)別率低、特征識(shí)別準(zhǔn)確率低和用戶滿意度低的問題,提出增強(qiáng)用戶體驗(yàn)下的集成人機(jī)交互方法,構(gòu)建數(shù)據(jù)傳輸模型在人機(jī)交互過程中采集數(shù)據(jù),提取數(shù)據(jù)特征并識(shí)別完成人機(jī)交互,解決了目前方法存在的問題,為虛擬現(xiàn)實(shí)技術(shù)中的人機(jī)交互技術(shù)的發(fā)展奠定了基礎(chǔ)。