基于偽觸覺的多感官交互系統(tǒng)設(shè)計(jì)與研究

摘 要：隨著信息處理技術(shù)的提高，人機(jī)交互的需求轉(zhuǎn)向多感官交互，其中觸覺技術(shù)的應(yīng)用具有一定挑戰(zhàn)性。本文基于偽觸覺反饋設(shè)計(jì)了多感官交互系統(tǒng)，包括振動觸覺反饋模塊、視覺感知模塊和聽覺感知模塊。為評估系統(tǒng)的有效性和可用性，進(jìn)行了基于偽觸覺的感官模態(tài)對比試驗(yàn)和系統(tǒng)可用性試驗(yàn)。結(jié)果表明，基于偽觸覺的多感官交互系統(tǒng)比單感官或雙感官的感知效果好，系統(tǒng)具有較高的可用性，能夠給用戶帶來優(yōu)良的交互體驗(yàn)。

關(guān)鍵詞：偽觸覺；多感官交互；振動觸覺；絕對量值估計(jì)

中圖分類號：TP 39" " 文獻(xiàn)標(biāo)志碼：A

科學(xué)信息的迅速發(fā)展提高了人與信息社會的接口能力，人們對信息交互的需求不再局限于基本的信息反饋，而是希望通過人的手勢、口令、感官或形體等方式與信息環(huán)境進(jìn)行互動。單個感官的反饋已不能適應(yīng)人機(jī)交互技術(shù)的發(fā)展需求，多感官系統(tǒng)的相關(guān)研究尤為迫切。

目前，人機(jī)交互接口的功能主要集中在視聽覺交互上，能提供的力觸覺功能有限[1]。傳統(tǒng)觸覺反饋方法通過控制機(jī)械運(yùn)動的方式來呈現(xiàn)變形，設(shè)備使用的移動機(jī)構(gòu)和電機(jī)導(dǎo)致設(shè)備過于笨重，極大限制了設(shè)備的外形和靈活性。偽觸覺，即通過觸覺或跨感覺通道信息使用戶產(chǎn)生與客觀情況不同的觸覺感知，通常采用簡單的裝置即可進(jìn)行觸覺感知調(diào)控，具有成本低、體積小和靈活度高等優(yōu)點(diǎn)，適用于多感官人機(jī)交互系統(tǒng)。

目前，基于偽觸覺的多感官研究主要集中在一維、二維的觸覺界面，對三維界面的研究較少。因此，本文基于PseudoBend三維觸覺反饋技術(shù)，設(shè)計(jì)并搭建了一個多感官交互系統(tǒng)。該系統(tǒng)包括振動觸覺反饋模塊、視覺感知模塊和聽覺感知模塊，并通過感官模態(tài)對比試驗(yàn)和系統(tǒng)可用性試驗(yàn)，驗(yàn)證了系統(tǒng)的有效性和可用性。

1 系統(tǒng)設(shè)計(jì)

基于偽觸覺的多感官交互系統(tǒng)中的觸覺反饋模塊可模擬物體變形過程中由摩擦運(yùn)動產(chǎn)生的顆粒振動，視覺感知模塊可輸出視覺交互信息，聽覺感知模塊可輸出聽覺信息以加強(qiáng)沉浸感。系統(tǒng)交互框圖如圖1所示。

在系統(tǒng)交互過程中，振動觸覺反饋模塊利用扭矩傳感器測量操作者的扭矩輸入，通過ADC將模擬信號轉(zhuǎn)化為數(shù)字信號，利用STM32單片機(jī)對數(shù)字信號進(jìn)行處理。當(dāng)扭矩輸入達(dá)到閾值時，單片機(jī)同時輸出視覺信號、聽覺信號和觸覺信號，分別通過顯示器、耳機(jī)和線性馬達(dá)與操作者進(jìn)行感官交互。

1.1 振動觸覺反饋模塊

該模塊是整個交互系統(tǒng)的樞紐。在交互過程中，操作者對手柄施加扭矩，當(dāng)扭矩差值達(dá)到設(shè)定的閾值時，系統(tǒng)觸發(fā)線性馬達(dá)并發(fā)出顆粒振動。該振動由一個14 ms內(nèi)線性衰減到0的正弦波實(shí)現(xiàn)。研究表明，該振動能夠給人以剛性物體變形的觸覺錯覺。

手柄裝置如圖2（a）所示，中間為靜態(tài)扭矩傳感器，兩側(cè)為3D打印手柄。靜態(tài)扭矩傳感器用來測量2個手柄間的扭矩，將扭矩傳感器用螺絲連接到3D打印空心圓柱手柄上，如圖2（b）所示。手柄壁上有一個小孔，可穿過線性馬達(dá)的導(dǎo)線。手柄部分裝置重220 g，成年人可輕松取握。信號生成部分裝置搭建如圖2（c）所示，從左至右分別為STM32微控制器、HX711 A/D轉(zhuǎn)換器、TDA7297功率放大器和指示燈。

該裝置可對不同閾值下的感知剛度進(jìn)行預(yù)測試，本文最終確定將3個閾值作為試驗(yàn)樣本，分別為0.02 nm、0.1 nm和0.3 nm。其中，0.02 nm是最強(qiáng)的變形感覺，0.3 nm是最弱的變形感覺。

1.2 視覺感知模塊

該模塊由顯示器實(shí)時傳遞視覺信息。使用Adobe After Effect 2021進(jìn)行視覺感知模塊模型動畫制作，通過手柄模型表面紋路的扭曲程度和手部的扭動動作呈現(xiàn)模型的扭曲變形，不同扭曲程度的模型效果如圖3所示。

1.3 聽覺感知模塊

該模塊通過一個頭戴式耳機(jī)進(jìn)行音頻信息傳輸，以加深聽覺交互，同時起到隔音、降噪的作用。使用Adobe Audition CC 2019進(jìn)行聽覺感知部分的聲效制作，控制單個材質(zhì)變形的音效樣本的輸出頻率，可取得扭轉(zhuǎn)速度和程度不同的音頻效果。對不同頻率的聲效進(jìn)行預(yù)測試，被試反應(yīng)音效樣本的輸出頻率高，聽覺感知扭轉(zhuǎn)速度快，扭轉(zhuǎn)程度大；反之，音效樣本輸出頻率低，聽覺感知扭轉(zhuǎn)速度慢，扭轉(zhuǎn)程度低。

2 用戶試驗(yàn)和數(shù)據(jù)分析

2.1 試驗(yàn)設(shè)備與環(huán)境

在試驗(yàn)過程中，被試坐在桌前的一張椅子上，桌上有一臺顯示器和一個用黑布覆蓋的箱子。觸覺感知設(shè)備放置在黑箱內(nèi)，避免設(shè)備外觀對被試的視覺感知造成影響。被試全程佩戴降噪耳機(jī)，傳遞聽覺感知信息的同時消除振動噪聲對被試聽覺感知系統(tǒng)的影響。為了防止被試對觸覺感知設(shè)備如何變形形成假設(shè)和偏見，在試驗(yàn)結(jié)束前不允許被試看到觸覺感知裝置。所有試驗(yàn)結(jié)束后，向被試說明試驗(yàn)的研究目的和具體內(nèi)容。

2.2 基于偽觸覺的感官模態(tài)對比試驗(yàn)

為驗(yàn)證基于偽觸覺的多感官系統(tǒng)的有效性，本文設(shè)置了對比試驗(yàn)，比較不同感官組合下被試對剛度感知評分的范圍。感知評分覆蓋的范圍越大，說明產(chǎn)生的偽觸覺感知越強(qiáng)烈，即對應(yīng)感官組合對偽觸覺感知的影響程度越高，以此驗(yàn)證基于偽觸覺的不同感官組合的交互效果。

本文設(shè)置1個試驗(yàn)組和3個對照組。試驗(yàn)組進(jìn)行由視觸聽組成的多感官感知，對照組一進(jìn)行觸覺感知，對照組二進(jìn)行視觸感知，對照組三進(jìn)行聽觸感知。對于觸覺感知，通過調(diào)節(jié)不同閾值來模擬不同剛度效果并呈現(xiàn)不同的變形程度；對于視覺感知，通過顯示器呈現(xiàn)不同的視覺效果和變形程度；對于聽覺感知，通過控制音效頻率來呈現(xiàn)不同的變形程度。為3個感官分別設(shè)置3個素材，如圖4所示。當(dāng)試驗(yàn)組或?qū)φ战M進(jìn)行2個及以上的感官感知時，分別采用同一素材編號下的感官素材組成對應(yīng)組的試驗(yàn)樣本。

試驗(yàn)共招募被試12人，被試的平均年齡為22.2歲，其中1名為左撇子，所招募的被試無人有感覺運(yùn)動障礙。共有4組試驗(yàn)，每組被試按照隨機(jī)順序?qū)?個樣本分別進(jìn)行3次剛度感知并進(jìn)行評分。第一部分剛度感知測試用于訓(xùn)練，其結(jié)果被丟棄，因此每個閾值樣本有2次有效剛度評價試驗(yàn)數(shù)據(jù)。組間試驗(yàn)順序均隨機(jī)。

本文采用的絕對量值估計(jì)法（Absolute Magnitude Estimation）對被試的主觀感覺強(qiáng)度進(jìn)行度量。首先，進(jìn)行試驗(yàn)數(shù)據(jù)收集，即被試在沒有參考刺激的情況下，用他們認(rèn)為合適的正數(shù)對剛度感知強(qiáng)度進(jìn)行評價。其次，進(jìn)行試驗(yàn)數(shù)據(jù)標(biāo)準(zhǔn)化與分析，即采用平均偏差法（Mean Deviation）[2]對試驗(yàn)中收集的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以消除不同被試產(chǎn)生的數(shù)據(jù)偏差。平均偏差法的數(shù)據(jù)標(biāo)準(zhǔn)化處理流程如公式（1）～公式（5）所示。

（1）

式中：GM為全部原始數(shù)據(jù)的平均值；Xijk為第i個被試、第j種刺激的第k次測量的原始數(shù)據(jù)；l 為一個被試對振動刺激的重復(fù)測量次數(shù)，本文中 l=2；m為刺激種類的數(shù)量，本文中m=12；n為被試的數(shù)量，本文中n=12。

（2）

MDi=Mi+GM （3）

式中： Mi為第i個被試的平均值；MDi為第i個被試與全部原始數(shù)據(jù)的平均差異。

（4）

SVij=Mij-MDi （5）

式中：Mij為第i個被試的第j種刺激的重復(fù)測量平均值；SVij為第i個被試的第j種刺激的標(biāo)準(zhǔn)化值。

對標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行Shapiro-Wilk正態(tài)性檢驗(yàn)。由于數(shù)據(jù)不完全服從正態(tài)分布（P＜0.05），因此使用非參數(shù)檢驗(yàn)方法Friedman檢驗(yàn)進(jìn)行數(shù)據(jù)分析。結(jié)果顯示，每個組內(nèi)的3個樣本間均具有顯著差異（P＜0.05）。試驗(yàn)組的剛度感知范圍顯著大于其他3個對照組，如圖5所示。試驗(yàn)結(jié)果表明，基于偽觸覺的多感官系統(tǒng)比單感官或雙感官的感知效果更好。

2.3 系統(tǒng)可用性試驗(yàn)

為評估本系統(tǒng)的可用性，即該系統(tǒng)是否能夠通過多感官方式給用戶帶來優(yōu)良的交互體驗(yàn)，本文采用系統(tǒng)可用性量表（System usability scale，SUS）對系統(tǒng)進(jìn)行評估。該量表由10個陳述句構(gòu)成，系統(tǒng)測試后要求用戶對這些句子的同意程度進(jìn)行評分，并計(jì)算出用戶的SUS分?jǐn)?shù)，分?jǐn)?shù)區(qū)間為0～100。本文對SUS分?jǐn)?shù)做出解釋：即x＜50表示不可接受；x為50～70為臨界值；x＞70表示可接受。

試驗(yàn)共招募被試23人，被試的平均年齡為21.6歲，其中1名為左撇子，9名被試參與過前面的試驗(yàn)。1名被試沒有完成試驗(yàn)，有效被試22人。所招募的被試無人患有感覺運(yùn)動障礙。將感官模態(tài)對比試驗(yàn)中的多感官樣本作為試驗(yàn)素材，被試自行使用系統(tǒng)，測試結(jié)束后，被試填寫系統(tǒng)可用性量表。被試對多感官交互系統(tǒng)的可用性評估情況如圖6所示。13人（59%）表示可接受該系統(tǒng)，9人（41%）的評分處于臨界值。系統(tǒng)的SUS評分均值為76.250（＞70）。結(jié)果表明，該系統(tǒng)能夠通過多感官方式給用戶帶來優(yōu)良的交互體驗(yàn)。

3 結(jié)論

本文基于偽觸覺技術(shù)進(jìn)行了多感官系統(tǒng)的整體設(shè)計(jì)和系統(tǒng)各模塊設(shè)計(jì)，并完成了系統(tǒng)的原型搭建。在此基礎(chǔ)上，通過用戶試驗(yàn)評估了基于偽觸覺的多感官系統(tǒng)的有效性和可用性。本文設(shè)計(jì)的多感官交互系統(tǒng)具有成本低、體積小和控制方法簡單等優(yōu)點(diǎn)，能在較大程度上優(yōu)化人機(jī)交互時的用戶體驗(yàn)。本文對促進(jìn)偽觸覺、多感官等應(yīng)用技術(shù)和相關(guān)領(lǐng)域的研究與發(fā)展具有重要意義。

參考文獻(xiàn)

[1]宋愛國，田磊，倪得晶，等.多模態(tài)力觸覺交互技術(shù)及應(yīng)用[J].中國科學(xué)：信息科學(xué)，2017，47（9）：1183-1197.

[2]HAN S H，SONG M，KWAHK J.A systematic method for analyzing

magnitude estimation data[J].International journal of industrial ergonomics，

1999，23（5-6）：513-524.

通信作者：王玫（1968-），女，四川成都市人，博士，教授，研究方向?yàn)榻换ピO(shè)計(jì)和計(jì)算機(jī)輔助制造。

電子郵箱：wangmei@scu.edu.cn。