基于多模態(tài)傳感的交互式手套系統(tǒng)＊

姚新偉，陳 銘，劉 暢，吳新麗，吳躍成，楊文珍

(1.浙江理工大學機械工程學院，浙江 杭州 310018；2.之江實驗室類人感知研究中心)

0 引言

觸覺在日常生活中的作用不言而喻[1]。由人體工程學可知，人最常用的感覺通道是視覺(80%)和聽覺(14%)，其次是觸覺及其他通道(6%)。因此，為了提高VR/AR 技術中的交互性，許多研究者都在努力將觸覺、嗅覺、味覺等其他感覺通道引入到虛擬世界中來[2,3]，力求建立一個多模態(tài)的虛實融合交互系統(tǒng)。其中力觸覺是人類獲取環(huán)境信息僅次于視覺的重要感覺[4]，同時能否利用多模態(tài)人機交互技術實現(xiàn)人類智能的訓練和強化，是人機交互研究的新命題[5]。

我們設計的基于多模態(tài)傳感的交互式手套系統(tǒng)把人與虛擬世界緊密地連接在一起，建立了一個多模態(tài)的虛擬融合交互系統(tǒng)。手套系統(tǒng)操作者不僅可以遠程操作，同時也能感受到虛擬環(huán)境的力觸覺變化及溫度變化，這是人機交互技術實現(xiàn)中的創(chuàng)新點。

1 系統(tǒng)整體設計

對于多模態(tài)傳感的交互式手套系統(tǒng)的設計主要分為三個功能模塊：上位機系統(tǒng)設計模塊、下位機系統(tǒng)設計模塊、系統(tǒng)通訊設計模塊。其中上位機系統(tǒng)為PC 端的虛擬環(huán)境，下位機系統(tǒng)為交互式手套，兩者通過無線藍牙連接通訊。

2 上位機系統(tǒng)設計

2.1 上位機場景建模

上位機的場景在Unity3D 中進行建模。主要實現(xiàn)方式如下：在PC端的虛擬實驗環(huán)境中導入手模型→在手模型上添加C#代碼和碰撞器→通過腳本監(jiān)測碰撞→實現(xiàn)玻璃棒攪拌、玻璃瓶倒水、玻璃棒攪拌碰撞音效、倒水音效、燒杯底部結(jié)冰等。PC 端上位機場景功能框圖如圖1 所示。上位機場景建模圖如圖2 所示，其中(a)是場景整體效果圖，(b)是場景動畫曲線圖，(c)是燒杯運動圖，(d)是玻璃棒運動圖。

圖1 上位機場景功能框圖

圖2 上位機場景建模圖

2.2 上位機程序設計

上位機場景發(fā)生變化時會生成觸覺信息，經(jīng)上位機數(shù)據(jù)編碼后傳遞給下位機系統(tǒng)。系統(tǒng)中制定上位機場景向下位機系統(tǒng)發(fā)送的數(shù)據(jù)格式，為下位機系統(tǒng)進行數(shù)據(jù)解算提供統(tǒng)一標準。其中觸覺信息數(shù)據(jù)應包括如下信息：起始位、振動元件的振動等級、半導體致冷器的升溫/降溫指令以及溫度變化等級，同時實現(xiàn)每個執(zhí)行元件的獨立動作。上位機場景程序設計的流程如圖3所示。

圖3 上位機程序設計流程圖

3 下位機系統(tǒng)設計

3.1 溫度控制程序設計

手套系統(tǒng)溫度控制元件設計采用一種半導體致冷器，當器件有電流通過時，一側(cè)加熱，另一側(cè)冷卻，這主要是由帕爾貼效應引起的[6]。半導體致冷器在下位機系統(tǒng)中工作時產(chǎn)生的熱量Q由公式⑴確定：

其中，πab為帕爾貼系數(shù)，I為通過元件的電流，為矢量，產(chǎn)熱側(cè)與電流方向有關，R為線路及半導體阻抗之和，U為半導體致冷器的外加電壓。

在下位機系統(tǒng)中除了讓半導體致冷器實現(xiàn)冷熱變化外，還要設置溫度閾值，本系統(tǒng)采用PID控制實時的溫度變化。溫度控制流程如圖4所示。

圖4 溫度控制流程圖

在實際應用中程序運行階段目標溫度和實時溫度差值較大，為了防止輸出量超限以及積分過飽和，手套系統(tǒng)對輸出值和積分部分進行限幅濾波處理。根據(jù)系統(tǒng)所處實際環(huán)境的溫度首先將目標溫度限定在人手不會受傷的溫度范圍內(nèi)，對溫度增加或減少的閾值進行限定。系統(tǒng)會對N-1 次的溫度值進行判斷，并將第N 次獲取的溫度數(shù)據(jù)和第N-1 次的溫度數(shù)據(jù)進行做差處理，若兩次溫度差值的絕對值超過了溫度閾值，說明第N 次的溫度值異常，則用第N-1 次的溫度值替代第N 次的溫度值。其中第N-1 次的溫度值通過程序循環(huán)進行保存，延時1s 后將第N 次的溫度數(shù)據(jù)直接賦值給第N-1次，從而實現(xiàn)溫度的智能控制。

3.2 振動控制程序設計

振動元件屬于微型直流電機的一種，元件通電之后，線圈在永磁體產(chǎn)生的磁場中受到力的作用，驅(qū)動帶有偏心配重的轉(zhuǎn)子在磁場中旋轉(zhuǎn)，產(chǎn)生激振力。當元件處于直流工作狀態(tài)下時，可產(chǎn)生的激振力為：

根據(jù)公式⑵，激振力F 可以通過改變施加電壓進行調(diào)節(jié)。因為不同的激振力給人的觸感不同，故通過改變主控制器的輸出電壓，即可得到不同的觸感。

上位機環(huán)境的虛擬場景操作發(fā)生相互作用時，下位機主控制器通過力觸覺反饋的模型計算出力觸覺的反饋信號大小。上位機環(huán)境的力觸覺反饋信號越強，控制信號越強，分為Ⅰ-Ⅴ個級別。下位機的主控制器將檢測到串口輸入的String 類型數(shù)據(jù)進行編碼，同時將編碼后的數(shù)據(jù)轉(zhuǎn)換為十六進制用于BLE 藍牙模塊傳輸。編碼部分將從上位機向主控制器傳輸?shù)目刂茢?shù)據(jù)格式化，整個協(xié)議的數(shù)據(jù)標準格式為：起始位+帕爾貼工作等級+帕爾貼發(fā)冷/發(fā)熱指令+振動等級。振動電機采用PWM 來控制振動電機輸出的功率，調(diào)節(jié)PWM 信號的參數(shù)，設置0%、25%、50%、75%、100%不同的占空比，生成不同的振動等級。振動控制軟件設計流程如圖5所示。

圖5 振動控制軟件流程圖

3.3 交互程序設計

在手套系統(tǒng)的交互功能設計中，采用彎曲傳感器控制上位機場景中虛擬手的抓拿操作。彎曲傳感器是一種角位移測量的裝置，由一種可變電阻組成。

觸覺再現(xiàn)手套的彎曲傳感器把采集到的彎曲傳感數(shù)據(jù)經(jīng)過均值濾波后發(fā)送到了上位機系統(tǒng)，上位機系統(tǒng)通過BLE 藍牙接收到的數(shù)據(jù)在數(shù)值上存在小幅度的波動，系統(tǒng)將接收的數(shù)據(jù)平滑處理，使上位機環(huán)境中的虛擬手彎曲動作映射更加平滑。平滑處理采用一階滯后濾波算法，調(diào)整濾波參數(shù)，實現(xiàn)靈敏度和平穩(wěn)度之間的平衡。一階滯后濾波采用一次的采樣值與上一次濾波輸出值進行加權，權值的大小使得輸出對輸入有反饋作用，得到有效的濾波值：

其中，α 為濾波系數(shù)，X(n)為采樣值，Y(n-1)為前一次濾波輸出值，Y(n)為本次濾波的輸出值。根據(jù)公式⑶，可以得到濾波的輸出值。彎曲控制程序流程如圖6所示。

圖6 彎曲控制流程圖

4 系統(tǒng)通訊設計

上位機的接收程序編碼在下位機完成，接收的數(shù)據(jù)為真實物體的彎曲信息數(shù)據(jù)。一組完整的數(shù)據(jù)應當包括：起始位+數(shù)據(jù)位+分隔符+數(shù)據(jù)位。分隔符用來分隔不同的有效數(shù)據(jù)，區(qū)別不同的手指彎曲信號，使用符號“/”對四個數(shù)據(jù)進行分隔，上位機每次接收周期讀取一行數(shù)據(jù)，檢測分隔符位置確定具體手指彎曲信號。

下位機接收程序的編碼部分在上位機完成，分為兩個階段，首先是將輸入的String 類型數(shù)據(jù)進行編碼，再是將編碼后的數(shù)據(jù)轉(zhuǎn)換為十六進制用于BLE 藍牙模塊傳輸。編碼部分將從上位機向下位機傳輸?shù)目刂茢?shù)據(jù)格式化，整個協(xié)議的數(shù)據(jù)標準格式為：

起始位+帕爾貼工作等級+帕爾貼發(fā)冷/發(fā)熱+AAAAA。

具體數(shù)據(jù)格式如表1所示。

表1 數(shù)據(jù)格式

其中，帕爾貼工作等級分為0-5 級，從低到高，表示溫度變化速度：帕爾貼發(fā)冷/發(fā)熱數(shù)據(jù)格式設置為1和2，模式1 為發(fā)冷模式，模式2 為發(fā)熱模式；AAAAA可以為1-5 個等級，即11111-55555，從低到高，表示不同的振動強度刺激，對應上位機虛擬場景中物體硬度不同。系統(tǒng)整體通訊設計如圖7所示。

圖7 系統(tǒng)通訊設計流程圖

5 系統(tǒng)用戶體驗

對手套系統(tǒng)進行溫度感知和觸覺感知實驗，可以分析設備的靈敏度，探索人體手部皮膚對振動、觸摸和溫度刺激的判斷能力以及設備的可行性。

我們使用手套系統(tǒng)分別對溫度、振動刺激進行了感知辨別實驗。實驗選擇了十名參與者在25℃的室溫下進行測試，其中五名男性，五名女性，均為右利手，無皮膚病或其他影響觸覺感知的情況，此前也未參與過類似實驗。每人進行Ⅰ-Ⅴ次實驗，分別記錄參與者對振動等級的感知正確率和反應時間以及對系統(tǒng)溫度變化的感知正確率和反應時間情況。實驗過程如圖8所示，實驗結(jié)果如圖9所示。

圖8 實驗過程圖

圖9 實驗結(jié)果圖

從實驗結(jié)果可以看出手套系統(tǒng)對參與者提供的觸覺感知較為準確，反應時間較短。其中對極端的振動和溫度刺激反應時間最短，感知正確率最高。

6 結(jié)束語

該系統(tǒng)結(jié)合人機交互過程中的觸覺反饋研究工作，設計了多模態(tài)虛實融合的交互式手套系統(tǒng)。將振動觸覺和溫度觸覺與人機交互融合起來，增強了交互的真實性和沉浸性，有效提升了3I 指標。解決了人機交互過程中不真實、不自然的問題，但尚不能模擬振動、溫度之外的觸覺變化，能在小型裝置上復現(xiàn)全通道的觸覺信息并且不影響靈活性仍要作為今后的主要研究方向。