MR環(huán)境下多模態(tài)人機交互的設計評價系統(tǒng)研究

曹琪 范勁松

摘要：解決現(xiàn)有設計評價工具成本高、周期長、交互性差等問題。以清潔車設計為例，利用頭戴式設備HoIoLens，通過與人交互對話，將優(yōu)化的虛擬清潔車模型及屬性實時、無縫地疊加在實際的使用場景中。利用系統(tǒng)可用性量表（sus）進行用戶體驗評估，測試結(jié)果良好。通過將MR技術引入到設計評價過程，可以提高新產(chǎn)品研發(fā)效率和效益，為使用者提供更加自然、高效、真實的評價工具。

關鍵詞：工業(yè)設計 設計評價 混合現(xiàn)實 多模態(tài)人機交互 HoIoLens

中圖分類號：TP47

文獻標識碼：A

文章編號：1003-0069（2020）05-0026-03

Abstract： Solve the prob}ems of high cost， long cycle and poor interactivlty ofexisting design evaluation toolo Taking the cleaning car deoign as an example， thehead-mounted device HoloLens is used to interactively and interactlvely superimposethe optimized virtual deaning vehicle model and attributes in the actual use scenereaction using the System Availability Scale（SUS） to do user experience evaluation，the teot results are good. By introducing MR technology into the design evaluationproceoS， new product development efficiency and efficiency can be improved， andusers can be provided with more natural， efficient and realistic evaluation toolsKeywords： Industrial deoign Design evafuatIon MIxed Reality Multi-modal human-computer interaction HoloLens

設計評價（DR）系統(tǒng)是在產(chǎn)品開發(fā)過程當中及早地發(fā)現(xiàn)和指出產(chǎn)品設計的缺陷、錯誤和可能存在的制造問題[1]，以便對其性能和使用等各個方面進行全面的評估。目前工業(yè)設計評價過程使用的工具為實物樣機[2]、數(shù)字樣機[3]和虛擬樣機[4]。實物樣機的主要問題是成本高、周期長和逼真度不夠;數(shù)字樣機的主要問題是要依賴于應用軟件，對設備和使用人員的要求高;虛擬樣機可以實現(xiàn)實時交互，克服了上面兩種方法的不足，但主要交互方式基于計算機傳統(tǒng)圖形界面和鼠標鍵盤，不是自然的交互方式。同時，數(shù)字樣機和虛擬樣機都要求用戶必須在計算機上操作，使用不夠便捷，限制了用戶交互的自然性。近年來，隨著多媒體軟硬件技術的發(fā)展，人機交互的研究已經(jīng)拓展到MR領域[5]。借助MR技術搭建一個多模態(tài)人機交互的設計評價系統(tǒng)是工業(yè)設計領域的—次嘗試。

一、MR環(huán)境下的多模態(tài)人機交互界面

（一）多模態(tài)人機交互概念

多模態(tài)人機交互，又稱多通道人機交互，是一種區(qū)別于傳統(tǒng)的單通道人機交互而言的新技術。通道指的是感官。多模態(tài)人機交互同時對來自多個交互通道的信息進行識別并融合，最終得到一個綜合后的交互信息，以此獲得更自然性和高效性人機交互體驗。很多情況下，一套多模態(tài)人機交互系統(tǒng)需要多種識別設備來共同實現(xiàn)。

（二）MR環(huán)境下的多模態(tài)用戶界面模型

MR環(huán)境下的多模態(tài)用戶界面[6]是一種全新的人機交互平臺，用戶通過手勢、語音、視覺、觸覺等多種通道實現(xiàn)虛實融合環(huán)境下的自然交互。用戶界面是人機交互的媒介，主要利用人機工學原理，實現(xiàn)人_機一環(huán)境之間的協(xié)調(diào)配合。這里的“人”指的是人的感官，“機”指的是MR交互設備，“環(huán)境”指的是虛實結(jié)合的交互環(huán)境。通過綜合利用人的多感覺通道和效應通道，力圖使計算機能夠聽、說、理解用戶的交互意圖[7]，如圖1。

（三）用戶界面的系統(tǒng)框架

用戶界面的功能是實現(xiàn)人機環(huán)境之間的信息傳遞，而一個完整的信息加工過程從用戶輸入開始，經(jīng)過數(shù)據(jù)處理到功能實現(xiàn)結(jié)束。在MR環(huán)境下的多模態(tài)用戶界面中，用戶首先通過手勢識別、語音識別、眼動追蹤和觸覺反饋等自然的操作方式實現(xiàn)信息輸入。然后，MR頭戴設備會將獲取的用戶信息進行處理，將全息圖像投影在真實世界中，現(xiàn)人機互動，最終完成用戶的意圖，如圖2。

二、MR環(huán)境下的多模態(tài)人機交互方式

（一）凝視交互

凝視的目的是實現(xiàn)對全息圖的目標選擇。如圖3，該系統(tǒng)通過HoIoLens向用戶眼睛的凝視方向發(fā)出一條射線與全息圖像之間進行碰撞檢測8。

假設射線與全息圖某個部件的交點為P。射線與前后剪切面相交于空間點P1和P2。其中，P1點坐標可用該點所在射線單位向量E與模M表示為：

P=Pl+ExM

（1）

已知全息圖上的3個基準點A（XA，YA，ZA）、B（XB，YB，ZB）、C（XC，YC，ZC）。則這3個基點所構(gòu)三角形ABC內(nèi)的任何一點的坐標均可以用變量k、v（O

P=A+KxB-A+vxx （C-A）

（2）

Pl+ExM= （1-k-v） xA+KxB=vxC

（3）

將A、B、C三點坐標值分別帶入到方程（1）中可得

（4）

經(jīng)過上述計算便可以求出P點的坐標，對比HoIoLens三維注冊過程生成的深度圖中全息圖零部件的空間坐標，便可以確定發(fā)生碰撞的全息圖部件，實現(xiàn)全息圖的目標選取。為了便于凝視光標的觀察，該系統(tǒng)提供了兩種顯示狀態(tài)：當HoIoLens檢測到手勢時，視野出現(xiàn)手勢光標（見圖4a）;當凝視全息物體時，光標變?yōu)閹в屑^的手掌圖案（見圖4b）。本系統(tǒng)中所有的手勢交互都是在此基礎上實現(xiàn)的。

（二）手勢交互

手勢識別是HoIoLens主要的交互輸入方式，其識別過程利用了多角成像技術。這種技術通過使用兩個及以上的攝像頭同時攝取圖像，然后比對這些不同攝像頭在同一時刻獲得的圖像差別，進行計算深度信息獲得三維圖像。HoIoLens目前認可的兩種核心組件手勢為：Air tap和Bloom。Air tap是一種輕拍手勢，手持直立，類似于鼠標點擊或選擇。在大多數(shù)MR平臺中相當于凝視定位后UI元素上的“點擊”。在HoIoLens中，全息物體通常會被標定在空間中某個固定的位置，用戶可以通過移動自身的位置，實現(xiàn)多視角觀察。除此之外，還可以通過在全息物體上添加Gesture Action腳本并設置相應的軸來實現(xiàn)對全息物體的旋轉(zhuǎn)和位移操作。本系統(tǒng)實現(xiàn)的手勢交互命令如圖5所示。

（三）語音交互

語音識別的過程識將人的語言翻譯成計算機可識別語言的過程。首先，將聲音信號變成單詞流;其次，將各種語言進行恰當?shù)慕?最后對語言進行相關約束。語音識別還應具備語音合成功能，實現(xiàn)計算機與人的交流反饋。如表1所示，HoIoLens可以通過語音識別技術實現(xiàn)許多交互功能。除了HoIoLens自帶的語音命令，開發(fā)者還可以根據(jù)需要在系統(tǒng)中添加其他語音命令。本系統(tǒng)實現(xiàn)的主要交互命令有：通過Speech to Text功能，可以實現(xiàn)屏幕語音文字輸入;另外，為了實現(xiàn)全息物體的位移和旋轉(zhuǎn)，使用戶可以將全息模型與場景更好地匹配，本系統(tǒng)還添加了位移和旋轉(zhuǎn)語音命令。

（四）交互模型

根據(jù)信息加工的三個過程可以將人機交互分為物理設備層、交互定義層以及應用接口層三個階段。據(jù)此，文中提出一個三層架構(gòu)的MR多模態(tài)人機交互模型（如圖6所示）。其中，HoIoLens作為一種典型的MR設備，可以提供凝視、手勢、語音甚至觸感等多通道交互方式。不僅于此，在人與HoIoLens互動中，MR環(huán)境下的多模態(tài)人機交互系統(tǒng)能夠?qū)崿F(xiàn)保持會話跟蹤、映射調(diào)度與計算機系統(tǒng)響應，這個過程被稱為會話管理。由于語音通道的使用，該系統(tǒng)可以使用會話管理為核心的上下文會話管理模式，提供語音服務。這種會話管理能夠協(xié)調(diào)語音通道與其他交互通道相結(jié)合，在各交互通道原始識別內(nèi)容的基礎上，逐步映射轉(zhuǎn)換形成能夠被應用系統(tǒng)調(diào)度執(zhí)行的服務指令。這種交互模式能夠達到1+1+1>3的效果，實現(xiàn)以人為中心的自然交互。

三、清潔車評價系統(tǒng)的實現(xiàn)

（一）評價系統(tǒng)的構(gòu)建

為了驗證該系統(tǒng)的可行性，文中以清潔車作為產(chǎn)品設計評價對象，搭建了一個MR環(huán)境下多模態(tài)人機交互的設計評價系統(tǒng)。首先，由于工業(yè)設計產(chǎn)品模型為了模擬復雜逼真的產(chǎn)品，往往需要大量運用多邊形近似技術，導致數(shù)據(jù)組織的復雜和數(shù)據(jù)量的增長，無法應用在HoIoLens中使用;為了得到高精細節(jié)的場景模型，同時解決模型面數(shù)的問題，文中對清潔車模型進行減面優(yōu)化，優(yōu)化后的模型保留了高模的主要形態(tài)和細節(jié)，又可避免模型面數(shù)減少造成的細節(jié)丟失問題，從而節(jié)省計算機資源。其次，借助Unity引擎和HoIoLens開發(fā)工具，實現(xiàn)清潔車模型在HoIoLens中的應用。評價系統(tǒng)的構(gòu)建過程如圖7所示。

（二）評價系統(tǒng)的實現(xiàn)

將兩臺或者多臺HoIoLens通過WiFi連接到同一個局域網(wǎng)中可以實現(xiàn)多人協(xié)同作業(yè)。該系統(tǒng)以兩臺設備為例，任意選擇其中一臺作為服務器端，另外一臺則為客戶端。首先通過服務器端對系統(tǒng)進行測試，測試通過后讓另外一臺HoIoLens進入系統(tǒng)，與服務器端建立連接，進行多人協(xié)同評價，系統(tǒng)實現(xiàn)的主要功能如圖8所示。

四、清潔車評價系統(tǒng)的評估

工業(yè)設計評價系統(tǒng)作為一種設計評價工具，其首要特征滿足產(chǎn)品評價的功能需求，其次該系統(tǒng)本身作為一種軟件產(chǎn)品應具有良好的用戶體驗需求。因此該清潔車評價系統(tǒng)的評估需要從兩方面進行考慮。為了測試清潔車評價系統(tǒng)的性能，文中又制作了3D打印模型和增強現(xiàn)實展示，通過訪談和問卷的形式獲得三種評價工具的性能，以便對清潔車評價系統(tǒng)的優(yōu)勢進行評估。

（一）功能性評估

工業(yè)設計評價過程就是利用各種評價工具將產(chǎn)品的屬性充分展示給評價者，以便評價者能夠正確有效地對設計方案做出評價和選擇。為了更專業(yè)地對三種評價工具的功用性進行評估，文章采訪了10名工業(yè)設計專業(yè)的大學生和老師，通過他們的體驗和分析，總結(jié)出如下三點優(yōu)勢。

1.逼真展示：將工業(yè)設計產(chǎn)品制作成數(shù)字化的全息模型疊加到真實環(huán)節(jié)中，實現(xiàn)產(chǎn)品在真實環(huán)境的逼真再現(xiàn);能夠有效、準確地再現(xiàn)產(chǎn)品形態(tài)、色彩、燈光、材質(zhì)的逼真感以及使用環(huán)境的協(xié)調(diào)性等方面，同時能夠有效地表達和再現(xiàn)產(chǎn)品的功能特征，從而正確地表現(xiàn)產(chǎn)品的性能特點。

2.實時評價：用戶可以在觀察產(chǎn)品屬性的同時選擇自己滿意的色彩方案;另外，用戶可以在觀察產(chǎn)品每一個屬性時通過語音命令在屏幕中生成評價性文字，并通過截屏記下評價內(nèi)容。

3.低成本和高效率：設計評價需要在整個設計開發(fā)過程中反復進行，該系統(tǒng)可以在減少樣機制作的基礎上，全面、高效地對方案進行評價，從而縮短產(chǎn)品的研發(fā)周期。

（二）可用性評估

可用性是指產(chǎn)品在特定用戶的特定用途下所具有的效果、效率和用戶主觀滿意度。系統(tǒng)可用性量表由John Brooke于1996年提出，是一種用于產(chǎn)品可用性測試的標準化問卷調(diào)查量表。為了測試該清潔車系統(tǒng)發(fā)功用性，文中隨機選取了30名在校大學生作為實驗對象，在實驗開始前分別介紹每種交互界面的使用方法。用戶在掌握了評價工具的使用方法后，對三種交互界面的可用性進行評估。針對本次調(diào)查內(nèi)容，根據(jù)sus調(diào)查表設置了以下10個問題：

Q1.我愿意經(jīng)常使用該評價系統(tǒng)。

Q2.我覺得該評價系統(tǒng)有些復雜。

Q3.我覺得該評價系統(tǒng)很容易使用。

Q4.該評價系統(tǒng)需要有經(jīng)驗的人幫助我使用。

Q5.我覺得該評價系統(tǒng)將設計方案展示得很好。

Q6.我覺得該評價系統(tǒng)存在太多不一致。

Q7.我覺得大多數(shù)人都能很快學會使用該評價系統(tǒng)。

Q8.我覺得該評價系統(tǒng)使用起來很麻煩。

Q9.在使用過程中，我感覺很自信。

Q10.為了操作該評價系統(tǒng)，我需要學習很多東西。

選項設置及打分規(guī)則如下：

1.每個問題根據(jù)程度設置基礎分1-5分，對應“強烈反對”到“非常滿意”。2.奇數(shù)問題用選項原始分減去1即為該題分，偶數(shù)問題用5減去該選項原始分即為該題分。sus得分為所有問題得分總和的2.5倍。另外，第4題和第8題得分總和12.5倍可以反映系統(tǒng)的易學性，其余題目得分總和的3.125倍可以反映系統(tǒng)的可用性。SUS得分采用百分制。

為了進一步檢驗系統(tǒng)的可用性，實驗過程中隨機選取了30名在校大學生作為體驗和調(diào)查對象，設置實體界面和觸控界面兩種對照實驗。樣本的統(tǒng)計情況如表2所示：

三種交互界面得分，全息界面的SUS得分為90.58最高，觸控界面分數(shù)82.50居中，實體界面分數(shù)79.08最次。查閱文獻，全息界面分數(shù)92.18對應的百分等級約為97，意味著比97%的產(chǎn)品可用性好。除此之外，其可用性得分92.60也最好，易學性上由于實體模型比較直觀不需要學習成本所以全息界面的易學性低于實體界面但高于觸控界面。由此可見，該系統(tǒng)用戶體驗良好，較傳統(tǒng)的評價工具具有明顯優(yōu)勢。

文中通過對最新的混合現(xiàn)實技術與人機交互技術的交叉研究，開發(fā)基于視覺、手勢及語音等多通道虛實融合人機交互模式的設計評價系統(tǒng)，并借助HoIoLens實現(xiàn)了清潔車的設計評價，測試結(jié)果良好。本系統(tǒng)的主要意義在于：通過對MR環(huán)境下多模態(tài)人機交互技術在工業(yè)設計評價中的研究應用，提高新產(chǎn)品研發(fā)效率和設計創(chuàng)新能力，降低產(chǎn)品開發(fā)成本，滿足日益變化的市場需求;同時，將設計方案在實際環(huán)境中的逼真表達和全息物體之間的自然交互，實現(xiàn)產(chǎn)品功能的仿真和模擬，以方便各種評價人員做出全面有效地評價。

基金項目：廣東高校省級特色創(chuàng)新項目（2016KTSCX148）;佛山市科技局科技創(chuàng)新項目（2016AG100321）;廣東省教育廳高?？蒲许椖浚?015xzd01）。

參考文獻

[1]Morad Mahdjoub，Davy Monticolo，Samuel Gomes， etal[J].A collaborative desian for usability approachsupponed by virtual reality and multi-agent system embedded in a PLM environment.Computer-Aided Desigu （ARTICLE IN PRESS）， 2009，（2）：1-12.

[2]寧萌，馬澤峰，薛必倫等.燃爆式彈跳驅(qū)動器的設計與分析[J].機械設計，2017，34（9）：18-22.

[3]王發(fā)麟，廖文和，郭宇等.線纜虛擬裝配關鍵技術研究現(xiàn)狀及其發(fā)展[J].中國機械工程，2016，27（6）：839-851.

[4]韋正超.基于Adams和Matlab的發(fā)射設備隨動系統(tǒng)虛擬樣機建模與聯(lián)合仿真[J].現(xiàn)代機械，2019（1）：66-69.

[5] Fiorentino M，Uva A E，Gattullo M，etal，Augmented reality on large screen forinteractive maintenanceintructlon[J].ComputerslnIndustey，2014，65（2）：270-278.

[6]黃進，韓冬奇，陳毅能等.混合現(xiàn)實中的人機交互綜述[J].計算機輔設計與圖形學學報，2016（6）：869-880.

[7]俸文.多通道人機交互技術的研究[D].江蘇南京：南京理工大學，2004.

[8]商蕾，王冰，楊志勇，何業(yè)蘭.基于HoloLens的船舶輔機拆裝系統(tǒng)研究與實現(xiàn)[J].中國航海，2018，41（03）：38-42.