航空航天虛擬裝配培訓(xùn)情境下的情感交互設(shè)計(jì)

王曉慧，王佳雨，趙凱，覃京燕,3

航空航天虛擬裝配培訓(xùn)情境下的情感交互設(shè)計(jì)

王曉慧1，王佳雨1，趙凱2，覃京燕1,3

（1.北京科技大學(xué)，北京 100083；2.西北綜合勘察設(shè)計(jì)研究院，陜西 710003；3.海南大學(xué)，海南 570228）

將虛擬現(xiàn)實(shí)和情感交互設(shè)計(jì)應(yīng)用于航空航天裝配培訓(xùn)場(chǎng)景，提高培訓(xùn)效率，改善培訓(xùn)體驗(yàn)。通過(guò)調(diào)研多模態(tài)情感交互研究現(xiàn)狀，構(gòu)建航空航天虛擬裝配培訓(xùn)情境下的情感交互模型，使用基于生理信號(hào)的情感識(shí)別、語(yǔ)音提示、高亮提示、視頻指導(dǎo)等進(jìn)行情感交互。以航空航天球閥的虛擬裝配培訓(xùn)為例，構(gòu)建具有情感交互的培訓(xùn)系統(tǒng)。通過(guò)用戶(hù)手指上佩戴皮膚電導(dǎo)傳感器收集的生理數(shù)據(jù)進(jìn)行情感實(shí)時(shí)監(jiān)測(cè)，根據(jù)情感不同提供語(yǔ)音提示、高亮提示、視頻指導(dǎo)3種交互方案。通過(guò)在虛擬環(huán)境中完成裝配任務(wù)的效率，驗(yàn)證情感交互在虛擬裝配培訓(xùn)系統(tǒng)中的有效性。實(shí)驗(yàn)結(jié)果表明，在航空航天虛擬裝配培訓(xùn)場(chǎng)景下的情感化交互設(shè)計(jì)能夠有效縮短培訓(xùn)時(shí)間，有助于培訓(xùn)用戶(hù)體驗(yàn)?zāi)繕?biāo)和可用性目標(biāo)的達(dá)成。研究成果促進(jìn)了生理信號(hào)、語(yǔ)音交互、視覺(jué)交互等多模態(tài)情感交互范式的構(gòu)建，并驗(yàn)證了在航空航天虛擬裝配培訓(xùn)應(yīng)用中的有效性，具有廣泛的學(xué)術(shù)意義和應(yīng)用前景。

虛擬現(xiàn)實(shí)；航空航天；裝配培訓(xùn)；交互設(shè)計(jì)；情感交互

虛擬現(xiàn)實(shí)和航空航天的結(jié)合能夠有效地推動(dòng)航空航天技術(shù)和國(guó)防事業(yè)的發(fā)展。虛擬現(xiàn)實(shí)技術(shù)在航空航天領(lǐng)域目前主要應(yīng)用于飛行員模擬訓(xùn)練、在軌維修訓(xùn)練和虛擬裝配訓(xùn)練3個(gè)方面。產(chǎn)品的裝配操作必須在產(chǎn)品設(shè)計(jì)時(shí)確定，這在航天器等裝備中至關(guān)重要。隨著人工智能和虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，利用三維數(shù)字樣機(jī)進(jìn)行操作維修可行性分析與驗(yàn)證、評(píng)估設(shè)計(jì)方案合理性能夠更早、更準(zhǔn)確地發(fā)現(xiàn)設(shè)計(jì)問(wèn)題和縮短設(shè)計(jì)周期。我國(guó)新一代中型運(yùn)載火箭長(zhǎng)征七號(hào)就采用了VR技術(shù)和全三維設(shè)計(jì)制造仿真技術(shù)，大大提高了火箭研制水平和零件合格率[1]。波音777型號(hào)通過(guò)虛擬環(huán)境中的交互手段對(duì)產(chǎn)品的功能、制造、裝配、維修進(jìn)行虛擬實(shí)驗(yàn)，使得裝配問(wèn)題和返工率大大縮減并提前完工[2]。

情感交互是智能人機(jī)交互中必不可少的一個(gè)模塊，已應(yīng)用在生活中的各行各業(yè)。教育培訓(xùn)中通過(guò)檢測(cè)學(xué)生情感來(lái)判斷學(xué)生參與度，從而給教師提供課堂教學(xué)反饋；社交輔助機(jī)器人通過(guò)自動(dòng)檢測(cè)用戶(hù)情感判斷用戶(hù)的意圖，表達(dá)相應(yīng)的情感反饋并提供親切的對(duì)話(huà)或動(dòng)作反饋；在商業(yè)領(lǐng)域通過(guò)檢測(cè)用戶(hù)文本中的情感需求分析用戶(hù)對(duì)產(chǎn)品的建議從而改善產(chǎn)品功能；在多媒體行業(yè)中通過(guò)實(shí)時(shí)監(jiān)測(cè)用戶(hù)情感實(shí)現(xiàn)音樂(lè)和視頻的個(gè)性化推薦；在汽車(chē)駕駛中通過(guò)檢測(cè)駕駛員情緒狀態(tài)提供不一樣的安全警報(bào)提示來(lái)降低安全事故發(fā)生概率等。

航空航天情境下會(huì)不可避免地出現(xiàn)人機(jī)交互的不適應(yīng)性、操作人員情緒壓力大及生理心理健康等一系列問(wèn)題，而利用人機(jī)情感交互，可以讓計(jì)算機(jī)識(shí)別用戶(hù)情緒狀態(tài)，進(jìn)而做出相應(yīng)改善用戶(hù)情緒的行為，使用戶(hù)和機(jī)器之間的交流更加親切自然，使操作人員情緒處于平靜緩和的狀態(tài)，從而使之高度集中注意力，避免失誤。本文研究航空航天虛擬裝配培訓(xùn)情境下的情感交互模型，使用基于生理信號(hào)的情感識(shí)別、語(yǔ)音交互和視覺(jué)交互進(jìn)行多模態(tài)情感交互，提高培訓(xùn)效率，改善培訓(xùn)體驗(yàn)。通過(guò)在虛擬環(huán)境中完成裝配任務(wù)的效率，驗(yàn)證情感交互在虛擬裝配培訓(xùn)系統(tǒng)中的有效性。

1 國(guó)內(nèi)外研究現(xiàn)狀

1.1 多模態(tài)情感識(shí)別

單模態(tài)情感輸入形式主要包括視覺(jué)、聽(tīng)覺(jué)、文本和生理信號(hào)等，多模態(tài)則為單模態(tài)的兩兩或者兩三組合。調(diào)研多模態(tài)情感識(shí)別的輸入、數(shù)據(jù)采集方式、輸出和應(yīng)用領(lǐng)域，得到多模態(tài)情感識(shí)別相關(guān)研究見(jiàn)表1。隨著語(yǔ)音交互的普及，通過(guò)語(yǔ)音的語(yǔ)速和頻率等判斷用戶(hù)情感已廣泛應(yīng)用于社交、娛樂(lè)等方面；圖像、視頻等視覺(jué)輸入具有并發(fā)性和無(wú)接觸性的優(yōu)點(diǎn)，通過(guò)攝像頭捕捉用戶(hù)的面部表情或動(dòng)作手勢(shì)等識(shí)別方式是應(yīng)用非常廣泛的；而生理信號(hào)輸入是指?jìng)€(gè)體的生理數(shù)據(jù)特征，是接觸性和強(qiáng)制性的，需要借助一定的可穿戴設(shè)備和傳感器完成。

面部表情、語(yǔ)音、動(dòng)作手勢(shì)的輸入是個(gè)體通過(guò)主觀地控制自己身體和行為所表現(xiàn)的外在意識(shí)主導(dǎo)的信號(hào)，情感狀態(tài)可能不具有客觀性；生理信號(hào)輸入可以測(cè)試出在無(wú)意識(shí)行為狀態(tài)下，即不受主觀認(rèn)知狀態(tài)控制下的真實(shí)心理狀態(tài)，被試情感被更加真實(shí)客觀地反映，大大提升了情感分類(lèi)的準(zhǔn)確性和魯棒性。本文采用生理信號(hào)輸入與面部表情輸入相結(jié)合的方式，識(shí)別用戶(hù)情感狀態(tài)。

1.2 情感交互輸出

多模態(tài)情感輸出主要包括視覺(jué)反饋、聽(tīng)覺(jué)反饋和觸覺(jué)反饋，情感交互案例分析見(jiàn)表2。視覺(jué)反饋被應(yīng)用到各個(gè)領(lǐng)域，其優(yōu)點(diǎn)是直觀和具有沉浸感，能夠激發(fā)用戶(hù)情感的共鳴。情感交互中主要使用帶有特定情感特質(zhì)的視頻、能調(diào)節(jié)用戶(hù)情緒的圖像、與用戶(hù)情緒狀態(tài)相匹配的可視化表達(dá)、提示或引導(dǎo)用戶(hù)緩解情緒壓力的界面等來(lái)進(jìn)行情感的視覺(jué)反饋。聽(tīng)覺(jué)反饋也較為常用，其優(yōu)點(diǎn)是在對(duì)話(huà)中實(shí)時(shí)反饋，使用場(chǎng)景約束性小、高效便捷。觸覺(jué)反饋被很多交互界面用來(lái)反饋重要的系統(tǒng)狀態(tài)信息，例如通過(guò)手柄振動(dòng)提示用戶(hù)操作完成。一些情感交互案例會(huì)使用多模態(tài)反饋，即將視覺(jué)反饋、聽(tīng)覺(jué)反饋和觸覺(jué)反饋等反饋形式結(jié)合起來(lái)。

表1 多模態(tài)情感識(shí)別相關(guān)研究

表2 情感交互案例分析

圖1 航空航天虛擬裝配培訓(xùn)情境下的情感交互模型

2 航空航天虛擬裝配培訓(xùn)情境下的情感交互模型

本文提出航空航天虛擬裝配培訓(xùn)情境下使用基于生理信號(hào)的情感識(shí)別、語(yǔ)音提示、高亮提示、視頻指導(dǎo)進(jìn)行情感交互的流程框架，航空航天虛擬裝配培訓(xùn)情境下的情感交互模型見(jiàn)圖1，旨在通過(guò)改善操作人員情緒體驗(yàn)提高培訓(xùn)效率。

傳統(tǒng)的裝配培訓(xùn)流程：組織裝配培訓(xùn)—確定培訓(xùn)時(shí)間和地點(diǎn)—培訓(xùn)人員統(tǒng)一講解裝配理論知識(shí)—確定實(shí)地裝配培訓(xùn)時(shí)間和地點(diǎn)—培訓(xùn)人員操作示范—操作人員進(jìn)行裝配操作——檢查操作是否規(guī)范—詢(xún)問(wèn)培訓(xùn)人員—培訓(xùn)人員示范—重新裝配—檢查—詢(xún)問(wèn)—示范—結(jié)束培訓(xùn)。傳統(tǒng)的線(xiàn)下培訓(xùn)步驟較多且需要組織人員和統(tǒng)一培訓(xùn)的時(shí)間地點(diǎn)，再者實(shí)地裝配培訓(xùn)過(guò)程中往往由于培訓(xùn)人員和操作人員數(shù)目不對(duì)等，不能進(jìn)行一對(duì)一輔導(dǎo)而導(dǎo)致裝配問(wèn)題不能及時(shí)解決而屢次失敗，容易引起操作人員激動(dòng)、緊張、煩躁等消極情緒體驗(yàn)。

經(jīng)過(guò)訪(fǎng)談?wù){(diào)研發(fā)現(xiàn)，裝配培訓(xùn)中操作人員情緒變化的主要原因是信息傳達(dá)的不及時(shí)性、不清楚裝配步驟、多次裝配失敗造成的焦慮和煩躁等。不同操作人員情緒變化的原因也不盡相同，比如有機(jī)械基礎(chǔ)和無(wú)機(jī)械基礎(chǔ)的操作人員情緒變化的程度和原因不同。針對(duì)這些情況，本文在模擬裝配培訓(xùn)場(chǎng)景中加入了語(yǔ)音提示、高亮提示、視頻指導(dǎo)等不同提示方式，提示強(qiáng)度逐漸提升，能覆蓋初級(jí)用戶(hù)、中級(jí)用戶(hù)、高級(jí)用戶(hù)，并通過(guò)實(shí)驗(yàn)分析不同交互方式對(duì)操作人員情緒和操作行為的影響，面向不同用戶(hù)的情感交互模型見(jiàn)圖2。該情感交互模型不僅可以用于裝配培訓(xùn)，還可以用于實(shí)際生產(chǎn)。

3 具有情感交互的航空航天虛擬裝配培訓(xùn)系統(tǒng)

低溫球閥在航天航空領(lǐng)域被廣泛應(yīng)用于氫氧火箭發(fā)動(dòng)機(jī)氫氧泵前閥，本文以航空航天球閥的虛擬裝配培訓(xùn)為例，構(gòu)建具有情感交互的航空航天虛擬裝配培訓(xùn)系統(tǒng)。使用UE4虛幻引擎進(jìn)行軟件開(kāi)發(fā)，硬件使用HTC Vive。

在PC端和VR環(huán)境下的交互設(shè)計(jì)見(jiàn)表3。用戶(hù)可以觀察球閥各個(gè)零件結(jié)構(gòu)和名稱(chēng)，通過(guò)菜單界面進(jìn)行交互，選擇適當(dāng)?shù)墓δ軜?biāo)簽，利用零件的移動(dòng)、旋轉(zhuǎn)等裝配操作交互功能完成球閥裝配。

圖2 面向不同用戶(hù)的情感交互模型

表3 PC端和VR環(huán)境下的交互設(shè)計(jì)

在情感交互方面，由于用戶(hù)佩戴HTC Vive頭盔，無(wú)法基于面部表情進(jìn)行情感識(shí)別。本文通過(guò)用戶(hù)手指上佩戴皮膚電導(dǎo)傳感器收集用戶(hù)生理數(shù)據(jù)對(duì)用戶(hù)情緒進(jìn)行實(shí)時(shí)監(jiān)測(cè)。情緒識(shí)別基于流電皮膚反應(yīng)（Galvanic Skin Reaction，GSR），當(dāng)情緒波動(dòng)，即感到焦慮、緊張時(shí)，神經(jīng)交感活動(dòng)會(huì)增強(qiáng)，導(dǎo)致汗液分泌增加，從而導(dǎo)致皮膚電的數(shù)值增強(qiáng)。GSR傳感器通過(guò)在人兩個(gè)相鄰的手指上放置兩個(gè)電極來(lái)檢測(cè)人體表層皮膚的導(dǎo)電性，數(shù)字越高，代表情緒越緊張，達(dá)到某一閾值時(shí)，會(huì)被判斷為情緒發(fā)生了激烈的變化。GSR傳感器程序?qū)η榫w的檢測(cè)有客觀準(zhǔn)確的算法，不受人主觀意志的轉(zhuǎn)移。

航空航天虛擬裝配培訓(xùn)情境下的情感交互模型見(jiàn)圖3。系統(tǒng)觀測(cè)到用戶(hù)有激烈的情感變化如緊張、焦慮時(shí)，提供相應(yīng)的情感交互手段，主要有語(yǔ)音提示、高亮提示、視頻指導(dǎo)3種交互方案?？紤]到用戶(hù)習(xí)慣和培訓(xùn)效率，檢測(cè)到用戶(hù)情感發(fā)生變化時(shí)，優(yōu)先提供語(yǔ)音提示；當(dāng)用戶(hù)不能根據(jù)語(yǔ)音良好地完成操作而焦慮煩躁時(shí)，提供零件高亮顯示；繼續(xù)觀測(cè)用戶(hù)裝配程度和情緒變化，從而提供相應(yīng)的視頻指導(dǎo)，直到用戶(hù)正確地完成球閥的完整裝配。

系統(tǒng)提示界面見(jiàn)圖4。構(gòu)建的虛擬場(chǎng)景見(jiàn)圖4a，用戶(hù)按住手柄側(cè)邊的緊握鍵，系統(tǒng)顯示紅色的落地標(biāo)志，箭頭方向則代表落地的自身朝向，用戶(hù)按住緊握鍵選好合適的位置后松手實(shí)現(xiàn)位置移動(dòng)，手柄交互實(shí)現(xiàn)移動(dòng)見(jiàn)圖4b。場(chǎng)景內(nèi)的視頻播放器可以播放球閥的完整裝配視頻，視頻提示見(jiàn)圖4c，操作人員觀看視頻了解球閥裝配過(guò)程，從而完成球閥裝配任務(wù)。觀看視頻期間，可以通過(guò)鼠標(biāo)點(diǎn)擊或者VR扳機(jī)點(diǎn)擊視頻進(jìn)行暫停和繼續(xù)播放。高亮提示見(jiàn)圖4d，能夠同時(shí)提供模型高亮顯示和對(duì)應(yīng)球閥分解圖高亮顯示：場(chǎng)景內(nèi)閥芯、調(diào)整墊1、調(diào)整墊2、密封圈模型邊緣紅色高亮顯示，顯示器上球閥分解圖相應(yīng)零件輪廓高亮顯示，高亮顯示持續(xù)5秒。場(chǎng)景的菜單交互功能主要包括導(dǎo)航菜單界面設(shè)計(jì)和功能菜單界面設(shè)計(jì)，菜單界面見(jiàn)圖4e。為了更好地輔助裝配培訓(xùn)，在場(chǎng)景中設(shè)置了提示界面設(shè)計(jì)，主要是零件名稱(chēng)提示界面設(shè)計(jì)和裝配成功后提示界面設(shè)計(jì)，提示界面見(jiàn)圖4f。

圖3 航空航天虛擬裝配培訓(xùn)情境下的情感交互模型

圖4 系統(tǒng)提示界面

4 情感交互有效性實(shí)驗(yàn)

系統(tǒng)依托UE4虛幻引擎和Steam VR平臺(tái)搭建球閥虛擬培訓(xùn)場(chǎng)景，使用Arduino和Python平臺(tái)進(jìn)行情感實(shí)時(shí)監(jiān)測(cè)，通過(guò)UE4可視化編程和藍(lán)圖通信實(shí)現(xiàn)情感交互。通過(guò)在虛擬環(huán)境中完成裝配任務(wù)的效率，驗(yàn)證情感交互在虛擬裝配培訓(xùn)系統(tǒng)中的有效性。實(shí)驗(yàn)步驟如下：（1）實(shí)驗(yàn)開(kāi)始前培訓(xùn)被試實(shí)驗(yàn)所需的按鍵操作，讓被試熟悉VR場(chǎng)景和HTC Vive按鍵操作，并讓被試自由練習(xí)2～3分鐘。（2）被試閱讀紙質(zhì)實(shí)驗(yàn)任務(wù)，任務(wù)是將拆分的球閥零件進(jìn)行裝配。（3）為被試佩戴好VR頭盔和手柄，并連接上GSR傳感器，詢(xún)問(wèn)被試是否已經(jīng)做好準(zhǔn)備可以正式開(kāi)始實(shí)驗(yàn)。（4）被試正式開(kāi)始實(shí)驗(yàn)。被試在確定進(jìn)入虛擬環(huán)境中后開(kāi)始計(jì)時(shí)，裝配過(guò)程中實(shí)時(shí)監(jiān)測(cè)被試的情緒變化。根據(jù)情緒變化提供交互提示，直到被試將零件裝配完成。實(shí)驗(yàn)全程對(duì)被試操作畫(huà)面進(jìn)行錄屏，并記錄保存被試的GSR數(shù)據(jù)。（5）實(shí)驗(yàn)完后成對(duì)被試進(jìn)行訪(fǎng)談，記錄他們的用戶(hù)體驗(yàn)和對(duì)交互設(shè)計(jì)方案的建議。

實(shí)驗(yàn)召集了19名本科生，均沒(méi)有裝配經(jīng)驗(yàn)。通過(guò)對(duì)實(shí)驗(yàn)變量被試完成實(shí)驗(yàn)時(shí)間、被試GSR數(shù)據(jù)、被試語(yǔ)音、高亮、視頻提示后操作分析。被試完成實(shí)驗(yàn)的總時(shí)間統(tǒng)計(jì)見(jiàn)圖5。實(shí)驗(yàn)結(jié)果顯示絕大多數(shù)被試可以在規(guī)定的15分鐘內(nèi)完成裝配，平均完成實(shí)驗(yàn)的時(shí)間為9分鐘41秒，實(shí)驗(yàn)時(shí)間最長(zhǎng)的為15分鐘53秒，最短的為6分鐘5秒。大多數(shù)被試表示，經(jīng)過(guò)語(yǔ)音、高亮、視頻提示后已經(jīng)完全了解了球閥的裝配過(guò)程。

通過(guò)對(duì)采集的被試GSR數(shù)值隨時(shí)間變化進(jìn)行分析，GSR數(shù)值變化代表了被試情緒的變化，GSR數(shù)值越高，被試情緒越緊張激烈。兩名被試實(shí)驗(yàn)過(guò)程中GSR數(shù)值變化見(jiàn)圖6。在圖6a中，被試在實(shí)驗(yàn)過(guò)程中情緒穩(wěn)定，順利完成實(shí)驗(yàn)。在圖6b中，被試情緒不穩(wěn)定，多次出現(xiàn)了較為強(qiáng)烈的情緒變化。圖中紅色的點(diǎn)代表傳感器檢測(cè)到了被試情緒的變化，并且現(xiàn)場(chǎng)觀測(cè)到被試裝配操作遇到困難，這時(shí)在虛擬場(chǎng)景中給被試提供了提示，第一次紅點(diǎn)提供語(yǔ)音提示，第二次紅點(diǎn)提供高亮提示，第三次紅點(diǎn)提供視頻指導(dǎo)?？梢詮募t點(diǎn)周?chē)鶪SR數(shù)值的變化推斷出在給出交互提示后，被試GSR數(shù)值會(huì)有階段性降低和穩(wěn)定，說(shuō)明在被試遇到裝配困難而產(chǎn)生強(qiáng)烈情緒變化時(shí)，給出裝配提示能有效緩解個(gè)體情緒，增強(qiáng)自信心，提高裝配積極性。

圖5 被試完成實(shí)驗(yàn)的總時(shí)間統(tǒng)計(jì)

圖6 兩名被試實(shí)驗(yàn)過(guò)程中GSR數(shù)值變化

觀察被試實(shí)驗(yàn)全程錄屏，對(duì)比不同交互提示下被試操作的變化，可以看出大多數(shù)人在給出語(yǔ)音提示后，能夠意識(shí)到給出的提示信息，嘗試了提示所給出的零件的裝配操作，但是因?yàn)樘崾拘畔⒉怀浞植荒軌蛘_地完成語(yǔ)音提示的操作。高亮提示后，操作者往往對(duì)球閥的裝配掌握了80%的信息，已經(jīng)能夠根據(jù)提示和觀測(cè)到的零件結(jié)構(gòu)成功裝配提示的零件。給出指導(dǎo)視頻后，被試已經(jīng)能夠完全掌握球閥的裝配步驟，能根據(jù)視頻快速發(fā)現(xiàn)自己的錯(cuò)誤并予以改正。實(shí)驗(yàn)結(jié)果表明，在航空航天虛擬裝配培訓(xùn)場(chǎng)景下的情感化交互設(shè)計(jì)能夠有效縮短培訓(xùn)時(shí)間，提升系統(tǒng)的易學(xué)性、易記憶性、有用性、可達(dá)性、高效性，具有界面美感與交互效能，用戶(hù)滿(mǎn)意度高。

5 結(jié)語(yǔ)

在虛擬環(huán)境中融入情感交互，使機(jī)器能夠察言觀色，主動(dòng)與人產(chǎn)生互動(dòng)，提高了裝配工作效率，精簡(jiǎn)了交互流程步驟，提升了交互效率，增強(qiáng)了用戶(hù)體驗(yàn)。本文研究航天航空虛擬裝配培訓(xùn)場(chǎng)景下情感交互系統(tǒng)的創(chuàng)新設(shè)計(jì)，結(jié)合基于生理信號(hào)的情感識(shí)別、語(yǔ)音交互和視覺(jué)交互。以航空航天球閥的虛擬裝配培訓(xùn)為例，構(gòu)建具有情感交互的培訓(xùn)系統(tǒng)，實(shí)驗(yàn)表明情感交互可以有效縮短培訓(xùn)時(shí)間，提高培訓(xùn)用戶(hù)體驗(yàn)?zāi)繕?biāo)和可用性目標(biāo)的達(dá)成，為未來(lái)航空航天領(lǐng)域下情感交互設(shè)計(jì)提供研究基礎(chǔ)。

[1] 余力凡. 虛擬現(xiàn)實(shí)技術(shù)在航天控制領(lǐng)域的應(yīng)用[J]. 航天控制, 2004, 22(3): 79-83.

YU Li-fan. Application of Virtual Reality Technology in Aerospace Control Field[J]. Aerospace Control, 2004, 22(3): 79-83.

[2] 宋倩, 洪海波, 楊辰, 等. 私有云平臺(tái)上的航天產(chǎn)品虛擬裝配培訓(xùn)技術(shù)研究[J]. 軍民兩用技術(shù)與產(chǎn)品, 2021(4): 17-22.

SONG Qian, HONG Hai-bo, YANG Chen, et al. Virtual Assembly Training Technology of Aerospace Products on Private Cloud Platform[J]. Dual Use Technologies & Products, 2021(4): 17-22.

[3] Bosch N, Chen Y, D Mello S. It’s Written on Your Face: Detecting Affective States from Facial Expressions while Learning Computer Programming[C]. Honolulu: International Conference on Intelligent Tutoring Systems, 2014.

[4] Khalfallah J, Slama J B H. Facial Expression Recognition for Intelligent Tutoring Systems in Remote Laboratories Platform[J]. Procedia Computer Science, 2015, 73: 274-281.

[5] Preeti K, Sasikumar M. Recognising Emotions from Ke-yboard Stroke Pattern[J]. International Journal of Computer Applications, 2010, 11(9): 24-28.

[6] Rozanska A, Podpora M. Multimodal Sentiment Analysis Applied to Interaction between Patients and A Humanoid Robot Pepper[J]. 2019, 52(27): 411-414.

[7] Chen L, Wu M, Zhou M, et al. Information-Driven Multirobot Behavior Adaptation to Emotional Intention in Human-Robot Interaction[J]. IEEE Transactions on Co-g-nitive and Developmental Systems, 2018, 10(3): 647- 658.

[8] Man Hao, Weihua Cao, Min Wu, et al. Proposal of Initi-a-tive Service Model for Service Robot[J]. CAAI Transa-ctions on Intelligence Technology, 2019, 2(4): 148-153.

[9] Javed H, Jeon M, Park C H. Adaptive Framework for Emotional Engagement in Child-Robot Interactions for Autism Interventions[C]. Jeju, Korea: International Con-ference on Ubiquitous Robots, 2018.

[10] Hao Y, Budd J, Jackson M M, et al. A Visual Feedback Design Based on A Brain-computer Interface to Assist Users Regulate Their Emotional State[C]. New York: CHI Extended Abstracts on Human Factors in Computing Systems, 2014.

[11] Peng F, Labelle V, Yue E, et al. A Trip to the Moon: Per-sonalized Animated Movies for Self-reflection[C]. New York: CHI Conference on Human Factors in Computing Systems, 2018.

[12] Miri P, Flory R, Uusberg A, et al. HapLand: A Scalable Robust Emotion Regulation Haptic System Testbed[C]. Colorado: CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2017.

[13] Mark Bubel, Ruiwen Jiang, Christine H Lee, et al. Awa-r-eMe: Addressing Fear of Public Speech through Aware-ness[C]. New York: CHI Conference Extended Abstracts on Human Factors in Computing Systems, 2016.

[14] Luis Cruz, Jonathan Rubin, Rui Abreu, et al. A Wearable and Mobile Intervention Delivery System for Individuals with Panic Disorder[C]. Linz, Austria: International Conference on Mobile and Ubiquitous Multimedia, 2015.

[15] Brinkman W P, Hartanto D, Kang N, et al. A Virtual Re-a-lity Dialogue System for the Treatment of Social Phobia[C]. New York: CHI Extended Abstracts on Human Factors in Computing Systems, 2012.

Emotional Interaction Design in Aerospace Virtual Assembly Training

WANG Xiao-hui1, WANG Jia-yu1, ZHAO Kai2, QIN Jing-yan1,3

(1.University of Science and Technology Beijing, Beijing 100083, China; 2.Northwest Research Institute of Engineering Investigations and Design, Shaanxi 710003, China; 3.Hainan University, Hainan 570228, China)

This work combines virtual reality with emotional interaction design to explore the applications on aerospace assembly training and to improve training efficiency and improve training experience. By investigating the research on multimodal emotional interaction, the emotional interaction model in aerospace virtual assembly training is built by using emotion recognition based on physiological signals, speech interaction, highlights and videos. Taking the virtual assembly training of aerospace ball valve as an example, an aerospace virtual assembly training system with emotional interaction is constructed. Real-time emotional monitoring is performed by using physiological data collected from GSR sensors worn on the user’s finger. Three interactive schemes are provided according to different emotions: speech interaction, highlights and video. The effectiveness of emotional interaction in virtual assembly training system is verified by the efficiency of completing assembly tasks in the virtual environment. The experimental results show that the emotional interaction design can effectively shorten the training time and greatly improve the training experience of users. This work can promote the research on the multimodal emotional interaction paradigm by combining physiological signals, speech interaction, visual interaction, etc. This work verifies the effectiveness of the emotional interaction in the application of aerospace virtual assembly training, which has wide academic meaning and application prospects.

virtual reality; aerospace; assembly training; interaction design; emotional interaction

TB472

A

1001-3563(2022)02-0010-07

10.19554/j.cnki.1001-3563.2022.02.002

2021-08-09

長(zhǎng)江學(xué)者獎(jiǎng)勵(lì)項(xiàng)目（FRF-TP-18-010C1）；教育部2020年第二批產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（202101042001）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金（QNXM20210025）；佛山市促進(jìn)高?？萍汲晒?wù)產(chǎn)業(yè)發(fā)展扶持項(xiàng)目（2020DZXX05）

王曉慧（1987—），女，山東人，博士，北京科技大學(xué)教授，主要研究方向?yàn)榍楦杏?jì)算、虛擬現(xiàn)實(shí)、信息可視化等。