數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)“以人為本”的虛實(shí)融合沉浸式手術(shù)訓(xùn)練綜述

文／李 萌，吳欣桐，于羅欽，楊增耀（.荷蘭代爾夫特理工大學(xué) 工業(yè)設(shè)計(jì)工程學(xué)院；.西安交通大學(xué) 機(jī)械學(xué)院）

電影《頭號(hào)玩家》將虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality，VR）從學(xué)術(shù)和產(chǎn)業(yè)熱點(diǎn)帶進(jìn)大眾視野。當(dāng)主人公拉下頭戴顯示器 （簡(jiǎn)稱 “頭顯”）的那一刻，他從一個(gè)無名小卒化身為虛擬世界的頭號(hào)玩家[1]。這樣的場(chǎng)景或許在未來的5～10年將不再是科幻電影的情節(jié)，而是人們?nèi)粘Ｉ畹囊徊糠??！丁笆奈濉币?guī)劃和2035遠(yuǎn)景目標(biāo)綱要》 （簡(jiǎn)稱《“十四五”規(guī)劃》）的決議將“數(shù)字中國(guó)建設(shè)”作為重要目標(biāo)，提出“以數(shù)字化轉(zhuǎn)型驅(qū)動(dòng)生產(chǎn)方式、生活方式和治理方式變革”，其中VR與云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、區(qū)塊鏈、人工智能并列為“數(shù)字中國(guó)”的 “七大核心產(chǎn)業(yè)”[2，3]。

VR起步于20世紀(jì)80年代，主要應(yīng)用于飛行訓(xùn)練，如1984年的“超級(jí)駕駛室”項(xiàng)目。VR具備沉浸感，交互性和想象力的 “3I”特征[4]，應(yīng)用領(lǐng)域從迅速軍事及航空航天拓展到科研、工程、設(shè)計(jì)及游戲，在20世紀(jì)90年代形成第一次VR熱潮[5]。虛擬培訓(xùn)是近5年VR應(yīng)用的熱點(diǎn)領(lǐng)域之一，頂級(jí)會(huì)議IEEE VR、IEEE ISMAR和ACM CHI近3年均開展基于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)（Augmented Reality,AR）及混合現(xiàn)實(shí)（Mixed Reality,MR）的教育培訓(xùn)專題研討，涵蓋基礎(chǔ)教育、高等教育、繼續(xù)教育、職業(yè)教育和特殊教育。隨著VR等沉浸式技術(shù)在近5年的飛速發(fā)展，VR正逐漸從實(shí)景仿真走向虛實(shí)混合的延伸現(xiàn)實(shí) （Extended Reality，XR）。

一、從虛擬現(xiàn)實(shí)到延伸現(xiàn)實(shí)

Milgram等人在《增強(qiáng)現(xiàn)實(shí)：現(xiàn)實(shí)-虛擬統(tǒng)一體的一個(gè)分類》中第一次提出“虛擬-現(xiàn)實(shí)統(tǒng)一體”的概念，將完全沉浸式的虛擬環(huán)境和真實(shí)環(huán)境融合為一個(gè)整體 （見圖1）[6]。隨著Oculus Quest2和HTC Cosmos頭顯的發(fā)布，這個(gè)構(gòu)想在2020年以后從理論上的概念變?yōu)榭蓪?shí)現(xiàn)的技術(shù)現(xiàn)實(shí)。VR是一種讓人“身臨其境”的全虛擬合成世界，而AR通常指通過Pokomon Go的應(yīng)用程序或谷歌眼鏡之類智能設(shè)備為物理環(huán)境增加數(shù)字信息層，MR則連接兩者之間，將虛擬物體與物理環(huán)境相互整合，比如微軟Hololens頭顯可以讓醫(yī)學(xué)生“透視”一般看到病人的解剖結(jié)構(gòu)[7]。自2016年沉浸式技術(shù)的飛速發(fā)展并拓展到不同的應(yīng)用領(lǐng)域，VR、AR和MR的邊界已逐漸融合，學(xué)術(shù)界和工業(yè)界在2020年將三者統(tǒng)一稱為XR或者空間計(jì)算，意在強(qiáng)調(diào)“虛實(shí)融合”的沉浸式體驗(yàn)，被認(rèn)為是“XR元年”。

圖1 虛擬-現(xiàn)實(shí)統(tǒng)一體

基于XR技術(shù)的沉浸式培訓(xùn)，使用戶能夠從自然的第一人稱視角身臨其境地沉浸在學(xué)習(xí)場(chǎng)景中，通過視覺、聽覺和觸覺的多通道交互提高了認(rèn)知能力和學(xué)習(xí)效率，是XR的熱點(diǎn)應(yīng)用領(lǐng)域之一[7-9]。在安全關(guān)鍵性場(chǎng)景，如手術(shù)過程、飛行過程、駕駛過程、核反應(yīng)過程控制、消防過程及系統(tǒng)維修過程，XR培訓(xùn)系統(tǒng)能夠在保證受訓(xùn)人員安全的前提下，對(duì)危險(xiǎn)、復(fù)雜和現(xiàn)實(shí)中無法復(fù)現(xiàn)的情景進(jìn)行低成本復(fù)現(xiàn)，對(duì)現(xiàn)有模擬培訓(xùn)系統(tǒng)的有效性和效率均有大幅度提升[10-12]。

現(xiàn)有XR培訓(xùn)系統(tǒng)具有兩大優(yōu)勢(shì)：第一，虛擬培訓(xùn)具有可復(fù)現(xiàn)性，是一種經(jīng)濟(jì)高效的培訓(xùn)工具，允許受訓(xùn)者在重復(fù)練習(xí)中不斷增強(qiáng)技能熟練度，有效節(jié)省了人力和物力成本；第二，虛擬環(huán)境具有高度可控性，能夠有效降低訓(xùn)練風(fēng)險(xiǎn)，避免訓(xùn)練過程中因失誤造成的人身和財(cái)產(chǎn)安全。許多研究機(jī)構(gòu)利用XR技術(shù)，打造更逼真、更高效且更安全的沉浸式交互培訓(xùn)體驗(yàn)，并致力于開發(fā)多樣化的虛擬培訓(xùn)系統(tǒng)，以應(yīng)用于不同類型的培訓(xùn)中（見圖2，圖片來自于互聯(lián)網(wǎng)）。

圖2 XR培訓(xùn)系統(tǒng)在不同行業(yè)的應(yīng)用

二、從虛擬訓(xùn)練到沉浸式訓(xùn)練

虛擬訓(xùn)練指讓受訓(xùn)者通過仿真環(huán)境或者器具完成特定的任務(wù)并掌握技能，以應(yīng)對(duì)真實(shí)環(huán)境的危險(xiǎn)、復(fù)雜或者突發(fā)情況。虛擬醫(yī)療訓(xùn)練是XR職業(yè)培訓(xùn)的典型應(yīng)用之一。隨著全球老齡化問題的凸顯，世界各國(guó)出現(xiàn)醫(yī)療人力資源嚴(yán)重短缺，農(nóng)村邊遠(yuǎn)地區(qū)的問題尤其突出[13]。制約醫(yī)療服務(wù)質(zhì)量的主要原因之一是醫(yī)生難以得到充分培訓(xùn)，且培訓(xùn)時(shí)間長(zhǎng)、成本高?！丁笆奈濉币?guī)劃》提出“加快數(shù)字社會(huì)建設(shè)步伐”，其中智慧醫(yī)療是發(fā)展公共服務(wù)、提升人民幸福感的重點(diǎn)領(lǐng)域。

外科手術(shù)是針對(duì)創(chuàng)傷、感染、腫瘤、畸形和功能障礙等重大疾病主流的醫(yī)療方式[14]。 全國(guó)每年開展超4 000萬臺(tái)外科手術(shù)，其中微創(chuàng)手術(shù)以其創(chuàng)傷小、痛苦少、時(shí)間短、恢復(fù)快等優(yōu)點(diǎn)，在內(nèi)科、消化科、婦科、泌尿科、心血管科和腦科的診斷和治療中逐漸取代開放手術(shù)，成為外科醫(yī)學(xué)領(lǐng)域的新趨勢(shì)[15]。微創(chuàng)外科手術(shù)目前的挑戰(zhàn)是學(xué)習(xí)曲線長(zhǎng)達(dá)5年以上，而醫(yī)生的培訓(xùn)效果直接影響到病人的生命健康。

虛擬手術(shù)培訓(xùn)作為虛擬醫(yī)療培訓(xùn)的一個(gè)重要分支，擁有兩大傳統(tǒng)手術(shù)培訓(xùn)方法所不具備的優(yōu)勢(shì)： （1）虛擬手術(shù)培訓(xùn)具有可復(fù)現(xiàn)性，允許外科醫(yī)生在重復(fù)練習(xí)中不斷增強(qiáng)技能熟練度，經(jīng)濟(jì)高效，有效節(jié)省了人力、物力成本； （2）虛擬環(huán)境具有高度可控性，能夠有效降低訓(xùn)練風(fēng)險(xiǎn)，避免訓(xùn)練過程中因外科醫(yī)生失誤而威脅病人的生命健康。因此，許多研究機(jī)構(gòu)利用VR技術(shù)開發(fā)多樣化的虛擬手術(shù)培訓(xùn)系統(tǒng)，以適用于不同類型的外科手術(shù)培訓(xùn)。圖3展示的是一名醫(yī)生使用LAP MentorTM模擬器，在VR環(huán)境下進(jìn)行虛擬手術(shù)培訓(xùn)的過程。

圖3 醫(yī)生在VR環(huán)境下進(jìn)行虛擬手術(shù)培訓(xùn)

XR技術(shù)因其沉浸式、安全性、低成本、可復(fù)現(xiàn)等優(yōu)勢(shì)已應(yīng)用于基礎(chǔ)手術(shù)技能培訓(xùn)中，有效縮短了訓(xùn)練時(shí)間。研究表明，沉浸式訓(xùn)練能提高80%以上的學(xué)習(xí)效率，基于XR技術(shù)的沉浸式訓(xùn)練將成為未來的發(fā)展主流。

2.1 微創(chuàng)手術(shù)虛擬訓(xùn)練的發(fā)展

微創(chuàng)手術(shù)訓(xùn)練的兩大難點(diǎn)：一方面，相比開放手術(shù)，微創(chuàng)手術(shù)對(duì)外科醫(yī)生的生理和心理資源都有著更高的要求。狹窄的作業(yè)空間，內(nèi)窺鏡和特殊手術(shù)工具的引入，使外科醫(yī)生不得不面臨視野受限、運(yùn)動(dòng)自由度受限、支點(diǎn)效應(yīng)、手眼不協(xié)調(diào)等一系列問題，手術(shù)的復(fù)雜性和風(fēng)險(xiǎn)也隨之增加[16，17]；另一方面，相比傳統(tǒng)手術(shù)培訓(xùn)，微創(chuàng)手術(shù)培訓(xùn)存在更長(zhǎng)的學(xué)習(xí)曲線，要獲得足夠的熟練度并掌握如何分配資源以達(dá)到最佳手術(shù)效果，并在熟練醫(yī)生指導(dǎo)下完成至少20~25臺(tái)真實(shí)手術(shù)?，F(xiàn)有的手術(shù)培訓(xùn)方法如尸體解剖或箱式模擬器，對(duì)于微創(chuàng)手術(shù)過程中一些復(fù)雜度、精確度要求較高的操作訓(xùn)練難以勝任。

早期的虛擬手術(shù)訓(xùn)練高度依賴視覺反饋，導(dǎo)致交互性和實(shí)用性并不理想。例如，美國(guó)開發(fā)了大量XR技術(shù)的設(shè)備來對(duì)軍隊(duì)人員（如飛行員和作戰(zhàn)官）進(jìn)行培訓(xùn)。這些研究為XR系統(tǒng)提供了技術(shù)積累，也相應(yīng)帶動(dòng)了虛擬手術(shù)的發(fā)展。上世紀(jì)80年代，斯坦福大學(xué)的Delp和Rosen等人首次將XR技術(shù)應(yīng)用于微創(chuàng)手術(shù)中，并開發(fā)了一個(gè)用于觀察小腿肌腱移植過程和結(jié)果的手術(shù)仿真系統(tǒng)，這也是世界上最早的虛擬手術(shù)系統(tǒng)[18]。該校的Brown團(tuán)隊(duì)研發(fā)了用于血管和神經(jīng)縫合的虛擬手術(shù)系統(tǒng)，該系統(tǒng)使用顯微外科手術(shù)儀器作為輸入，能夠逼真地模擬出血管和神經(jīng)的縫合效果[19]。加利福尼亞大學(xué)針對(duì)腹腔鏡微創(chuàng)手術(shù)，開發(fā)了虛擬模擬器VESTA，并將手術(shù)評(píng)估標(biāo)準(zhǔn)引入VESTA系統(tǒng)中，在外科學(xué)員訓(xùn)練手術(shù)技能的同時(shí)，對(duì)學(xué)員的操作績(jī)效進(jìn)行客觀分析[20]。清華大學(xué)的彭亮團(tuán)隊(duì)開發(fā)了我國(guó)第一套可視化人體心臟模型[21]。

為了提升虛擬手術(shù)訓(xùn)練的真實(shí)感和可用性，學(xué)者們將視覺-觸覺反饋相結(jié)合進(jìn)行多通道仿真[22,23]。例如法國(guó)國(guó)家信息和自動(dòng)化研究所針對(duì)腹腔鏡手術(shù)模擬器開發(fā)了一款觸覺設(shè)備，可在對(duì)虛擬肝臟進(jìn)行操作時(shí)給予觸覺反饋，并同時(shí)伴隨虛擬肝臟模型的形變[24]。德國(guó)卡爾斯魯厄研究所也研發(fā)了虛擬內(nèi)窺鏡仿真系統(tǒng)，操作者通過手持醫(yī)療器械對(duì)虛擬的軟組織模型進(jìn)行抓取、燒灼、切割和縫合等操作，并獲得較為真實(shí)的觸覺反饋，對(duì)于提高受訓(xùn)醫(yī)生的手術(shù)技能有很大幫助[25]。我國(guó)在三維重建和虛擬仿真方面也取得了一定的成果。浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室對(duì)虛擬手術(shù)中的關(guān)鍵技術(shù)難點(diǎn)，例如檢測(cè)碰撞和模擬器官形變，進(jìn)行了深入研究[26]。國(guó)防科技大學(xué)針對(duì)膝關(guān)節(jié)鏡手術(shù)，研發(fā)了一套高保真度的手術(shù)仿真系統(tǒng)，取得了良好的訓(xùn)練效果[27]。西安交通大學(xué)自主研制了“真肝模擬人“腹腔鏡系統(tǒng)，如實(shí)地還原人體解剖結(jié)構(gòu)與術(shù)中的生理狀態(tài)，滿足腹腔鏡手術(shù)中基本技能的訓(xùn)練，如電切、電凝、解剖器、血管鉗夾和縫合[28]。

為了進(jìn)一步降低培訓(xùn)的復(fù)雜性和風(fēng)險(xiǎn)，學(xué)者們把頭戴式XR系統(tǒng)應(yīng)用到虛擬手術(shù)培訓(xùn)中，解決了視野受限、手眼不協(xié)調(diào)等問題。頭戴式XR系統(tǒng)人機(jī)交互性強(qiáng)，定位、反饋精確度高，且具有沉浸式的特性，使外科醫(yī)生能夠從自然和第一人稱視角沉浸在身臨其境的360°手術(shù)室交互場(chǎng)景中，有效提高了人機(jī)交互過程中用戶體驗(yàn)和感知認(rèn)知能力[15-17]。2017年，來自德國(guó)美因茨大學(xué)醫(yī)學(xué)院和馬格德堡大學(xué)的HUBER等人將普通的虛擬腹腔鏡模擬器LapSim與VR頭顯結(jié)合，開發(fā)了一款沉浸式的虛擬腹腔鏡模擬器，將模擬視頻輸出和真實(shí)手術(shù)室中標(biāo)準(zhǔn)腹腔鏡手術(shù)的360°視頻集成，經(jīng)測(cè)試該模擬器能夠讓參與模擬手術(shù)的外科醫(yī)生產(chǎn)生高度的興奮感和存在感[29]。隨著近年HTC、微軟等國(guó)際行業(yè)巨頭紛紛在VR技術(shù)領(lǐng)域進(jìn)行戰(zhàn)略布局，相繼推出Vive、Hololens等消費(fèi)級(jí)頭盔顯示器產(chǎn)品，頭戴式VR系統(tǒng)開始得到娛樂、通信、社交、教育和培訓(xùn)等各行業(yè)的重視和應(yīng)用，也更加促進(jìn)了沉浸式虛擬培訓(xùn)的發(fā)展。

盡管虛擬培訓(xùn)在手術(shù)技能訓(xùn)練中發(fā)揮了重要的作用，然而真實(shí)的手術(shù)環(huán)境與虛擬培訓(xùn)過程有著顯著差別。現(xiàn)有虛擬手術(shù)培訓(xùn)系統(tǒng)大多只關(guān)注受訓(xùn)醫(yī)生手術(shù)操作技能的熟練度，通過三維物體重建、可視化、模擬碰撞、人體器官模擬和軟組織變形算法來對(duì)某個(gè)特定手術(shù)過程進(jìn)行仿真，而忽略了真實(shí)手術(shù)室環(huán)境中諸多干擾因素的存在，如手術(shù)中各種開門聲、談話聲、器械故障導(dǎo)致的手術(shù)中斷、團(tuán)隊(duì)成員協(xié)作出錯(cuò)等。缺乏對(duì)真實(shí)手術(shù)情境的完整模擬，使外科醫(yī)生，特別是受訓(xùn)醫(yī)生難以快速適應(yīng)真實(shí)手術(shù)環(huán)境的干擾因素，往往面臨壓力的增加和應(yīng)對(duì)不良干擾能力的降低，增加手術(shù)失誤的風(fēng)險(xiǎn)，威脅患者的安全和健康[30]。

2.2 沉浸式手術(shù)過程訓(xùn)練的需求

真實(shí)手術(shù)環(huán)境中工作繁忙，環(huán)境復(fù)雜，大量的突發(fā)情境會(huì)對(duì)外科醫(yī)生產(chǎn)生干擾，并增加外科醫(yī)生的任務(wù)需求和壓力水平，因而威脅到手術(shù)安全。一方面，現(xiàn)實(shí)環(huán)境中無處不在的干擾被虛擬手術(shù)培訓(xùn)忽視，這對(duì)虛擬培訓(xùn)的有效性造成一定影響。研究表明，80%以上的醫(yī)療事故直接或間接與培訓(xùn)不足有關(guān)，60%以上的手術(shù)中的人為失誤源于醫(yī)生難以應(yīng)對(duì)復(fù)雜多變的手術(shù)環(huán)境；另一方面，目前虛擬手術(shù)培訓(xùn)多注重于提高受訓(xùn)醫(yī)生基本操作技能的熟練度，而忽略了對(duì)手術(shù)環(huán)境的完整真實(shí)再現(xiàn)，缺乏“人-機(jī)-環(huán)境”系統(tǒng)的完整性。因此，外科手術(shù)團(tuán)隊(duì)宜在盡可能接近真實(shí)的沉浸式環(huán)境中進(jìn)行培訓(xùn)，即虛擬培訓(xùn)環(huán)境需要包含干擾因素[22，31]，訓(xùn)練出更好的靈活性。

目前在這方面的研究有限。英國(guó)帝國(guó)理工學(xué)院的PRIMUS等人和美國(guó)明尼蘇達(dá)州MAYO診所心血管外科的研究人員對(duì)干擾因素進(jìn)行了分類研究并獲得了較為廣泛的認(rèn)可[32,33]。荷蘭蒂爾堡大學(xué)和代爾夫特理工大學(xué)的研究團(tuán)隊(duì)從生理指標(biāo)反映受訓(xùn)醫(yī)生的實(shí)時(shí)生理壓力水平，他們發(fā)現(xiàn)在一項(xiàng)腹腔鏡手術(shù)團(tuán)隊(duì)模擬培訓(xùn)中引入真實(shí)的干擾分心條件時(shí)，外科醫(yī)生明顯表現(xiàn)出任務(wù)得分下降、任務(wù)錯(cuò)誤和手術(shù)時(shí)間增加[34]。荷蘭代爾夫特理工大學(xué)的GANNI和LI等人進(jìn)一步研究干擾因素對(duì)受訓(xùn)醫(yī)生心理狀態(tài)的影響，基于NASA任務(wù)負(fù)荷指數(shù)，設(shè)計(jì)了問卷和半結(jié)構(gòu)化訪談，運(yùn)用主觀心理評(píng)價(jià)法分析外科醫(yī)生在腹腔鏡手術(shù)模擬過程中的心理負(fù)荷，并用以評(píng)估VR技術(shù)作為沉浸式培訓(xùn)工具的潛力[35]?，F(xiàn)階段的研究進(jìn)展表明，虛擬手術(shù)培訓(xùn)的研究已經(jīng)開始由“人-機(jī)”交互向“人-機(jī)-環(huán)”系統(tǒng)的模擬轉(zhuǎn)變。真實(shí)手術(shù)環(huán)境中的干擾因素對(duì)受訓(xùn)醫(yī)生心理、生理和培訓(xùn)績(jī)效的影響正逐漸受到重視。

針對(duì)XR培訓(xùn)的機(jī)遇和挑戰(zhàn)，結(jié)合“人-機(jī)-環(huán)境”系統(tǒng)工程科學(xué)研究思維，分析真實(shí)環(huán)境下的各種干擾因素和突發(fā)情境，使它們集成在現(xiàn)有培訓(xùn)體系中，將為沉浸式訓(xùn)練帶來全新視野。為了模擬完整的手術(shù)情景，并使場(chǎng)景根據(jù)受訓(xùn)醫(yī)生的生理心理狀態(tài)動(dòng)態(tài)調(diào)節(jié)干擾因素，亟待引入新的設(shè)計(jì)方法以整合沉浸式虛擬環(huán)境中的復(fù)雜數(shù)據(jù)。

三、從“人本設(shè)計(jì)”到數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)

“人本設(shè)計(jì)”也稱為“用戶中心設(shè)計(jì)”或“以人為中心”的設(shè)計(jì)，指產(chǎn)品和服務(wù)的設(shè)計(jì)指標(biāo)和參數(shù)是根據(jù)目標(biāo)用戶的特定任務(wù)和生理心理能力制訂，同時(shí)還考慮人和產(chǎn)品及服務(wù)的互動(dòng)過程，如圖4所示對(duì)人的“感知-認(rèn)知-行動(dòng)”過程建模并進(jìn)行設(shè)計(jì)?！叭吮驹O(shè)計(jì)”是學(xué)術(shù)界和企業(yè)界公認(rèn)保證產(chǎn)品可用性和用戶滿意度的主要方法。

圖4 無干擾環(huán)境下人執(zhí)行任務(wù)時(shí)的感知-認(rèn)知-行動(dòng)模型

越來越多的智能設(shè)備融入人們的日常生活，改變了我們固有的使用方式，這種趨勢(shì)正在隨著數(shù)字技術(shù)的浪潮日益加深。以數(shù)字技術(shù)為代表的技術(shù)創(chuàng)新顛覆性的改變著產(chǎn)品的創(chuàng)意開發(fā)過程和使用方式。各種智能產(chǎn)品和傳感器互聯(lián)互通，使人或者物變得可識(shí)別、可定位、可引導(dǎo)，甚至可控制[36]。這些技術(shù)使設(shè)計(jì)師獲得海量的用戶數(shù)據(jù)，實(shí)時(shí)傳遞著“我是誰” “什么時(shí)間” “身在何處” “做什么”以及“與誰互動(dòng)”等信息。這些信息豐富和印證了常規(guī)“人本設(shè)計(jì)”方法獲取的定性和定量數(shù)據(jù)，同時(shí)為產(chǎn)品開發(fā)團(tuán)隊(duì)帶來了數(shù)據(jù)清洗、分析和挖掘的挑戰(zhàn)[37]。

King,Churchill和Tan（2016）提出“數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)”的概念，指單純依靠定量數(shù)據(jù)進(jìn)行設(shè)計(jì)決策[38]。這種設(shè)計(jì)方法是將不同的A方案或B方案發(fā)送給不同的用戶，觀察用戶行為數(shù)據(jù)的差異，如特定鏈接的點(diǎn)擊率、下單率等，并選擇達(dá)到預(yù)期用戶行為的設(shè)計(jì)。數(shù)據(jù)驅(qū)動(dòng)方法還被用在產(chǎn)品系列的自動(dòng)化設(shè)計(jì)上，例如MA和KIM開發(fā)了數(shù)據(jù)驅(qū)動(dòng)（產(chǎn)品）系列設(shè)計(jì)算法，在短時(shí)間生成上千萬案例的處理[39]。MCGINN和KOTAMRAJU通過18個(gè)多選題收集人口統(tǒng)計(jì)和行為數(shù)據(jù)，收到來自90個(gè)國(guó)家的1 300份回復(fù)，采用探索式因子分析將他們歸類為11種用戶畫像。數(shù)據(jù)驅(qū)動(dòng)用戶畫像相比于民族志的方法有時(shí)間短、成本低和客觀性優(yōu)勢(shì)[37]。但面對(duì)海量的生理心理數(shù)據(jù)和環(huán)境數(shù)據(jù)，常規(guī)的統(tǒng)計(jì)方法將難以處理，深度學(xué)習(xí)正在逐漸成為數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)的重要工具[36]。

卷積神經(jīng)網(wǎng)絡(luò) （Convolutional Neural Network,簡(jiǎn)稱CNN）是深度學(xué)習(xí)的一種主流模型，主要用于計(jì)算機(jī)視覺、語音識(shí)別和自然語言處理等領(lǐng)域。在生理信號(hào)的建模和處理上，卷積神經(jīng)網(wǎng)絡(luò)目前的研究聚焦在利用CNN進(jìn)行信號(hào)批量處理、優(yōu)化特征和預(yù)測(cè)模型的建立。主要應(yīng)用于4種生理信號(hào)：心電圖、腦電圖、肌電圖和眼電圖。CNN在生理信號(hào)監(jiān)測(cè)分類中具有如下4點(diǎn)能力：

（1）高有效性：KADI等研究證實(shí)，針對(duì)心電圖的分析中，研究人員常將挖掘技術(shù)用于分類和預(yù)測(cè)；相比較于其他數(shù)據(jù)挖掘技術(shù)，神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)能夠獲得更高的準(zhǔn)確率[40]。朱洪海將CNN模型用于多導(dǎo)聯(lián)ECG數(shù)據(jù)研究，40條ECG記錄進(jìn)行病人內(nèi)心拍分類，準(zhǔn)確率為99.2%[41]。

（2）高效率：清華大學(xué)梁鳴團(tuán)隊(duì)提出了帶有反饋連接的卷積神經(jīng)網(wǎng)絡(luò)（RCNN）[42]。在分類過程目標(biāo)識(shí)別的過程中，盡管輸入是靜態(tài)的，RCNN相較與原來的分類方法，捕捉對(duì)象上下文中的統(tǒng)計(jì)規(guī)律能力和模型集成上下文信息得以增強(qiáng)。

（3）批量處理：GIRI等人使用一維卷積神經(jīng)網(wǎng)絡(luò)來辨別腦電信號(hào)和眼電信號(hào)，采用批量標(biāo)準(zhǔn)化來加速訓(xùn)練網(wǎng)絡(luò)的速度[43]。

（4）小訓(xùn)練樣本：LawHern的團(tuán)隊(duì)開發(fā)了EEGNet模型，采用相比常規(guī)的深度學(xué)習(xí)模型采用更小的訓(xùn)練數(shù)據(jù)集，就可以更有效地學(xué)習(xí)腦電信號(hào)時(shí)序特征[44]。

單純的數(shù)據(jù)驅(qū)動(dòng)也存在局限性，只能反映人的暫態(tài)行為，卻無法為行動(dòng)背后的需求、動(dòng)機(jī)和情緒提供合理的解釋。因此數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)需要與常規(guī)的“人本設(shè)計(jì)”相結(jié)合，才能精確而全面地對(duì)人的認(rèn)知和行動(dòng)能力進(jìn)行建模。

四、結(jié) 語

由VR、AR和MR融合形成的延伸現(xiàn)實(shí)，通過視覺、聽覺和觸覺的多通道交互提高了認(rèn)知能力和學(xué)習(xí)效率，為未來的教育和培訓(xùn)提供新的媒介和平臺(tái)。XR虛擬培訓(xùn)系統(tǒng)具有3大優(yōu)勢(shì)：第一，可復(fù)現(xiàn)性，允許在重復(fù)練習(xí)中不斷增強(qiáng)技能熟練度，經(jīng)濟(jì)高效，有效節(jié)省了人力、物力成本；第二，高度可控性，訓(xùn)練內(nèi)容可根據(jù)受訓(xùn)人員的操作績(jī)效實(shí)時(shí)動(dòng)態(tài)調(diào)整，減少記憶和疲勞效應(yīng)；第三，高度安全性，能夠有效降低訓(xùn)練風(fēng)險(xiǎn)，避免訓(xùn)練過程中因失誤造成的人身和財(cái)產(chǎn)安全。

“人-機(jī)-環(huán)”的閉環(huán)模擬是XR沉浸式訓(xùn)練的難點(diǎn)和未來方向。采用數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)與常規(guī)的“人本設(shè)計(jì)”相結(jié)合，從而精確而全面對(duì)人的認(rèn)知和行動(dòng)能力進(jìn)行建模是有待探索的關(guān)鍵問題。

致 謝：本文作者對(duì)張煜博士、陳天寧教授和韓騰博士等在研究方法和論文寫作方面提供的悉心指導(dǎo)和寶貴建議，特致感謝！