混合現(xiàn)實環(huán)境中具身交互如何促進科學(xué)概念理解

黃紅濤　孟紅娟　左明章　鄭旭東

摘要：具身認知和混合現(xiàn)實是當(dāng)代認知科學(xué)和信息技術(shù)創(chuàng)新發(fā)展的兩大前沿，推動教育研究與實踐的范式發(fā)生深刻變化。具身認知強調(diào)身體參與認知過程的理論觀點對促進科學(xué)概念的理解具有獨特作用，而混合現(xiàn)實為學(xué)習(xí)者的具身參與和交互提供了技術(shù)支撐?；诖私?gòu)具身型混合現(xiàn)實學(xué)習(xí)環(huán)境，是打破虛擬環(huán)境和實體環(huán)境之阻隔，讓學(xué)習(xí)者充分使用自己的身體開展各種認知活動，真正促使學(xué)生從“離身”走向“具身”，并促進其對科學(xué)概念深度理解的重要途徑。當(dāng)前實踐領(lǐng)域已有不少研究通過設(shè)計能夠激發(fā)具身交互的情境和活動，來幫助學(xué)習(xí)者對科學(xué)、地理、數(shù)學(xué)和生物等學(xué)科知識進行深度理解，并認為具有顯著效果。然而這些研究更多是在特定的技術(shù)創(chuàng)新及其約束性條件下驅(qū)動的，沒有將研究焦點明確置于技術(shù)創(chuàng)新在教育境脈中的功效之上，也沒有回答“如何有效”和“為何有效”的深層科學(xué)問題。因而，未來混合現(xiàn)實環(huán)境中具身交互促進科學(xué)概念理解的研究應(yīng)在兩個方面著力：一是逐步發(fā)展一套能在混合現(xiàn)實環(huán)境中有效促進科學(xué)概念理解的具身交互策略，二是在實證研究中逐步揭示混合現(xiàn)實學(xué)習(xí)環(huán)境中具身交互促進科學(xué)概念理解的認知加工機制。

關(guān)鍵詞：具身認知;混合現(xiàn)實;學(xué)習(xí)環(huán)境;概念理解;深度學(xué)習(xí)

中圖分類號：G434? ?文獻標識碼：A? ? 文章編號：1009-5195（2018）06-0028-09? doi10.3969/j.issn.1009-5195.2018.06.004

*基金項目：國家科技支撐計劃課題“科技館建設(shè)及展示展教關(guān)鍵技術(shù)研究”（2015BAK33B02）;華中師范大學(xué)中央高?；究蒲袠I(yè)務(wù)費項目“面向特殊人群的無障礙展教技術(shù)研究”（CCNU18TS041）。

作者簡介：黃紅濤，工程師，華中師范大學(xué)信息化辦公室;孟紅娟，工程師，華中師范大學(xué)教育信息技術(shù)學(xué)院國家級文科綜合實驗教學(xué)示范中心;左明章，教授，博士生導(dǎo)師，華中師范大學(xué)教育信息技術(shù)學(xué)院;鄭旭東（通訊作者），教授，博士生導(dǎo)師，華中師范大學(xué)教育信息技術(shù)學(xué)院（湖北武漢 430079）。

一、基于具身認知觀點對概念理解的探索

具身認知是一種反對笛卡爾身心二元論的哲學(xué)思潮，它經(jīng)由認知科學(xué)和心理學(xué)而逐漸進入教育學(xué)，陸續(xù)引發(fā)各種學(xué)習(xí)和教學(xué)理論不斷涌現(xiàn)，驅(qū)動教學(xué)實踐的內(nèi)容、方式、過程及其效果評估發(fā)生變革。具身認知強調(diào)認知根植于身體行動，經(jīng)驗建構(gòu)于具身交互。更確切地講，人的身體在認知過程中發(fā)揮著非常關(guān)鍵的作用，認知是通過身體、心靈和環(huán)境的交互作用而形成的。

對具身認知的探討始于對心智具身性的思考。瓦雷拉（Francisco J. Varela）、湯普森（Evan Thompson）和羅施（Eleanor Rosch）所著的《具身心智》就是一個原典，它的許多主題——認知科學(xué)對計算主義忠誠的幻滅、對吉布森主義和聯(lián)結(jié)主義認知進路的同情、對表征概念在認知解釋上過度作用的懷疑、對知覺和認知必須與行動相聯(lián)的自信——在具身認知中已經(jīng)上升為教條的地位（Varela et al.，1991）。隨后，克拉克（Andy Clark）、西倫（Rsther Thelen）、史密斯（Linda B. Smith）、威爾遜（Margaret Wilson）、夏皮羅（Lawrence Shapiro）等人也紛紛加入到具身認知的研究陣營，使具身認知的輪廓變得更加清晰。與此同時，“心智活動包括腦、身體和世界以及它們之間的交互作用”這一核心思想也日益受到推崇，并引起博爾吉（Anna M. Borghi）、卡薩桑托（Daniel Casasanto）、約斯特曼（Nils B. Jostmann）、尼登塔爾（Paula M. Niedenthal）等很多實驗心理學(xué)家的關(guān)注，這使得人們對具身心智的探討從思辨走向?qū)嵶C和實驗。具身認知的研究也開始利用神經(jīng)科學(xué)的方法和技術(shù)、數(shù)據(jù)和結(jié)論，把認知對身體及其感覺運動系統(tǒng)的依賴性帶進人們的視野，其理論的科學(xué)化水平不斷提高，具身認知科學(xué)開始登上認知研究的歷史舞臺。

隨著具身認知科學(xué)的興起，傳統(tǒng)認知科學(xué)所堅持的概念與思維的非模態(tài)理論——人類通過感知覺獲得的信息可以轉(zhuǎn)化為抽象的非模態(tài)符號，思維的過程就是對非模態(tài)符號信息提取與加工的過程——開始受到越來越多的挑戰(zhàn)。從具身認知的觀點出發(fā)對概念理解的研究，最具煽動性的辯護之一是建立在對思維中隱喻作用的分析之上。語言學(xué)家萊考夫（George Lakoff）和約翰遜（Mark Johnson）是該領(lǐng)域的杰出人物。他們在對大量隱喻現(xiàn)象進行分析后指出：隱喻不僅是一種語言修辭手段，更反映了人類認知的重要特征;人類的抽象概念系統(tǒng)是以感知覺經(jīng)驗和具體概念為基礎(chǔ)發(fā)展形成的，抽象概念的加工與對其進行隱喻化描述的身體經(jīng)驗密切相關(guān)（Lakoff & Johnson，1980）。以此為基礎(chǔ)，萊考夫和約翰遜（Lakoff & Johnson，1999）提出了頗具影響力的概念隱喻理論，進一步確立了身體經(jīng)驗在概念理解中的重要地位。與此同時，Barsalou（1999）提出了知覺符號理論。該理論主張概念表征不是一種獨立的抽象符號或心理表象，而是神經(jīng)表征;人是以體認的方式認識世界，概念與思維的實現(xiàn)必須通過人的身體經(jīng)驗，而不是依靠超驗和抽象符號。

很多研究表明：在對概念進行加工和處理的過程中，感覺和運動系統(tǒng)會被激活（Mahon et al.，2008）。神經(jīng)科學(xué)的相關(guān)基礎(chǔ)研究對上述觀點進行了驗證，并進一步揭示了其具體的工作機制。Pulvermüller（2005）的一項研究表明：當(dāng)用穿顱磁刺激（Transcranial Magnetic Stimulation）的亞閾值對手臂活動進行刺激時，運動區(qū)域通常會被激活。當(dāng)強磁脈沖引起右手肌肉收縮時，被試對與手部相關(guān)單詞的處理速度會比與腿部相關(guān)單詞的處理速度更快。由此可以證明：與行動相關(guān)的神經(jīng)托換（neural underpinning）有助于對概念的理解。最新的研究則進一步闡明了基于具身認知觀點的交互促進概念習(xí)得的具體工作機制。Dackermann等人（2017）發(fā)現(xiàn)：在空間與概念之間建立起映射、個人空間不同區(qū)域之間的動態(tài)交互、不同空間參照系的整合是影響具身交互中概念習(xí)得的三個主要潛在因素。他們以數(shù)量關(guān)系這個概念的習(xí)得為例，具體闡明了這一工作機制：通過全身的運動把數(shù)量和空間聯(lián)系在一起，這涉及到個人空間不同區(qū)域之間的交互作用和不同空間參照系的整合，二者會激活一個映射過程，通過這個映射過程，學(xué)習(xí)者會建立空間-數(shù)量的心理表征，而這一心理表征的建立會增進其對數(shù)量這一概念的理解，并促使學(xué)習(xí)者超越空間-數(shù)量聯(lián)結(jié)對數(shù)字進行加工和處理。

具身認知的理論觀點對促進科學(xué)概念的理解具有獨特作用。與日常概念不同，科學(xué)概念是一個對某些自然現(xiàn)象進行解釋的想法或模型。比如，我們對物體落到地球上這個自然現(xiàn)象的理解就是通過重力這個科學(xué)概念得到解釋的?？茖W(xué)概念具有明確的內(nèi)涵和外延，即它所包含的知識內(nèi)容是具體且明確的，它能夠解釋的現(xiàn)象范圍也是具體且明確的。因此對科學(xué)概念的理解也涉及兩個層面：一是掌握這個概念包含的知識內(nèi)容，二是利用概念對特定的自然現(xiàn)象進行解釋。聶波特等人（Niebert et al.，2012）提出，對科學(xué)概念的理解是需要具身的，因為學(xué)生在從日常知識向科學(xué)概念不斷深入學(xué)習(xí)的過程中，隱喻和模擬發(fā)揮著關(guān)鍵作用，這一點在過去20年的科學(xué)教育研究中已經(jīng)成為學(xué)界的共識，而隱喻和模擬正是具身認知科學(xué)對概念理解所持的基本觀點。在科學(xué)概念的教學(xué)中，一個好的教學(xué)隱喻和教學(xué)模擬，是需要有具身來源的。這種具身來源主要表現(xiàn)為日常經(jīng)驗，而這些日常經(jīng)驗通常被概念化在一些諸如容器、路徑、平衡、上下之類的圖式之中。也正是在這一意義上，具身交互對科學(xué)概念的理解才具有獨特的促進作用。

二、人機交互領(lǐng)域?qū)呱斫换ピO(shè)計的研究

交互設(shè)計的概念產(chǎn)生于20世紀80年代。它由美國人比爾·莫格里奇（Bill Moggridge）在1984年的一次設(shè)計會議上提出。20世紀90年代后期，人機交互的研究重點逐步擴展到智能化交互、多模態(tài)-多媒體交互、虛擬交互及人際協(xié)同交互等方面，也就是“以人為中心”的人機交互上，并取得了顯著進展。理論方面，交互設(shè)計從人機工程學(xué)中獨立出來，更加強調(diào)認知心理學(xué)、行為學(xué)和社會學(xué)等學(xué)科的理論指導(dǎo)。實踐方面，交互設(shè)計從人機界面拓延開來，強調(diào)計算機對于人的反饋交互作用。在國外，交互設(shè)計已成為一個與視覺設(shè)計、產(chǎn)品設(shè)計等設(shè)計領(lǐng)域密切相關(guān)的學(xué)科領(lǐng)域，并取得了豐碩的研究成果，如庫珀等（Cooper et al.，2007）的《About Face 3：交互設(shè)計精髓》、蒂德韋爾（Tidwell，2010）的《設(shè)計接口：有效交互設(shè)計的模式》等，都是交互設(shè)計領(lǐng)域的代表作，在交互產(chǎn)品邏輯設(shè)計、界面設(shè)計及用戶體驗設(shè)計等方面發(fā)揮著重要的引領(lǐng)作用。

值得注意的是，20世紀90年代后期，人機交互領(lǐng)域開始引入胡塞爾的現(xiàn)象學(xué)，日益重視交互的具身性?！熬呱怼本哂腥矫娴暮x，分別是生理性或解剖學(xué)意義上的，作為習(xí)得性機能的，以及社會浸浴下的（Dreyfus，1996）。而所謂交互的具身性是指交互是一種與上述三方面密切關(guān)聯(lián)的現(xiàn)象，它發(fā)生于這個世界中，包括應(yīng)對物理世界，處理社會關(guān)系，提供交互的形式、物質(zhì)和意義。Dourish（2001）出版的《行動在哪里：具身交互的基礎(chǔ)》一書把“具身”確立為人機交互的一個基礎(chǔ)概念，奠定了人機交互領(lǐng)域內(nèi)具身交互研究的基石。人機交互的模式在經(jīng)歷了電子化交互、符號化交互、文本化交互、圖形化交互后，為有形化計算和社會化計算所取代，有形化計算和社會化計算的融合發(fā)展進一步推動了人機交互向具身型交互邁進（Myers，1988）。

在理論上，人機交互領(lǐng)域?qū)呱斫换サ难芯吭从诤麪枺℉usserl，1965）生活世界觀的啟示。他認為生活世界具有一種不言而明的特質(zhì)。哈貝馬斯（Habermas，1991）將這種自明性演繹為情境性，而伊德（Ihde，1990）則將其落實到人與技術(shù)之具身、詮釋、它異和背景關(guān)系的建立和轉(zhuǎn)換。生活世界的哲學(xué)闡釋為交互設(shè)計研究提供了多種啟發(fā)，作為場所或背景的生活世界使交互設(shè)計回歸日常生活。數(shù)字技術(shù)的目標在于支持或增強，而不是擾亂人們的日常工作、學(xué)習(xí)和生活，因此它們應(yīng)該寓居于環(huán)境之中，成為支持人們?nèi)粘；顒拥囊粋€有機組成部分。而“具身”正是人們面對日常世界的方式，是日常世界存在的屬性：它不僅指物理現(xiàn)實，還指社會參與狀態(tài)（Dourish，2001）。

具身交互拒斥人類認知建基于抽象的信息加工這樣一種觀點，其研究焦點集中于實際參與和身體構(gòu)造在人機交互中是如何塑造人的知覺、經(jīng)驗和認知的。在具身認知科學(xué)不斷進步的加持下，特別是在現(xiàn)象學(xué)的引領(lǐng)下，人機交互領(lǐng)域有關(guān)具身交互的研究持續(xù)進步。近年來，人機交互領(lǐng)域有關(guān)具身交互的研究進展主要包括以下方面（Marshall et al.，2013）：全身交互為具身交互設(shè)計提供的新機遇被不斷開拓;應(yīng)用于人機交互中的現(xiàn)象學(xué)理論不斷得到發(fā)展;用于支撐具身交互的技術(shù)手段不斷進步;身體操作促進意義生成的更多細節(jié)得到解釋;輔助盲人的觸覺增強系統(tǒng)被創(chuàng)造出來;以認知的具身、嵌入和延展為特征的認知科學(xué)理論得到發(fā)展等。

三、具身型混合現(xiàn)實學(xué)習(xí)環(huán)境的構(gòu)建與應(yīng)用

混合現(xiàn)實學(xué)習(xí)環(huán)境是一個利用混合現(xiàn)實技術(shù)構(gòu)造起來的計算機支持的學(xué)習(xí)環(huán)境。在該環(huán)境中，來自真實世界和虛擬世界的各種對象被整合到一個單一的學(xué)習(xí)進程中。如果這個環(huán)境還具有支持具身交互的功能，那么它就可以被稱為“具身型混合現(xiàn)實學(xué)習(xí)環(huán)境”（Embodied Mixed Reality Learning Environment，簡稱EMRLE）。具身型混合現(xiàn)實學(xué)習(xí)環(huán)境是一個媒體融合型的交互式學(xué)習(xí)環(huán)境。它介于一個從真實現(xiàn)實環(huán)境到虛擬現(xiàn)實環(huán)境的連續(xù)統(tǒng)上，是增強現(xiàn)實環(huán)境與增強虛擬環(huán)境的融合體，且具有支持具身交互的功能。在該環(huán)境中，用于軌跡追蹤的魔杖、用來做筆記的電子白板之類的物理實體對象和使用技術(shù)設(shè)備投影出來的數(shù)字內(nèi)容之類的數(shù)字虛擬對象均被整合為一個整體（Milgram? et al.，1994）。

具身型混合現(xiàn)實學(xué)習(xí)環(huán)境大都具有以下四個顯著特征：一是多模態(tài)，至少有一個以上的實體空間環(huán)境與數(shù)字虛擬環(huán)境在同時運行;二是增強現(xiàn)實，來自虛擬環(huán)境中用戶的視音頻信息被投射到真實世界中的參與者身上;三是增強虛擬，來自真實世界中用戶的視音頻信息被投射到虛擬世界中的參與者身上;四是富媒體交流，真實世界和虛擬世界中的參與者可借助各種技術(shù)設(shè)備與不同環(huán)境中的參與者進行實時/非實時、面對面/非面對面的交流。這些特征讓具身型混合現(xiàn)實學(xué)習(xí)環(huán)境能夠打破虛擬環(huán)境和實體環(huán)境之間的阻隔，實現(xiàn)二者之間的融合，從而讓學(xué)習(xí)者能夠在其中使用自己的身體展開各種認知活動，讓學(xué)習(xí)從“離身”走向“具身”的新境界。

目前，最具代表性的具身型混合現(xiàn)實學(xué)習(xí)環(huán)境首推美國亞利桑那州立大學(xué)設(shè)計開發(fā)的“情境化多媒體藝術(shù)學(xué)習(xí)實驗室”（Situated Multimedia Arts Learning Lab，簡稱SMALLab）（Birchfield et al.，2006）。SMALLab是一個使用了各種動作捕捉設(shè)備，并嵌入了高度協(xié)同的教學(xué)法的教育平臺。它以為中小學(xué)教育創(chuàng)建一個變革型學(xué)習(xí)環(huán)境為目標，以推進具身認知在學(xué)校教育與博物館教育中的應(yīng)用為使命。多年的應(yīng)用與研究表明：與其他類型的技術(shù)平臺和學(xué)習(xí)環(huán)境相比，SMALLab在促進學(xué)生知識理解、提升學(xué)生協(xié)作質(zhì)量、提高教師教學(xué)水平等方面具有獨特優(yōu)勢（Bower et al.，2017）。

從技術(shù)層面來看，SMALLab是一個以實體教室為主，以計算機網(wǎng)絡(luò)技術(shù)、物聯(lián)網(wǎng)技術(shù)、紅外線傳感技術(shù)為輔的混合學(xué)習(xí)環(huán)境。它利用物理跟蹤器、感應(yīng)攝像頭、音頻揚聲器、視頻投影儀等設(shè)備，以人的身體作為學(xué)習(xí)的接口，通過多種形式的感官輸入，與情境產(chǎn)生交互作用，營造逼真的臨場感和沉浸感，并激發(fā)學(xué)習(xí)者的參與感和挑戰(zhàn)欲，進而體驗、建構(gòu)和生成知識。SMALLab設(shè)置有12個動力感應(yīng)攝像頭，將學(xué)習(xí)者的位置、姿勢和動作等身體信息全程記錄下來，并傳送給計算機。在實驗室頂部設(shè)有投影儀，它會在前方的橡膠地板上投射出一片區(qū)域，投影儀的光線交織在一起形成相應(yīng)的虛擬物，學(xué)習(xí)者可以在不接觸物體本身的情況下，通過肢體動作與虛擬物進行互動，從而體驗和探究與學(xué)習(xí)主題相關(guān)的知識和原理。除此之外，身處互動空間周圍的其他學(xué)習(xí)者也可以看到學(xué)習(xí)場景中的媒體變化情形和人機互動結(jié)果，并與他人進行直接交流與實時協(xié)作。

從功能架構(gòu)層面來看，SMALLab主要包括場景建構(gòu)、多通道感知、動態(tài)視覺、聲音反饋等模塊。其中，視覺傳感依靠安裝在活動空間周圍的同步視頻攝像機來實現(xiàn)，主要用于跟蹤物體的運動速度、幅度、位置等。音頻傳感依賴于排列在互動空間周圍的麥克風(fēng)來實現(xiàn)，它具有兩個功能：一是實時記錄學(xué)習(xí)者發(fā)出的聲音，以供后續(xù)的交互性練習(xí)使用;二是通過聲音分析模塊驅(qū)動空間中的互動媒體，提取音頻在音調(diào)、聲波上的相關(guān)特征，以描述學(xué)習(xí)者身體運動與其聲音之間的關(guān)系。聲音反饋模塊涉及的技術(shù)包括揚聲器、低音炮音箱以及聲音處理與播放軟件等，其主要功能在于記錄聲音，以作為學(xué)習(xí)者自我反思的材料。視覺反饋主要是利用學(xué)習(xí)者收集和標注的靜態(tài)與三維圖像、視頻片段等來實現(xiàn)，安裝在環(huán)境頂部的視頻投影可以在地板上呈現(xiàn)交互式的可視化內(nèi)容。數(shù)據(jù)建檔模塊主要負責(zé)對所有數(shù)據(jù)進行即時存儲、傳感和反饋，這些數(shù)據(jù)將為學(xué)習(xí)的過程性評價提供依據(jù)。

SMALLab可以提供兩種典型的學(xué)習(xí)環(huán)境：一種是基于實體教室改造的SMALLab物理環(huán)境，它包括基本的桌椅、互動空間以及攝像頭、揚聲器、投影機等其他設(shè)備;另一種是基于各種技術(shù)營造的SMALLab虛擬環(huán)境，它包括樣式各異且可以不斷增長的場景庫，學(xué)習(xí)者可以根據(jù)不同的需求選擇不同的學(xué)習(xí)場景。虛擬環(huán)境的場景庫中包括多種主題的學(xué)科場景，例如生物、化學(xué)、物理、地理、語言、藝術(shù)等。除此之外，SMALLab還提供了一個開放源碼的軟件開發(fā)工具包，允許教師、學(xué)生以及第三方開發(fā)人員創(chuàng)設(shè)新的教學(xué)場景，并提供個性化、針對性的教學(xué)場景服務(wù)。

總體來看，SMALLab是一個利用交互式數(shù)字媒體，在多通道傳感框架上設(shè)計的混合現(xiàn)實學(xué)習(xí)環(huán)境，它具有具身交互、多通道反饋、協(xié)作交流等特征。SMALLab為我們在理解和分析具身型混合現(xiàn)實學(xué)習(xí)環(huán)境提供了如下三方面的有益啟發(fā)：首先，SMALLab作為一個融合視覺、聽覺、觸覺等多種感官于一體的學(xué)習(xí)平臺，其在視覺傳感、音頻傳感、視覺反饋和聲音反饋等模塊上采用的技術(shù)設(shè)備和相關(guān)軟件，可以幫助學(xué)習(xí)者獲得多通道的感知與反饋信息，使學(xué)習(xí)者在不同感官通道上都能產(chǎn)生對應(yīng)的刺激和體驗。其次，SMALLab互動空間的設(shè)計，可為未來具身型學(xué)習(xí)環(huán)境的構(gòu)建提供參考和借鑒。為搭建類似于SMALLab的互動空間，營造有利于學(xué)習(xí)者體驗和理解抽象知識的場景，可將互動區(qū)域設(shè)置在空間的中心，將桌椅及相關(guān)設(shè)備放置在空間周圍，將投影儀安裝在空間頂部，以向地面投射出可交互的虛擬物。最后，應(yīng)兼顧當(dāng)前教學(xué)方法和課程內(nèi)容的有機融合。換言之，具身型混合現(xiàn)實學(xué)習(xí)環(huán)境應(yīng)具有較強的靈活性和較多的可選擇性，便于與多元的教學(xué)方法和不同的課程內(nèi)容進行有機融合，以期在滿足學(xué)習(xí)者多樣化需求的基礎(chǔ)上為其提供個性化的服務(wù)。

除了SMALLab之外，還有一些具身型混合現(xiàn)實學(xué)習(xí)環(huán)境，如CAVE、Meteor等。它們無一例外都使用了混合現(xiàn)實的若干關(guān)鍵技術(shù)。比如，它們除了圖形引擎和音頻引擎外，還使用傳統(tǒng)舞臺布景的特效引擎，以及在主題公園中常用的故事引擎，從而將各種觸覺和嗅覺設(shè)備構(gòu)造的虛擬現(xiàn)實和真實現(xiàn)實整合為一個整體，并實現(xiàn)體驗捕捉和多感官增強。另外，它們還普遍使用力觸覺反饋技術(shù)、虛擬屏幕、自動數(shù)字演員、眼動追蹤、手勢跟蹤等。力觸覺反饋技術(shù)能為用戶提供虛擬環(huán)境生成的力感和觸感反饋。虛擬屏幕的使用可以使被試降低對電腦等硬件設(shè)備在空間上的依賴。自動數(shù)字演員可以提供一個可與用戶進行更直接交互的虛擬軀體和聲音。眼動追蹤和手勢跟蹤可用于采集學(xué)習(xí)者學(xué)習(xí)過程中的各種基礎(chǔ)信息。

以SMALLab為代表的具身型混合現(xiàn)實學(xué)習(xí)環(huán)境通過設(shè)計能夠激發(fā)具身交互的情境和活動，來有效促進學(xué)習(xí)者科學(xué)、地理、數(shù)學(xué)、生物等學(xué)科知識的習(xí)得。有關(guān)具身型混合現(xiàn)實學(xué)習(xí)環(huán)境應(yīng)用研究最具有代表性的成果主要包括以下幾項：Birchfield等人（2009）以SMALLab為例，對學(xué)習(xí)者如何在具身型混合現(xiàn)實學(xué)習(xí)環(huán)境中學(xué)習(xí)地球科學(xué)進行了探索。他們在地球科學(xué)的課堂上使用SMALLab環(huán)境，以合作學(xué)習(xí)的方式對72名高中生進行了為期3天的教學(xué)干預(yù)，并與傳統(tǒng)課堂進行了對比研究。結(jié)果發(fā)現(xiàn)，在SMALLab環(huán)境中，師生之間的交流在數(shù)量上與傳統(tǒng)課堂相比顯著增強，且學(xué)生的學(xué)業(yè)成就水平顯著優(yōu)于傳統(tǒng)課堂。Johnson-Glenberg等人（2014）分別以化學(xué)滴定和疾病傳播的學(xué)習(xí)為例進行了兩組研究。其操作模式均為前3天一組置于SMALLab環(huán)境中，另一組置于傳統(tǒng)課堂中;6天后兩組環(huán)境進行互換。結(jié)果發(fā)現(xiàn)，基于具身型混合現(xiàn)實學(xué)習(xí)環(huán)境中的學(xué)習(xí)者學(xué)業(yè)成就水平顯著優(yōu)于傳統(tǒng)課堂教學(xué)環(huán)境中的學(xué)習(xí)者，且教學(xué)干預(yù)（兩種環(huán)境）的順序?qū)ψ罱K學(xué)習(xí)結(jié)果沒有影響。進一步分析表明，這種顯著性差異是由嵌入在具身型混合學(xué)習(xí)環(huán)境中的具身交互設(shè)計導(dǎo)致的。Lindgren等人（2016）在一所中學(xué)對學(xué)習(xí)者在一個混合現(xiàn)實技術(shù)營造的沉浸型、交互式學(xué)習(xí)環(huán)境中是如何學(xué)習(xí)萬有引力和行星運動進行了研究，結(jié)果發(fā)現(xiàn)，通過全身活動來演示物理學(xué)中的概念并對其中的關(guān)鍵思想進行體驗，可以產(chǎn)生顯著的學(xué)習(xí)進步，不僅學(xué)到的東西更多，而且投入水平也更高，對科學(xué)的態(tài)度也更加正面和積極。

四、推進混合現(xiàn)實環(huán)境中具身交互促進科學(xué)概念理解的策略

傳統(tǒng)意義上認為認知只是大腦的功能。但新近的研究（Froese et al.，2014）表明：交互也能夠?qū)崿F(xiàn)認知的功能，交互的動力學(xué)潛在地引導(dǎo)著認知，交互讓心智得以擴展，從而把認知轉(zhuǎn)載到環(huán)境中，進而實現(xiàn)認知的具身。這意味著身體的活動是一個觸發(fā)學(xué)習(xí)的重要催化劑，自然狀態(tài)下人的身體和手勢在混合現(xiàn)實技術(shù)的支持下可以成為觸發(fā)具身學(xué)習(xí)的重要輸入變量。然而，當(dāng)前對這一問題的探索，在很大程度上是由特定的技術(shù)創(chuàng)新及其約束性條件驅(qū)動的。這些研究通常都沒有把焦點明確地置于這些技術(shù)創(chuàng)新在教育境脈中的功效之上，多數(shù)研究僅僅回答了“是否有效”，但并沒有回答“如何有效”以及“為何有效”的深層科學(xué)問題。具體到利用混合現(xiàn)實技術(shù)支持學(xué)習(xí)者的具身交互，進而促進其對科學(xué)概念理解的研究上，也是如此?；旌犀F(xiàn)實技術(shù)營造的學(xué)習(xí)環(huán)境可以讓學(xué)習(xí)者進行計算機模擬，這已經(jīng)被證明非常有助于學(xué)習(xí)者對一些困難概念的理解，特別是在跨學(xué)科的STEAM教育中更是如此。虛擬現(xiàn)實技術(shù)構(gòu)造的交互界面具有具身的性質(zhì)，擴展了學(xué)習(xí)者與計算機模擬進行交互作用的模式。但這些新的具身交互方式對學(xué)習(xí)者概念理解和投入程度的影響及其背后深層的認知機制卻一直沒有得到有深度的科學(xué)考察。

基于以上研究進展及其面臨的挑戰(zhàn)，利用混合現(xiàn)實技術(shù)構(gòu)造具身型學(xué)習(xí)環(huán)境，基于具身型混合現(xiàn)實學(xué)習(xí)環(huán)境，開展相應(yīng)的具身交互設(shè)計，并把其應(yīng)用于對科學(xué)概念理解的教學(xué)，在科學(xué)和實踐上都具有重要意義。它不但可以推進混合現(xiàn)實技術(shù)在教育境脈中的應(yīng)用，促進實體空間環(huán)境與數(shù)字虛擬環(huán)境之間的融合與貫通;還可以發(fā)展出相應(yīng)的具身交互策略，有效地幫助學(xué)習(xí)者實現(xiàn)對科學(xué)概念的理解;更可以在基礎(chǔ)研究中深化對基于混合現(xiàn)實環(huán)境中具身交互和科學(xué)概念理解之認知機制的認識。但如何基于具身認知科學(xué)，集成混合現(xiàn)實技術(shù)，利用包括腦電在內(nèi)的各種先進的人體研究設(shè)備，推進這項系統(tǒng)的研究工作？Lindgren等人（2013）針對如何推進基于混合現(xiàn)實的具身學(xué)習(xí)研究曾提出過6條建議：第一，讓每一個學(xué)習(xí)者都能從基于身體的學(xué)習(xí)中獲益;第二，在基于混合現(xiàn)實的具身學(xué)習(xí)中要保持行動和概念的一致性;第三，針對增強現(xiàn)實技術(shù)設(shè)計應(yīng)讓學(xué)習(xí)者明確增強的究竟是什么;第四，要為學(xué)習(xí)者引入各種進行協(xié)同與合作型交互的機會;第五，要把基于實驗室場景的研究與現(xiàn)實世界中的實踐結(jié)合在一起;第六，要持續(xù)不斷地對基于混合現(xiàn)實的具身學(xué)習(xí)環(huán)境展開評估并基于評估結(jié)果進行改進。這6條建議為我們推進未來研究提供了重要參考。

推進混合現(xiàn)實環(huán)境中具身交互促進科學(xué)概念理解的研究，不僅需要構(gòu)建一個基于混合現(xiàn)實技術(shù)、能有效支持科學(xué)概念理解的具身學(xué)習(xí)環(huán)境，還要發(fā)展一套能在混合現(xiàn)實環(huán)境中有效促進科學(xué)概念理解的具身交互策略，更重要的是揭示混合現(xiàn)實學(xué)習(xí)環(huán)境中具身交互促進科學(xué)概念理解的認知加工機制。基于已有研究，未來具體的研究工作可以考慮從以下兩個方面著力。

1.構(gòu)建虛實結(jié)合的具身型學(xué)習(xí)環(huán)境并設(shè)計具身交互策略

在具身型學(xué)習(xí)環(huán)境的構(gòu)建上，有很多種技術(shù)路向可供選擇。比如，可以嘗試基于開源的Java類庫Open Wonderland，構(gòu)建一個交互式的3D虛擬環(huán)境。這個交互式的3D虛擬環(huán)境擴展了多用戶架構(gòu)，可對學(xué)習(xí)活動工作流進行處理，具有在真實對象和虛擬對象之間建立起聯(lián)系，在實體空間和虛擬空間之間進行多媒體信息交換，并對學(xué)習(xí)活動進行協(xié)調(diào)的能力。在這個交互式的3D虛擬環(huán)境中，核心組件是一個混合現(xiàn)實軟件套件。這個套件除了含有圖形引擎和音頻引擎外，還含有使用傳統(tǒng)舞臺布景的特效引擎，以及在主題公園中常用的故事引擎。它能把各種觸覺和嗅覺設(shè)備構(gòu)造的虛擬現(xiàn)實和真實現(xiàn)實整合為一個整體，并實現(xiàn)體驗捕捉和多感官增強，從而實現(xiàn)實體環(huán)境與虛擬環(huán)境的無縫聯(lián)結(jié)，使學(xué)習(xí)者在這一環(huán)境中獲得無縫的混合現(xiàn)實體驗（Cheok et al.，2002）。這樣構(gòu)建起來的具身型混合現(xiàn)實學(xué)習(xí)環(huán)境整合了實體和虛擬兩個場景，具有支持具身交互的特征。

充分發(fā)揮具身型學(xué)習(xí)環(huán)境的功能，需要有針對性地設(shè)計具身交互策略。具身的心智可以支持學(xué)習(xí)者在物理空間環(huán)境、時間動態(tài)環(huán)境、社會文化環(huán)境和情感心理環(huán)境中展開的各種活動。反過來說，學(xué)習(xí)者在物理空間環(huán)境、時間動態(tài)環(huán)境、社會文化環(huán)境和情感心理環(huán)境中展開的各種活動的耦合可以實現(xiàn)認知的具身。這意味著通過設(shè)計能促進學(xué)習(xí)者在上述四重環(huán)境中活動耦合的具身交互策略，實現(xiàn)學(xué)習(xí)者認知的具身?；旌犀F(xiàn)實學(xué)習(xí)環(huán)境中具身交互策略的設(shè)計實質(zhì)就是探討如何通過讓學(xué)習(xí)者投入到與各種人造物的交互中來創(chuàng)設(shè)、操縱和分享意義，其核心目標是通過動覺交互（Kinesthetic Interaction）來實現(xiàn)學(xué)習(xí)者認知的具身，關(guān)鍵環(huán)節(jié)在于利用各種數(shù)字技術(shù)調(diào)動學(xué)習(xí)者身體的參與，實現(xiàn)基于全身的交互。混合現(xiàn)實學(xué)習(xí)環(huán)境中具身交互設(shè)計研究的議題主要包括三個層面。

首先，在具身交互所處境脈這一層面上，具身交互及交互界面創(chuàng)新設(shè)計的基本主題有二：一是如何根據(jù)信息生成意義以對情境有所意識，二是如何借助通訊設(shè)備展開及時協(xié)同。其次，在技術(shù)環(huán)境這一層面上，分別針對體感交互設(shè)備、混合現(xiàn)實環(huán)境和具身賦能用戶，探討如何設(shè)計有效的體感交互、空間交互和人際交互策略，讓用戶獲得最佳的具身體驗。最后，在交互行為這一層面上，上述具身交互策略的設(shè)計需要綜合考慮技術(shù)環(huán)境設(shè)置的新穎程度、學(xué)習(xí)者認知投入的水平、學(xué)習(xí)者身體行動與意義建構(gòu)之間的聯(lián)結(jié)。通過對以上三個方面的探索，可以回答以下兩個科學(xué)問題：學(xué)習(xí)者是如何通過具身交互式系統(tǒng)與計算化的世界進行交互的？他們是如何通過這些作為中介的交互手段和策略與他人互動的？

2.在實證研究中揭示具身交互促進科學(xué)概念理解的認知機制

在認知層面上，混合現(xiàn)實學(xué)習(xí)環(huán)境中具身交互策略的設(shè)計涉及如何協(xié)調(diào)處理以下6個要素的關(guān)系，以促進學(xué)習(xí)者的具身交互，使其獲得最佳體驗（Enyedy et al.，2015）。第一，動覺，即肌肉運動知覺，是對身體在空間中所處位置與運動的意識，它是通過身體的運動產(chǎn)生的。第二，本體知覺，即對四肢和內(nèi)部器官所處位置有所意識以及對所付出之努力的強度進行感覺的能力，它是通過肌肉、關(guān)節(jié)和肌腱被感知到的。第三，內(nèi)部知覺，即對身體內(nèi)部器官的感知和感覺。第四，外部知覺，即通過諸如視覺和聽覺之類的外部刺激對外部環(huán)境的感知。第五，觸覺，即對外部對象的感知和操縱。第六，觸覺反饋，即指墊中的手指在低閥值機械敏感性受體的中介下產(chǎn)生的接觸感。觸覺和觸覺反饋往往很難區(qū)分，但二者具有不同意義。觸覺反饋承載的是觸覺的意義，它依靠宏觀水平上的觸覺來揭示通過指墊對紋理的感覺。動覺包括所有通過皮膚獲得的感覺、本體知覺及內(nèi)部知覺，它通常還以中介形式連接著其他形式的感覺以決定身體所處的位置和展開的運動。本體知覺和動覺緊緊纏繞在一起，因為本體知覺在很大程度上是通過身體的移動產(chǎn)生的。此外，還需要注意：本體知覺和外部知覺也不可分，因為學(xué)習(xí)者對自己的意識是同時通過外部知覺和內(nèi)部知覺形成的。正是通過各種知覺形式，學(xué)習(xí)者才能夠?qū)ψ约旱纳眢w有所了解，進而對外部的世界有所認識。上述6個元素緊密聯(lián)系在一起，共同揭示了具身交互的認知機制。

有研究者提出了一個具身交互促進數(shù)學(xué)概念理解的理論模型（Abrahamson et al.，2011;Dackermann et al.，2017）。對其進行一般化推廣，可以形成一個具身交互促進科學(xué)概念理解的理論模型，如下圖所示。這一模型的基本假設(shè)是：在外顯行為上，學(xué)習(xí)者在混合現(xiàn)實學(xué)習(xí)環(huán)境中通過全身運動，對科學(xué)概念及其與物理世界的關(guān)系進行體認，形成身體經(jīng)驗，把要學(xué)習(xí)的科學(xué)概念與空間環(huán)境聯(lián)結(jié)在一起。在心理機制上，這一聯(lián)結(jié)過程涉及到個人在不同空間區(qū)域的交互以及不同空間框架的整合，二者共同激活了學(xué)習(xí)者對空間-概念進行表征的心理過程，從而在外部行為與內(nèi)部心理之間建立起映射關(guān)系。在最終效果上，空間-概念心理表征的建立會促進學(xué)習(xí)者對概念形成理性認識，并幫助其超越空間-概念的聯(lián)結(jié)進而進行抽象的認知加工，即實現(xiàn)對科學(xué)概念的理解。基于這一理論框架，可以把學(xué)習(xí)者的具身交互行為、認知投入水平、對科學(xué)概念的意義建構(gòu)質(zhì)量分別作為一組變量，從而建立起三組變量之間的關(guān)系。通過對這三組變量之間關(guān)系的定性描述和定量表達，在下圖所示的框架下可進一步闡明具身交互促進科學(xué)概念理解過程中的認知加工機制。具體來說，一方面可以通過接入學(xué)習(xí)環(huán)境中的體動記錄儀、高精度動作捕捉系統(tǒng)、眼動儀、觸覺式力反饋設(shè)備等人體研究設(shè)備，提取學(xué)習(xí)者在具身型混合現(xiàn)實學(xué)習(xí)環(huán)境中產(chǎn)生的各種具身交互行為信息，包括肢體行為和眼動行為。另一方面可以使用尼爾森腦波帽收集被試在具身交互過程中產(chǎn)生的腦電波，通過分析不同頻段的波形（如α波、β波以及θ波等），來判斷被試在交互過程中認知投入的深淺和時間的長短，以及是否觸發(fā)了記憶等。此外，還可以使用針對特定科學(xué)概念的學(xué)業(yè)成就測驗量表，通過考試的方式對學(xué)習(xí)者在混合現(xiàn)實學(xué)習(xí)環(huán)境中完成具身交互后對科學(xué)概念的意義建構(gòu)質(zhì)量進行測量，以此來判斷學(xué)習(xí)者對特定科學(xué)概念的認知和理解水平。

圖 具身交互促進科學(xué)概念理解的過程模型

五、結(jié)語

具身認知和混合現(xiàn)實是當(dāng)代認知科學(xué)和信息技術(shù)研究的前沿，推動著教育發(fā)生深刻變化。在科學(xué)教育中，基于混合現(xiàn)實技術(shù)構(gòu)造的具身型學(xué)習(xí)環(huán)境能讓學(xué)習(xí)者在其中使用自己的身體展開各種認知活動，從而更有效地促進其對科學(xué)概念的理解。目前相關(guān)探索已成為跨學(xué)科研究的熱點。基于具身認知科學(xué)，集成多種虛擬現(xiàn)實和增強現(xiàn)實技術(shù)，構(gòu)建具身型混合現(xiàn)實學(xué)習(xí)環(huán)境，設(shè)計能促進科學(xué)概念理解的具身交互策略，揭示具身交互促進科學(xué)概念理解的具體認知加工機制，不僅可以推進混合現(xiàn)實技術(shù)在教育境脈中的創(chuàng)新應(yīng)用，促進實體空間環(huán)境與數(shù)字虛擬環(huán)境的融合，有效幫助學(xué)習(xí)者對科學(xué)概念的理解，還可以深化對混合現(xiàn)實環(huán)境中具身交互促進科學(xué)概念理解之認知機制的科學(xué)認識。

參考文獻：

[1]Abrahamson， D.， & Trninic， D. （2011）. Toward an Embodied-Interaction Design Framework for Mathematical Concepts[A]. Moher， T.， Quintana， C.， & Price， S. （Eds.） （2011）. Proceedings of the 10th International Conference on Interaction Design and Children[C]. Ann Arbor， Michigan：1-10.

[2]Barsalou， L. W. （1999）. Perceptual Symbol Systems[J]. Behavioral and Brain Sciences， 22（4）： 577-660.

[3]Birchfield， D.， Ciufo， T.， & Minyard， G. （2006）. SMALLab： A Mediated Platform for Education[A]. Proceedings of the ACM SIGGRAPH 2006 Educators Program[C]. ACM：33.

[4]Birchfield， D.， & Megowan-Romanowicz， C. （2009）. Earth Science Learning in SMALLab： A Design Experiment for Mixed Reality[J]. International Journal of Computer-Supported Collaborative Learning， 4（4）：403-421.

[5]Bower， M.， Lee， M. J. W.， & Dalgarno， B. （2017）. Collaborative Learning Across Physical and Virtual Worlds： Factors Supporting and Constraining Learners in a Blended Reality Environment[J]. British Journal of Educational Technology， 48（2）：407-430.

[6]Cheok， A. D.， Yang， X.， & Ying， Z. Z. et al. （2002）. Touch-Space： Mixed Reality Game Space Based on Ubiquitous， Tangible， and Social Computing[J]. Personal & Ubiquitous Computing， 6（5-6）：430-442.

[7]Cooper， A.， Reimann， R.， & Cronin， D. （2007）. About Face 3： The Essentials of Interaction Design[M]. John Wiley & Sons.

[8]Dackermann， T.， Fischer， U.， & Nuerk， H. C. et al. （2017）. Applying Embodied Cognition： From Useful Interventions and Their Theoretical Underpinnings to Practical Applications[J]. ZDM， 49（3）：1-13.

[9]Dourish， P. （2001）. Where the Action Is： The Foundations of Embodied Interaction[M]. Cambridge， MA： MIT Press：572-575.

[10]Dreyfus， H. L. （1996）. The Current Relevance of Merleau-Pontys Phenomenology of Embodiment[J]. The Electronic Journal of Analytic Philosophy， 4（4）：1-16.

[11]Enyedy， N.， & Danish， P. （2015）. Learning Physics Through Play and Embodied Reflection in a Mixed Reality Learning Environment[A]. Lee， V. R. （eds） （2015）. Learning Technologies and the Body： Integration and Implementation in Formal and Informal Learning Environments[M]. Routledge： 97-111.

[12]Froese， T.， Iizuka， H.， & Ikegami， T. （2014）. Embodied Social Interaction Constitutes Social Cognition in Pairs of Humans： A Minimalist Virtual Reality Experiment[J]. Scientific Reports， 4（3672）：3672.

[13]Habermas， J. （1991）. The Structural Transformation of the Public Sphere： An Inquiry into a Category of Bourgeois Society[M]. The MIT Press.

[14]Husserl， E. （1965）. Philosophy as a Rigorous Science[A]. Phenomenology and the Crisis of Philosophy[M]. New York： Harper and Row.

[15]Ihde， D. （1990）. Technology and the Life World： From Garden to Earth[M]. Bloomington： Indiana University Press.

[16]Johnson-Glenberg， M. C.， Birchfield， D. A.， & Tolentino， L. et al. （2014）. Collaborative Embodied Learning in Mixed Reality Motion-Capture Environments： Two Science Studies[J]. Journal of Educational Psychology， 106（1）：86-104.

[17]Lakoff， G.， & Johnson， M. （1980）. Metaphors We Live By[M]. Chicago， IL： University of Chicago Press.

[18]Lakoff， G.， & Johnson， M. （1999）. Philosophy in the Flesh： The Embodied Mind and Its Challenge to Western Thought[M]. Chicago， IL： University of Chicago Press.

[19]Lindgren， R.， & Johnson-Glenberg， M. （2013）. Emboldened by Embodiment： Six Precepts for Research on Embodied Learning and Mixed Reality[J]. Educational Researcher， 42（8）：445-452.

[20]Lindgren， R.， Tscholl， M.， & Wang， S. et al. （2016）. Enhancing Learning and Engagement Through Embodied Interaction within a Mixed Reality Simulation[J]. Computers & Education， 95： 174-187.

[21]Mahon， B. Z.， & Caramazza， A. （2008）. A Critical Look at the Embodied Cognition Hypothesis and a New Proposal for Grounding Conceptual Content[J]. Journal of Physiology-Paris， 102（1-3）：59-70.

[22]Marshall， P.， Antle， A.， & Hoven， E. V. D. et al. （2013）. Introduction to the Special Issue on the Theory and Practice of Embodied Interaction in HCI and Interaction Design[J]. ACM Transactions on Computer-Human Interaction （TOCHI）， 20（1）：1-3.

[23]Milgram， P.， & Kishino， F. （1994）. A Taxonomy of Mixed Reality Visual Displays[A]. Proceedings of the IEICE Trans Inform Systems[C]：1321-1329.

[24]Myers， B. A. （1998）. A Brief History of Human-Computer Interaction Technology[J]. Interactions， 5（2）：44-54.

[25]Niebert， K.， Marsch， S.， & Treagust， D. F. （2012）. Understanding Needs Embodiment： A Theory-Guided Reanalysis of the Role of Metaphors and Analogies in Understanding Science[J]. Science Education， 96（5）：849-877.

[26]Pulvermüller， F. （2005）. Brain Mechanisms Linking Language and Action[J]. Nature Reviews Neuroscience， 6（7）：576-82.

[27]Tidwell， J. （2010）. Designing Interfaces： Patterns for Effective Interaction Design[M]. O'Reilly Media， Inc.

[28]Varela， F. J.， Thompson， E.， & Rosch， E. （1991）. The Embodied Mind： Cognitive Science and Human Experience[M]. Cambridge： MIT Press.

收稿日期 2018-07-06 責(zé)任編輯 劉選