體感交互技術(shù)應(yīng)用于基礎(chǔ)教育的成效初探

劉亮

摘要：人工智能時(shí)代的教育形態(tài)在持續(xù)變化。體感技術(shù)結(jié)合學(xué)習(xí)內(nèi)容資源應(yīng)用于基礎(chǔ)教育的學(xué)習(xí)場景，能夠?qū)崿F(xiàn)趣味性的自主探究互動(dòng)學(xué)習(xí)模式，是教育信息化技術(shù)創(chuàng)新應(yīng)用的關(guān)注重點(diǎn)，也是人工智能大趨勢下虛擬現(xiàn)實(shí)技術(shù)落地教育應(yīng)用的典型場景。作者所在單位過去四年的體感交互學(xué)習(xí)資源建設(shè)研究成果表明，體感交互學(xué)習(xí)具有情境化和游戲化的特點(diǎn)，并能采集測評學(xué)習(xí)過程數(shù)據(jù)，在情境扮演游戲、安全自護(hù)演練、體質(zhì)測評運(yùn)動(dòng)干預(yù)及特殊教育個(gè)別化訓(xùn)練等基礎(chǔ)教育應(yīng)用場景中使用具有良好的成效和應(yīng)用推廣價(jià)值。

關(guān)鍵詞：體感交互技術(shù);基礎(chǔ)教育;情境化;游戲化

中圖分類號：G434? 文獻(xiàn)標(biāo)識碼：A? 論文編號：1674-2117（2019）11-0094-04

● 背景介紹

現(xiàn)代教育技術(shù)的信息化和數(shù)字化迅速普及，智能時(shí)代的教育形態(tài)也在改變。教學(xué)單位迫切需要與時(shí)俱進(jìn)，采用更高效的人機(jī)交互解決方案服務(wù)創(chuàng)新學(xué)習(xí)模式的探索，滿足日常教學(xué)與發(fā)展需求。

體感交互技術(shù)通過體感攝像頭采集彩色和深度圖像信息，捕捉判斷人體動(dòng)作姿態(tài)，與計(jì)算機(jī)軟件交互，是自然人機(jī)界面技術(shù)的典型應(yīng)用，也是人工智能應(yīng)用的重要分支領(lǐng)域。在教學(xué)應(yīng)用場景中，體感技術(shù)配合虛擬和增強(qiáng)現(xiàn)實(shí)技術(shù)，融合適切的學(xué)習(xí)內(nèi)容，有效構(gòu)建情境引導(dǎo)、自主探究、智能測評的學(xué)習(xí)流程，增強(qiáng)學(xué)生注意力、參與感、趣味度。體感交互學(xué)習(xí)彌補(bǔ)傳統(tǒng)教學(xué)手段的某些局限性，提供學(xué)生行為觀察工具和測評數(shù)據(jù)，實(shí)現(xiàn)基于游戲的自主學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)的有效學(xué)習(xí)，助力學(xué)生發(fā)展成長，具有寶貴的學(xué)習(xí)活動(dòng)應(yīng)用價(jià)值。

自2014年開始，江蘇省南京市電化教育館組織研發(fā)團(tuán)隊(duì)和試點(diǎn)學(xué)校開展了體感交互學(xué)習(xí)資源的建設(shè)研究。項(xiàng)目著眼于新技術(shù)條件下基礎(chǔ)教育教學(xué)場景的體感交互學(xué)習(xí)創(chuàng)新應(yīng)用的研究，進(jìn)行了由點(diǎn)到面的資源建設(shè)研究探索，驗(yàn)證了體感技術(shù)在情境扮演游戲、安全自護(hù)演練、體質(zhì)測評運(yùn)動(dòng)干預(yù)和特殊兒童個(gè)別化訓(xùn)練等四大領(lǐng)域的可行性和適用性，開發(fā)了相關(guān)的體感交互學(xué)習(xí)系列資源，在幼兒園、小學(xué)、初中各學(xué)段和融合教育等基礎(chǔ)教育場景中使用，取得了初步的成效。

本文基于上述體感交互學(xué)習(xí)資源開發(fā)研究的成果和經(jīng)驗(yàn)，從教育新技術(shù)應(yīng)用的角度，對體感技術(shù)在基礎(chǔ)教育領(lǐng)域的應(yīng)用成效進(jìn)行了初步的探討。

● 體感技術(shù)的特點(diǎn)

體感技術(shù)屬于新一代人機(jī)交互技術(shù)，使用計(jì)算機(jī)視覺、信號處理和機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)三維空間深度測量，人體骨骼點(diǎn)檢測，動(dòng)作、手勢、面部和語音等識別功能，從而使得操作者能夠使用身體姿態(tài)和動(dòng)作與計(jì)算機(jī)軟件進(jìn)行人機(jī)交互。體感交互的檢測技術(shù)手段主要有：①實(shí)時(shí)深度圖像、紅外圖像、高清彩色圖像視頻和音頻數(shù)據(jù)流，每秒30幀;②實(shí)時(shí)跟蹤1～6個(gè)人體，每個(gè)人體25點(diǎn)骨骼檢測識別數(shù)據(jù)流，每秒30幀;③根據(jù)采集的數(shù)據(jù)實(shí)現(xiàn)動(dòng)作檢測和識別、臉部追蹤和語音識別以及數(shù)據(jù)記錄等功能。

典型的體感動(dòng)作包含（但不限于）手勢、上肢、下肢和身體等單一或組合類型動(dòng)作：①手勢動(dòng)作——支持左右手各自上下左右揮手、前后推拉、手掌握拳松開等;②上肢動(dòng)作——單雙臂側(cè)平舉、上舉、前平舉、雙臂前舉旋轉(zhuǎn)、單臂上前拋擲、單臂下前拋擲、單臂向肩后折彎等;③下肢動(dòng)作——單腿前置/后退/左右側(cè)伸、雙腿原地踏步、單腿前踢等;④身體動(dòng)作——自由移動(dòng)、自由動(dòng)作、左右轉(zhuǎn)身、下蹲、舉手上跳、立定上下前后連續(xù)跳躍等;⑤可檢測動(dòng)作的位移、時(shí)序、速度等定量參數(shù);⑥臉部追蹤及指向性聲音采集、語音識別。

體感交互學(xué)習(xí)軟件采用體感技術(shù)，結(jié)合適切的學(xué)習(xí)內(nèi)容，依托合適的界面表現(xiàn)和交互方式，實(shí)現(xiàn)學(xué)習(xí)目標(biāo)。根據(jù)體感交互學(xué)習(xí)軟件的界面表現(xiàn)及交互方式，可將其分為以下三種場景類型：①虛擬場景——軟件界面采用二維或三維虛擬界面、畫面及場景，構(gòu)成學(xué)習(xí)內(nèi)容情境，操作者采用身體動(dòng)作與虛擬界面中的道具進(jìn)行交互。②增強(qiáng)現(xiàn)實(shí)場景——軟件界面采用體感攝像頭實(shí)時(shí)采集的現(xiàn)實(shí)視頻疊加虛擬道具，構(gòu)成真實(shí)畫面疊加虛擬道具的虛實(shí)結(jié)合場景。③混合現(xiàn)實(shí)場景——軟件界面將體感攝像頭實(shí)時(shí)采集的現(xiàn)實(shí)視頻中的操作者人像摳圖后疊加到虛擬背景和道具場景中，重新構(gòu)成真實(shí)人像融入虛擬場景的混合現(xiàn)實(shí)場景。

● 體感交互技術(shù)在基礎(chǔ)教育領(lǐng)域的應(yīng)用場景分析

體感交互的方式和特點(diǎn)能夠方便高效地創(chuàng)設(shè)學(xué)習(xí)情境，特別適合基于游戲的自主探究學(xué)習(xí)，引導(dǎo)學(xué)生參與，增強(qiáng)學(xué)習(xí)趣味性。學(xué)生通過情境、交互、測評相融合的活動(dòng)流程達(dá)成學(xué)習(xí)目標(biāo)，培養(yǎng)自我管理意識，改良認(rèn)知思維習(xí)慣，增強(qiáng)學(xué)習(xí)效果。

學(xué)齡前階段主要采用體感游戲發(fā)展幼兒的健康、語言、社會、科學(xué)、藝術(shù)五大領(lǐng)域能力，為幼兒提供視聽與動(dòng)作的多重情境刺激和感知維度，并培養(yǎng)自主學(xué)習(xí)的好奇心和求知欲，符合兒童感知和生理心理階段特點(diǎn)，是一種優(yōu)良的數(shù)字化學(xué)習(xí)手段。

小學(xué)階段主要采用體感交互學(xué)習(xí)軟件資源培養(yǎng)學(xué)生信息化環(huán)境下的學(xué)習(xí)能力，體感技術(shù)在創(chuàng)設(shè)學(xué)習(xí)情境及學(xué)生行為測評方面擁有顯著優(yōu)勢，可以彌補(bǔ)常規(guī)教學(xué)手段的某些局限性，拓展學(xué)生依托新技術(shù)手段實(shí)現(xiàn)自主探究學(xué)習(xí)的思維方式和態(tài)度。

初中階段的體感技術(shù)應(yīng)用更強(qiáng)調(diào)學(xué)習(xí)輔助及測評屬性。體感技術(shù)結(jié)合計(jì)算機(jī)視覺技術(shù)可以提供學(xué)生動(dòng)作姿態(tài)的捕捉和測評，為體質(zhì)健康測評及運(yùn)動(dòng)干預(yù)提供手段和數(shù)據(jù)，可以減輕體育教學(xué)的定標(biāo)定量工作難度，顯著激發(fā)學(xué)生的投入程度，實(shí)現(xiàn)德智體全面發(fā)展的目標(biāo)。

在融合及特殊教育場景中體感交互學(xué)習(xí)也具有獨(dú)到的優(yōu)勢。體驗(yàn)式沉浸式學(xué)習(xí)是非常有效的個(gè)別化訓(xùn)練手段，它不僅可以激發(fā)學(xué)生的肢體興趣與意識體驗(yàn)，在生活自理、社會常識、肢體康復(fù)等方面對其具有獨(dú)特的康復(fù)訓(xùn)練效果，還可以根據(jù)檢測到的學(xué)生個(gè)體的行為認(rèn)知水平實(shí)施個(gè)別化訓(xùn)練，減輕教師勞動(dòng)強(qiáng)度，提升學(xué)習(xí)效率。

● 體感交互技術(shù)在基礎(chǔ)教育領(lǐng)域的案例分析

筆者所在研究團(tuán)隊(duì)針對體感交互學(xué)習(xí)的形式和特點(diǎn)，在多感官認(rèn)知學(xué)習(xí)、基于游戲的學(xué)習(xí)、自主探究學(xué)習(xí)、合作學(xué)習(xí)、個(gè)性化學(xué)習(xí)、融合教育等各種學(xué)習(xí)活動(dòng)形式方面進(jìn)行了研究和相關(guān)的學(xué)習(xí)資源開發(fā)。

情境扮演游戲系列選取幼兒發(fā)展五大領(lǐng)域題材，構(gòu)建虛擬情境，以角色動(dòng)作進(jìn)行互動(dòng)扮演游戲，具體互動(dòng)形式有：①虛擬場景角色扮演游戲，如根據(jù)經(jīng)典兒童故事改編開發(fā)的小紅帽郊游記、三只小豬等;②實(shí)景視頻和虛擬道具融合的增強(qiáng)現(xiàn)實(shí)交互游戲，如超級舞者、職業(yè)換裝扮演、兒童實(shí)像與虛擬玩偶互動(dòng)游戲等;③實(shí)景人物摳圖融合虛擬場景的混合現(xiàn)實(shí)交互體驗(yàn)，如海底星空、世界大觀等。

安全自護(hù)演練系列針對少兒生命安全教育，培養(yǎng)生存技能，強(qiáng)化逃生及安全自護(hù)意識。系列資源模擬學(xué)校、家庭、商場、戶外等各類場所火警、地震、雷擊等虛擬險(xiǎn)情場景和道路交通情境，構(gòu)建安全的代入式學(xué)習(xí)環(huán)境，將各個(gè)知識點(diǎn)嵌入游戲進(jìn)程，由學(xué)生自主探究，以對應(yīng)動(dòng)作驅(qū)動(dòng)虛擬場景發(fā)展，檢測學(xué)生應(yīng)對險(xiǎn)情的動(dòng)作行為，通過游戲得分機(jī)制測評學(xué)生學(xué)習(xí)表現(xiàn)給予演練評分，實(shí)現(xiàn)體感交互模擬演練和效果評估。該系列資源可以通過不同場景拓展學(xué)生在安全教育實(shí)訓(xùn)室學(xué)習(xí)到的基本概念，虛擬場景構(gòu)建成本大大低于實(shí)體場景，且可以模擬諸多實(shí)訓(xùn)環(huán)境無法模擬的場景，充分體現(xiàn)了體感交互學(xué)習(xí)的代入式、多場景、動(dòng)作測評、低成本，以及規(guī)避訓(xùn)練安全風(fēng)險(xiǎn)的優(yōu)勢，成為常規(guī)知識學(xué)習(xí)和基本安全實(shí)訓(xùn)之外的一個(gè)優(yōu)良學(xué)習(xí)手段，打破了現(xiàn)有學(xué)習(xí)方式的某些局限性。

體質(zhì)測評運(yùn)動(dòng)干預(yù)系列融合體質(zhì)、體能和技能學(xué)習(xí)目標(biāo)，依托體感技術(shù)實(shí)現(xiàn)對學(xué)生動(dòng)作進(jìn)行捕捉、檢測、指標(biāo)判定及結(jié)果反饋的定量定標(biāo)測評功能，以游戲化的形式呈現(xiàn)給學(xué)生，實(shí)現(xiàn)體質(zhì)測評和運(yùn)動(dòng)干預(yù)的閉環(huán)流程，形成隨時(shí)隨地可運(yùn)動(dòng)的游戲化體育氛圍。特別地，依托體感及計(jì)算機(jī)視覺技術(shù)，研究團(tuán)隊(duì)還實(shí)現(xiàn)了對初中生和小學(xué)生在單杠引體向上、燕式平衡、立定跳起摸高、高抬腿、全身強(qiáng)度體育練習(xí)等科目中的全身骨骼實(shí)時(shí)定量追蹤，無需穿戴任何器械設(shè)備即可采集運(yùn)動(dòng)數(shù)據(jù)，測評學(xué)生體質(zhì)健康能力，凸顯體感技術(shù)的數(shù)據(jù)功能優(yōu)勢。

特殊兒童個(gè)別化訓(xùn)練系列關(guān)注特殊兒童（腦癱后遺癥、唐氏綜合癥、孤獨(dú)癥、多動(dòng)癥等）個(gè)別化身體康復(fù)鍛煉、感統(tǒng)及官能康復(fù)、注意力訓(xùn)練和簡單認(rèn)知學(xué)習(xí)的融合及特殊教育場景。其中一個(gè)資源案例采用增強(qiáng)現(xiàn)實(shí)方式，學(xué)生根據(jù)屏幕鏡像自我形象視頻與虛擬道具交互，通過體感技術(shù)對學(xué)生頭部轉(zhuǎn)動(dòng)的角度進(jìn)行檢測、跟蹤和界面反饋，實(shí)現(xiàn)注意力訓(xùn)練。上述資源能夠提供有效的刺激引導(dǎo)，使特殊兒童從被動(dòng)訓(xùn)練轉(zhuǎn)向半自主參與學(xué)習(xí)，并能夠記錄學(xué)生學(xué)習(xí)的過程數(shù)據(jù)和提供定量的測評指標(biāo)，大大減輕了教師勞動(dòng)強(qiáng)度，幫助教師有效利用輔導(dǎo)時(shí)間，關(guān)注學(xué)生對訓(xùn)練刺激的反應(yīng)和行為及認(rèn)知矯正，對融合及特殊教育的康復(fù)訓(xùn)練和學(xué)習(xí)具有顯著的效果和實(shí)際應(yīng)用價(jià)值。

上述案例結(jié)果表明，運(yùn)用體感技術(shù)的基礎(chǔ)教育學(xué)習(xí)場景較之傳統(tǒng)課堂，極大地改變了學(xué)生的學(xué)習(xí)方式，凸顯了課堂中學(xué)生的自主探究學(xué)習(xí)動(dòng)能，有效提高了教學(xué)效率。

● 體感交互技術(shù)應(yīng)用于基礎(chǔ)教育領(lǐng)域的成效探討

體感交互技術(shù)在各個(gè)學(xué)科有廣泛的滲透性，在其優(yōu)勢學(xué)習(xí)場景內(nèi)具有顯著的使用價(jià)值，特別體現(xiàn)在它的情境、互動(dòng)、測評三個(gè)特點(diǎn)上。例如，體感交互方式對幼兒及低年級小學(xué)生的空間方位訓(xùn)練極其有效，對實(shí)施運(yùn)動(dòng)、表演、音律、生活體驗(yàn)、安全演練等方面的學(xué)習(xí)活動(dòng)具有極強(qiáng)的吸引力和較高的學(xué)習(xí)效率，還能夠采用非接觸方式采集學(xué)生動(dòng)作數(shù)據(jù)，提供更加便捷的學(xué)習(xí)測評手段。筆者所在研究團(tuán)隊(duì)對體感技術(shù)應(yīng)用于基礎(chǔ)教育場景的成效有如下體會：

（1）體感交互通過多感官即時(shí)反饋提升學(xué)習(xí)注意力、趣味性和效果。運(yùn)動(dòng)促進(jìn)全身血液循環(huán)和靈敏度，游戲互動(dòng)增強(qiáng)趣味性，從而幫助學(xué)生在體感交互學(xué)習(xí)過程中更好地集中注意力。另外，體感技術(shù)在教學(xué)應(yīng)用中可以充分激活學(xué)生的視、聽、肢體運(yùn)動(dòng)等感覺，并通過界面反饋調(diào)整學(xué)生的應(yīng)激反應(yīng)，有效提升其在游戲中的置入感、沉浸感和具像感。多感官刺激提高學(xué)生的手眼協(xié)調(diào)能力，促進(jìn)學(xué)習(xí)效率和效果的提升。

（2）創(chuàng)新表達(dá)方式通過教學(xué)主體轉(zhuǎn)換有效增強(qiáng)學(xué)習(xí)主動(dòng)性并開啟創(chuàng)新思維。體感技術(shù)的應(yīng)用使得學(xué)習(xí)行為本身成為機(jī)體與環(huán)境相互作用的過程，通過自主探究的特點(diǎn)將學(xué)生推向了學(xué)習(xí)過程的中心，而教師在活動(dòng)中則扮演了設(shè)計(jì)、引導(dǎo)和教練的角色。另外，體感技術(shù)提供了新穎有趣的自然動(dòng)作表達(dá)方式，夸張的肢體活動(dòng)不僅有利于學(xué)生對概念的認(rèn)知，也能幫助他們在運(yùn)動(dòng)中放松舒緩情緒，在輕松歡樂的環(huán)境中實(shí)現(xiàn)有效的學(xué)習(xí)，激發(fā)創(chuàng)新思維能力。

（3）合作或競爭式學(xué)習(xí)促進(jìn)學(xué)生能力和個(gè)性發(fā)展。體感交互學(xué)習(xí)軟件支持多個(gè)學(xué)生同時(shí)參與或輪流參與，根據(jù)教學(xué)目標(biāo)設(shè)計(jì)出讓學(xué)生結(jié)對對抗或分組合作等多種形式的競技活動(dòng)，加強(qiáng)了學(xué)生之間的人際互動(dòng)聯(lián)系，促進(jìn)了團(tuán)隊(duì)合作能力。

（4）體感交互學(xué)習(xí)可以幫助減輕學(xué)生用眼壓力。數(shù)字化學(xué)習(xí)設(shè)施和環(huán)境導(dǎo)致學(xué)生面對屏幕的時(shí)間快速增加，而相較于移動(dòng)平板等小屏，體感交互學(xué)習(xí)使用42英寸以上的大屏幕，且需要至少1.5米可視距離，并不可能持續(xù)使用，因而可以減輕學(xué)生用眼壓力。

（5）體感交互技術(shù)協(xié)助大數(shù)據(jù)收集，為個(gè)性化學(xué)習(xí)提供數(shù)據(jù)依據(jù)。體感游戲不但可以實(shí)時(shí)捕捉學(xué)生的行為，還能記錄學(xué)生的行為軌跡。因此在體感游戲上疊加運(yùn)動(dòng)數(shù)據(jù)檢測功能，對于運(yùn)動(dòng)監(jiān)測和調(diào)整設(shè)定個(gè)性化的體育學(xué)習(xí)目標(biāo)具有很高的應(yīng)用價(jià)值，可以很好地支撐個(gè)性化體育學(xué)習(xí)的實(shí)踐探索。

● 總結(jié)

體感交互技術(shù)在基礎(chǔ)教育領(lǐng)域的應(yīng)用屬于信息化時(shí)代下人工智能新技術(shù)服務(wù)教學(xué)需求的典型案例，具有創(chuàng)新性、可行性和適切性，也具備一定程度的不可替代性。體感交互學(xué)習(xí)資源能夠有效融合情境、交互、測評三個(gè)關(guān)鍵要素，實(shí)現(xiàn)預(yù)期的學(xué)習(xí)目標(biāo)，同時(shí)，大部分的學(xué)習(xí)資源還可以打破原先設(shè)定的應(yīng)用場景和應(yīng)用年段限制，達(dá)到多場景多年段共用，是一種優(yōu)異的數(shù)字化學(xué)習(xí)手段和測評工具。

當(dāng)然，和其他新技術(shù)一樣，教師在這類教學(xué)活動(dòng)的設(shè)計(jì)上普遍缺乏經(jīng)驗(yàn)，體感交互學(xué)習(xí)需要新的教學(xué)法支持，修正并形成固定可操作的教學(xué)模式可能會需要一個(gè)較長的探索過程。為達(dá)到較好的效果，亟須對教師進(jìn)行專項(xiàng)培訓(xùn)，并提供典型課例與可供參考的教學(xué)方案。此外，由于體感交互學(xué)習(xí)資源更傾向于在非正式的學(xué)習(xí)活動(dòng)中使用，常常缺乏明確的、可度量的教學(xué)目標(biāo)，或者和現(xiàn)有教學(xué)目標(biāo)存在偏差。由此導(dǎo)致由于缺乏合適的評價(jià)模型和評價(jià)策略，對參與者學(xué)習(xí)結(jié)果和學(xué)習(xí)績效的衡量比較困難。

下一步，筆者所在研究團(tuán)隊(duì)將繼續(xù)開展體感技術(shù)在基礎(chǔ)教育領(lǐng)域的深度和廣度研究與開發(fā)，尤其將加強(qiáng)對其在相關(guān)學(xué)科方面教學(xué)方法標(biāo)準(zhǔn)化應(yīng)用的探索，并對如何結(jié)合特色課程進(jìn)行項(xiàng)目開發(fā)進(jìn)行深度探索。

參考文獻(xiàn)：

[1]張?jiān)姵?，錢冬明.體感技術(shù)現(xiàn)狀和發(fā)展研究[J].華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2014（02）：40-49.

[2]李青，王青.體感交互技術(shù)在教育中的應(yīng)用現(xiàn)狀述評[J].遠(yuǎn)程教育研究，2015（01）：48-56.

[3]袁旭.體感交互技術(shù)教育應(yīng)用研究現(xiàn)狀分析[J].中國教育信息化，2016（10）.

[4]楊寧.體感交互技術(shù)在幼兒教育中的應(yīng)用[J].幼兒教育：教育科學(xué)，2016（01）：35-38.

[5]徐云，朱旻芮.體感游戲?qū)χ钦蟽和深A(yù)的效用分析[J].中國特殊教育，2016（09）：24-29.

[6]李為.新技術(shù)、新模式、新應(yīng)用[J].南京教育，2019（01）.

[7]周云.基于體感技術(shù)的單杠引體向上測評應(yīng)用研究[Z].中國教育科學(xué)研究院三等獎(jiǎng)研究報(bào)告，2017.