體感交互學(xué)習(xí)資源研究與開(kāi)發(fā)

郝雷

摘要：體感交互技術(shù)是人機(jī)交互歷史上的一次革命。在教育應(yīng)用方面，體感交互學(xué)習(xí)開(kāi)始進(jìn)入課堂，取得了較好的影響。本文對(duì)國(guó)內(nèi)外體感交互學(xué)習(xí)資源建設(shè)進(jìn)行了分析，并介紹了南京市體感交互學(xué)習(xí)資源的研發(fā)背景、研發(fā)思路、建設(shè)目標(biāo)、技術(shù)支撐及研究成果等，以期能夠充分發(fā)揮體感交互技術(shù)在教育中的應(yīng)用。

關(guān)鍵詞：體感交互技術(shù)；體感交互學(xué)習(xí)；資源研發(fā)

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A 論文編號(hào)：1674-2117（2016）21-0096-03

國(guó)內(nèi)外體感交互學(xué)習(xí)資源建設(shè)現(xiàn)狀述評(píng)

體感交互技術(shù)是當(dāng)前教育信息化研究應(yīng)用的十大關(guān)注技術(shù)領(lǐng)域之一。在教學(xué)中，體感交互學(xué)習(xí)具有多媒體視聽(tīng)性和人機(jī)交互便利性等特點(diǎn)，它能夠高效構(gòu)建學(xué)習(xí)情境，融合信息感知，提供一種寓教于樂(lè)的信息化教學(xué)方法，并有助于支撐創(chuàng)新教學(xué)模式的實(shí)踐探索。

近幾年，國(guó)內(nèi)外各科研及教學(xué)單位的技術(shù)開(kāi)發(fā)者都在積極地研究拓展體感交互學(xué)習(xí)的應(yīng)用，并取得了一定的進(jìn)展。目前，體感交互學(xué)習(xí)研究主要集中在兒童體感游戲、孤獨(dú)癥兒童康復(fù)訓(xùn)練等方面的技術(shù)可行性和零散案例建設(shè)，其中微軟公司開(kāi)發(fā)的各種游戲體感軟件已進(jìn)入家庭。這些產(chǎn)品和研究均表明體感交互學(xué)習(xí)具有實(shí)際使用價(jià)值及廣闊的應(yīng)用前景。然而，對(duì)其在各教學(xué)應(yīng)用場(chǎng)景、各學(xué)段、各學(xué)科中應(yīng)用的研究，卻尚未進(jìn)入一定深度和廣度的資源體系建設(shè)階段。下面，筆者對(duì)南京市展開(kāi)的體感交互學(xué)習(xí)資源的研究與開(kāi)發(fā)進(jìn)行分析與總結(jié)，以期能夠充分發(fā)揮體感交互技術(shù)在教育中的應(yīng)用。

體感交互學(xué)習(xí)資源的研究與開(kāi)發(fā)

1.研發(fā)背景

2014年，南京市電化教育館制訂了《〈南京市教育信息化兩年行動(dòng)計(jì)劃（2014—2015年）〉行動(dòng)方案》，方案中的六大行動(dòng)工程之一“基于網(wǎng)的教育”行動(dòng)工程明確指出南京市要大力開(kāi)展新技術(shù)、新媒體的研究與實(shí)驗(yàn)，并圍繞中小學(xué)部分學(xué)科課程，在全市建設(shè)新技術(shù)教育應(yīng)用體驗(yàn)中心（基地），逐步形成探索和推廣的機(jī)制。

在此背景下，南京市電化教育館開(kāi)始了新技術(shù)在教育教學(xué)中的應(yīng)用研究，體感技術(shù)被納入研究之列。南京市第五幼兒園、南京市光華東街小學(xué)、南京市攝山中學(xué)、南京華之聚信息科技有限公司開(kāi)展了體感交互學(xué)習(xí)資源在幼兒園、小學(xué)、中學(xué)中的開(kāi)發(fā)與建設(shè)。筆者作為團(tuán)隊(duì)成員之一參與了體感交互學(xué)習(xí)資源的研究與開(kāi)發(fā)。

2.研發(fā)思路

本項(xiàng)目的總體研發(fā)思路是針對(duì)不同學(xué)段及不同學(xué)科，有側(cè)重地進(jìn)行體感交互學(xué)習(xí)資源的開(kāi)發(fā)建設(shè)。首先，從資源體系架構(gòu)層面，綜合考慮應(yīng)用場(chǎng)景、學(xué)科、學(xué)段等因素。其次，體感交互學(xué)習(xí)資源建設(shè)緊扣學(xué)習(xí)指導(dǎo)綱要，發(fā)揮體感交互和測(cè)評(píng)兩大技術(shù)特色，瞄準(zhǔn)實(shí)際需求點(diǎn)，明確教學(xué)目標(biāo)，選定適切題材，以游戲互動(dòng)為形式，強(qiáng)調(diào)學(xué)生自主探究、參與度和趣味性。最后，通過(guò)“試用—反饋—論證”，提煉體感交互學(xué)習(xí)的不可替代的應(yīng)用規(guī)律，總結(jié)其教育價(jià)值和使用效益，從而為體感交互學(xué)習(xí)資源建設(shè)路線圖提供必要的案例和理論支撐。

研究表明，在學(xué)前教育領(lǐng)域，體感游戲不僅能夠?yàn)橛變禾峁┮暵?tīng)與動(dòng)作的多維度綜合刺激，符合兒童學(xué)習(xí)感知和生理心理特點(diǎn)，潛移默化地培養(yǎng)走、跑、鉆、爬、跳等動(dòng)作技巧、音律舞蹈訓(xùn)練、常識(shí)認(rèn)知、觀察表達(dá)能力及其他適齡教學(xué)目標(biāo)，而且能夠促進(jìn)兒童探索環(huán)境、理解世界、游戲與交流、表達(dá)自我、解決問(wèn)題。

在基礎(chǔ)教育領(lǐng)域，體感交互技術(shù)在創(chuàng)設(shè)情境及行為測(cè)評(píng)方面擁有顯著優(yōu)勢(shì)，能夠彌補(bǔ)常規(guī)教學(xué)手段的某些局限性。教學(xué)者可以圍繞特定的教學(xué)目標(biāo)（如安全自護(hù)和感統(tǒng)訓(xùn)練等），采用“情境引導(dǎo)+自主行為+智能測(cè)評(píng)融合”的智能交互功能，實(shí)現(xiàn)教學(xué)流程和效果測(cè)評(píng)，從而更好地激發(fā)學(xué)生的自主學(xué)習(xí)興趣，養(yǎng)成自我管理意識(shí)及良好的認(rèn)知思維習(xí)慣。此外，針對(duì)高年級(jí)小學(xué)生和初中生身心發(fā)育階段特點(diǎn)，教育者可以弱化體感交互學(xué)習(xí)的低齡游戲化形式，強(qiáng)調(diào)學(xué)習(xí)輔助及效果測(cè)評(píng)工具屬性。同時(shí)，體感技術(shù)還可用于體育或類似的教學(xué)場(chǎng)景，提供學(xué)生動(dòng)作姿態(tài)的定量捕捉和測(cè)評(píng)數(shù)據(jù)，以信息化手段和數(shù)據(jù)來(lái)驅(qū)動(dòng)教學(xué)方法創(chuàng)新。

3.建設(shè)目標(biāo)

體感交互學(xué)習(xí)的研究推廣需要豐富和持續(xù)的資源體系支撐。首先，需要針對(duì)場(chǎng)景、學(xué)科和學(xué)段的若干維度，歸納總結(jié)案例經(jīng)驗(yàn)，建立體感交互學(xué)習(xí)資源建設(shè)的創(chuàng)新性、可行性、適切度、不可替代性、性價(jià)比等標(biāo)準(zhǔn)。其次，通過(guò)內(nèi)容開(kāi)發(fā)、案例建設(shè)、效果評(píng)估、標(biāo)準(zhǔn)論證的螺旋上升式的、循序漸進(jìn)的研究過(guò)程，構(gòu)建科學(xué)均衡的資源體系架構(gòu)，提供資源建設(shè)路線圖和內(nèi)容開(kāi)發(fā)指導(dǎo)，并加速實(shí)現(xiàn)其規(guī)模推廣態(tài)勢(shì)。

根據(jù)體感交互學(xué)習(xí)自身的特點(diǎn)，研究團(tuán)隊(duì)從架構(gòu)和內(nèi)容兩方面構(gòu)建體感交互學(xué)習(xí)資源體系，其內(nèi)容為：①確定幼兒園、小學(xué)和初中學(xué)段體感互動(dòng)學(xué)習(xí)適切開(kāi)發(fā)的題材；②制作系列體感交互學(xué)習(xí)軟件；③研究體感交互學(xué)習(xí)應(yīng)用開(kāi)發(fā)流程和使用環(huán)境參數(shù)；④建設(shè)應(yīng)用案例，形成使用輔導(dǎo)材料和視頻資源；⑤通過(guò)案例回顧、效果測(cè)評(píng)、文獻(xiàn)調(diào)研、專家論證，建立資源建設(shè)路線圖。

4.技術(shù)支撐

體感交互學(xué)習(xí)需要技術(shù)的支撐及硬件的保障。筆者所在的研究團(tuán)隊(duì)聯(lián)合專業(yè)技術(shù)團(tuán)隊(duì)，采用了國(guó)際領(lǐng)先的Kinect體感開(kāi)發(fā)軟硬件平臺(tái)、Unity3d跨平臺(tái)游戲引擎、數(shù)字媒體動(dòng)畫(huà)創(chuàng)意制作、OpenCV計(jì)算機(jī)視覺(jué)開(kāi)源平臺(tái)及若干自研圖形、圖像和信號(hào)處理算法等手段來(lái)開(kāi)發(fā)體感交互學(xué)習(xí)軟件、課件和游戲等資源。

當(dāng)然，僅僅依靠這些技術(shù)手段還是遠(yuǎn)遠(yuǎn)不夠的，還必須具有界面的藝術(shù)設(shè)計(jì)和接受學(xué)習(xí)內(nèi)容策劃方面的專家指導(dǎo)，才能夠?yàn)橘Y源開(kāi)發(fā)提供全面高效的技術(shù)支撐。

5.階段性成果

項(xiàng)目執(zhí)行兩年來(lái)，筆者所在的項(xiàng)目團(tuán)隊(duì)針對(duì)體感人機(jī)交互技術(shù)手段在若干學(xué)習(xí)場(chǎng)景下的可行性及適用性進(jìn)行了研究探索，從體感安全自護(hù)模擬訓(xùn)練、幼兒情境扮演游戲、體能技能訓(xùn)練游戲、感統(tǒng)交互訓(xùn)練和體育測(cè)評(píng)等五個(gè)系列構(gòu)建了體感交互學(xué)習(xí)資源體系，并開(kāi)發(fā)了配套的軟件和課件資源。經(jīng)過(guò)試用和迭代改進(jìn)，這些軟件和課件滿足了基本的使用要求，并在開(kāi)展各項(xiàng)研究和展示的活動(dòng)中獲得了一定的好評(píng)。

（1）體感安全自護(hù)模擬訓(xùn)練

針對(duì)學(xué)生在學(xué)校、家庭和社會(huì)中可能遇到的各種險(xiǎn)情場(chǎng)景，項(xiàng)目團(tuán)隊(duì)通過(guò)技術(shù)模擬，構(gòu)建了安全的代入式學(xué)習(xí)環(huán)境，由學(xué)生自主探究，以對(duì)應(yīng)動(dòng)作驅(qū)動(dòng)虛擬場(chǎng)景的發(fā)展及動(dòng)作因果的反饋，從而實(shí)現(xiàn)體感交互模擬演練。展開(kāi)生命教育，培養(yǎng)學(xué)生的生存技能，強(qiáng)化逃生及安全自護(hù)意識(shí)。

目前已開(kāi)發(fā)的資源有：①火場(chǎng)逃生資源：針對(duì)虛擬的校園火警突發(fā)情況，由學(xué)生動(dòng)作驅(qū)動(dòng)的體感模擬逃生訓(xùn)練軟件，具有練習(xí)和游戲模式；②交通安全資源：學(xué)生在虛擬三維街道場(chǎng)景內(nèi)學(xué)習(xí)過(guò)馬路常識(shí)的體感模擬練習(xí)軟件。

上述的資源均已在試點(diǎn)學(xué)校取得了較好的應(yīng)用效果。接下來(lái)，項(xiàng)目團(tuán)隊(duì)還將繼續(xù)開(kāi)發(fā)諸如逃生路線演練資源，家庭和商場(chǎng)等公共場(chǎng)所的火場(chǎng)和地震逃生演練游戲、防暴恐襲擊訓(xùn)練等社會(huì)實(shí)踐和安全自護(hù)系列的資源。

（2）幼兒情境扮演游戲

項(xiàng)目團(tuán)隊(duì)從幼兒發(fā)展五大領(lǐng)域中選取合適的題材，構(gòu)建了虛擬情境，讓幼兒以角色動(dòng)作進(jìn)行互動(dòng)扮演游戲。

目前已開(kāi)發(fā)的資源有：①虛擬場(chǎng)景角色扮演游戲（小紅帽郊游記、三只小豬、雪地狂歡等）；②實(shí)景視頻和虛擬道具融合的交互游戲（超級(jí)舞者、職業(yè)換裝扮演、兒童實(shí)像與虛擬玩偶互動(dòng)游戲等）；③實(shí)景人物摳圖融合虛擬場(chǎng)景的交互體驗(yàn)游戲（海底星空、世界大觀等）。

（3）體能技能訓(xùn)練游戲

該系列資源屬于融合體質(zhì)、體能和技能學(xué)習(xí)目標(biāo)的體感游戲。游戲通過(guò)屏幕虛擬場(chǎng)景動(dòng)態(tài)引導(dǎo)學(xué)生運(yùn)動(dòng)、統(tǒng)計(jì)動(dòng)作數(shù)據(jù)，從而實(shí)現(xiàn)隨時(shí)隨地可運(yùn)動(dòng)的游戲化體育應(yīng)用形態(tài)。

目前已經(jīng)開(kāi)發(fā)的資源有：龜兔賽跑、踢足球（小學(xué)版、幼兒版）、保齡球（體驗(yàn)、拋擲方向）、貓接蛋（側(cè)向走停折返跑）、體感彈球（側(cè)向折返+上肢運(yùn)動(dòng)）、打地鼠（手眼協(xié)調(diào)）、切水果（手眼協(xié)調(diào)）、太空Boom（體質(zhì)+反應(yīng)）等。

（4）感統(tǒng)交互訓(xùn)練

針對(duì)特殊兒童的特點(diǎn)，項(xiàng)目團(tuán)隊(duì)利用體感交互技術(shù)的優(yōu)勢(shì)，結(jié)合人與器械、人與計(jì)算機(jī)的多重交互，輔助腦癱、唐氏綜合癥、孤獨(dú)癥等感統(tǒng)及官能康復(fù)訓(xùn)練，提供測(cè)評(píng)數(shù)據(jù)。

目前已經(jīng)開(kāi)發(fā)的資源有：沉香救母感統(tǒng)平衡木和8字環(huán)訓(xùn)練軟件資源（結(jié)合小學(xué)語(yǔ)文教材內(nèi)容），并已在開(kāi)展特殊兒童隨班就讀的南京市光華東街小學(xué)進(jìn)行了常態(tài)化的應(yīng)用。

（5）體育測(cè)評(píng)系列

體育測(cè)評(píng)具有依托體感（人體位置、姿態(tài)追蹤和三維空間測(cè)距）技術(shù)實(shí)現(xiàn)對(duì)學(xué)生的動(dòng)作進(jìn)行捕捉、檢測(cè)、指標(biāo)判定及結(jié)果反饋的定量、定標(biāo)測(cè)評(píng)功能。

目前已經(jīng)開(kāi)發(fā)的資源有：?jiǎn)胃芤w向上、跳繩等體質(zhì)鍛煉測(cè)評(píng)軟件。

反思與展望

兩年來(lái)，南京市的體感交互學(xué)習(xí)資源建設(shè)取得了一些成績(jī)。項(xiàng)目基本達(dá)成了預(yù)期的階段性開(kāi)發(fā)目標(biāo)，驗(yàn)證了體感技術(shù)在游戲活動(dòng)、安全自護(hù)、智障個(gè)性化訓(xùn)練、體育測(cè)評(píng)等應(yīng)用場(chǎng)景的技術(shù)可行性和場(chǎng)景適用性，也取得了諸多的應(yīng)用需求點(diǎn)的信息和思路，并初步地應(yīng)用了資源開(kāi)發(fā)成果。

但與此同時(shí)，項(xiàng)目團(tuán)隊(duì)也更加具體、深刻地認(rèn)識(shí)到了一些有待改進(jìn)的領(lǐng)域和挑戰(zhàn)，一是，資源的應(yīng)用領(lǐng)域：以幼教為主，其他學(xué)段的應(yīng)用建設(shè)也需要加強(qiáng)，特別是特教領(lǐng)域具有一定的開(kāi)發(fā)前景；二是，需要充實(shí)界面美術(shù)開(kāi)發(fā)隊(duì)伍，加快開(kāi)發(fā)速度和質(zhì)量；三是，需要更多地融合其他相關(guān)技術(shù)補(bǔ)充體感技術(shù)的局限性；四是，需要更多地摸準(zhǔn)體感應(yīng)用場(chǎng)景的不可替代性；等等。

在接下來(lái)的研發(fā)周期，項(xiàng)目團(tuán)隊(duì)將進(jìn)一步明確體感資源研發(fā)項(xiàng)目的定位，開(kāi)發(fā)目標(biāo)將更具體、更準(zhǔn)確。將進(jìn)一步思考如何更好地與課程相融合，并創(chuàng)新性地開(kāi)發(fā)基于國(guó)家課程、地方課程和校本課程的輔助教學(xué)資源。同時(shí)，充分發(fā)揮體感交互技術(shù)不可替代性的特點(diǎn)，在安全教育、體育測(cè)評(píng)、隨班就讀等方面發(fā)揮積極的作用；充分與其他技術(shù)有機(jī)融合，從完整性、課題化、課程化、移動(dòng)化等方面入手，開(kāi)發(fā)出集二維碼、APP、微課、可攜帶設(shè)備、可穿戴設(shè)備于一體的綜合性資源。