基于多通道學習的肢體運動功能康復輔助游戲研究

鄧 創(chuàng)

基于多通道學習的肢體運動功能康復輔助游戲研究

鄧 創(chuàng)

[摘要]為了提高患者在動作學習中的自主學習能力及學習效率，在對多通道學習、康復輔助游戲、多媒體動作教學的研究成果進行整理、分析、總結的基礎上，以多媒體學習生成理論與腦的可塑性理論為理論基礎，構建一種基于多通道學習的肢體運動功能康復輔助游戲的設計方法，并以此法設計康復輔助游戲，而且該設計方法適應于動作類教學材料的設計。

[關鍵詞]多媒體學習；體感交互；康復輔助游戲；動作學習

[作者]鄧創(chuàng)，哈爾濱工業(yè)大學。

一、研究背景與問題的提出

根據(jù)世界衛(wèi)生組織的預測，2020年我國老年人口將達到2.4億以上。老年群體是中風的多發(fā)群體，中風是引起肢體運動功能障礙的主要病因之一。病發(fā)初期高達85%的中風病人有肢體運動功能障礙，其中有50%的病人可以恢復部分肢體受限的功能。研究顯示：康復訓練是恢復肢體運動功能的途徑之一，有效的康復訓練能夠提高患者的運動能力、日常生活能力等。當下，康復訓練還存在一些弊端，如訓練內(nèi)容單調(diào)，訓練過程枯燥，訓練治療師資源、訓練場地有限等。學者開始探索實現(xiàn)康復訓練的新途徑，如輔助康復機器人的研究、虛擬現(xiàn)實康復系統(tǒng)、康復輔助游戲等，都取得了一定的成效。利用多媒體進行輔助康復訓練能夠激發(fā)患者的學習興趣，且更加容易普及，也就成為現(xiàn)在康復研究的熱點。

國內(nèi)外研究康復輔助游戲的出發(fā)點都是圍繞提高患者訓練的興趣而設計，還沒有以動作教學為出發(fā)點的康復輔助游戲研究。首先，傳統(tǒng)的康復訓練方式，學習效率較低，而康復訓練對動作規(guī)范的要求較高，一般是一對一進行教學，這樣就會導致教育資源緊缺的情況出現(xiàn)。其次，在傳統(tǒng)的動作教學中，授者是教學的中心，教學信息是單向的，學生動作是否規(guī)范，只能通過老師的觀察，學習者無法自我判斷。本研究將針對基于多通道學習的肢體運動功能康復輔助游戲研究展開，對康復訓練的多媒體學習材料進行設計，旨在提高學習者的學習效率和自主學習能力，以期為動作教學領域開辟新的教學思路。

二、研究現(xiàn)狀分析

依據(jù)本研究的題目，下文將從“多通道學習”“肢體運動功能康復輔助游戲”與“多媒體動作教學”三個方面展開分析，總結出現(xiàn)有研究的特點，并找到啟示。

（一）多通道學習研究現(xiàn)狀

多媒體學習（Multimedia Learning）又稱為多通道學習（Multimodal Learning）。人在記憶外部信息時，首先必須接受這些信息，而接受信息的“通道”不止一條，有聽覺、視覺、觸覺、味覺、嗅覺等多種感知覺參與的記憶，稱為“多通道”記憶。蘇聯(lián)心理學家沙爾達科夫的實驗研究證明：只聽但不看的記憶能力是60%，只看而不聽的記憶能力是70%，既看又聽的記憶能力是86%?！秾W記》中說：“學無當于五官，五官不得不治?！闭f明充分調(diào)動多通道進行學習的重要性。

邁耶（Mayer）根據(jù)認知心理學中的雙通道假設、積極加工假設、工作記憶有限性假設提出了多媒體學習生成理論（Generative Theory），之后總結出了一系列提高學習效率的多媒體學習的定律。該理論是利用多媒體學習與教學、設計多媒體學習材料的理論依據(jù)。寧波大學的左建軍在多媒體學習模型的基礎上將觸覺交互作為獨立的通道加入模型中，提出了多通道信息元素整合學習模型，并以實證方式科學地佐證了多通道信息元素整合學習模型的內(nèi)部機理。

（二）肢體運動功能康復輔助游戲研究現(xiàn)狀

肢體運動功能康復的方法有按摩、針灸、康復訓練等，腦的可塑性理論是康復訓練有利于患者肢體運動功能康復的理論基礎。康復輔助游戲的目的是幫助患者進行康復訓練，從而實現(xiàn)康復。國內(nèi)外康復輔助游戲特點是與體感交互技術相結合。在Kinect之前，學者結合EyeToy、Wii開發(fā)了許多康復輔助游戲系統(tǒng)，并證明了其用于康復訓練的有效性。Chang等證明Kinect可達到與光學追蹤系統(tǒng)相衡的動作追蹤效果。隨著Kinect技術應用的日趨成熟，結合Kinect開發(fā)的體感交互游戲趨于完善，而且可以作為在家庭環(huán)境中的康復訓練工具?？祻洼o助游戲可以解決治療師資源緊缺的問題，并提高患者參與訓練的積極性。

（三）多媒體動作教學研究現(xiàn)狀

結合多媒體技術的動作學習方式相對于傳統(tǒng)的動

作教育教學方式有著明顯的優(yōu)勢。多媒體動作學習材料對動作進行直觀、生動、準確的演示，可以解決教師業(yè)務水平不一的問題，值得提出的是，楊霞將體育教學中學生的動作錄像與規(guī)范的動畫動作進行對比來增強動作定型效率，此種方式學生能夠直觀地發(fā)現(xiàn)自身動作的錯誤，并按照標準的動畫動作及時進行改正。張詩潮等結合體感交互技術設計了一個手語教學的系統(tǒng)，來幫助聾啞人進行手語學習，促進動作教學。

（四）啟示

目前，國內(nèi)外利用交互技術設計多媒體動作學習材料的研究較缺乏。情境認知理論、具身認知理論、多媒體學習生成理論都強調(diào)自身與周圍環(huán)境進行交互對于認知的重要性，因此充分調(diào)動人的視覺、聽覺、動覺，利用體感交互進行反饋式學習的方式十分具有探索意義。在動作學習的領域，結合Kinect設計多媒體學習材料，使視覺通道、聽覺通道與動覺通道協(xié)同學習，一方面避免學習者的認知超載，另一方面學習者可以通過交互的方式將自己的動作與規(guī)范的動作進行對比學習，進行動作的自我判斷，從而提高動作學習的效率。當前，人機交互技術迅速發(fā)展的背景，為多通道的學習材料的設計提供了技術的支持，筆者期望以多通道學習的方式為切入點，以動作教學為內(nèi)容依托，構建基于多通道學習的肢體運動功能康復輔助游戲設計方法，以期在后續(xù)試驗中應用于各類動作教學。

三、基于多通道學習的肢體運動功能康復輔助游戲設計方法

（一）從神經(jīng)理論來說

1.理論基礎。腦的可塑性是指大腦的結構與功能在外部環(huán)境和經(jīng)驗的作用下具有不斷修飾與重組的能力，而且是一種終身的能力。大量的實驗與數(shù)據(jù)顯示人腦通過學習與運動可以產(chǎn)生可塑性的變化，特定的學習與經(jīng)驗影響特定的大腦區(qū)域針對性的設計教學，可以改善人的肢體運動功能。

2.設計策略。根據(jù)上述理論，筆者認為要想達到肢體運動功能康復的目的，應該有針對性地設計康復訓練的動作教學材料，來針對患者特定的患病區(qū)域進行動作的學習與康復訓練。筆者對康復訓練的學習材料進行了調(diào)研，發(fā)現(xiàn)不同的患病區(qū)域如手、肘、頸、肩等都有特定的康復訓練動作，因此可以將權威性肢體功能障礙自我康復訓練圖解中的康復訓練動作制作成模型動畫，讓患者通過學習康復訓練動作，并將動作進行反復的練習，從而達到動作學習與康復訓練的目的。

（二）從認知規(guī)律來講

1.理論基礎。在認知學習理論方面，多媒體學習生成理論及其定律認為，通過視覺圖像通道與聲音語言通道的文字、圖片來處理信息，能增加學習者信息的接受和處理數(shù)量，有利于學習者對學習材料的深度理解，同時當學習者能夠控制學習材料的進度時，主動積極地參與信息通道的加工活動時，學習的效果更好。另外情境認知理論、具身認知理論也強調(diào)交互性對于認知的重要性。多媒體學習生成理論的觀點，對于動作教學材料的設計方法的構建有著指導性的作用，為多通道的學習動作學習材料的設計提供了理論依據(jù)。

2.設計策略。依據(jù)認知學習理論以及計算機信息元素傳達的多通道形式（聲音、文字、圖形、圖像等），基于多通道學習的肢體運動功能康復輔助游戲設計時應當充分利用計算機輸出信息與人體接受信息時的各個通道，在多通道中進行信息的整合，達到降低認知負荷、提高認知效率的目的。據(jù)此將在本設計肢體功能障礙自我康復訓練圖解中的康復訓練動作創(chuàng)設成視覺通道、聽覺通道、動覺通道的多通道信息輸出形式。在視覺方面，將動作制作成分解動畫，并將運動的軌跡描繪出來；在聽覺方面，將動作的要領錄制成語音，并與分解動畫進行同步播放；在動覺方面，利用Kinect體感設備捕捉學習者的學習動作，并在顯示器中顯示與規(guī)范動作的差異，當動作完全匹配時，游戲系統(tǒng)將信息對學習者進行反饋，從而達到動作學習的目的。學習者擁有了自學動作的能力，同時也能及時地發(fā)現(xiàn)自己動作學習是否正確，相對于傳統(tǒng)的動作學習時，只能通過老師的評價來得知動作學習的正誤，多通道的學習方式顯得更加有效率，學習者的積極性也得到了極大的提高。

（三）從游戲設計的角度分析

1.理論基礎。游戲作為第九大藝術，是因為它融合了音樂、美術、電影、文學等其他藝術形式而成為一種新的綜合藝術。藝術本源的“游戲說”對人類社會產(chǎn)生了深刻的影響，游戲給人帶來了一種全新的學習方式，當人以一種愉快的情感進行游戲體驗時，便能夠輕松地學習到新的知識，而且在情感與心理上都能得到滿足。從而達到寓教于樂的目的。

2.設計策略。設計有趣的游戲場景，讓動作學習置于一定的情境之中。將不同難度的動作設計成游戲不同階段的任務，根據(jù)學習者完成動作的匹配程度給予分值，在每一個訓練階段設置榮譽獎勵等。通過各種游戲規(guī)則的制定激發(fā)學習者的學習興趣。

四、基于多通道學習的肢體運動功能康復輔助游戲實現(xiàn)

（一）技術支持

本游戲用到的硬件為用于動作捕捉及體感信息傳輸?shù)腒inect設備，通過Kinect來獲取人物的深度信息與骨架信息。

軟件包括：用于結合Kinect實現(xiàn)體感框架的OpenNI；用于制作游戲中動人物的原型以及動作動畫的3Dmax；用于游戲引擎以及音頻錄制的Unity3D；用于設計游戲界面Adobe Photoshop。

（二）游戲結構及實現(xiàn)原理分析

游戲的結構及實現(xiàn)原理如圖1所示：

由上圖可知，以C#/C++為游戲編寫腳本語言，使游戲運轉有一個良好的邏輯；運用3Dmax和Unity3D制作分解動畫動作；使用Unity3D中的AudioSource錄制動作要領的語音注解；在Unity3D用結合的Kinect與OpenNI體感框架將學習者與游戲角色綁定。學習者利用本游戲進行動作學習時，動作要領信息將以分解動作通過視覺通道，以語音注解經(jīng)過聽覺通道傳達給學習者，學習者對動作進行理解與學習，并通過體感交互來驅動綁定角色與規(guī)范動作進行匹配，檢驗動作是否準確來達到動作學習的目的。該學習材料以學習者為中心，學習者對信息進行積極的加工，并且能夠控制學習的進度，根據(jù)積極加工假設與多媒體學習生成理論中的交互性定律，這種學習方法更加有效。

（三）游戲內(nèi)容設計

游戲的視覺內(nèi)容，根據(jù)對肢體功能障礙自我康復圖解的調(diào)研，選取合適的康復訓練動作制作成帶有運動軌跡的動畫，導入Unity3D游戲引擎中，并編寫代碼完成游戲的界面設計；聽覺內(nèi)容，將圖解動作合理地編譯成文字，錄制成MP3格式之后編入Unity3D中，與動畫進行同步播放；交互內(nèi)容，在Unity3D中編寫交互命令代碼來實現(xiàn)與動畫進行交互。

五、總結與展望

本文對多通道學習、已有的康復訓練方式以及多媒體動作教學研究進行梳理之后，對多媒體學習理論進行了實踐性的探究。以多通道學習為切入點，以動作學習為內(nèi)容，結合體感交互技術構建了一種基于多通道學習適應于動作學習材料的設計方法，并以此法設計基于多通道學習的肢體運動功能康復輔助游戲。此種學習資料改變了通過書籍、視頻的動作學習方式，為學習者提供了一種反饋式的動作學習方式，在體育、藝術等動作教學領域都具有一定的普適性。

多通道的學習方式為動作教學開辟了全新的思路。同時，基于多通道學習的肢體運動功能康復輔助游戲的研究還能夠解決當下訓練治療師資源與訓練場地有限的問題，也為三級康復網(wǎng)的實現(xiàn)創(chuàng)造了可能。隨著虛擬現(xiàn)實技術的迅速發(fā)展，計算機多通道交互、增強現(xiàn)實技術等將應用于教育教學的各個方面，學習者能充分調(diào)動人的各個感官通道與周圍環(huán)境交互進行情境性的學習，提高人的認知效率。

本研究只在理論與設計方面進行了探討，未能進行實際的試用。在后續(xù)的研究中將設計進行實證研究，通過嚴謹?shù)膶嶒炑芯恳郧蟮玫秸鎸嵉脑囉脤嶒灁?shù)據(jù)，最終將設計運用于實際的教學中。關注計算機多通道交互、增強現(xiàn)實技術的最新發(fā)展動態(tài)，結合虛擬現(xiàn)實技術進一步探討多通道學習，以探求多通道虛擬現(xiàn)實的情境式學習方式，實現(xiàn)真正的具身認知學習。

【參考文獻】

[1]Dario P.，Guglielmelli E.，Allotta B.，et al.Robot2ics for medical applications[J].IEEE Robotics and Automa2tion Magazine，1996（3）.

[2]Heller A，Wade D T，Wood V A，et al.Arm function after stroke：measurement and recovery over the first three months[J].Journal of Neurology，Neurosurgery & Psychiatry，1987 （6）.

[3]于洋，張琳瑛，張玥.卒中單元早期康復治療對偏癱患者功能恢復的影響[J].中國康復醫(yī)學雜志，2009（1）.

[4]馮錫洪，鄧素榮，林漓.早期康復訓練對卒中單元腦卒中患者療效影響[J].中國實用醫(yī)藥，2011（6）.

[5]MAYER R E.The promise of multimedia learning：using the same instructional design methods across different media[J]. Learning and Instruction，2003（1）.

[6]梁作民.當代思維哲學[M].人民出版社，2003.

[7]MAYER R E.Multimedia Learning[M].Cambridge University Press，2001.

[8]閆志明.多媒體學習生成理論及其定律——對理查德·E.邁耶多媒體學習研究的綜述[J].電化教育研究，2008 （6）.

[9]左建軍，劉世清.多通道信息元素整合的學習模型探究[D].寧波大學，2010.

[10]Chang CY，Lange B，Zhang M，et al.Towards pervasive physical rehabilitation using Microsoft Kinect[C].San Diego，CA：IEEE Pervasive Computing Technologies for Healthcare（PervasiveHealth）and Workshops 6th International Conference，2012.

[11]楊霞.體育動畫多媒體交互系統(tǒng)的設計與應用[J].北京體育大學學報，2000（23）.

[12]張詩潮.基于Kinect的手語教學系統(tǒng)設計研究[D].華東師范大學，2014.

[13]余勝泉.從知識傳遞到認知建構，再到情境認知[J].中國電化教育，2007（10）.

[14]周加仙，董奇.學習與腦可塑性的研究進展及其教育意義[J].心理科學，2008（1）.