◆王勇麗 梁峻波 萬勤 黃昭鳴 高棟
基于體感技術(shù)的感覺統(tǒng)合游戲的設(shè)計與實現(xiàn)*
◆王勇麗 梁峻波 萬勤 黃昭鳴 高棟
特殊教育學(xué)校大部分學(xué)生存在感覺統(tǒng)合失調(diào),通過虛擬現(xiàn)實場景的游戲鍛煉學(xué)生的感覺統(tǒng)合功能,豐富了教學(xué)內(nèi)容,有利于學(xué)生身心的全面發(fā)展。結(jié)合Kinect體感交互技術(shù)設(shè)計一系列的感覺統(tǒng)合訓(xùn)練游戲,使學(xué)生在較為安全的環(huán)境中提高感覺統(tǒng)合能力。
虛擬現(xiàn)實;感覺統(tǒng)合;Kinect
10.3969 /j.issn.1671-489X.2016.02.053
虛擬現(xiàn)實(Virtual Reality,VR)是一種體驗虛擬世界的計算機(jī)系統(tǒng),它以仿真的方式給用戶創(chuàng)造一個實時反映實體對象變化與相互作用的虛擬環(huán)境[1],再結(jié)合相關(guān)的專業(yè)知識,生成在視、聽、觸感等方面高度近似的數(shù)字化環(huán)境,讓用戶產(chǎn)生親臨真實環(huán)境的感受和體驗[2]。VR人機(jī)交互技術(shù)可較大程度地構(gòu)建“真實”學(xué)習(xí)環(huán)境,有力地支持了學(xué)生主動參與教學(xué)實踐的課改要求。
隨著“教育回歸生活”的討論愈演愈烈,虛擬現(xiàn)實技術(shù)運(yùn)用于特殊兒童感覺統(tǒng)合失調(diào)的教學(xué)成為發(fā)展特殊教育的關(guān)鍵之一。張倩[3]等人認(rèn)為,虛擬現(xiàn)實的交互性可以使學(xué)生沉浸在虛擬學(xué)習(xí)環(huán)境的角色中,可以全身心地投入學(xué)習(xí)。Romano DM[4]等人認(rèn)為,虛擬現(xiàn)實技術(shù)可以為用戶提供每次訓(xùn)練結(jié)果的實時反饋和一階段訓(xùn)練后的成績反饋,可以激發(fā)患者的興趣及主動性。且大量研究結(jié)果表明[5-8],患者在虛擬環(huán)境中學(xué)會的運(yùn)動技能能夠遷移到現(xiàn)實環(huán)境中。
感覺統(tǒng)合(Sensory Integration,SI)是指腦對個體從視、聽、觸、嗅、前庭、本體等不同感覺通路輸入的感覺信息進(jìn)行選擇、解釋、聯(lián)系和統(tǒng)一的神經(jīng)心理過程,是個體進(jìn)行日常生活、學(xué)習(xí)和工作的基礎(chǔ)[9]。感覺統(tǒng)合理論是美國的艾爾絲(Ayres)博士創(chuàng)立的,于20世紀(jì)90年代中后期傳入我國,是兒童康復(fù)訓(xùn)練中應(yīng)用最廣、影響力最大的干預(yù)技術(shù)之一,在特殊兒童教育和康復(fù)治療領(lǐng)域占有重要地位。
綜合區(qū)域性研究報告,我國3~13歲兒童的感覺統(tǒng)合失調(diào)率大約在10%~30%之間,男童的發(fā)病率顯著高于女童,應(yīng)引起家庭、教育機(jī)構(gòu)和社會的關(guān)注[10]。目前很多感覺統(tǒng)合的訓(xùn)練室中,大部分設(shè)備功能較為單一無趣,且冰冷的儀器設(shè)備沒有親近感,往往不能持久地引起使用者的興趣,不能充分調(diào)動他們自主參與的愿望。且有些傳統(tǒng)的感覺統(tǒng)合訓(xùn)練設(shè)備安全系數(shù)較低,在使用過程中難免會出現(xiàn)各種各樣的損傷。如果借助現(xiàn)代化高科技產(chǎn)品來鍛煉孩子感覺統(tǒng)合功能,通過在平地上虛擬現(xiàn)實的游戲場景,便可以解決以上問題。
感覺統(tǒng)合失調(diào)的關(guān)鍵問題是本體覺、前庭覺和觸覺障礙。本體覺是感受個體身體所處的空間位置、運(yùn)動狀態(tài)及其變化的感覺,并參與身體姿勢、動作及平衡的調(diào)控。本體覺可促進(jìn)大腦功能的發(fā)展,提高行為的表現(xiàn)力,直接影響兒童的學(xué)習(xí)能力。本體覺障礙的兒童,動作方向、力度、幅度、速度控制不好,空間方位感知困難,從而影響兒童的閱讀、書寫等學(xué)習(xí)行為。本體感受器是位于肌肉及肌腱深處的特殊裝置,感受肌肉及肌腱受牽拉的機(jī)械信息,通過做一系列拉伸四肢的動作,可改善個體的本體覺。研究顯示,踢足球活動可以促進(jìn)兒童下肢本體運(yùn)動感知覺的發(fā)展[11],足球活動的活潑性和生動性可以激發(fā)兒童訓(xùn)練的積極性。
前庭覺的功能主要是感受軀體空間位置的變化,與平衡功能密切相關(guān)。兒童的抬頭、翻身、坐、爬、站、走等早期運(yùn)動功能發(fā)育與前庭功能相互促進(jìn)、共同發(fā)育。前庭功能異常的兒童往往表現(xiàn)在對身體失衡不敏感,不善于保持和調(diào)節(jié)軀體平衡;或?qū)ι眢w失衡特別敏感,表現(xiàn)為動作僵硬笨拙。前庭感受器的球囊主要感受人體垂直方向直線變速運(yùn)動,跳蹲動作可訓(xùn)練前庭覺。
觸覺是兒童感覺、認(rèn)識、運(yùn)動等的發(fā)展基礎(chǔ),是兒童認(rèn)識世界的主要基本途徑,而且觸覺是有效的社會交往方式,是建立親子感情的主要途徑。觸覺的防御功能對兒童健康生長、自我保護(hù)、免疫系統(tǒng)等方面有很大的影響。觸覺感覺信息處理失調(diào)往往會導(dǎo)致多種不良后果,影響兒童的學(xué)習(xí)、交往等能力。在游戲設(shè)計中,考慮到游戲的趣味性設(shè)計了走迷宮項目,在地板上鋪2平米左右不同材質(zhì)和形狀的方格,有凸起的小石子、海綿、花紋、泡沫等。該2平米的方格大小對應(yīng)三維游戲中的迷宮大小。
虛擬現(xiàn)實感覺統(tǒng)合訓(xùn)練系統(tǒng)的硬件虛擬現(xiàn)實感覺統(tǒng)合訓(xùn)練系統(tǒng)的實際測量的硬件包括圖像采集設(shè)備(Kinect)、電腦主機(jī)(Windows7操作系統(tǒng))、外置音箱等設(shè)備,收集到的信息通過數(shù)學(xué)模型計算來獲得物體的運(yùn)動軌跡數(shù)據(jù)。
1)圖像采集設(shè)備。采用微軟公司2010年推出的基于體感交互的Kinect人機(jī)交互新型設(shè)備,利用即時人體骨骼追蹤、影像識別等功能,通過玩家的肢體動作來控制游戲[12]。人體骨骼追蹤技術(shù)是Kinect的核心技術(shù),根據(jù)人體的大關(guān)節(jié)部位將人體標(biāo)定為20個關(guān)鍵點(圖1),軀干、四肢的運(yùn)動可以用這20個點的三維運(yùn)動來描述出來。微軟公司采用機(jī)器學(xué)習(xí)技術(shù),建立了龐大的人體骨骼框架圖像資料庫,能對感應(yīng)到的人體骨骼框架進(jìn)行智能辨識匹配,實時獲取訓(xùn)練者的姿勢和動作變化的數(shù)據(jù),并將該動作數(shù)據(jù)結(jié)合實時影像互動系統(tǒng),使訓(xùn)練者與屏幕之間產(chǎn)生緊密結(jié)合的互動效果。
Kinect的整體構(gòu)架包括紅外線發(fā)射器、RGB彩色攝像頭、紅外線COMS深度攝像頭、仰角控制馬達(dá)和超強(qiáng)并行計算邏輯的系統(tǒng)級芯片。Kinect將采集圖像、深度數(shù)據(jù)流和骨骼信息,通過USB傳給PC主機(jī),最后利用進(jìn)程間的通信與PC機(jī)上的其他應(yīng)用程序進(jìn)行信息融合[13]。
Kinect的工作示意圖如圖2所示,它的水平視角為57°,偵測的人體骨豁的最佳距離為1.2~3.5米,有效工作距離為5米。訓(xùn)練者處于有效距離之內(nèi),計算機(jī)通過獲取訓(xùn)練者的動作數(shù)據(jù)用于控制虛擬場景,虛擬場景通過置于訓(xùn)練者正前方的LED顯示屏顯示,訓(xùn)練者通過觀看LED的交互結(jié)果與虛擬場景交互。
2)電腦主機(jī)。硬件需求:需滿足處理器(CPU)主頻2.0 GHz以上,內(nèi)存(RAM)4 G以上,顯卡NVIDIA GeForce GT610以上,硬盤容量200 G以上。電腦主機(jī)通過Kinect for Windows API來獲取深度圖像數(shù)據(jù)來進(jìn)行骨骼運(yùn)動軌跡跟蹤。
圖1 Kinect感應(yīng)人體20個關(guān)鍵點
圖2 Kinect工作示意圖
虛擬現(xiàn)實感覺統(tǒng)合訓(xùn)練系統(tǒng)的游戲設(shè)計游戲設(shè)計根據(jù)三大常見感覺統(tǒng)合障礙訓(xùn)練原則制定。
1)本體覺訓(xùn)練——足球射門。足球射門游戲是一款要求訓(xùn)練者通過單腳站立同時另一只腿進(jìn)行踢腿動作來控制屏幕中人物完成射門的游戲。游戲背景是一個足球場,綠色的草坪上方有一個白色的球門。屏幕中有一個足球運(yùn)動員與球門有一定的距離,腳下放一足球。訓(xùn)練者踢出自己的腳,以控制游戲中人物踢出右腳,當(dāng)踢出的角度達(dá)到一定值,便可將足球踢出,足球向前滾動,足球的滾動速度和腳踢出的速度有關(guān),當(dāng)腳踢出的速度達(dá)到一定值,足球便可進(jìn)球門。若腳踢出的速度過小而達(dá)不到設(shè)定值,球到達(dá)球門之前便會停下來,這就表示此次動作失敗。當(dāng)足球進(jìn)門時,會發(fā)出歡呼的音效給訓(xùn)練者以聽感上的刺激。游戲可選“右腳模式”和“左腳模式”。結(jié)束游戲后的界面中,給出游戲總時間、踢進(jìn)的足球個數(shù)和游戲的成功率r。設(shè)踢出的足球總數(shù)為N,其中進(jìn)門的足球個數(shù)為n,則成功率r的計算公式為:
踢腳的檢測是通過檢測當(dāng)前腳抬起的角度和踢腳的角速度來完成,當(dāng)腳抬起的角度大于預(yù)設(shè)值,同時踢腳的角速度也大于預(yù)設(shè)值時,判斷當(dāng)前動作為踢腳。其中,踢腳的角速度這一值可以反映出訓(xùn)練者腳部運(yùn)動能力的強(qiáng)弱,它的獲得的過程如下:①創(chuàng)建腳抬起角度鏈表,用于保存腳抬起角度,腳抬起角度通過髖(HIP)、膝(KNEE)、腳(Foot)與垂直線的夾角獲得,經(jīng)過測試和調(diào)節(jié),確定此處序列的長度為30幀;②將鏈表中30個值兩兩相減,再將所有差值求平均數(shù),得到的便是平均角加速度。
圖3 人體跳躍時感應(yīng)點的位移變化
以檢測右腳踢腳為例。設(shè)定右臀點(HipRight)坐標(biāo)(x1,y1,z1),右腳(FootRight)坐標(biāo)(x2,y2,z2)。設(shè)抬起的角度是指與垂直線的夾角α,計算公式為:
2)前庭覺訓(xùn)練——跳蹲游戲。跳蹲游戲是指虛擬場景中躲避障礙物的游戲。該游戲設(shè)定的場景是一片美麗的樹林,游戲的主角在樹林前方的小路上奔跑,跨過一道道障礙,奔向勝利的終點。當(dāng)人物前方出現(xiàn)石頭等障礙物時,畫面中將會出現(xiàn)向上的箭頭,此時訓(xùn)練者需要做出跳躍(或替代性動作)以控制游戲人物向上躍起以躲避障礙物;當(dāng)人物前方出現(xiàn)懸空的木頭等障礙物時,畫面中將會出現(xiàn)向上的箭頭,此時訓(xùn)練者需要做出蹲下(或替代性動作)以控制游戲人物向下蹲以躲避障礙物。若人物沒有及時躲避障礙物,HP(血量)就會減少,在游戲時間結(jié)束之前HP減少到0,游戲也會結(jié)束。
跳躍姿勢的判斷識別:人體在向上跳躍的過程中會伴隨著身體多個關(guān)節(jié)點的位移,同時跳躍的方法多種多樣;在經(jīng)過多次試驗和調(diào)試后發(fā)現(xiàn),頭部和肩部在不同的跳躍動作中均發(fā)生較明顯的位置變化,以此作為此動作識別的依據(jù)點。經(jīng)過多次測試,并在綜合考慮實時性和精準(zhǔn)度的前提下,選取30幀數(shù)據(jù)作為一次判斷的序列。由于Kinect的攝像頭拍攝幀率為30幀/秒,對跳躍的判斷有1秒的延時,這也是訓(xùn)練者可以接受的范圍,具體實現(xiàn)算法如下。
①從當(dāng)前點往前取30個肩部中心垂直坐標(biāo)點數(shù)據(jù):Z1,Z2,…,Z30。
②若滿足Z(t+1)≥Z(t)*(1+K),則判斷此時的動作為跳躍,K值為經(jīng)驗值。本系統(tǒng)中,K=0.01,這個取值是由多次測試并調(diào)節(jié)而得出的。跳躍過程如圖3所示。
在判斷下蹲姿勢的過程中,用到的關(guān)節(jié)點有右臀A(HipRight)、右腳B(FootRight)和右膝蓋C(KneeRight)。下蹲時,判斷這三個點所構(gòu)成的△ABC內(nèi)角∠ACB是否為銳角,即小于90°。設(shè)A、B、C三個點的坐標(biāo)分別為(x1,y1,z1)、(x2,y2,z2)(x3,y3,z3),計算方法如下:
按照相同方法,對左臀A′(HipLeft)、左腳B′(FootLeft)和左膝蓋C′(KneeLeft)進(jìn)行判斷,若cos∠ACB和cos∠A′C′B′均大于0,則表示當(dāng)前訓(xùn)練者處于下蹲狀態(tài),如圖4所示。
圖4 下蹲時下肢感應(yīng)點位置
3)觸覺訓(xùn)練——走迷宮。走迷宮是一款通過視覺刺激來引導(dǎo)訓(xùn)練者進(jìn)行身體前后左右移動,同時腳底出現(xiàn)不同感覺刺激平面的游戲,訓(xùn)練其觸覺功能。并且這是一款益智類游戲,可鍛煉訓(xùn)練者的思維和視覺追蹤能力。游戲感應(yīng)訓(xùn)練者的SHOULDER CENTER骨骼關(guān)鍵點。本游戲的結(jié)果記錄是顯示游戲時間、成功率,如果最終沒有走出迷宮,就顯示游戲失敗。
走迷宮游戲的實現(xiàn)原理主要是空間坐標(biāo)的映射。游戲中迷宮為一個長w,寬h的長方形。設(shè)定初始時刻游戲人物的坐標(biāo)為(0,0),在屏幕的左下角,終點位置在評估的右上角(w,h)。訓(xùn)練者位于Kinect前方,其初始位置的腰部重心Hip Center空間坐標(biāo)為(x0,y0,z0)。在游戲的過程中,訓(xùn)練者通過變化的腰部重心Hip Center空間坐標(biāo)來控制游戲中人物的位置變化。當(dāng)空間坐標(biāo)為(x,y,z)的位置時,由于y值不變,其位置亦可表示為(x,y0,z)。在實際空間坐標(biāo)系中,人物的位移為:
設(shè)游戲中的坐標(biāo)比例和實際坐標(biāo)比例a:1,則游戲中人物的位移為:
在x、z坐標(biāo)軸上的位移為:
由于游戲人物的原是坐標(biāo)為(0,0),經(jīng)過位移之后,游戲人物的坐標(biāo)為:
依此坐標(biāo)便可對游戲元素進(jìn)行繪制。當(dāng)游戲人物坐標(biāo)達(dá)到目標(biāo)位置(w,h)時,游戲結(jié)束。
虛擬現(xiàn)實感覺統(tǒng)合訓(xùn)練系統(tǒng)的游戲?qū)崿F(xiàn)游戲的實現(xiàn)是利用XNA框架搭建而成,包括游戲初始化(Initialize)、資源加載(LoadContent)、邏輯更新(Update)、畫面刷新(Draw)、資源卸載(UnloadContent)五個部分。這五個部分的工作原理如圖5所示。
圖5 XNA工作原理圖
游戲初始化的工作包括配置文件的加載、游戲參數(shù)的初始化、Kinect工作類的啟動。資源加載是指將游戲圖像資源、音頻資源等加載到內(nèi)存中。邏輯更新是指游戲邏輯的更新,包括隨時間推進(jìn)的自動更新和訓(xùn)練者觸發(fā)的更新:隨時間推進(jìn)的更新指的是諸如時間增加、背景移動等非訓(xùn)練者可控的更新;訓(xùn)練者觸發(fā)的更新包括動作控制以及引起的相關(guān)系列更新,如發(fā)出跳躍動作,Kinect工作類中的人體動作識別模塊識別出 這一動作,發(fā)出消息通知Update()函數(shù)對游戲人物進(jìn)行位置的更新,同時播放相關(guān)音效。畫面刷新是指根據(jù)當(dāng)前狀態(tài)繪制圖像到屏幕之上。由于XNA的輪詢特點,因此,Update()和Draw()是間隔固定的時間(一般60幀的刷新率時,間隔時間為1000/60=16毫秒)自動執(zhí)行操作,無論訓(xùn)練者是否觸發(fā)相關(guān)事件。資源卸載是在退出游戲之時,釋放之前加載到內(nèi)存的資源,以確保系統(tǒng)的正常運(yùn)行。
虛擬現(xiàn)實感覺統(tǒng)合訓(xùn)練的系統(tǒng)實現(xiàn)本系統(tǒng)的開發(fā)語言為Microsoft Visual C#,開發(fā)環(huán)境為Microsoft Visual Studio 2010,主程序框架是基于Windows窗體應(yīng)用程序開發(fā);虛擬互動游戲也是基于Microsoft Visual C#語言,利用Microsoft XNA框架和Kinect for Windows SDK開發(fā)包進(jìn)行開發(fā)的。由于C#語言語句開發(fā)高效、易用等強(qiáng)大的優(yōu)勢,而且在運(yùn)行效率上和C、C++已經(jīng)非常接近,足以處理絕大部分情況。同時,作為一個輕量級游戲框架,XNA在開發(fā)2D游戲上有著不可比擬的簡易性。每個游戲?qū)?yīng)的實現(xiàn)方法框架如圖6所示,其中灰色的為游戲名稱。游戲分為兩種類型,采用的識別算法有所區(qū)別。單幀靜態(tài)分析是指在經(jīng)過濾波去噪后,對當(dāng)前幀進(jìn)行分析檢測,這種分析得到的結(jié)果將得到一個姿勢(Posture);多幀動態(tài)分析是指從當(dāng)前幀開始往后累積若干幀,進(jìn)行分析檢測,這種分析得到的結(jié)果得到的是一個動作(Gesture)。
圖6 每個游戲?qū)?yīng)的實現(xiàn)方法
現(xiàn)代教育教學(xué)已經(jīng)向信息技術(shù)為背景轉(zhuǎn)化,虛擬現(xiàn)實技術(shù)由于其沉浸性、交互性、多感知性的特點[14],成為現(xiàn)代化科技發(fā)展的熱點。國家“醫(yī)教結(jié)合”理念尚處于摸索階段,使用新興高科技來豐富教學(xué)模式和教學(xué)方式,有助于特殊教育教學(xué)質(zhì)量的提升。基于虛擬現(xiàn)實的運(yùn)動能力訓(xùn)練,設(shè)計游戲的原則是要依據(jù)特殊教育學(xué)校的兒童運(yùn)動發(fā)育特點,從易到難設(shè)置等級,不至于最低難度的游戲大部分學(xué)生還是完成不了,這樣會降低他們使用的欲望。游戲設(shè)計的最基本原則是能夠提高相應(yīng)的運(yùn)動功能,在玩游戲的情況下既鍛煉了運(yùn)動能力,又能將這些能力遷移到生活和學(xué)習(xí)中,就達(dá)到了教學(xué)目標(biāo)。而且運(yùn)動有助于智力的發(fā)展,調(diào)動學(xué)生運(yùn)動參與的主動性,同時也開發(fā)了大腦,對障礙兒童的身心發(fā)展非常有益。
[1]馬王俊美,鄧文生,梁昭峰,等.DVR技術(shù)在教育領(lǐng)域中的應(yīng)用研究[J].中國電化教育,2005(4):85-88.
[2]趙沁平.虛擬現(xiàn)實綜述[J].中國科學(xué)(E輯:信息科學(xué)),2009(1):2-46.
[3]張倩.虛擬現(xiàn)實技術(shù)在自閉癥患者干預(yù)中的應(yīng)用[J].中國特殊教育,2010(5):27-31.
[4]Romano D M. Virtual reality therapy[J].Dev Med Child Neurol,2005,47(9):580.
[5]Mirelman A,Mirelman I,Herman T,et al. Virtual reality for gait training: can it induce motor learning to enhance complex walking and reduce fall risak in patient with Parkinson’s disease[J].J Gerontol A Biol Sci Med Sci,2011,66(12):234-240.
[6]Golomb M R,McDonald B C,Warden S J,et al. In-home virtual reality videogame telerehabilition in adolescents with hemiplegic cerebral palsy[J].Arch Phys Med Rehabil,2010,91(1):1-8.
[7]Golomb M R,Warden S J,Fess E,et al. Maintained hand function and forearm bone health 14 months after an in-home virtual-reality videogame hand telerehabilitation intervention in an adolescent with hemiplegic cerebral palsy[J].J Child Neurol,2011,26(3):389-393.
[8]Cikajlo I,Rudolf M,Goljar N,et al. Continuation of balance training for stroke subjects in home environment using virtual reality[J].International Journal on Disability and Human Development,2011,10(4):317-320.
[9]湯盛欽.特殊兒童康復(fù)與訓(xùn)練[M].大連:遼寧師范大學(xué)出版社,2005:128.
[10]王和平.特殊兒童的感覺統(tǒng)合訓(xùn)練[M].北京:北京大學(xué)出版社,2011:10.
[11]馮振杰.足球游戲活動對學(xué)前兒童下肢本體運(yùn)動感知覺能力影響的實驗研究[D].廣州:廣州體育學(xué)院,2013.
[12]吳國斌,李斌,閻驥洲.KINECT人機(jī)交互開發(fā)實踐[M].北京:人民郵電出版社,2013.
[13]顧容,何益明,金麗燕.基于Kinect骨骼追蹤技術(shù)的智能教學(xué)控制系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)應(yīng)用與軟件,2013(6):276-280.
[14]黃俐軍,宋強(qiáng),仇亞萍.虛擬現(xiàn)實綜述[J].科技經(jīng)濟(jì)市場,2007(4):11-13.
TP391.9
B
1671-489X(2016)02-0053-05
*項目來源:公司合作“醫(yī)教結(jié)合”綜合康復(fù)研究項目(項目編號:48901640)。
作者:王勇麗,華東師范大學(xué)言語聽覺康復(fù)科學(xué)系博士研究生;梁峻波,華東師范大學(xué)言語聽覺康復(fù)科學(xué)系碩士研究生;萬勤,華東師范大學(xué)言語聽覺康復(fù)科學(xué)系副教授,博士;黃昭鳴,華東師范大學(xué)言語聽覺科學(xué)教育部重點實驗室教授,博士,主要從事特殊兒童教育康復(fù)研究(200062);高棟,上海泰億格康復(fù)醫(yī)療科技股份有限公司,主要從事教育游戲、體感游戲軟件開發(fā)(200333)。