基于虛擬現(xiàn)實(shí)的腦認(rèn)知訓(xùn)練系統(tǒng)框架及關(guān)鍵技術(shù)

高鶴文, 孫燦燃, 房婷婷, 駱巖林

(北京師范大學(xué) 信息科學(xué)與技術(shù)學(xué)院,北京 100875)

腦認(rèn)知訓(xùn)練包括記憶力、注意力、感知覺、執(zhí)行能力、語言和邏輯判斷等訓(xùn)練。大量研究表明,人的腦認(rèn)知能力可以通過后天的針對性腦認(rèn)知訓(xùn)練手段得以改變并提高[1]。腦認(rèn)知科學(xué)作為人類前沿科學(xué),其重要的研究內(nèi)容是揭示大腦在生理和病理狀態(tài)下的工作機(jī)制[2]。

隨著計(jì)算機(jī)技術(shù)的發(fā)展,尤其是虛擬現(xiàn)實(shí)技術(shù)的出現(xiàn),促進(jìn)了腦認(rèn)知訓(xùn)練方面的發(fā)展。虛擬現(xiàn)實(shí)技術(shù)在腦認(rèn)知訓(xùn)練方面有著其他技術(shù)無法比擬的優(yōu)勢[3]。虛擬現(xiàn)實(shí)游戲通過自身逼真的游戲效果、多樣的交互方式、立體的三維世界,讓使用者產(chǎn)生接近現(xiàn)實(shí)的親身體驗(yàn)[4]。同時(shí),在虛擬現(xiàn)實(shí)游戲中,用戶在虛擬空間中的運(yùn)動(dòng)是不受限制的,可以自由出入,這是傳統(tǒng)模擬游戲與虛擬現(xiàn)實(shí)游戲之間的最大差別,也是虛擬現(xiàn)實(shí)技術(shù)賦予游戲的獨(dú)特魅力[5]。

目前,虛擬現(xiàn)實(shí)技術(shù)已經(jīng)應(yīng)用于社會(huì)生活中的多個(gè)領(lǐng)域,同時(shí)虛擬交互系統(tǒng)的開發(fā)也成為了國內(nèi)外研究熱點(diǎn)。國外已有眾多相關(guān)實(shí)例用于腦認(rèn)知障礙恢復(fù)及腦認(rèn)知能力增強(qiáng)。在芬蘭、美國等國家出現(xiàn)了大腦健身房,主要通過各種電腦軟件對參與者進(jìn)行腦力訓(xùn)練,幫助改善記憶力、邏輯判斷等腦認(rèn)知能力,但患者需要掌握相應(yīng)電腦技術(shù),對老年用戶操作難度高[6]。Gourlay等[7-8]使用虛擬廚房幫助患者再學(xué)習(xí)重要的日常生活技能。Lee等[9]通過虛擬超市對患者進(jìn)行腦認(rèn)知行為的評估和訓(xùn)練,使用頭盔及跟蹤器等設(shè)備創(chuàng)造自然的沉浸式環(huán)境,但是相關(guān)硬件不具備普及度。國外游戲公司開發(fā)出三維(3D)沉浸式交互游戲《Cerevrum》,提供腦認(rèn)知訓(xùn)練,讓用戶更加自然地增進(jìn)腦認(rèn)知能力。然而,該游戲主要通過游戲手柄及頭盔交互,而且題材為冒險(xiǎn)類游戲,交互方式、游戲畫面及題材均不適合老齡化群體。頭盔的交互方式會(huì)使初次接觸的老年人產(chǎn)生恐懼心理和不適感。

由表1可知,目前的腦認(rèn)知訓(xùn)練系統(tǒng)缺乏針對性,尤其是針對老年人?，F(xiàn)有技術(shù)大部分集中于非計(jì)算機(jī)手段,交互技術(shù)較原始,缺乏沉浸感。

表1 現(xiàn)有腦認(rèn)知訓(xùn)練系統(tǒng)對比Tab.1 Comparative analysis of the existing brain cognition training systems

本文利用Unity3D軟件,研究基于虛擬現(xiàn)實(shí)的腦認(rèn)知訓(xùn)練系統(tǒng)的關(guān)鍵技術(shù),內(nèi)容包括開發(fā)流程、三維建模、場景交互等。

1 系統(tǒng)簡介

1.1 開發(fā)環(huán)境

Unity3D是一個(gè)專業(yè)級(jí)的高質(zhì)量游戲引擎,提供了可視化編輯工具,可以將藝術(shù)資源綁定在一起并對可交互對象進(jìn)行編碼,產(chǎn)品可以發(fā)布在 PC、Web和Mac 等平臺(tái)上。Brushes工具是地形繪制畫筆,用戶可選擇合適的畫筆繪制地形;RaycastHit工具用于存儲(chǔ)射線碰撞到的第一個(gè)對象信息,所以需要提前創(chuàng)建這個(gè)對象,用于碰撞信息的存儲(chǔ)。Rigidbody(剛體)組件可使游戲?qū)ο笤谖锢硐到y(tǒng)的控制下運(yùn)動(dòng),剛體可接受外力與扭矩力,用來保證游戲?qū)ο笙裨谡鎸?shí)世界中那樣進(jìn)行運(yùn)動(dòng)。Collider(碰撞器)是物理組件的一類,它要與剛體一起添加到游戲?qū)ο笊喜拍苡|發(fā)碰撞,如果2個(gè)剛體相互撞在一起,有碰撞體時(shí)物理引擎就會(huì)計(jì)算碰撞,在物理模擬中,沒有碰撞體的剛體會(huì)彼此相互穿過。

系統(tǒng)采用虛擬現(xiàn)實(shí)技術(shù)配合用戶交互,使得用戶可以佩戴虛擬現(xiàn)實(shí)設(shè)備在虛擬場景內(nèi)漫游,實(shí)現(xiàn)翻牌、物體撿拾、場景切換等功能。本文基于Unity3D軟件,結(jié)合頭盔和手柄開發(fā)沉浸式虛擬交互系統(tǒng)。

1.2 系統(tǒng)組成

本文虛擬交互系統(tǒng)主要包括虛擬游戲環(huán)境建模、核心腦認(rèn)知訓(xùn)練系統(tǒng)、交互接口、評測系統(tǒng)等4個(gè)模塊,如圖1所示。具體研究內(nèi)容涉及以下幾個(gè)方面:

(1)虛擬游戲環(huán)境建模

圖1 系統(tǒng)主要模塊Fig.1 Main module of the system

虛擬游戲環(huán)境建模模塊負(fù)責(zé)虛擬環(huán)境中各類虛擬實(shí)體行為的狀態(tài)更新、觸碰檢測以及環(huán)境特效,創(chuàng)建一個(gè)和現(xiàn)實(shí)世界相似的虛擬環(huán)境。虛擬游戲環(huán)境建模主要研究幾何建模、物理建模和行為建模等方法。幾何建模相對比較成熟。物理建模主要研究虛擬實(shí)體的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)特性,為進(jìn)一步提高逼真度,必須考慮虛擬實(shí)體的材料以及摩擦力、彈塑性和黏稠性等物理特性。

(2)核心腦認(rèn)知訓(xùn)練系統(tǒng)的構(gòu)成及功能設(shè)計(jì)

核心腦認(rèn)知訓(xùn)練系統(tǒng)包括注意力、記憶力、感知覺、執(zhí)行能力、語言、邏輯判斷等子模塊。本文以記憶力訓(xùn)練系統(tǒng)為例,實(shí)現(xiàn)腦認(rèn)知訓(xùn)練模擬。

(3)系統(tǒng)測評技術(shù)

研究測評的具體指標(biāo)和算法,設(shè)計(jì)簡單、易用的評測界面,對老年人現(xiàn)有腦認(rèn)知水平進(jìn)行科學(xué)測評,推薦針對性強(qiáng)的腦認(rèn)知訓(xùn)練。

(4)直觀交互技術(shù)

主要研究如何使用直觀交互工具以實(shí)施虛擬操作,使交互工具更加符合老年人的行為特征。采用HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器,通過手勢定義對三維游戲場景進(jìn)行交互。

外部整體地形中加入了天空、草地、樹林、人物、動(dòng)物、桌椅、水塔、燈塔、自行車等相應(yīng)模型,實(shí)現(xiàn)了幾何建模和物理建模。同時(shí),草地、人物等按照物理規(guī)律進(jìn)行行為運(yùn)動(dòng),實(shí)現(xiàn)行為建模。結(jié)合HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器并利用手柄激光實(shí)現(xiàn)了瞬移(由于搭建地形較大,依靠定位器感知的位移對場地要求較高,因此添加此項(xiàng)功能),對擁有物理屬性的物體實(shí)現(xiàn)了撿起、丟棄、碰撞、彈跳等物理行為屬性。

2 關(guān)鍵技術(shù)

2.1 環(huán)境建模

基于Unity3D軟件,創(chuàng)建三維地形、天空、樹木等場景。以地形為例,首先使用3D object-terrain,根據(jù)場景模型進(jìn)行數(shù)學(xué)建模,然后基于真實(shí)的地形數(shù)據(jù)進(jìn)行加工,最后設(shè)置 “Brushes”畫筆的Brush Size畫筆寬度的取值范圍為“Opacity”,繪制平滑地形。通過紋理映射的方式實(shí)現(xiàn)地面真實(shí)感的要求。采用二維數(shù)組來定義紋理,通過材質(zhì)球的方式將二維紋理表面映射到三維場景表面。設(shè)置地形碰撞器,使之擁有反彈的性質(zhì),提高真實(shí)性和沉浸感。

模型的構(gòu)建是虛擬場景實(shí)現(xiàn)的基礎(chǔ),模型的質(zhì)感將直接影響到場景的真實(shí)感和沉浸感。本文構(gòu)建的交互場景主要集中于室外場景。模型的構(gòu)建基于Unity3D軟件實(shí)現(xiàn),并將模型以unitypackage的形式打包再導(dǎo)入U(xiǎn)nity3D軟件中。模型主要包括:建筑物、環(huán)境裝飾、水塔、桌椅、自行車、柱子、光源等?？紤]到系統(tǒng)開銷和系統(tǒng)真實(shí)性的平衡,構(gòu)建的模型主要采用多邊形結(jié)構(gòu)加紋理貼圖的方式實(shí)現(xiàn)。

2.2 場景漫游

虛擬現(xiàn)實(shí)體驗(yàn)很重要的一點(diǎn)就是能夠有足夠的沉浸感,并且有很好的交互性。采用HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器實(shí)現(xiàn)視覺沉浸感,但是如果要進(jìn)行交互操作,就需要更多的相關(guān)實(shí)際操控。系統(tǒng)中用戶可以在場景中隨意走動(dòng),觀察周圍不同景象,所以首要解決的問題是在虛擬環(huán)境中的移動(dòng)問題。如果要實(shí)現(xiàn)最好的場景漫游體驗(yàn),就要單純靠自己的定位判斷來操控用戶移動(dòng)。這個(gè)設(shè)定在HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器與Unity3D軟件之間有相應(yīng)接口,實(shí)際上每次移動(dòng)只需要改變用戶角色的位置即可。由于場景所含內(nèi)容較多,并且占地面積較大,若采用真實(shí)移動(dòng)來代替用戶主角在虛擬場景中的移動(dòng)則會(huì)使工作任務(wù)較大,而且使用戶的漫游比較麻煩。同時(shí),HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器場景搭建空間并不很大,不適合在真實(shí)場景中移動(dòng)。因此,利用HTC手柄的TouchPad部分進(jìn)行相關(guān)控制,實(shí)現(xiàn)用戶的瞬移,即在場景中用戶可隨時(shí)改變自己所在位置,通過手柄操作切換到不同地點(diǎn)位置,同時(shí)結(jié)合頭戴式顯示器的旋轉(zhuǎn),從而實(shí)現(xiàn)在豐富場景中的漫游。

首先,在場景中添加激光筆Laser,并去掉 Box Collider 組件,使激光筆居中,漂浮在場景上空。然后,為該物體添加腳本文件,以實(shí)現(xiàn)手柄與激光筆的融合,觸動(dòng)扳機(jī),手柄在場景上空發(fā)射出一條藍(lán)色射線。從手柄發(fā)射激光,如果激光照射到某樣物體,保存照射到的位置并顯示激光。使用Unity3D軟件中所提供的RaycastHit類,得到射線盡頭與場景碰撞的點(diǎn)的坐標(biāo)信息。松動(dòng)扳機(jī),切換用戶視角所在照相機(jī)位置到射線盡頭端點(diǎn)。通過扳機(jī)操作,用戶便可在場景中實(shí)現(xiàn)瞬移,使漫游的速度大幅提升。

2.3 碰撞檢測

為實(shí)現(xiàn)場景切換,使用碰撞體的觸發(fā)器功能。在Unity3D軟件中,游戲物體的碰撞可以通過剛體組件(Rigidbody)和碰撞器組件(Collider)來進(jìn)行檢測。基于設(shè)計(jì)的需求,需要檢測物體與物體之間是否發(fā)生接觸,但不產(chǎn)生碰撞效果,擬采用觸發(fā)器來進(jìn)行碰撞檢測。為此,首先在場景中添加一個(gè)標(biāo)志性高塔物體,其實(shí)質(zhì)為一個(gè)剛體組件,并將高塔的碰撞器設(shè)置為觸發(fā)類型,具體為在該組件的檢查視圖中找到碰撞器組件,將該組件的IsTrigger屬性勾選上。當(dāng)有物體對高塔進(jìn)行碰撞,就不會(huì)產(chǎn)生碰撞效果,而是直接穿過去。用戶拾起場景中的錐子,并將其拋至高塔處,系統(tǒng)檢測到碰撞信息,用戶選擇進(jìn)入某一游戲,此時(shí)調(diào)動(dòng)相關(guān)函數(shù),進(jìn)行場景切換。

2.4 三維交互

在HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器中有機(jī)發(fā)光二極管屏幕的單眼有效分辨率為1 200×1 080,雙眼合并分辨率為2 160×1 200。這種分辨率大大降低了畫面的顆粒感,用戶幾乎感覺不到紗門效應(yīng)。即使沒有佩戴眼鏡,400度左右近視也能清楚地看到畫面細(xì)節(jié)。畫面刷新頻率為90 Hz,實(shí)際體驗(yàn)幾乎零延遲,也不覺得惡心和眩暈。

控制器定位系統(tǒng)Lighthouse采用的是Valve公司的專利,它不需要借助攝像頭,而是靠激光和光敏傳感器來確定運(yùn)動(dòng)物體的位置,也就是說HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器允許用戶在一定范圍內(nèi)走動(dòng)。這是它與另外兩大頭顯 Oculus Rift 和PS VR的最大區(qū)別。HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器的使用非常簡單,將SteamVR 官網(wǎng)提供的包導(dǎo)入工程文件,得到以 Prefab預(yù)制體形式提供的預(yù)設(shè)攝像機(jī)。預(yù)設(shè)攝像機(jī)包含一個(gè)角色控制器預(yù)設(shè)及攝像機(jī)控制器預(yù)設(shè)。角色控制器控制體驗(yàn)者的視角高度、轉(zhuǎn)頭速度、行動(dòng)速度等,攝像機(jī)控制器調(diào)節(jié)體驗(yàn)者的瞳距、近視面、遠(yuǎn)視面等視線參數(shù)。把預(yù)設(shè)攝像機(jī)拖入場景中,調(diào)節(jié)好初始位置、角色個(gè)體大小等即可運(yùn)行使用。在Unity3D軟件編輯器中編輯HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器左右眼運(yùn)行畫面。

受訓(xùn)者通過HTC手柄按鍵控制角色激光來進(jìn)行預(yù)設(shè)的前進(jìn)、后退、左移和右移,并利用HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器探測頭部的旋轉(zhuǎn)來控制角色控制器攝像機(jī)的旋轉(zhuǎn),從而達(dá)到主動(dòng)受訓(xùn)者在虛擬場景中的自由運(yùn)動(dòng)。通過編寫 C#代碼,將體驗(yàn)時(shí)主動(dòng)受訓(xùn)者控制的角色控制器預(yù)設(shè)體的空間坐標(biāo)位置與攝像機(jī)旋轉(zhuǎn)角度等參數(shù)值序列化,實(shí)時(shí)傳輸給遠(yuǎn)程客戶端,接收數(shù)據(jù)后的客戶端再實(shí)時(shí)控制客戶端角色控制器的空間坐標(biāo)及視角。如圖2所示,用戶在使用HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器來實(shí)現(xiàn)與虛擬場景的交互。

圖2 正視和仰視時(shí)使用HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器實(shí)現(xiàn)三維交互Fig.2 3D interaction realization with HTC device when facing and looking up

3 實(shí)驗(yàn)與分析

3.1 記憶力訓(xùn)練

老年人關(guān)聯(lián)記憶研究是腦認(rèn)知科學(xué)的重要內(nèi)容之一。對于傳統(tǒng)關(guān)聯(lián)記憶測評方法,在建立樣本時(shí)必須由專業(yè)人員定期去社區(qū)采用紙質(zhì)量表的方式測評,再以人工方式處理樣本數(shù)據(jù)。然而,建立樣本時(shí)無法做到具有時(shí)效性和普遍性的測查,處理樣本時(shí)無法做到高效、快捷的數(shù)據(jù)記錄和保存。

隨著老年人年齡的增長,老年人的腦認(rèn)知功能愈加退化,記憶力下降在生活中表現(xiàn)得極其明顯。記憶需要前額區(qū)以及海馬等較多大腦區(qū)域的參與[10],腦認(rèn)知記憶測評系統(tǒng)的開發(fā)需要運(yùn)用新的記憶測評模式,使腦認(rèn)知科學(xué)和計(jì)算機(jī)科學(xué)相輔相成,為腦認(rèn)知關(guān)聯(lián)記憶的更友好方便的測評研究起到促進(jìn)作用。

在實(shí)現(xiàn)腦認(rèn)知訓(xùn)練子系統(tǒng)部分,采用UI控件并添加功能性component,通過編寫C#腳本來完成事件的處理,提高開發(fā)效率,增強(qiáng)系統(tǒng)的用戶界面美感。用戶點(diǎn)擊開始按鈕,系統(tǒng)開始計(jì)時(shí),界面中呈現(xiàn)12張卡片,共計(jì)有6種類型,每種類型各2張。初始時(shí)卡片背面朝向用戶,呈現(xiàn)3×3的矩陣,當(dāng)用戶點(diǎn)擊某一張卡片,相應(yīng)卡片翻轉(zhuǎn),狀態(tài)維持1 s,隨機(jī)再翻轉(zhuǎn)。用戶通過每一次的點(diǎn)擊來記憶各個(gè)位置卡片的形狀,若當(dāng)前點(diǎn)擊的卡片與上一次點(diǎn)擊的卡片一致,則該組卡片匹配成功。當(dāng)6組卡片匹配完成,系統(tǒng)自動(dòng)結(jié)束計(jì)時(shí)。該游戲通過短時(shí)間內(nèi)顯示卡片內(nèi)容,以促使用戶記憶各位置的卡片內(nèi)容來完成游戲?？ㄅ破ヅ鋵?shí)現(xiàn)的代碼如下所示:

private void CardOnClick(Card card)

{

if (canPlayerClick)

{

//先判斷是否可以點(diǎn)擊,可點(diǎn)擊則直接翻牌

card.SetFanPai();

//添加到比對數(shù)組中

FaceCards.Add(card);

//如果有2張牌了,則不可再點(diǎn)擊,進(jìn)入?yún)f(xié)同程序

if (FaceCards.Count == 2)

{

canPlayerClick = false;

StartCoroutine(JugdeTwoCards());

}

}

}

為實(shí)現(xiàn)在三維場景中顯示出二維游戲效果,建立canvas并在其下面添加UI控件panel。panel用來對紙牌進(jìn)行自動(dòng)布局。為panel添加Gird Layout Group組件和Content Size Fitter 組件。

設(shè)定2個(gè)監(jiān)聽按鈕(見圖3),一個(gè)是開始游戲、開始計(jì)時(shí)的Start,一個(gè)是暫停計(jì)時(shí)、暫停游戲的Pause。具體實(shí)現(xiàn)代碼如圖4所示。

圖3 Start按鈕代碼Fig.3 Code of Start button

圖4 Pause按鈕代碼Fig.4 Code of Pause button

頁面中測評題目有計(jì)時(shí)功能,并且會(huì)顯示在頁面上,測試者可以隨時(shí)查看已花費(fèi)的時(shí)間,計(jì)時(shí)器所記錄的時(shí)間也是最終需要導(dǎo)入數(shù)據(jù)庫的數(shù)據(jù)之一。在update函數(shù)(見圖5)中,利用time.deltaTime獲取游戲進(jìn)行時(shí)間,每更新一幀就在時(shí)間上累計(jì)。

3.2 拾拋功能

用戶通過將某個(gè)東西拋至某特定物體后產(chǎn)生碰撞,來表示進(jìn)入某一游戲。在場景中實(shí)現(xiàn)用手柄拾東西,并將東西拋擲遠(yuǎn)處。在HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器中,通過觸發(fā)器碰撞機(jī)和腳本編程為用戶提供沉浸感虛擬體驗(yàn)。首先,為2只手柄添加剛體Rigidbody和盒子碰撞體Box Collider,并勾上IsTrigger。然后,在腳本中為手柄添加觸發(fā)器方法OnTriggerEnter(),當(dāng)觸發(fā)器碰撞體進(jìn)入并退出另一個(gè)碰撞體時(shí),這些方法將被觸發(fā)。此外,為實(shí)現(xiàn)將某個(gè)物體拋出,首先得確定控制器上一定有一個(gè)固定連接,然后用戶松動(dòng)按鈕,刪除這個(gè)連接上所連對象,并銷毀這個(gè)連接,最后將玩家放開物體時(shí)手柄的速度和角度賦給這個(gè)物體,這樣就可以以拋物線的形式將物體拋出。

圖5 Update函數(shù)代碼Fig.5 Code of Update function

3.3 系統(tǒng)漫游

實(shí)驗(yàn)基于Unity3D軟件平臺(tái),編譯環(huán)境為 Visual Studio 2015,并結(jié)合HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器、2個(gè)單手持控制器、1個(gè)能于空間內(nèi)同時(shí)追蹤顯示器與控制器的定位系統(tǒng)。

基于幾何建模、物理建模和行為建模的方式進(jìn)行虛擬場景的構(gòu)建。首先,根據(jù)數(shù)學(xué)建模計(jì)算模型所需基本數(shù)據(jù),基于幾何建模的規(guī)則進(jìn)行模型構(gòu)建;然后,采取紋理映射、光照等數(shù)學(xué)模型加以渲染;最后,對模型的物理性質(zhì)進(jìn)行設(shè)置,提高模型的真實(shí)性和沉浸感。加入HTC Vive頭戴式顯示器,實(shí)現(xiàn)腦認(rèn)知訓(xùn)練系統(tǒng)的交互。場景整體效果如圖6所示。

圖6 場景整體效果Fig.6 Whole effects of scene

為實(shí)現(xiàn)場景漫游體驗(yàn),利用HTC手柄的TouchPad部分進(jìn)行相關(guān)控制,以此來實(shí)現(xiàn)用戶的瞬移,即在場景中用戶可隨時(shí)改變自己的所在位置,通過手柄操作,切換到不同位置。在場景中實(shí)現(xiàn)用手柄拾東西,并能將其拋擲遠(yuǎn)處。在HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器中,通過使用觸發(fā)器碰撞機(jī)和腳本編程,為用戶提供沉浸感良好的虛擬體驗(yàn)。系統(tǒng)運(yùn)行結(jié)果如圖7～10所示。

圖7 位置轉(zhuǎn)移前Fig.7 Before the shift

圖8 位置轉(zhuǎn)移后Fig.8 After the shift

圖9 撿物體前Fig.9 Before picking up objects

本文記憶力訓(xùn)練系統(tǒng)程序?qū)嵸|(zhì)上是一款翻牌測驗(yàn)游戲,用戶人群為參加測試的老年人,考慮到用戶人群的特殊需求,腦認(rèn)知訓(xùn)練系統(tǒng)必須滿足操作方便簡單、提示詞明確、界面清晰且利于觀察的要求。游戲界面如圖11所示。

圖10 撿起物體Fig.10 After picking up objects

圖11 記憶力訓(xùn)練系統(tǒng)界面Fig.11 Interface of memory training system

4 結(jié)語

本文給出了基于虛擬現(xiàn)實(shí)的腦認(rèn)知訓(xùn)練系統(tǒng)框架及關(guān)鍵技術(shù)。以記憶力訓(xùn)練為例,基于Unity3D軟件平臺(tái),利用HTC Vive虛擬現(xiàn)實(shí)頭戴式顯示器和HTC手柄開發(fā)的沉浸式腦認(rèn)知訓(xùn)練系統(tǒng)具有沉浸感強(qiáng)和直觀交互性等特點(diǎn)。場景建模保證了虛擬實(shí)體具有重力、質(zhì)量、黏性、剛性等性質(zhì),是重建現(xiàn)實(shí)世界的基本保障。場景漫游為用戶提供了2種移動(dòng)方式,即依據(jù)定位移動(dòng)、手柄激光擊中漫游,使得用戶可以盡情漫游場景或者快速到達(dá)目標(biāo)位置。通過指定物體碰撞達(dá)到切換場景的目的,由外緣場景進(jìn)入記憶力訓(xùn)練模塊。記憶力訓(xùn)練模塊作為本文系統(tǒng)內(nèi)核,是本文系統(tǒng)的靈魂所在,也是區(qū)別于其他一般虛擬現(xiàn)實(shí)仿真漫游系統(tǒng)的主要?jiǎng)?chuàng)新點(diǎn)。通過計(jì)時(shí)、暫停、相同紙牌判斷等方式,組織架構(gòu)起記憶力內(nèi)核。虛擬現(xiàn)實(shí)腦認(rèn)識(shí)系統(tǒng)運(yùn)用的技術(shù)內(nèi)核為腦認(rèn)知訓(xùn)練提供了更加有趣、舒適的訓(xùn)練方式,避免了紙質(zhì)量表和人工記錄分析的尷尬,其場景模塊和操作的簡潔性更加適合老年人。