基于VR的神經(jīng)通路傳導(dǎo)智能教學(xué)系統(tǒng)的設(shè)計與實現(xiàn)

蘇靜　龔翱　楊赳赳　陳澤強(qiáng)

關(guān)鍵詞：虛擬現(xiàn)實；解剖學(xué)；神經(jīng)通路；仿真教學(xué)；Unity

中圖分類號：TP399 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）21-0015-03

1 概述

1.1 背景與意義

在傳統(tǒng)人體運(yùn)動解剖教學(xué)中，教師一般通過圖片、模型或視頻展示，方法單一也不夠直觀，且缺乏靈活性，還不能夠交互[1-2]；而實驗設(shè)施方面也受到標(biāo)本資源、相關(guān)設(shè)施缺乏等因素的影響；使學(xué)生積極性和主動性較低，導(dǎo)致學(xué)習(xí)效果欠佳[3-4]。因此引入基于Unity 3D的神經(jīng)傳導(dǎo)學(xué)習(xí)系統(tǒng)，提供可視化的實驗教學(xué)平臺，優(yōu)化教學(xué)設(shè)計以適應(yīng)教學(xué)需求，能夠極大地激發(fā)學(xué)生學(xué)習(xí)解剖的信心和興趣。系統(tǒng)緊扣教材，能夠?qū)⒔虒W(xué)中的復(fù)雜過程簡單化、抽象概念具體化、平面結(jié)構(gòu)立體化，開啟虛實結(jié)合、軟件輔助的數(shù)字化解剖教學(xué)新模式；解決傳統(tǒng)教學(xué)模式的短板，增強(qiáng)了交互性，極大地提高了教學(xué)效率，給學(xué)生帶來一種舒適、高效的實驗環(huán)境，推進(jìn)數(shù)字解剖系統(tǒng)與傳統(tǒng)教學(xué)相結(jié)合，必將引領(lǐng)醫(yī)學(xué)教育領(lǐng)域產(chǎn)生新的變革。

2 神經(jīng)通路教學(xué)演示中的相關(guān)技術(shù)

2.1 交互式動畫

Unity內(nèi)部自帶動畫制作功能TimeLine，為醫(yī)學(xué)解剖學(xué)提高了更多的可操作性。對于復(fù)雜的操作，可使用錄制動畫的方式，對解剖的操作，身體器官的變化，物體的改變等，做出了更加細(xì)膩的操作。TimeLine是一套多軌道動畫系統(tǒng)，支持可視化編輯，預(yù)覽動畫，實時操作等，可以實現(xiàn)動作或行為演示的功能，實現(xiàn)電影級演示，將各種行為轉(zhuǎn)變成完整流程，然后將全過程展示在使用者眼前，達(dá)到解剖學(xué)教學(xué)所需要的效果。

2.2 三維場景仿真

多角度觀察：實現(xiàn)攝像機(jī)的多角度旋轉(zhuǎn)是對于三維場景的視角仿真，對于攝像機(jī)的三維軸進(jìn)行控制，增加多角度的觀察下對場景中細(xì)節(jié)的展示有更加具體的視覺印象。

動畫控制技術(shù)：Unity內(nèi)部附帶動畫控制系統(tǒng)，對動畫系統(tǒng)內(nèi)部功能進(jìn)行開放使用，動畫片段中參數(shù)有播放時間，播放速度，播放位置，動畫內(nèi)部實體，通過對動畫片段內(nèi)參數(shù)的控制，使得對每個場景動畫內(nèi)細(xì)節(jié)的觀察更加細(xì)致，讓學(xué)生有更多的印象，亦可反復(fù)觀察。

多系統(tǒng)選擇：多個場景聚合為對應(yīng)系統(tǒng)內(nèi)的部分，使得抽象的系統(tǒng)擁有實際存在的場景，達(dá)到系統(tǒng)的實例化，使系統(tǒng)靈活變化，具有延展性，可操作性。

2.3 文本與系統(tǒng)分離

JSON文本具有特殊格式，Unity內(nèi)部有與JSON文本對接的API，對接后可在外部編輯JSON文本對系統(tǒng)內(nèi)部各類命名物件進(jìn)行更改。JSON文本編輯更改具有靈活性，可操作性，可拓展性，便利的命名，完全獨(dú)立于編輯語言的文本格式，通過更改文本內(nèi)容，使得使用JSON文本的內(nèi)容進(jìn)行動態(tài)更改，獨(dú)立于內(nèi)容。

3 系統(tǒng)實現(xiàn)

3.1 觀察視角控制

為了能夠從任意視角清楚地觀察到場景中每一個物體的細(xì)節(jié)，系統(tǒng)設(shè)計了視角控制，通過旋轉(zhuǎn)攝像機(jī)父物體的Y值來改變相機(jī)的左右方向改變，通過改變相機(jī)的Y軸的位置來改變相機(jī)的上下位置實現(xiàn)相機(jī)的旋轉(zhuǎn)和視角改變，分為3D視角的旋轉(zhuǎn)和2D視角的平移，同時也可調(diào)整攝像機(jī)的旋轉(zhuǎn)是否反向旋轉(zhuǎn)。

//通過控制x，y 軸的旋轉(zhuǎn)來控制攝像機(jī)的方向

x = Mathf.Clamp（transform.localPosition.x+DRight*Time.deltaTime，-MaxXOffset，MaxXOffset）;

y= Mathf.Clamp（transform.localPosition.y + DUp *Time.deltaTime，-MaxYOffset，MaxYOffset）;

transform.localPosition = new Vector3（x，y，transform.localPosition.z）;

3.2 場景切換以及GUI管理

控制場景的切換以及各種按鈕事件的觸發(fā)是使用的設(shè)計模式中的單例模式[5]制作，在各個場景中保持唯一，在第一場景創(chuàng)建，在其他場景內(nèi)保持單例，使其與上一場景保持一致。并且可以在其他場景更改該腳本內(nèi)部的值，在手動切換場景的時候取消全局播放，并且可繼承到其他場景使用原有值，并使用策略模式在切換場景函數(shù)內(nèi)選擇切換的場景，達(dá)到場景的前后切換以及主菜單的返回。

3.3 文本分離系統(tǒng)控制場景內(nèi)容顯示

通過JSON文本的特殊書寫方式來控制所需要的文本內(nèi)容，防止更改代碼，滿足設(shè)計模式的開放原則，以數(shù)字表示出所需要的文本內(nèi)容，并且可以篩選出所需要的文本內(nèi)容。在項目中，該JSON文本控制眼球處各個組織的名字的輸入，可進(jìn)行更加方便的更改，只需在JSON文本中添加相應(yīng)組織的名字，然后在項目窗口添加箭頭和UI文本， UI文本則會按照順序?qū)ふ宜鶎俳M織的名字并賦值。

3.4 場景播放設(shè)置

場景初始化時創(chuàng)建guiManager單例類，內(nèi)部賦值一個參數(shù)控制各個場景內(nèi)的播放，以及暫停的判斷參數(shù)。場景內(nèi)狀態(tài)發(fā)生變化時改變單例類內(nèi)的參數(shù)，并可在下一場景內(nèi)使用相同值的參數(shù)。對于場景的播放模式，有單場景循環(huán)播放，和多場景的順序播放，以及循環(huán)播放時場景復(fù)原。代碼通過判斷當(dāng)前場景所在的位置以及是否在單場景循環(huán)模式下，如果是單循環(huán)模式下guiManager的isPlay參數(shù)為True，則會在播放結(jié)束時恢復(fù)場景并循環(huán)播放。

場景內(nèi)動畫的播放與暫停，如果不是單場景播放便會在播放結(jié)束后跳轉(zhuǎn)至下一場景，并播放下一場景動畫直至整個系統(tǒng)播放結(jié)束。

if （！guiManager.Instance.pauseOrStart） {//單例類中的控制動畫播放的參數(shù)

pd.Play（）;//如果單例類中參數(shù)允許播放，便會播放加入腳本內(nèi)的劇本

}

else {

pd.Pause（）;//如果參數(shù)為否，則代表按下了空格鍵暫停，此時劇本同樣暫停

}

通過導(dǎo)演劇本控制實現(xiàn)場景內(nèi)光線，聲波，電信號等的移動和轉(zhuǎn)化，例如在視覺傳導(dǎo)通路中，光線首先經(jīng)過眼球時，通過角膜、房水、晶狀體，玻璃體部位折光，投射到視網(wǎng)膜上，然后進(jìn)入視網(wǎng)膜后四層細(xì)胞，視網(wǎng)膜上的視錐細(xì)胞和視桿細(xì)胞把光信號轉(zhuǎn)換為電信號，傳給視網(wǎng)膜上的雙極細(xì)胞，再傳給節(jié)細(xì)胞，節(jié)細(xì)胞的神經(jīng)纖維匯集在一起，穿出眼球，形成視神經(jīng)。聽覺神經(jīng)通路系統(tǒng)內(nèi)則依次通過外耳道、鼓膜、耳蝸，聲音在鼓膜轉(zhuǎn)換成振動，振動在耳蝸轉(zhuǎn)換成神經(jīng)沖動，經(jīng)由聽覺神經(jīng)傳導(dǎo)到大腦聽覺中樞，再由脊髓傳到肌肉，最后引起人體反應(yīng)的演示。這些都是由導(dǎo)演控制劇本來完成演示的，其中包括切換到下一場景劇本，以及劇本的播放和局部暫停。

各類系統(tǒng)中具有相應(yīng)的場景，在順序排序的場景中劃分場景給對應(yīng)的系統(tǒng)，通過公式：

Current = End – Start + 1

Index = Order – Start + 1

其中，Current 是當(dāng)前系統(tǒng)的總場景數(shù)，End是設(shè)置的結(jié)束場景位置，Start 是設(shè)置的開始場景，index 是當(dāng)前處于該系統(tǒng)的場景位置，Order 是該場景的順序位置。update中進(jìn)行全局和單場景的判斷，各類參數(shù)在GUIManager內(nèi)的變化，以及按鍵的觸發(fā)判斷。

3.5 信號傳遞的錄制

通過PlayableDirector錄制相關(guān)信息傳遞，如視覺傳導(dǎo)中，光信號的傳導(dǎo)以及光電信號轉(zhuǎn)變及傳遞[6]。在PlayableDirector中逐幀對所需的信號傳遞的位置，如何轉(zhuǎn)變，以及是否還存在進(jìn)行設(shè)定，然后通過場景播放中的代碼進(jìn)行相應(yīng)的播放和暫停提供相應(yīng)的劇本，在視覺傳導(dǎo)的第五場景中，左下角的小窗口演示也是有劇本來控制第二攝像頭的移動達(dá)到同步播放左邊各個器官內(nèi)信號傳導(dǎo)路線的放大。

4 使用結(jié)果與分析

測試環(huán)境：CPU Intel i7-4790，3.60GHz主頻，內(nèi)存16G，顯卡GTX1080，操作系統(tǒng)：Windows 10。

4.1 測試結(jié)果

選擇場景進(jìn)入神經(jīng)模擬系統(tǒng)，通過右上角的“上一個”和“下一個”調(diào)節(jié)場景的轉(zhuǎn)換及“返回界面”來返回主界面?！伴_始播放”按鈕可以控制神經(jīng)模擬系統(tǒng)演示的播放，在不同的場景點擊“開始播放”會產(chǎn)生相應(yīng)演示結(jié)果。例如在第一場景點擊“開始播放”將會進(jìn)行全局播放，播放到最后一個場景，其間不會進(jìn)行場景循環(huán)，在除了第一個場景下點擊播放按鈕，將會進(jìn)行單場景循環(huán)播放。此外，按空格鍵也可以暫停神經(jīng)通路演示，再次點擊繼續(xù)播放。左上角標(biāo)注有場景序號，方便用戶的使用。序號下是對此場景的說明，為了不遮擋神經(jīng)通路的演示，場景說明可折疊或展開所有場景說明，通過長按鼠標(biāo)右鍵移動轉(zhuǎn)換視角。結(jié)果如圖2所示。

4.2 性能分析

在使用時，場景正常播放，前后場景切換流暢，視角正常轉(zhuǎn)換，在該測試環(huán)境的配置下，正常運(yùn)行，無閃退，反應(yīng)遲緩等現(xiàn)象。使用時掉幀少只有在操作瞬間發(fā)生幀率變化，如圖3所示。

5 結(jié)束語

本文研究并實現(xiàn)了基于Unity3D的神經(jīng)通路傳導(dǎo)系統(tǒng)，從視覺、聽覺、觸覺和本體感覺四個方面進(jìn)行開發(fā)。系統(tǒng)實現(xiàn)了在神經(jīng)通路傳導(dǎo)方面課程的虛擬化教學(xué)，解決了傳統(tǒng)教學(xué)演示的短板，增強(qiáng)了交互性，極大地提高了教學(xué)效率，使教師在教學(xué)過程中具有更高的靈活性，也能夠給學(xué)生帶來一種高效、趣味的實驗環(huán)境，推進(jìn)數(shù)字解剖系統(tǒng)與傳統(tǒng)教學(xué)相結(jié)合，將引領(lǐng)醫(yī)學(xué)教育領(lǐng)域產(chǎn)生新的變革。