基于Unity3D引擎的類流體光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

于本知，韓建寧，趙欣灑，衛(wèi)國(guó)倩，楊志秀

(中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051)

0 引 言

近年來(lái)，乳腺癌的早期診斷與識(shí)別已成為關(guān)系國(guó)民健康的重大課題[1]. 光聲檢測(cè)技術(shù)擁有無(wú)損性、空間分辨率高、檢測(cè)效率高、應(yīng)用面廣等特點(diǎn)，在乳腺早期癌影像診斷設(shè)備中具有重要的應(yīng)用價(jià)值，是備受關(guān)注的專用電子儀器檢測(cè)技術(shù)之一[2-4]. 然而在實(shí)際的應(yīng)用中，由于激光照射的特殊性，操作不當(dāng)很容易對(duì)人體造成傷害，并且會(huì)對(duì)設(shè)備產(chǎn)生嚴(yán)重?fù)p壞甚至報(bào)廢，光聲檢測(cè)教學(xué)實(shí)驗(yàn)難以開(kāi)展，而以理論講解方式開(kāi)展光聲檢測(cè)實(shí)驗(yàn)，限制了學(xué)生對(duì)實(shí)驗(yàn)的認(rèn)知與體會(huì). 虛擬實(shí)驗(yàn)系統(tǒng)不受時(shí)間、空間的限制，具有能不計(jì)成本反復(fù)演練的優(yōu)點(diǎn)，為學(xué)生提供了親手操作類流體環(huán)境光聲檢測(cè)設(shè)備的機(jī)會(huì)，可以提高學(xué)生理論聯(lián)系實(shí)際的能力. 因此，開(kāi)發(fā)類流體光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)非常有必要.

當(dāng)前，在眾多研究領(lǐng)域針對(duì)危害較大、成本較高、測(cè)量較難的實(shí)驗(yàn)都選擇了真實(shí)還原構(gòu)建虛擬實(shí)驗(yàn)系統(tǒng). Grunwald等[5]開(kāi)發(fā)了一個(gè)通過(guò)實(shí)地觀察和模擬環(huán)境來(lái)真實(shí)地還原實(shí)驗(yàn)室的虛擬實(shí)驗(yàn)室系統(tǒng)，從而提高學(xué)生的高階認(rèn)知水平； 薛小榮等[6]開(kāi)發(fā)了微波暗室環(huán)境下的天線方向圖測(cè)量虛擬實(shí)驗(yàn)系統(tǒng)，使用戶能更加直觀地感受測(cè)量過(guò)程； 葉詩(shī)慧[7]針對(duì)高中化學(xué)實(shí)驗(yàn)操作條件有限的問(wèn)題，開(kāi)發(fā)了一套應(yīng)用于高中化學(xué)實(shí)驗(yàn)教學(xué)的虛擬實(shí)驗(yàn)系統(tǒng)，激發(fā)了學(xué)習(xí)者的學(xué)習(xí)興趣； 孫艷娜等[8]結(jié)合混凝土材料性能實(shí)驗(yàn)教學(xué)情況，開(kāi)發(fā)了材料測(cè)試虛擬仿真實(shí)驗(yàn)系統(tǒng)，強(qiáng)化了學(xué)生對(duì)實(shí)驗(yàn)操作流程的記憶且提高了教學(xué)效果.

本文借鑒虛擬實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)思路，以Unity3D為開(kāi)發(fā)平臺(tái)，以C#為編程語(yǔ)言，以 3D Max 為建模工具，以Adobe PhotoShop、Premiere 等為輔助工具，將光聲檢測(cè)技術(shù)與信號(hào)處理、圖像處理等技術(shù)相結(jié)合，設(shè)計(jì)了類流體虛擬實(shí)驗(yàn)系統(tǒng)，以期為實(shí)驗(yàn)教學(xué)提供一個(gè)直觀學(xué)習(xí)的平臺(tái).

1 虛擬實(shí)驗(yàn)系統(tǒng)的總體方案設(shè)計(jì)

本實(shí)驗(yàn)系統(tǒng)采用B/S和C/S聯(lián)合架構(gòu). 服務(wù)器部分代碼采用PHP語(yǔ)言編寫，由個(gè)人中心、課程編輯、網(wǎng)頁(yè)學(xué)習(xí)、后臺(tái)管理、API等環(huán)節(jié)構(gòu)成，采用MySQL數(shù)據(jù)庫(kù)，動(dòng)態(tài)預(yù)加載緩存技術(shù)來(lái)提升實(shí)驗(yàn)速度，通過(guò)互動(dòng)伺服器實(shí)現(xiàn)數(shù)據(jù)對(duì)接，實(shí)現(xiàn)學(xué)生的互動(dòng)教學(xué). 系統(tǒng)架構(gòu)圖如圖 1 所示.

圖 1 系統(tǒng)架構(gòu)圖Fig.1 System architecture diagram

1.1 虛擬實(shí)驗(yàn)系統(tǒng)內(nèi)容設(shè)計(jì)

本虛擬仿真實(shí)驗(yàn)系統(tǒng)在Unity3D平臺(tái)的基礎(chǔ)上，融合了光聲檢測(cè)技術(shù)和圖像處理技術(shù)，通過(guò)實(shí)驗(yàn)系統(tǒng)可以學(xué)習(xí)光聲檢測(cè)和圖像處理的基本原理，掌握光聲檢測(cè)乳腺癌細(xì)胞的早期監(jiān)測(cè)和診斷方法. 根據(jù)虛擬仿真類流體環(huán)境光聲檢測(cè)實(shí)驗(yàn)系統(tǒng)的功能需求，實(shí)驗(yàn)系統(tǒng)工作內(nèi)容可以分為實(shí)驗(yàn)原理學(xué)習(xí)、檢測(cè)設(shè)備結(jié)構(gòu)認(rèn)知、實(shí)驗(yàn)設(shè)備的選擇與布置、設(shè)備連接及檢測(cè)、成績(jī)?cè)u(píng)定5個(gè)部分.

1) 系統(tǒng)技術(shù)方案工作原理

光聲信號(hào)產(chǎn)生的過(guò)程可以分為3個(gè)步驟：①高能脈沖激光作用到物體上使物體吸收光； ②物體吸收的光能被轉(zhuǎn)換為熱量使區(qū)域溫度升高； ③類流體環(huán)境發(fā)生熱彈性膨脹，當(dāng)物體的溫度超過(guò)一定的溫度閾值后，物體發(fā)生急劇震動(dòng)，從而發(fā)出特定頻率的超聲波[9-10]. 光聲成像原理如圖 2 所示.

當(dāng)超聲波換能器接收到聲波后，利用相應(yīng)的圖像重建算法計(jì)算出當(dāng)前類流體環(huán)境中的光吸收分布圖像[11]. 由于類流體環(huán)境中位置深度的不同，導(dǎo)致接收到的聲信號(hào)會(huì)存在時(shí)間差異，因此，可以利用時(shí)間分辨技術(shù)取得不同層析面的光聲信號(hào)，從而獲得類流體環(huán)境的三維光聲圖像.
圖像處理技術(shù)主要對(duì)接收到的光聲信號(hào)進(jìn)行濾波處理和數(shù)字化分析，并形成高質(zhì)量的圖像[12].

圖 2 光聲成像原理圖Fig.2 Photoacoustic imaging schematic

2) 檢測(cè)設(shè)備結(jié)構(gòu)認(rèn)知

設(shè)備結(jié)構(gòu)認(rèn)知主要包括對(duì)激光發(fā)射器、超聲換能器、數(shù)據(jù)采集器、示波器、濾波器等設(shè)備的結(jié)構(gòu)簡(jiǎn)介和注意事項(xiàng)進(jìn)行學(xué)習(xí)，在系統(tǒng)中可以通過(guò)鼠標(biāo)旋轉(zhuǎn)、模型縮放進(jìn)行查看，同時(shí)，鼠標(biāo)移到模型時(shí)，鼠標(biāo)旁彈框介紹對(duì)應(yīng)設(shè)備，設(shè)備類型見(jiàn)表 1.

表 1 設(shè)備類型Tab.1 Equipment type

3) 實(shí)驗(yàn)設(shè)備的選擇與布置

每個(gè)設(shè)備的選擇與布置方式不同會(huì)呈現(xiàn)出不同的圖像，為了獲得最佳的圖像進(jìn)行乳腺癌細(xì)胞的觀察，需要對(duì)設(shè)備進(jìn)行重復(fù)選擇與布置. 例如：激光發(fā)射器需要考慮數(shù)量、是否需要旋轉(zhuǎn)排布、放置在乳腺上的角度以及照射時(shí)間的控制等； 接收信號(hào)傳感器同樣需要考慮選擇的類型、布置方式等.

以激光發(fā)射器探頭放置方向設(shè)計(jì)為例：點(diǎn)擊激光發(fā)射器，彈出的UI框顯示：“請(qǐng)選擇激光發(fā)射器探頭的放置方向”； 點(diǎn)擊“好的”按鈕，彈框關(guān)閉； 同時(shí)，攝像機(jī)轉(zhuǎn)到正躺在躺椅上的待檢測(cè)女性，其胸部高亮，顯示可選擇的9個(gè)檢測(cè)方向，如圖 3 所示. 選擇好激光發(fā)射設(shè)備后，在1個(gè)發(fā)射器的旋轉(zhuǎn)照射、2個(gè)發(fā)射器的旋轉(zhuǎn)照射、4個(gè)發(fā)射器的靜態(tài)照射3種架構(gòu)設(shè)計(jì)中選擇一種合適的照射方式.

4) 設(shè)備連接及檢測(cè)

將激光發(fā)射器調(diào)整到與傳感器靈敏度一致，打開(kāi)激光發(fā)射器電源，調(diào)整各相關(guān)開(kāi)關(guān)，保持正常工作； 啟動(dòng)篩選系統(tǒng)，脈沖激光作用到人體乳腺模型上，模型吸收熱能溫度升高，產(chǎn)生熱膨脹現(xiàn)象，從而發(fā)出特定頻率的超聲波，超聲波換能器就會(huì)接收到超聲波； 采用卷積反投影圖像重建算法得到初步圖像，再對(duì)圖像進(jìn)行增強(qiáng)、濾波、反投影得到高質(zhì)量的圖像，篩選是否有乳腺癌細(xì)胞； 分析仿真結(jié)果、總結(jié)實(shí)驗(yàn)現(xiàn)象、撰寫實(shí)驗(yàn)報(bào)告、歸納出類流體環(huán)境物理場(chǎng)的信號(hào)采集規(guī)律.

圖 3 檢測(cè)方向Fig.3 Measured direction

5) 成績(jī)?cè)u(píng)定

系統(tǒng)根據(jù)用戶的實(shí)驗(yàn)操作情況給出考核成績(jī)和分析報(bào)告.

1.2 光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)具有儀器設(shè)備展示、實(shí)驗(yàn)原理查看、儀器結(jié)構(gòu)認(rèn)知、儀器設(shè)備連接、光聲成像、圖像處理等功能. 為了更好地適應(yīng)現(xiàn)有的教學(xué)模式，將整個(gè)系統(tǒng)分成實(shí)驗(yàn)預(yù)習(xí)、實(shí)驗(yàn)操作、成績(jī)?cè)u(píng)定3個(gè)模塊，以滿足教學(xué)實(shí)驗(yàn)的要求[13-16]，系統(tǒng)總體框圖如圖 4 所示.

圖 4 類流體光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)總體框圖Fig.4 Overall block diagram of the virtual experimental system for photoacoustic detection of fluids

用戶通過(guò)鼠標(biāo)左鍵點(diǎn)擊實(shí)驗(yàn)預(yù)習(xí)模塊相應(yīng)的按鈕，可查看實(shí)驗(yàn)原理、實(shí)驗(yàn)所需設(shè)備、實(shí)驗(yàn)儀器操作等內(nèi)容，并可進(jìn)行實(shí)驗(yàn)預(yù)約，預(yù)約成功后進(jìn)入實(shí)驗(yàn)操作模塊. 在該模塊中，平臺(tái)會(huì)自動(dòng)記錄操作流程，評(píng)定操作是否正確，并自動(dòng)記錄每步操作的得分情況. 操作的結(jié)束后，系統(tǒng)進(jìn)入成績(jī)?cè)u(píng)定模塊，針對(duì)操作過(guò)程及成果質(zhì)量，經(jīng)加權(quán)平均形成最終成績(jī)和報(bào)告.

該系統(tǒng)已經(jīng)在中北大學(xué)電子信息工程、生物醫(yī)學(xué)工程專業(yè)的實(shí)驗(yàn)教學(xué)中投入使用.

2 三維建模及虛擬場(chǎng)景生成

2.1 虛擬三維模型的快速構(gòu)建

構(gòu)建光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)的關(guān)鍵是三維模型以及虛擬場(chǎng)景的搭建，模型的真實(shí)程度直接影響到虛擬實(shí)驗(yàn)的仿真度[17]. 當(dāng)前有很多專業(yè)的三維建模軟件，可以更加方便快捷地進(jìn)行復(fù)雜的實(shí)體建模，因此，光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)將兩者相結(jié)合，快速構(gòu)建激光發(fā)射器、超聲換能器、數(shù)據(jù)采集器、示波器、濾波器以及被測(cè)物體等三維模型. 根據(jù)模型的特點(diǎn)，選擇不同的建模方式，同時(shí)控制模型面數(shù)，重要的模型面數(shù)多一些，其他部分簡(jiǎn)模展示，整個(gè)模型面數(shù)控制在1 000左右[18].

2.2 虛擬場(chǎng)景生成

所創(chuàng)建的模型主要采用VRayMtl材質(zhì)球和標(biāo)準(zhǔn)材質(zhì)球. 模型開(kāi)發(fā)需要有 顏色、金屬、法線、AO境光吸收4張基本貼圖，必要時(shí)還需要發(fā)光貼圖. 控制所有貼圖的大小、質(zhì)量，避免減少?gòu)?fù)合材質(zhì)球的情況[19]. 重要的模型要展示坐標(biāo)位置，在 PS繪制貼圖，精細(xì)模型貼圖控制在2 048*2 048像素以下，并且盡可能在一張圖內(nèi)完成以控制貼圖大小，避免影響軟件處理的速度. 部分代碼如下：

void OnEnable()

{

paths=((PatrolNPC)target).Paths；

style.fontStyle=FontStyle.Normal；

style.fontSize=15；

}

void OnSceneGUI()

{

paths=((PatrolNPC)SerializedObject.target

Object).Paths；

Handles.color=Color.red；

if(paths.Length <= 0‖paths.Length<2) return；

for(int i=0； i

{

paths[i]=Handles.PositionHandle(paths[i], Quaternion.identity)；

Handles.SphereCap(i,paths[i], Quaternion.

identity, 0.25f)；

Handles.Label(paths[i],“PathPoint”+i,style)；

if(i

{

Handles.DrawLine(paths[i], paths[i+1])；

}

}

}

通過(guò)模擬激光發(fā)射器、超聲換能器、數(shù)據(jù)采集器、示波器、濾波器等檢測(cè)設(shè)備以及躺椅上的女性、醫(yī)院檢測(cè)室整體環(huán)境來(lái)構(gòu)建類流體環(huán)境光聲檢測(cè)系統(tǒng)的虛擬實(shí)驗(yàn)場(chǎng)景. 虛擬實(shí)驗(yàn)場(chǎng)景如圖 5 所示.

圖 5 虛擬實(shí)驗(yàn)場(chǎng)景Fig.5 Virtual experiment scenario

2.3 模型優(yōu)化

場(chǎng)景模型構(gòu)建完成后，需要對(duì)虛擬場(chǎng)景進(jìn)行優(yōu)化處理，降低場(chǎng)景的復(fù)雜度，減少計(jì)算量和卡頓，匹配場(chǎng)景的實(shí)時(shí)性[20]. 模型的優(yōu)化不光是要對(duì)每個(gè)獨(dú)立的模型面數(shù)進(jìn)行精簡(jiǎn)，還需要對(duì)模型的個(gè)數(shù)進(jìn)行精簡(jiǎn)，將模型轉(zhuǎn)換成Edit Mesh，將鼠標(biāo)放在模型上右擊，選擇Attach命令，再通過(guò)鼠標(biāo)單擊其他相同材質(zhì)的物體，單擊后的物體就被合并到了一起.

另外，在制作模型的過(guò)程中，要查看 Normal 方向是否正確，模型內(nèi)看不到的面是否刪除，布線是否合理整潔，是否有破面穿模等情況.

3 交互設(shè)計(jì)

3.1 人機(jī)界面交互設(shè)計(jì)

界面設(shè)計(jì)既要美觀更要方便，在虛擬實(shí)驗(yàn)系統(tǒng)中，不同頁(yè)面之間的切換依靠菜單和提示按鈕來(lái)實(shí)現(xiàn)[21]. 為了把界面制作得簡(jiǎn)潔大方，每一個(gè)頁(yè)面的布局都會(huì)有所不同，先根據(jù)頁(yè)面的需求簡(jiǎn)單繪制圖形，再導(dǎo)入到Unity3D，完成其中一個(gè)頁(yè)面，再重復(fù)設(shè)計(jì)其他操作頁(yè)面[22].

3.2 人與虛擬物體的交互設(shè)計(jì)

以激光入射裝備模型的選擇操作為例，人與虛擬物體的交互設(shè)計(jì)，如圖 6 所示.

圖 6 激光入射設(shè)備的選擇Fig.6 Selection of laser incident device

每個(gè)儀器模型都可以通過(guò)鼠標(biāo)旋轉(zhuǎn)、滾輪縮放細(xì)致地查看儀器型號(hào)、功能參數(shù)等. 同時(shí)，通過(guò)點(diǎn)擊鼠標(biāo)右鍵并拖拽，可以實(shí)現(xiàn)實(shí)驗(yàn)場(chǎng)景的旋轉(zhuǎn)，呈現(xiàn)出一個(gè)真實(shí)的場(chǎng)景.

虛擬實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)流程如圖 7 所示.

圖 7 設(shè)計(jì)流程圖Fig.7 Design flow chart

4 系統(tǒng)驗(yàn)證

系統(tǒng)開(kāi)發(fā)完成后，發(fā)布到電腦PC端瀏覽器中運(yùn)行. 用戶注冊(cè)個(gè)人信息，完成課前預(yù)習(xí)后進(jìn)入實(shí)驗(yàn)，根據(jù)指示完成設(shè)備的選擇布置、信號(hào)的采集、圖像生成與處理等操作，系統(tǒng)根據(jù)實(shí)驗(yàn)操作過(guò)程形成不同的乳腺波形圖，如圖 8 所示.

圖 8 乳腺波形及各項(xiàng)指標(biāo)分析Fig.8 Breast waveform and analysis of various indicators

該系統(tǒng)波形檢測(cè)圖與實(shí)際彩超中的波形圖相比還原度較高且更具體，同時(shí)加入了血管成像、血紅蛋白、血氧飽和度、組織成像等多項(xiàng)指標(biāo). 儀器選擇和實(shí)驗(yàn)操作完全準(zhǔn)確時(shí)，檢測(cè)結(jié)果準(zhǔn)確，圖像清晰度高，某個(gè)彩超成像波形圖如圖 9 所示.

圖 9 彩超成像波形圖Fig.9 Color ultrasound imaging waveform

目前，系統(tǒng)已投入實(shí)驗(yàn)空間網(wǎng)站運(yùn)行，瀏覽量達(dá)到56 441人次，實(shí)驗(yàn)通過(guò)率達(dá)91.6%，實(shí)驗(yàn)統(tǒng)計(jì)如圖 10 所示.

圖 10 實(shí)驗(yàn)統(tǒng)計(jì)Fig.10 The experiment statistics

5 結(jié) 論

針對(duì)光聲檢測(cè)實(shí)驗(yàn)難以實(shí)施的問(wèn)題，本文利用Unity3D與3D Max技術(shù)構(gòu)建了光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)，進(jìn)行了類流體光聲檢測(cè)虛擬實(shí)驗(yàn)系統(tǒng)技術(shù)方案、光聲檢測(cè)、圖像處理、成果輸出的全過(guò)程設(shè)計(jì)與開(kāi)發(fā).

該系統(tǒng)采用的引導(dǎo)式操作簡(jiǎn)單便捷，為學(xué)生直觀地學(xué)習(xí)光聲檢測(cè)原理、信號(hào)處理過(guò)程、圖像處理過(guò)程提供了一個(gè)平臺(tái). 在今后的研究中，適當(dāng)豐富交互邏輯，多方位地完善系統(tǒng)將會(huì)是重點(diǎn).