虛擬3D人體解剖拼圖平臺的設(shè)計(jì)及應(yīng)用

胡 星，嚴(yán)均益，張秉哲，鄭 奮

第二軍醫(yī)大學(xué)：1學(xué)員旅；2基礎(chǔ)部計(jì)算機(jī)教研室，上海 200433

虛擬3D人體解剖拼圖平臺的設(shè)計(jì)及應(yīng)用

胡 星1，嚴(yán)均益1，張秉哲1，鄭 奮2

第二軍醫(yī)大學(xué)：1學(xué)員旅；2基礎(chǔ)部計(jì)算機(jī)教研室，上海 200433

為加強(qiáng)醫(yī)學(xué)生及臨床工作者對解剖知識的學(xué)習(xí)和回顧，實(shí)現(xiàn)虛擬平臺下的模型重建和模擬手術(shù)，設(shè)計(jì)了一款基于Unity平臺的3D人體解剖拼圖軟件：以關(guān)卡模式、沙盤模式、拓展模式等不同模式為框架，以300個(gè)左右人體模型為基礎(chǔ)，結(jié)合3D打印和虛擬現(xiàn)實(shí)技術(shù)，實(shí)現(xiàn)了虛擬平臺下的解剖學(xué)習(xí)和模型重建、切割。實(shí)踐證明，在基礎(chǔ)醫(yī)學(xué)教育和外科領(lǐng)域教學(xué)中有較大實(shí)際意義。

人體解剖學(xué)；醫(yī)學(xué)教學(xué)；數(shù)字醫(yī)學(xué)；虛擬實(shí)驗(yàn)室

從1967年CT首次用于頭部掃描到1971年核磁共振進(jìn)入醫(yī)學(xué)領(lǐng)域，生命醫(yī)學(xué)和信息技術(shù)領(lǐng)域的融合發(fā)展方興未艾，目前三維重建、模擬手術(shù)已然成為骨科、腦外科等許多科室的必備診療手段。從2003年中國建立了自己的人體數(shù)據(jù)庫到2011年中華醫(yī)學(xué)會數(shù)字醫(yī)學(xué)分會成立，經(jīng)過近幾年的迅速發(fā)展，虛擬現(xiàn)實(shí)和3D打印使醫(yī)師對病情的認(rèn)知達(dá)到一個(gè)新的高度。達(dá)芬奇機(jī)器人的出現(xiàn)更是改變了傳統(tǒng)的手術(shù)模式，使手術(shù)操作更加精確，更有利于達(dá)到智能化醫(yī)療的目的［1］。所以，王正國院士說：“相信在不遠(yuǎn)的將來，整個(gè)醫(yī)療行業(yè)都會跨入數(shù)字醫(yī)學(xué)的大門”。

在國外，高校虛擬實(shí)驗(yàn)室的應(yīng)用案例較多，而國內(nèi)只有少數(shù)醫(yī)學(xué)院校建立了虛擬實(shí)驗(yàn)室［2］。解剖學(xué)內(nèi)容繁雜、抽象，且解剖材料缺少，很多院校只是開展了理論課，是虛擬實(shí)驗(yàn)平臺和3D打印技術(shù)應(yīng)用于醫(yī)學(xué)教學(xué)的重點(diǎn)方向。

在外科，尤其是心外科、血管外科等科室，解剖結(jié)構(gòu)復(fù)雜、手術(shù)操作精細(xì)、風(fēng)險(xiǎn)較大［3］，傳統(tǒng)的CT，MRI存在視覺偏差和不夠立體形象的缺憾，3D打印和模擬手術(shù)平臺技術(shù)的誕生可以便于醫(yī)師互相交流，術(shù)前選擇合適入路，避免損傷重要的血管神經(jīng)，制定更加合理謹(jǐn)慎的手術(shù)方案，降低手術(shù)風(fēng)險(xiǎn)。

1 設(shè)計(jì)理念和內(nèi)容

在很多醫(yī)學(xué)院里，醫(yī)學(xué)解剖教學(xué)受醫(yī)學(xué)倫理、實(shí)驗(yàn)條件、實(shí)驗(yàn)成本以及尸體來源的限制，無法讓學(xué)生實(shí)際操作體會［4］，書本內(nèi)容又過于枯燥和抽象；在臨床工作中，平片式檢查不能很好地反映病灶的三維結(jié)構(gòu)以及與周圍組織器官的關(guān)系。比如：骨折的內(nèi)固定支架需要按照患者的三維重建模型來個(gè)體化確定長短、彎曲角度。為了幫助學(xué)生更加直觀地理解并記憶解剖結(jié)構(gòu)，也為了臨床工作者可以立體評估診療病灶和預(yù)手術(shù)，我們基于虛擬現(xiàn)實(shí)，應(yīng)用3D打印技術(shù)設(shè)計(jì)了一個(gè)虛擬實(shí)驗(yàn)平臺。

在設(shè)計(jì)層面上，我們要處理場景的切換，模型的動(dòng)態(tài)加載和銷毀以及Xml文件的讀取和存儲等一系列問題，該軟件的設(shè)計(jì)層面功能概述如圖1所示。其中模型管理、場景管理、系統(tǒng)管理的使用貫穿了關(guān)卡沙盤模式的始終，編輯器的設(shè)計(jì)是鍵入用戶學(xué)習(xí)筆記的基礎(chǔ)。

圖1 功能概述

解剖學(xué)習(xí)系統(tǒng)利用Unity平臺，以游戲式的體驗(yàn)，打破課堂教學(xué)的時(shí)間及空間限制，實(shí)現(xiàn)學(xué)生興趣導(dǎo)向下的自主探索式學(xué)習(xí)，具體分為兩種模式：①關(guān)卡模式。在這一模式下，用戶將以類似游戲的形式體驗(yàn)人體不同結(jié)構(gòu)的組成。通過進(jìn)度條以及高亮指引，降低不熟悉這一結(jié)構(gòu)用戶的體驗(yàn)難度，并在成功拼接結(jié)構(gòu)后，通過一定反饋給予用戶成就感，增加學(xué)習(xí)興趣。②沙盤模式。在這一模式下的場景中，用戶可以用選項(xiàng)卡的形式選擇任意模型拼接人體結(jié)構(gòu)。這一模式去除了指引與結(jié)構(gòu)的限制，適合對人體解剖結(jié)構(gòu)有一定了解的用戶，以提升其操作技能。

臨床拓展系統(tǒng)可以導(dǎo)入患者的CT容積掃描，并進(jìn)行三維重建，建立立體的影像模型，并建立了與3D打印機(jī)的接口，根據(jù)患者三維重建打印的3D模型既可以用于教學(xué)，也便于醫(yī)師在手術(shù)前深入討論，了解病變區(qū)域與周圍組織結(jié)構(gòu)的解剖關(guān)系，尋找最適合的入路，降低手術(shù)風(fēng)險(xiǎn)。結(jié)合虛擬現(xiàn)實(shí)技術(shù)，通過醫(yī)學(xué)數(shù)據(jù)可視化，人體組織器官的應(yīng)力形變仿真、傳感和反饋，軟件實(shí)現(xiàn)了模擬手術(shù)，提高了外科學(xué)生學(xué)習(xí)的效率。

同時(shí)，設(shè)計(jì)了便于修改模型名稱、簡介與區(qū)域的xml文件編輯器，既可以調(diào)整以上兩個(gè)系統(tǒng)的內(nèi)容，也可以引入非醫(yī)學(xué)專業(yè)用戶自定義的模型創(chuàng)建自己的3D模型，極大地豐富了作品的拓展性。

該虛擬解剖平臺以計(jì)算機(jī)技術(shù)為核心，以解剖和外科知識為依托，實(shí)現(xiàn)模型運(yùn)動(dòng)、數(shù)據(jù)采集、及時(shí)反饋的融合，通過嵌入虛擬現(xiàn)實(shí)技術(shù)和3D打印技術(shù)，提高了醫(yī)學(xué)生學(xué)習(xí)解剖和外科手術(shù)操作的興趣，具有高效、便捷、節(jié)約資源的特點(diǎn)。

2 技術(shù)特色

模型的建模是整個(gè)軟件設(shè)計(jì)中主要的一環(huán)，在3Ds Max平臺里，首先將所需模型的正視圖、側(cè)視圖作為貼圖附著于兩個(gè)Box物體上，接著沿輪廓畫出Spline曲線，在畫出的區(qū)域內(nèi)添加分割曲線，將它們分成一個(gè)個(gè)四邊形面，采用網(wǎng)絡(luò)平滑使平面產(chǎn)生圓滑、流線型的效果，創(chuàng)建出合適的三維模型。

在程序運(yùn)行過程中，我們采用了動(dòng)態(tài)加載技術(shù)，實(shí)現(xiàn)了在同一場景中根據(jù)輸入情況加載不同模型。將待加載區(qū)域名稱作為參數(shù)傳入場景，場景中腳本以此為鍵，從根據(jù)可通過編輯器修改的xml文件導(dǎo)入的鍵值對中讀取所需信息，并在場景中生成模型。待加載模型既可以是程序內(nèi)置的人體結(jié)構(gòu)模型，也可以是對外部obj模型解析，通過對ascll編碼的obj模型以文本文件的形式進(jìn)行逐行讀取，將所得的定點(diǎn)、法線等信息儲存為數(shù)組的形式在運(yùn)行時(shí)繪制出其他模型。

模型在場景中生成后，程序會根據(jù)不同模型的要求加載不同的shader文件，以實(shí)現(xiàn)正常、高亮、半透明等不同狀態(tài)的顯示。程序在接受用戶命令后，根據(jù)命令內(nèi)容的不同調(diào)用相應(yīng)函數(shù)，對模型進(jìn)行調(diào)整，實(shí)現(xiàn)拖動(dòng)、旋轉(zhuǎn)、選中、分解等功能，同時(shí)使同一模型具有多種用途，節(jié)約了程序占用資源。在模型的拼接方面，首先對肌肉和骨骼模型之間按照預(yù)定的正常解剖位置進(jìn)行編排，當(dāng)相鄰的結(jié)構(gòu)彼此接近的時(shí)候，使模型關(guān)鍵的坐標(biāo)一致，形成一個(gè)整體。

3D打印技術(shù)是把計(jì)算機(jī)中產(chǎn)生的三維模型，通過軟件分層離散和數(shù)控成型系統(tǒng)，利用激光束、熱熔噴嘴等方式將特殊材料進(jìn)行逐層堆積黏結(jié)，疊加成型，制造出實(shí)體產(chǎn)品，它是一種新興的快速成型技術(shù)，在醫(yī)學(xué)領(lǐng)域關(guān)注度日增。其個(gè)性化、精準(zhǔn)化、遠(yuǎn)程化等優(yōu)點(diǎn)適合醫(yī)學(xué)領(lǐng)域應(yīng)用［5］。該軟件中，我們通過代碼以Stl格式將模型導(dǎo)出進(jìn)行3D打印，模型以其高保真、高仿真、高精確度重現(xiàn)解剖結(jié)構(gòu)，在臨床實(shí)踐特別是外科手術(shù)中有較大臨床意義。

在模擬手術(shù)操作中，傳感器將獲取的外部數(shù)據(jù)傳入unity程序，并將其抽象為肢體的精細(xì)運(yùn)動(dòng)，最后以這些運(yùn)動(dòng)數(shù)據(jù)為參考，控制屏幕中模型的移動(dòng)與旋轉(zhuǎn)［6］。具體的方法是記錄每幀肢體運(yùn)動(dòng)所產(chǎn)生的肢體位移，并按照x，y，z軸分別對應(yīng)至模型的x，y，z軸，在進(jìn)行一定的放縮后將模型進(jìn)行位移，并設(shè)計(jì)模型的物理、生理參數(shù)，實(shí)現(xiàn)模型在手術(shù)過程的變形，模擬手術(shù)過程中的切割、出血、神經(jīng)損傷等情況。

3 應(yīng)用效果

為驗(yàn)證在平臺上進(jìn)行操作學(xué)習(xí)能否對學(xué)習(xí)過程和效率有明顯的積極影響［7］，我們模仿進(jìn)行了對比試驗(yàn)。任意選擇10個(gè)解剖結(jié)構(gòu)，抽取大學(xué)一年級醫(yī)學(xué)生50名（未經(jīng)過解剖學(xué)習(xí)），將其平均分為兩組，在規(guī)定時(shí)間內(nèi)（10min）用軟件教學(xué)記憶（A組，A組已熟悉軟件操作）和用常規(guī)書本記憶（B組），兩組在臨時(shí)記憶和中期記憶以及長期記憶的對比如表1所示。

表1 記憶對比表

由表1可知，在短期和中期記憶里，兩組差別不大，但是長期記憶中，通過軟件學(xué)習(xí)的組（A組）比常規(guī)書本學(xué)習(xí)組（B組）成績要好，記憶更牢固。

4 軟件意義

4.1 學(xué)習(xí)高效性

該軟件改變了傳統(tǒng)解剖課堂枯燥、抽象的學(xué)習(xí)狀況。學(xué)生能自主拼接和立體感受人體的各部分肌肉和骨骼等結(jié)構(gòu)，并在屏幕左側(cè)對各部分結(jié)構(gòu)進(jìn)行了專業(yè)的注釋，通過編輯器鍵入自己的筆記和學(xué)習(xí)體會

4.2 自主開放性

該軟件打破了課堂和材料的限制，節(jié)約成本，在解決尸源不足等問題的同時(shí)，使學(xué)生在任何時(shí)間、任何地點(diǎn)都可以學(xué)習(xí)解剖知識。其次，學(xué)生是通過自主地拼接和切合肌肉和骨骼，注意力容易集中，記憶也更加深刻。

4.3 內(nèi)容拓展性

首先，軟件可以導(dǎo)入患者個(gè)體的三維重建圖像，有利于學(xué)生更直觀地了解人體實(shí)際的結(jié)構(gòu)，甚至可以用于醫(yī)師的輔助診斷。其次，結(jié)合3D打印技術(shù)可以將模型進(jìn)行3D打印，便于更加清楚地了解病灶結(jié)構(gòu)，進(jìn)而輔助外科手術(shù)入路選擇、降低手術(shù)風(fēng)險(xiǎn)、縮短手術(shù)時(shí)間。最后，軟件通過嵌入虛擬現(xiàn)實(shí)技術(shù)，利用肢體的運(yùn)動(dòng)來控制場景中的模型運(yùn)動(dòng)，可進(jìn)一步進(jìn)行模擬切割和模擬手術(shù)。

該軟件主要著眼于解決解剖學(xué)習(xí)過程中存在的知識不夠直觀，外科手術(shù)過程中操作較復(fù)雜、風(fēng)險(xiǎn)較大等問題。通過在計(jì)算機(jī)虛擬實(shí)驗(yàn)室中重現(xiàn)人體三維結(jié)構(gòu)，同時(shí)輔以合理學(xué)習(xí)的方法，幫助學(xué)生更好地掌握人體解剖學(xué)知識。在此基礎(chǔ)上，通過添加解析外部模型的功能，結(jié)合3D打印和虛擬現(xiàn)實(shí)技術(shù)，使其完成從教學(xué)到教學(xué)與臨床并重的轉(zhuǎn)變。

隨著目前我國醫(yī)療事業(yè)和現(xiàn)代計(jì)算機(jī)技術(shù)的不斷發(fā)展，虛擬現(xiàn)實(shí)技術(shù)必然會在醫(yī)學(xué)教學(xué)中越來越普及、越來越深入，虛擬現(xiàn)實(shí)技術(shù)在臨床中的應(yīng)用也將愈加多樣、愈加廣泛［8］。

［1］王正國.中國數(shù)字醫(yī)學(xué)：進(jìn)展與展望［J］.中華醫(yī)學(xué)信息導(dǎo)報(bào)，2016，31（15）：18

［2］劉尚輝，婁巖，劉佳，等.基于醫(yī)學(xué)教學(xué)的虛擬實(shí)驗(yàn)室建設(shè)與應(yīng)用［J］.中國醫(yī)學(xué)教育技術(shù)，2015，29（6）：639-641

［3］于敏，張曙光，邵海波.3D打印技術(shù)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用［J］.解剖科學(xué)進(jìn)展，2016（3）：351-354

［4］黃坪，李紅松，潘克儉，等.基于MOOC的醫(yī)學(xué)虛擬仿真實(shí)驗(yàn)室建設(shè)探討［J］.實(shí)驗(yàn)技術(shù)與管理，2014，31（12）：104-106

［5］周偉民，閔國全，李小麗.3D打印醫(yī)學(xué)［J］.組織工程與重建外科雜志，2014，4（1）：1-3

［6］張荻.Kinect應(yīng)用領(lǐng)域的探討［J］.物流工程與管理，2012，34（6）：39-41

［7］覃京燕，鄧袁圓.基于虛擬現(xiàn)實(shí)的交互式數(shù)字教學(xué)模式研究［J］.教育與職業(yè)，2010（32）：177-179

［8］崔夢舸.醫(yī)學(xué)虛擬現(xiàn)實(shí)技術(shù)發(fā)展與應(yīng)用［J］.電子世界，2015（18）：188-189

Design and app lication of the 3D human virtual anatom y jigsaw p latform

Hu Xing1，Yan Junyi1，Zhang Bingzhe1，Zheng Fen2

1Cadet Brigade；2Computer Teaching and Research Department，the Second Military Medical University，Shanghai200433，China

In order to enhance medical students＇and clinical workers＇learning and review of anatomical knowledge aswell as realizing themodel reconstruction and simulated operations on the virtual platform，we designed a 3D human body anatomy jigsaw software based on Unity platform.With levelmode，sandbox mode and extension mode as the framework，300 models of human body structure as the basis，and 3D printing and virtual reality technology，we realized anatomy learning，model reconstruction and cutting on the virtual platform.Practice proves that the platform is of great practical significance in basic medical education and surgery teaching.

human anatomy；medical teaching；digitalmedicine；virtual laboratory

G434

：A

：1004-5287（2017）04-0465-03

：10.13566／j.cnki.cmet.cn61-1317／g4.201704028

2017-03-08

胡星（1995-），男，安徽滁州人，本科在讀，主要研究方向：臨床醫(yī)學(xué)。

鄭奮（1976-），男，上海人，講師，碩士，主要研究方向：數(shù)據(jù)庫程序設(shè)計(jì)，虛擬現(xiàn)實(shí)技術(shù)。電話：13816708490；E-mail：zhengfenfly＠163.com