高職康復(fù)治療技術(shù)專業(yè)心臟體格檢查AR教學(xué)軟件設(shè)計(jì)與開發(fā)淺析＊

李倩雯，張學(xué)剛，諸葛建，魯 海，付 奕

（廣東食品藥品職業(yè)學(xué)院，廣東 廣州 510520）

1 引言

心臟體格檢查是高職康復(fù)治療技術(shù)專業(yè)診斷學(xué)的重要內(nèi)容，傳統(tǒng)的講解方法通常是使用模式圖進(jìn)行講解，要求學(xué)生根據(jù)對心臟解剖結(jié)構(gòu)的認(rèn)識想象病變時的變化，需經(jīng)過多次想象和多個邏輯轉(zhuǎn)化推理過程，講解和學(xué)習(xí)過程都非常困難[1]。需增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用，為教育工作者提供全新的教學(xué)工具。同時，能激發(fā)學(xué)生學(xué)習(xí)新知識的興趣，讓學(xué)生在動手體驗(yàn)中迸發(fā)出創(chuàng)新的火花。因此將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于教育行業(yè)是教育技術(shù)發(fā)展的一個新的飛躍，它營造了自主學(xué)習(xí)的環(huán)境，由傳統(tǒng)的“以教促學(xué)”的學(xué)習(xí)方式演變?yōu)閷W(xué)生通過新型信息化環(huán)境和工具來獲取知識和技能的新型學(xué)習(xí)方式，符合新一輪教學(xué)改革的教育理念，有助于培養(yǎng)涉醫(yī)專業(yè)學(xué)生核心專業(yè)技能和素養(yǎng)。心臟體格檢查AR教學(xué)軟件以增強(qiáng)現(xiàn)實(shí)技術(shù)為基礎(chǔ)，設(shè)計(jì)并實(shí)現(xiàn)涉醫(yī)專業(yè)診斷學(xué)課程心臟體格檢查部分內(nèi)容的實(shí)時交互可視化應(yīng)用軟件，將抽象、艱深的理論課程內(nèi)容轉(zhuǎn)化為形象、易懂且可視化的虛擬現(xiàn)實(shí)內(nèi)容，并實(shí)現(xiàn)實(shí)時交互，提高教師教學(xué)效果和學(xué)生學(xué)習(xí)效率，實(shí)現(xiàn)教學(xué)目標(biāo)。

2 心臟體格檢查AR教學(xué)軟件系統(tǒng)模塊設(shè)計(jì)及實(shí)現(xiàn)

在研究課題的資助下，課題組根據(jù)一線教學(xué)需求完成了軟件架構(gòu)設(shè)計(jì)，分析了需要實(shí)現(xiàn)的功能模塊及其要求，以頭戴式增強(qiáng)現(xiàn)實(shí)設(shè)備為基礎(chǔ)，完成了系統(tǒng)基本流程設(shè)計(jì)、軟件可視化設(shè)計(jì)以及交互設(shè)計(jì)，開發(fā)并實(shí)現(xiàn)了心臟體格檢查教學(xué)軟件，導(dǎo)入可穿戴AR設(shè)備中運(yùn)行，設(shè)計(jì)并實(shí)現(xiàn)了涉醫(yī)專業(yè)診斷學(xué)課程聽診部分內(nèi)容的實(shí)時交互可視化應(yīng)用軟件。在整體和細(xì)節(jié)上均符合一線教學(xué)人員的使用習(xí)慣，將抽象、艱深的理論課程內(nèi)容轉(zhuǎn)化為可視化的虛擬現(xiàn)實(shí)內(nèi)容，并實(shí)現(xiàn)實(shí)時交互，提高了教師教學(xué)效果和學(xué)生學(xué)習(xí)效率，支持教學(xué)需求。軟件具體運(yùn)行流程如圖1所示。

圖1 軟件運(yùn)行流程圖

2.1 根據(jù)AR技術(shù)的要求進(jìn)行可視化設(shè)計(jì)

可視化是AR軟件的最重要內(nèi)容之一，軟件的可視化設(shè)計(jì)需充分考慮多方面的因素。心臟聽診部分是診斷學(xué)最有代表性的內(nèi)容之一，其傳統(tǒng)的教學(xué)方法為：①展示心臟各瓣膜在體表的聽診區(qū)；②介紹瓣膜病變所造成的聽診音變化，要求學(xué)生根據(jù)對心臟解剖結(jié)構(gòu)的認(rèn)識想象病變時的變化；③根據(jù)異常心音反推病變的狀態(tài)，進(jìn)行多次聯(lián)想、轉(zhuǎn)換和推理，這向來是診斷學(xué)教學(xué)的重點(diǎn)與難點(diǎn)。軟件把增強(qiáng)現(xiàn)實(shí)技術(shù)合理引入聽診課程理論教學(xué)，采用AR技術(shù)把心臟立體投影到教室，采用AR眼鏡接收并通過體感操控系統(tǒng)進(jìn)行操作，將教學(xué)內(nèi)容展示給學(xué)生，有效地將抽象的理論知識形象化和具體化，降低了教與學(xué)的難度。課題組在現(xiàn)有心臟3D建模的基礎(chǔ)上，對心臟體格檢查部分重點(diǎn)教學(xué)內(nèi)容（如二尖瓣狹窄、二尖瓣關(guān)閉不全、主動脈瓣狹窄、主動脈瓣關(guān)閉不全等病理狀態(tài)）根據(jù)AR技術(shù)的特點(diǎn)和要求進(jìn)行了相應(yīng)的可視化設(shè)計(jì)，并建立相應(yīng)的動態(tài)3D模型。其中心臟模型的建立需考慮心臟模型的視覺精細(xì)度和真實(shí)度、信息的存儲和修改是否可以及時地反饋到后臺數(shù)據(jù)庫中等方面。這幾個方面因?yàn)樯婕暗綆追N心臟常見疾病狀態(tài)的動態(tài)建模，從效率和素材可復(fù)用考慮，課題組選擇在心臟的幾大結(jié)構(gòu)分別建模（左心房、左心室、右心房、右心室、各個瓣膜），然后在運(yùn)行中組合起來，在不同的疾病狀態(tài)中只要修改影響到的病變部位的建模即可運(yùn)行。但是由于是動態(tài)模型，分別建模在動態(tài)顯示的過程中可能會有極細(xì)微的時差，如果多次重復(fù)播放后時差可能會積累到不可忽略的程度，因此，為了達(dá)到良好的顯示效果，課題組選擇了對不同的疾病狀態(tài)都進(jìn)行完整重新建模的方式，盡最大可能保障顯示效果。

為了滿足實(shí)踐教學(xué)需求，課題組在已有建模的基礎(chǔ)上，修改了瓣膜形態(tài)和血流的方向，展現(xiàn)在不同瓣膜病理狀態(tài)下血液流動所形成的渦流及其所帶來的心音變化，使學(xué)生能夠在學(xué)習(xí)聽心音的同時觀察到相應(yīng)的心瓣膜和血流變化，在無形中將難點(diǎn)問題消化吸收。

2.2 設(shè)計(jì)各教學(xué)內(nèi)容相關(guān)的實(shí)時交互方式

目前頭戴式增強(qiáng)現(xiàn)實(shí)設(shè)備能夠識別的實(shí)時交互方式包括目光焦點(diǎn)追隨、語音交互和手勢交互。語音交互方式可識別關(guān)鍵詞，手勢交互方式主要有點(diǎn)擊、抓取、移動、放大、縮小、旋轉(zhuǎn)、播放等功能。心臟體格檢查AR教學(xué)軟件可把教學(xué)所用到的教學(xué)內(nèi)容通過以上交互方式呈現(xiàn)。在軟件設(shè)計(jì)過程中根據(jù)教學(xué)需求和AR技術(shù)的技術(shù)特點(diǎn)，對需要用到的功能進(jìn)行精細(xì)設(shè)計(jì)，以確保手勢實(shí)時交互，高效地滿足教學(xué)需求，教師可根據(jù)頭戴式增強(qiáng)現(xiàn)實(shí)設(shè)備的功能特點(diǎn)設(shè)計(jì)出控制所投影出的模型，將瓣膜病變時的異常血流狀態(tài)從多個角度展現(xiàn)給學(xué)生，提高教與學(xué)的效率。在實(shí)時交互設(shè)計(jì)方面需注意解決以下關(guān)鍵問題：采取何種手勢實(shí)現(xiàn)實(shí)時交互，手勢識別的精確度，如何設(shè)計(jì)在預(yù)定的軟硬件環(huán)境下完成預(yù)期實(shí)時交互，確保屏幕顯示的文字及視頻清晰、易讀，使用者的退出設(shè)置、軟件重啟的穩(wěn)定性、主界面及各個功能模塊界面的親切型和合理性，腳本制作的需求貼切性，各個功能模塊呈現(xiàn)信息的及時性和舒適度等問題。軟件具體交互設(shè)計(jì)如圖2所示。

圖2 實(shí)時交互設(shè)計(jì)

2.3 開發(fā)實(shí)現(xiàn)軟件并測試完善

根據(jù)軟件模型和交互等方面的設(shè)計(jì)，在充分分析心臟體格檢查AR教學(xué)軟件需求、模塊功能、各個界面的布局以及實(shí)時交互細(xì)節(jié)的基礎(chǔ)上，采用實(shí)驗(yàn)等方法，完成教學(xué)軟件的總體結(jié)構(gòu)和功能設(shè)計(jì)，然后具體設(shè)計(jì)各個功能模塊間的關(guān)系，完成系統(tǒng)的具體設(shè)計(jì)和開發(fā)工作。系統(tǒng)開發(fā)過程中特別要注意音頻標(biāo)準(zhǔn)化的設(shè)計(jì)與實(shí)現(xiàn)，因?yàn)楝F(xiàn)有的心臟聽診音頻基本是患者體檢實(shí)錄音，標(biāo)準(zhǔn)化程度不足。為了滿足教學(xué)需求，在心臟體格檢查AR教學(xué)軟件中導(dǎo)入了不同心音，利用實(shí)時傅立葉變化描繪心音圖，結(jié)合心臟射血周期，使心臟狀態(tài)與心音特點(diǎn)無縫匹配。

系統(tǒng)開發(fā)工作完成后，課題組先組織了部分班級使用教學(xué)軟件，進(jìn)行系統(tǒng)功能測試和安全性、穩(wěn)定性方面的測試，對于發(fā)現(xiàn)的BUG，及時解決并做好記錄，形成了測試文檔。對于修復(fù)的BUG，進(jìn)行了完善的回歸測試和系統(tǒng)測試，確保教學(xué)軟件可以正常運(yùn)行。將心臟體格檢查AR教學(xué)軟件應(yīng)用于課程教學(xué)，使用過程中根據(jù)師生的反饋情況不斷對軟件進(jìn)行了測試和完善，確保教與學(xué)的實(shí)際需求緊密切合，更好地服務(wù)于診斷學(xué)的日常教學(xué)。

3 結(jié)束語

心臟體格檢查AR教學(xué)軟件充分利用了虛擬仿真技術(shù)構(gòu)建實(shí)訓(xùn)條件，把AR技術(shù)合理引入心臟體格檢查教學(xué)，有效地將體表之下抽象的理論知識“可視化”，降低了教與學(xué)的難度，為解決醫(yī)學(xué)基礎(chǔ)課程同類問題提供了借鑒經(jīng)驗(yàn)[2]。