耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)的研發(fā)

楊媛媛 周雅琪 劉洪宇 楊煒強(qiáng) 冀飛 陳偉 陶源*

1 北京大學(xué)深圳醫(yī)院耳鼻咽喉科（深圳 518036）

2 中國人民解放軍總醫(yī)院耳鼻咽喉頭頸外科醫(yī)學(xué)部，國家耳鼻咽喉疾病臨床醫(yī)學(xué)研究中心，聾病教育部重點(diǎn)實(shí)驗(yàn)室，聾病防治北京市重點(diǎn)實(shí)驗(yàn)室，軍事聲損傷防護(hù)實(shí)驗(yàn)室，國家老年疾病臨床醫(yī)學(xué)研究中心（解放軍總醫(yī)院）(北京 100853）

自20世紀(jì)中葉，Georg von Bekesy 和Bruce Mer 將內(nèi)鏡應(yīng)用于耳科學(xué)起，至今耳內(nèi)鏡發(fā)展已歷經(jīng)30 余年。大致分為三個(gè)階段[1]：一階段，用于檢查和診斷中耳疾??；二階段，用于輔助顯微鏡清除中耳乳突等的病變；三階段，耳內(nèi)鏡作為耳外科主要的手術(shù)方式之一。耳內(nèi)鏡在中耳[2-11]、內(nèi)耳[12]及側(cè)顱底[13]手術(shù)中的應(yīng)用越來越廣泛，與耳顯微外科相比，療效也受到肯定[7-8,12,14-18]。

與所有的外科類似，耳科醫(yī)師需要經(jīng)過專業(yè)的手術(shù)訓(xùn)練后才能獲取和提高耳內(nèi)鏡技能。當(dāng)前，耳內(nèi)鏡手術(shù)訓(xùn)練主要依靠視頻、網(wǎng)站、老師帶教、尸體顳骨解剖、物理及虛擬模擬器等?？紤]到倫理、法律、存儲(chǔ)、成本、患者安全、模擬系統(tǒng)的真實(shí)性、可操作性等方面，耳內(nèi)鏡手術(shù)訓(xùn)練需要一款能身臨其境、標(biāo)準(zhǔn)化和嚴(yán)格的培訓(xùn)系統(tǒng)。因此，我們研發(fā)了一款用于耳內(nèi)鏡手術(shù)訓(xùn)練的操作系統(tǒng)，采用虛擬手術(shù)仿真技術(shù)，同時(shí)結(jié)合真實(shí)耳內(nèi)鏡手術(shù)視頻，再配合力反饋設(shè)備形成一種全新的耳內(nèi)鏡手術(shù)培訓(xùn)系統(tǒng)，實(shí)現(xiàn)了臨床實(shí)景和觸覺力反饋交互的沉浸式全程耳內(nèi)鏡模擬手術(shù)體驗(yàn)。

1 耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)的組成

耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)（圖1，圖2），包括系統(tǒng)臺(tái)車，手術(shù)仿真手柄，力反饋裝置，力反饋底座，手術(shù)培訓(xùn)系統(tǒng)機(jī)身以及虛擬現(xiàn)實(shí)眼鏡6 部分。

圖1 耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)框圖Fig.1 The block diagram of training system for ear endoscopic surgery

圖2 耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)Fig.2 The training system for ear endoscopic surgery

1.1 力反饋操作裝置

力反饋裝置包括第一姿態(tài)軸、第二姿態(tài)軸、第三姿態(tài)軸以及分別與第三姿態(tài)軸和第三位置軸相連的姿態(tài)位置連接處，且姿態(tài)位置連接處分別與第三位置軸、第二位置軸和第一位置軸連接，第一位置軸、第二位置軸以及第三位置軸的另外端與力反饋基座連接，手術(shù)仿真手柄裝置與所述力反饋裝置的第一姿態(tài)軸以及所述的手柄緊固裝置進(jìn)行固定裝置。力反饋裝置，其特征在于，第一姿態(tài)軸以第二姿態(tài)軸的軸線為旋轉(zhuǎn)軸進(jìn)行旋轉(zhuǎn)時(shí)，最大的旋轉(zhuǎn)角度為360 度。第二姿態(tài)軸以第三姿態(tài)軸的軸線為旋轉(zhuǎn)軸進(jìn)行旋轉(zhuǎn)時(shí)，最大的旋轉(zhuǎn)角度為360 度。通過力反饋操作裝置，可以進(jìn)行真實(shí)手術(shù)視頻學(xué)習(xí)以及三維手術(shù)仿真訓(xùn)練。

1.2 手術(shù)仿真手柄裝置

手術(shù)仿真手柄裝置通過力反饋裝置內(nèi)的手柄緊固裝置固定在力反饋裝置上，用于識(shí)別手術(shù)手柄的力覺大小。手柄緊固裝置上安裝有力覺識(shí)別單元，力覺識(shí)別單元在使用時(shí)實(shí)時(shí)記錄仿真手術(shù)操作桿末端的力覺。通過信號(hào)采集模塊、虛擬仿真模塊和真實(shí)視頻模塊，其中虛擬仿真模塊和真實(shí)視頻模塊通過相應(yīng)算法進(jìn)行疊加，實(shí)現(xiàn)虛實(shí)結(jié)合的手術(shù)培訓(xùn)系統(tǒng)。通過力覺識(shí)別單元識(shí)別手術(shù)手柄的力覺大小，實(shí)現(xiàn)訓(xùn)練過程中對(duì)不同部位的力覺反饋采集。

1.3 手術(shù)培訓(xùn)系統(tǒng)機(jī)身

耳內(nèi)鏡手術(shù)培訓(xùn)系統(tǒng)機(jī)身包括交互系統(tǒng)、系統(tǒng)顯示模塊、系統(tǒng)控制模塊、驅(qū)動(dòng)控制單元、虛擬仿真模塊、真實(shí)視頻模塊、信號(hào)采集單元及4 個(gè)可鎖定的萬向腳輪。其中，系統(tǒng)顯示面板用于顯示耳內(nèi)鏡手術(shù)培訓(xùn)系統(tǒng)操作的視頻以及操作系統(tǒng)控制面板內(nèi)含數(shù)據(jù)處理系統(tǒng)，可以實(shí)現(xiàn)真實(shí)視頻數(shù)據(jù)和虛擬三維數(shù)據(jù)的處理，并將視頻數(shù)據(jù)和三維數(shù)據(jù)處理后顯示到顯示面板上。

1.4 虛擬現(xiàn)實(shí)（Virtual Reality,VR）眼鏡

VR眼鏡裝置系統(tǒng)通過信號(hào)采集單元采集的信號(hào)，讀取顯示耳內(nèi)鏡虛擬及真實(shí)手術(shù)視頻。

2 耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)的流程

耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)，按照手術(shù)培訓(xùn)系統(tǒng)機(jī)身或者控制單元中按時(shí)間順序執(zhí)行，也可以在單獨(dú)配備的計(jì)算裝置中執(zhí)行。具體的流程（圖3）：獲取耳內(nèi)鏡手術(shù)真實(shí)手術(shù)視頻數(shù)據(jù)；對(duì)手術(shù)進(jìn)行特定手術(shù)過程的虛擬仿真來獲取虛擬手術(shù)數(shù)據(jù)；將虛擬手術(shù)數(shù)據(jù)與真實(shí)手術(shù)視頻進(jìn)行疊加處理；并將上述疊加后處理的數(shù)據(jù)接入力反饋設(shè)備操作，從而形成了虛實(shí)結(jié)合的耳內(nèi)鏡手術(shù)訓(xùn)練系統(tǒng)以下，記載對(duì)各個(gè)步驟的詳細(xì)說明。

圖3 耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)流程圖Fig.3 The flow chart of the training system for ear endoscopic surgery

2.1 處理耳內(nèi)鏡手術(shù)真實(shí)手術(shù)視頻數(shù)據(jù)

將經(jīng)過認(rèn)證和獲得同意的資深耳內(nèi)鏡專家的耳內(nèi)鏡手術(shù)過程，錄制成視頻數(shù)據(jù)，上傳，并將視頻數(shù)據(jù)進(jìn)行剪輯處理?？梢愿鶕?jù)耳內(nèi)鏡的培訓(xùn)需要，進(jìn)行無限次的增減、難度更改等。

2.2 獲得虛擬手術(shù)數(shù)據(jù)

將耳內(nèi)鏡真實(shí)手術(shù)視頻數(shù)據(jù)的同一患者的顳骨高分辨CT（或MR）圖像數(shù)據(jù)進(jìn)行3D 建模，對(duì)3D模型設(shè)置彈性形變模型，對(duì)所述的3D 模型表面進(jìn)行碰撞檢測(cè)，并將3D 模型以及彈性形變模型導(dǎo)入力反饋模型，對(duì)重建后的3D 模型、彈性形變模型以及力反饋模型進(jìn)行視覺力覺渲染。

顳骨高分辨CT（或MR）圖像數(shù)據(jù)3D 建模采用VTK 進(jìn)行體繪制實(shí)現(xiàn)。體繪制是指直接將體數(shù)據(jù)中的體素投影到屏幕上，其相對(duì)于面繪制的最大區(qū)別就是體繪制時(shí)體數(shù)據(jù)中的全部體素都參與了最終圖像的渲染，體數(shù)據(jù)是對(duì)局部空間內(nèi)的數(shù)據(jù)進(jìn)行采樣，采樣值代表這個(gè)點(diǎn)上一個(gè)或多個(gè)物理特性。一般數(shù)據(jù)場(chǎng)空間都是以有限多個(gè)采樣來描述，所以體數(shù)據(jù)包含物體內(nèi)部真正的三維實(shí)體信息。

通常情況下，體數(shù)據(jù)表示為一個(gè)三維的數(shù)組空間，在圖中每個(gè)元素稱為體素，體素也是體數(shù)據(jù)最小的單位，每個(gè)體素都在圖中對(duì)應(yīng)著相應(yīng)的行號(hào)、列號(hào)和層號(hào)。因?yàn)槭且?guī)則數(shù)據(jù)場(chǎng)，所有體數(shù)據(jù)都是平均分布在x，y，z 三個(gè)方向上，體素之間的距離是相等的。在體繪制中需要設(shè)置一個(gè)光學(xué)模型，該方案中采用光線吸收模型，其公式如下：

參數(shù)S 為光線的投射方向的長度，表示距離為S 處光線強(qiáng)度，表初始光強(qiáng)；在體繪制中，采用最大密度投影（Maximum Intensity Projection,MIP），最大密度投影是將一定厚度（即CT 層厚）中最大CT 值的體素投影到背景平面上，以顯示所有或部分的強(qiáng)化密度高的血管或器官。

對(duì)3D 模型耳的不同部位建立彈性形變模型，不同的部位彈性系數(shù)不一樣，力覺的反饋值也不一樣；彈性模型的線性方程{S}={F}/[K]，其中[K]是剛度矩陣系數(shù)，{S}是位移距離，{F}是外力。

2.3 疊加虛擬手術(shù)數(shù)據(jù)與真實(shí)手術(shù)視頻

虛擬手術(shù)數(shù)據(jù)采用CT（或MR）圖像數(shù)據(jù)進(jìn)行3D 建模，實(shí)現(xiàn)3D 虛擬手術(shù)數(shù)據(jù)，同時(shí)，將真實(shí)的耳內(nèi)鏡手術(shù)視頻進(jìn)行剪輯成不同片段；本系統(tǒng)采用Unity3D 引擎，采用圖層疊加方案，頂層GUI顯示真實(shí)手術(shù)視頻，底層顯示虛擬3D 數(shù)據(jù)；根據(jù)手術(shù)視頻的播放進(jìn)程，根據(jù)時(shí)間片段自動(dòng)匹配對(duì)應(yīng)3D 虛擬手術(shù)數(shù)據(jù),見圖4。

圖4 采用CT（或MR）圖像數(shù)據(jù)進(jìn)行3D建模Fig.4 3D modeling using CT(or MR)image data

2.4 接入力反饋設(shè)備操作

采用自研力反饋設(shè)備，該設(shè)備基于Delta 的并聯(lián)機(jī)構(gòu)，與末端串聯(lián)旋轉(zhuǎn)機(jī)械解耦連接，具有主動(dòng)重力補(bǔ)償功能，精度達(dá)到0.01mm，最大持續(xù)力大于8.5N，刷新頻率4K，并具有自動(dòng)校準(zhǔn)功能，完全符合耳內(nèi)鏡手術(shù)訓(xùn)練要求。

該力反饋提供的是C/C++的接口，可以與OpenGL結(jié)合進(jìn)行開發(fā)，同時(shí)也提供基于Unity3D的接口UnityCLAF，供在Unity3D 中調(diào)用設(shè)備接口；支持基于Unity3D、OpenGL3D引擎開發(fā)。

同時(shí)，在力反饋末端連接可以跟換的手術(shù)仿真手柄，在外形和方式上與實(shí)際手術(shù)器械一致。

3 耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)的優(yōu)點(diǎn)

VOXEL-MAN、俄亥俄州立大學(xué)的Mediseus 顳骨模擬器（Medisesus temporal bone simulator Ohio State University Simulator）、斯坦福顳骨手術(shù)（Stanford Temporal Bone surgical）可能是目前文獻(xiàn)報(bào)道研究最充分的三種耳科虛擬操作系統(tǒng)。與這三者相比，我們的耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)，最大的優(yōu)點(diǎn)就是“真實(shí)性”。具體的說：

真實(shí)的手術(shù)視頻案例、真實(shí)的手術(shù)患者CT 圖像重建的三維虛擬手術(shù)仿真、真實(shí)的手術(shù)器械按照真實(shí)的手術(shù)操作過程進(jìn)行臨摹專家手術(shù)操作。通過訓(xùn)練，提高受訓(xùn)者對(duì)于不同組織，如皮瓣、骨質(zhì)、肌肉、鼓膜、聽骨、神經(jīng)等的真實(shí)體驗(yàn)，通過反復(fù)訓(xùn)練，增加操作者的肌肉訓(xùn)練記憶，提高手術(shù)訓(xùn)練效果，縮短培訓(xùn)周期。

同時(shí)，在訓(xùn)練系統(tǒng)中，增加了遠(yuǎn)程教學(xué)模塊，可以使受訓(xùn)者能遠(yuǎn)程培訓(xùn)學(xué)習(xí)，減少受訓(xùn)者對(duì)距離的限制。

另外，本系統(tǒng)所使用的材料、技術(shù)均是國產(chǎn)，擁有自主知識(shí)產(chǎn)權(quán)，而且使用的模塊化設(shè)計(jì)在現(xiàn)有的操作系統(tǒng)框架內(nèi)，可以再擴(kuò)展進(jìn)行其他微創(chuàng)手術(shù)的訓(xùn)練模塊，具有廣泛的應(yīng)用前景。

4 總結(jié)

當(dāng)前，耳內(nèi)鏡的體外訓(xùn)練模型，尸體顳骨解剖無疑“金標(biāo)準(zhǔn)”，但由于資源稀缺等原因，耳內(nèi)鏡初學(xué)者，尤其是規(guī)培學(xué)員、研究生等，可供耳內(nèi)鏡手術(shù)訓(xùn)練的，多是采用動(dòng)物模型及虛擬模擬器。目前報(bào)道的用于耳內(nèi)鏡手術(shù)訓(xùn)練的動(dòng)物模型主要是冷凍的羔羊尸頭。Fernandez IJ 等[19]及Anschuetz L 等[20]報(bào)道，通過耳內(nèi)鏡下冷凍羔羊尸頭訓(xùn)練，能顯著提高耳內(nèi)鏡手術(shù)操作技巧。近年來，隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，虛擬模擬器已成為現(xiàn)代外科教育的重要組成部分，允許在不同的臨床場(chǎng)景中有效地提高和評(píng)估學(xué)員的技能[21]。當(dāng)前用于耳內(nèi)鏡手術(shù)訓(xùn)練的虛擬模擬器可以概括為物理模擬器和虛擬現(xiàn)實(shí)模擬器。物理模擬器是學(xué)習(xí)者與之進(jìn)行物理互動(dòng)以提高知識(shí)和技能的模型，是一種可以像身體部位一樣具體的模型，如喉部或顳骨。物理模擬器可以直接觸摸、操作、切割、反復(fù)操作，而且相對(duì)而言，成本較低，易于組裝，易于維護(hù)[22-25]。比如利用比較簡單的材料，模擬外耳道及鼓膜。Narendrakumar V報(bào)道木瓜徑模擬外耳道，完成耳內(nèi)鏡下鼓膜切開術(shù)[24]。Dedmon MM 等[22,26]報(bào)道通過聚氯乙烯管制成的簡易模型，學(xué)生和耳外科醫(yī)生完成耳內(nèi)鏡下動(dòng)作訓(xùn)練，比如將珠子放在指定的鋼絲上，作為耳內(nèi)鏡手術(shù)訓(xùn)練。并且，通過比較學(xué)生和耳外科醫(yī)生通過訓(xùn)練后學(xué)習(xí)曲線的變化，認(rèn)為這種方式的耳內(nèi)鏡訓(xùn)練能提高手術(shù)操作技能[22]。使用真實(shí)的顳骨、人工血及新鮮雞皮，作為中耳膽脂瘤模型[23]，練習(xí)耳內(nèi)鏡下完成外耳道皮瓣分離及中耳膽脂瘤清理。自2004年3D 顳骨模型的應(yīng)用起，多位學(xué)者陸續(xù)報(bào)道了應(yīng)用3D顳骨進(jìn)行耳內(nèi)鏡手術(shù)訓(xùn)練。Barber SR等報(bào)道，耳內(nèi)鏡下在3D 顳骨模擬器下將指定的圓圈從一個(gè)釘子轉(zhuǎn)移到另一個(gè)釘子，可以反復(fù)多次操作[27]。且通過3D 打印顳骨模擬器，術(shù)前模擬耳內(nèi)鏡下巖尖部手術(shù)，能降低術(shù)中風(fēng)險(xiǎn)[28]。

耳內(nèi)鏡虛實(shí)結(jié)合手術(shù)培訓(xùn)系統(tǒng)，結(jié)合真實(shí)的耳內(nèi)鏡微創(chuàng)手術(shù)，采用人機(jī)交互，完全模擬真實(shí)手術(shù)場(chǎng)景、同步訓(xùn)練耳內(nèi)鏡手術(shù)技術(shù)要點(diǎn)進(jìn)行流程性操作，對(duì)手術(shù)關(guān)鍵技術(shù)、難點(diǎn)技術(shù)進(jìn)行反復(fù)訓(xùn)練。通過訓(xùn)練，學(xué)習(xí)耳內(nèi)鏡微創(chuàng)手術(shù)的流程，熟悉耳內(nèi)鏡關(guān)鍵技術(shù)的要點(diǎn)，為培訓(xùn)者今后獨(dú)立的耳內(nèi)鏡手術(shù)打下堅(jiān)實(shí)的基礎(chǔ)。同時(shí)，該系統(tǒng)所使用的材料、技術(shù)均是國產(chǎn)，擁有自主知識(shí)產(chǎn)權(quán)，具有廣泛的應(yīng)用前景。