口腔頜面部混合現(xiàn)實動態(tài)追蹤技術(shù)數(shù)字化模型的應用基礎研究

[摘要]目的 探討混合現(xiàn)實技術(shù)在口腔頜面外科中的應用價值，開展體外模型混合現(xiàn)實動態(tài)追蹤技術(shù)基礎研究。方法 通過采集患者術(shù)前增強CT數(shù)據(jù)，重建三維數(shù)字化模型，結(jié)合3D打印技術(shù)，在體外模型上對病變動態(tài)追蹤，然后對比不同配準方式的效率。結(jié)果 通過術(shù)前增強CT數(shù)據(jù)的三維重建及多解剖模型組合獲得了三維可視化的頭頸部模型，并完成體外動態(tài)追蹤，其中面部標志識別法追蹤過程中，半側(cè)位動態(tài)追蹤平均時間（T45°）為3.67幀，側(cè)位動態(tài)追蹤平均時間（T90°）為10.67幀，全程動態(tài)追蹤平均時間（T總）為12秒28幀（30幀／秒）；QR碼識別法追蹤過程中，T45°為1.67幀，T900為2.33幀，T總為11秒13幀（30幀／秒）。結(jié)論MR技術(shù)與3D打印技術(shù)相結(jié)合可實現(xiàn)體外模型病變動態(tài)追蹤，為臨床運用MR技術(shù)實施精準個性化手術(shù)方案打下基礎。

[關(guān)鍵詞]腫瘤；混合現(xiàn)實；動態(tài)追蹤；3D打??；三維重建

[中圖分類號]R782[文獻標志碼]A[doi]10.7518/hxkq.2024.2024101

混合現(xiàn)實（mixed reality，MR）技術(shù)是現(xiàn)實與虛擬世界的對象共存并與真實環(huán)境實時交互的新興技術(shù)，是虛擬現(xiàn)實（virtual reality，VR）技術(shù)與增強現(xiàn)實（augmented reality，AR）技術(shù)結(jié)合產(chǎn)物。該技術(shù)基于術(shù)前影像數(shù)據(jù)，如計算機斷層掃描（computed tomography，CT）、磁共振成像（magnetic resonance imaging，MRI）等獲得的高分辨率影像數(shù)據(jù)，將其導人專業(yè)影像處理軟件后，呈現(xiàn)術(shù)區(qū)的3D影像，重建出完整的三維立體模型，從而實現(xiàn)現(xiàn)實與虛擬圖像的交互。目前，MR技術(shù)主要應用于外科手術(shù)的風險評估、方案設計、術(shù)中導航、皮瓣穿支定位以及教學模擬訓練等。

為了探究MR技術(shù)在口腔頜面外科中的臨床應用價值，本研究利用3D打印技術(shù)模擬真實患者，重建三維虛擬圖像，整合HoIoLens頭戴顯示器，并進行兩者疊加，對比兩種不同配準方式效率及實現(xiàn)實時圖像動態(tài)追蹤。

1材料和方法

1.1臨床資料

患者，女性，28歲，右腮腺多形性腺瘤術(shù)后4年，發(fā)現(xiàn)右腮腺區(qū)復發(fā)1年。臨床檢查：右腮腺區(qū)可捫及直徑約5 cm包塊，呈結(jié)節(jié)狀，質(zhì)中，無壓痛，活動度可。入院診斷為右腮腺多形性腺瘤術(shù)后復發(fā)，術(shù)后病理得到證實。

1.2數(shù)據(jù)采集

患者行增強CT檢查，獲得DICOM格式影像數(shù)據(jù)，導入三維重建軟件（安徽紫薇帝星數(shù)字科技有限公司）。對原始數(shù)據(jù)進行分期，分為平掃期、動脈期、靜脈期，同時進行數(shù)據(jù)預處理，得到重建軟件兼容格式，準備下一步重建。

1.3CT數(shù)據(jù)三維重建

將預處理數(shù)據(jù)導入軟件，在數(shù)據(jù)管理器的窗口，打開右鍵菜單，1）選定區(qū)域：利用軟件組織識別模塊，選定“興趣”重建區(qū)域，對圖像噪聲進行高斯平滑處理；2）閾值分析：采用軟件內(nèi)含的閥值算法，對擬重建部分選取理想的閾值范圍，然后運用分割算法分割感興趣區(qū)域；3）圖像優(yōu)化：對分割數(shù)據(jù)調(diào)用中指平滑算法進行優(yōu)化，去除重建圖像鋸齒邊緣。同時用一鍵導航按鈕定位二維和三維，查看分割的效果是否準確，利用畫筆或者畫刷工具修改部分錯誤的層面；4）重建：經(jīng)軟件集成的重建算法對所有分割優(yōu)化后區(qū)域進行三維重建，形成各個模塊。

以動脈為例，打開軟件，導入DICOM分期數(shù)據(jù)并預處理。在動脈區(qū)域內(nèi)使用閾值分析算法，點取種子點，調(diào)整閾值，計算并有效分割，獲得興趣區(qū)域，對圖像進行優(yōu)化，動脈表面平滑數(shù)據(jù)處理并鏤空，完成動脈重建，形成動脈模塊的三維影像（圖1）。

采取類似方法，重建靜脈、低密度影、骨骼、腮腺、皮膚、甲狀腺等重要組織，形成各器官三維影像模塊，對不同的模塊標識不同顏色及不同透明度設定。將多個三維影像模塊轉(zhuǎn)換至閱片端，整合不同顏色的模塊，組合并形成完整的頭頸部三維重建模型。

1.4數(shù)字化體外模型建立

1.4.13D打印

使用SolidWorks-3D建模軟件構(gòu)建模型，處理未封閉的開放邊，完成三維模型建立。轉(zhuǎn)換模型格式為光固化成型（STL）格式。利用Materialise Magics（Version 21.0）軟件編輯STL文件，包括數(shù)據(jù)分析、縮放、測量和修復。對校正的模型進行數(shù)據(jù)分層，選用高精進口樹脂及工業(yè)用3D打印機，把切片和模型導入3D打印機，對數(shù)據(jù)切片逐層打印，層層堆積成型。打印時針對鏤空或者懸空處加入支撐，打印完成后對模型進行去支撐處理，95％乙醇清洗模型，600目砂紙進行表面處理，光滑模型表面。具體3D打印制備體外模型步驟見圖2。

1.4.2模型配準基準建立

1）腫瘤體表投影勾畫：在三維重建軟件中打開完整三維模型，多角度判斷病變（低密度影）與各種解剖結(jié)構(gòu)之間的空間位置關(guān)系。選取三維影像矢狀面，將重建影像中的病變體表投影標記到皮膚上，勾畫病變的二維形態(tài)、大小、分布。病變在皮膚的體表投影中心由前后線及上下垂線的交叉來確定，在3D打印時將于皮膚生成帶顏色的體表投影標記（圖3）。

2）快速響應矩陣碼（quick response code，QRcode）制作：在重建的三維模型中皮膚組織上選取一個標記點（病變同側(cè)任意一點），3D打印時將在標記點形成孔，以QR碼的方式記憶標記點的空間位置，并制作樹脂二維碼固定于3D打印模型的標記點孔。

3）MR動態(tài)追蹤：將完整三維重建數(shù)據(jù)導人頭戴式全息顯示器HoIoLens（微軟公司，美國），操作者佩戴HoloLens眼鏡，通過雙指并攏、單指點擊、滑動等手勢和語音無接觸式命令HoloLens操作，實時瀏覽三維重建影像，通過影像配準將虛擬模型疊加于真實環(huán)境中的3D模型上。

4）體外配準采用兩種配準方式進行動態(tài)追蹤錄像。①體表標志點配準法：選取易于分辨且較穩(wěn)定的解剖結(jié)構(gòu)（鼻尖、內(nèi)外眥、下頜角點、面部輪廓）進行自動識別配準。將模型置于仰臥位，將三維重建模型投照于3D頭模的冠狀面上，Holo，Lens眼鏡自動識別3D模型的面部特征點，進行靜態(tài)配準，操作者以腫瘤體表投影與三維影像的匹配判斷配準是否成功。模擬患者偏頭位，暴露患側(cè)，HoloLens眼鏡對準3D頭模，偏頭運動過程中進行動態(tài)追蹤。待頭模停止轉(zhuǎn)動后，HoIoLens眼鏡對準頭模半側(cè)位或側(cè)位，保持穩(wěn)定的靜態(tài)配準狀態(tài)。②QR碼配準法：通過識別QR碼進行空間定位而實現(xiàn)體外配準。將帶有提前固定好的QR碼的頭模置于仰臥位，將三維重建模型投照于3D頭模的冠狀面上，HoloLens眼鏡將自動識別3D模型上的QR碼，以此定位頭模與三維重建模型間的相對位置，進行靜態(tài)配準。動態(tài)配準追蹤過程同前。

2結(jié)果

本研究將患者術(shù)前增強CT數(shù)據(jù)三維重建后，形成包括低密度影、雙側(cè)腮腺、頭頸部動脈、靜脈、骨骼、皮膚、淋巴結(jié)、胸鎖乳突肌、咬肌、甲狀腺等的三維立體結(jié)構(gòu)，進行多解剖模型組合獲得三維可視化的頭頸部模型（圖4）。通過重建后的三維模型能夠確定病變的范圍和邊界，定位位于腮腺實質(zhì)內(nèi)的病灶，并直觀顯示病變的位置關(guān)系及其內(nèi)部的分布、大小、深度、形態(tài)。除了直觀的展示，三維重建軟件也計算了病變實際體積0.56 mL、表面積10.21cm2，幫助判斷病變的大小。通過MR系統(tǒng)不同透明度的調(diào)節(jié)，快速定位病變位置，利用測量分析功能，對不同解剖層次的病變與周圍組織距離測量，實現(xiàn)病變的分層可視化。

此外，建立帶有體表投影標記及QR碼的三維模型，利用3D打印技術(shù)打印出模擬真實患者的體外模型。該3D模型不僅模擬了患者的外形輪廓，而且在皮膚層面對頜面部的解剖標志點進行了精確的再現(xiàn)（圖5、6）。

在此基礎上，利用MR技術(shù)對3D模型進行了動態(tài)追蹤，利用HoloLens視頻錄制功能記錄動態(tài)追蹤過程。采用Adobe Premiere Pro 2020視頻軟件對動態(tài)追蹤過程進行分析，多次重復追蹤過程，對比兩種方式的三維全息圖像配準時間（圖7）。面部標志識別冠狀位至側(cè)位動態(tài)追蹤過程中，半側(cè)位動態(tài)追蹤平均時間（T45°）為3.67幀，側(cè)位動態(tài)追蹤平均時間（T90°）為10.67幀，全程動態(tài)追蹤平均時間（T總）為12秒28幀（30幀/秒）；QR碼識別動態(tài)追蹤過程中，T450為1.67幀，T90°為2.33幀，T總為11秒13幀（30幀/眇）。結(jié)果顯示MR動態(tài)追蹤過程QR碼識別較面部標志識別更迅速（表1）。

三維重建過程中誤差分析，采用Adobe Photoshop CC 2019計算CT某一平面低密度影的面積、高度及寬度與三維重建后對應病變進行對比（圖8、表2）。平均面積差值1.742 mm2、平均高度差值0.235 mm、平均寬度差值1.296 mm。

3討論

目前，MR在口腔領(lǐng)域的應用見于顳下頜關(guān)節(jié)強直手術(shù)、頦成形手術(shù)、種植牙等臨床操作，在頭頸腫瘤中應用較為少見，尤其是軟組織腫瘤相關(guān)手術(shù)。MR技術(shù)相比VR和AR技術(shù)具有一定的優(yōu)勢，主要有3個特點：真實與虛擬對象結(jié)合、實時交互性、配準精確性。通過該技術(shù)可以實現(xiàn)術(shù)前手術(shù)設計及風險評估，此外通過虛擬三維影像與真實術(shù)區(qū)疊加及精確配準，與真實環(huán)境實時交互，術(shù)者可以清晰地看到病灶所在邊界和位置，避開重要器官與結(jié)構(gòu)，完整切除病灶。但是MR技術(shù)的臨床適用性和安全性也會受多種因素影響，如軟組織移動性、圖像配準精確性以及時效性等。因此，本研究著重對圖像配準這一技術(shù)進行應用的臨床前期研究。

首先采用三維重建軟件系統(tǒng)，獲得患者的數(shù)字化模型。該模型十分直觀地顯示病灶的大小、位置、形態(tài)，并且展示出病變與周圍組織的毗鄰關(guān)系，尤其是重要的動靜脈、淋巴結(jié)、腮腺的空間位置關(guān)系。在視圖中，以不同的顏色分別重建不同的組織，通過多角度旋轉(zhuǎn)，不同透明度的觀察，三維立體地洞悉病變與周圍組織的關(guān)系。此外，術(shù)前可以在三維重建模型中測量和計算病變的體積及與血管距離，輔助術(shù)前切口設計，更好地定位病灶，保障了在術(shù)中與重要血管安全距離，減少術(shù)區(qū)范圍，提供足夠的視野，為術(shù)者提供更多的術(shù)前方案設計信息。

目前，臨床上對于疾病的診斷和術(shù)前評估主要依據(jù)影像學資料，包括錐形束CT、螺旋CT、增強CT等，但是這些資料僅僅局限于二維平面，在一些復雜疾病的診治中，尤其是頭頸腫瘤手術(shù)中，需要精確定位病灶與周圍組織的三維關(guān)系，這些影像學檢查的局限性更加凸顯。如多發(fā)或復發(fā)的腫瘤，包括常見的復發(fā)多形性腺瘤（recurrent pleomorphic adenoma，RPA），常見臨床上2個及以上的多個病灶，其復發(fā)次數(shù)增加與后續(xù)復發(fā)的風險密切相關(guān)，因此該疾病治療關(guān)鍵的是手術(shù)徹底切除以減少復發(fā)次數(shù)。但是在RPA等復發(fā)多灶腫瘤手術(shù)巾，腫瘤缺乏完整包膜，邊界不清，增加了手術(shù)徹底切除的難度，也對手術(shù)中病灶的位置邊界的判斷提出了更高的要求。本研究中，選取了典型的RPA患者，通過三維可視化重建病灶，可以清晰地判斷病變的分布及范圍，與周圍組織的關(guān)系等，尤其與重要血管的關(guān)系及累及程度，為手術(shù)根治病變提供了很好的參考。對于三維可視化重建的臨床意義，前期研究中也有深刻體會，尤其針對臨床不能觸診的腫瘤，手術(shù)方案的制訂具有重要參考價值。

其次，為了進行MR的臨床應用研究，采用了3D打印技術(shù)重建了患者的體外模型。該技術(shù)是利用三維影像數(shù)據(jù)生成三維物理模型的方法，其本質(zhì)是快速成型技術(shù)，是在三維重建模型分割為層狀基礎上利用3D打印材料逐層堆積來重建三維物理模型。這個過程主要包括3D打印機從三維重建軟件中讀取數(shù)據(jù)，然后將液體、粉末或其他材料對應于三維重建模型的虛擬橫截面，層層堆塑，創(chuàng)建最終個性化定制模型。目前3D打印技術(shù)是一種相對成熟的技術(shù)，其在口腔領(lǐng)面外科主要運用于領(lǐng)骨重建相關(guān)手術(shù)、正頜手術(shù)等。因此，本研究也應用了3D打印技術(shù)建立體外模型，提供接近人體的安全實驗條件。

在三維重建及3D打印的基礎上，前期研究了MR手術(shù)系統(tǒng)的臨床應用。目前該項技術(shù)已經(jīng)少量應用到手術(shù)中，通過MR技術(shù)將三維結(jié)構(gòu)疊加于真實術(shù)區(qū)，并采用不同的顏色和不同的透明度展示各組織，可以更加直觀地判斷腫瘤與血管、淋巴結(jié)、正常組織間的毗鄰關(guān)系，術(shù)中輔助醫(yī)生精準定位腫瘤及受侵動脈，真正達到徹底清除目標病灶及頸部淋巴結(jié)，減少出血，提高手術(shù)的成功率，減少手術(shù)并發(fā)癥的發(fā)生，切實促進了手術(shù)高效化、精準化，作為術(shù)中導航的安全性和有效性也得到了驗證。

但是，這些研究也存在一個共性的問題，MR圖像配準是基于靜態(tài)狀態(tài)下進行的。在該技術(shù)臨床應用過程中，患者體位的改變不可避免，也就是圖像要進行多次配準，費時費力，因此在本研究中，提出能否對圖像進行動態(tài)配準，實現(xiàn)圖像的實時跟蹤，來解決反復人工配準的問題。因此采用了HoloLens 2代眼鏡，具有輕便、無接觸、多人共享、易操作等特點，通過眼球及語音追蹤實現(xiàn)設備命令和控制，不轉(zhuǎn)移手術(shù)視野，不接觸設備操作下同時看到真實術(shù)野與三維重建結(jié)構(gòu)。

本實驗中，采用了面部識別及QR碼識別兩種白動配準方式。這兩種配準方式已經(jīng)有過研究進行了誤差評價。Pepe等研究證實面部識別自動配準的效率，與有標記的配準方式相比較，誤差平均多出3 mm；Bussink等的研究中運用了AR技術(shù)與QR碼結(jié)合進行髁突手術(shù)，平均誤差為1 mm以內(nèi)。但是在本研究中并沒有測量其誤差，因為HoloLens 2代具有微調(diào)整功能，可手動校準三維空間坐標系數(shù)，根據(jù)虛擬按鈕和滑動條控制微小數(shù)據(jù)的移動和旋轉(zhuǎn)調(diào)整誤差。此外，HoloLens配置自動跟蹤圖像識別定位軟件平臺V1.0，其自帶校正機制能在0.5 mm精度內(nèi)自動校正誤差。在靜態(tài)狀態(tài)下通過腫瘤體表投影能夠精確配準，輔助面部識別及QR碼圖像識別，有效控制誤差。在動態(tài)條件下兩種配準方式都可以進行動態(tài)配準，實現(xiàn)影像實時跟蹤。其中樹脂制作QR碼固定于面部作為標記識別的配準方式較面部標志識別更高效、便捷、客觀，但也需要更多的研究來驗證其精確性。此外，本研究計算了三維重建過程中由于圖像的平滑、減噪、優(yōu)化等操作導致圖像轉(zhuǎn)化的誤差，隨機選取某處病變并計算其病變大小誤差，平均面積誤差在2mm2內(nèi)。已有研究將MR應用于腮腺腫瘤手術(shù)，實現(xiàn)術(shù)中腮腺腫瘤邊界定位及切口設計。而本研究首次實現(xiàn)了在康擬環(huán)境下動態(tài)追蹤病變，在模擬患者偏頭過程中對病變進行配準，更加貼近臨床手術(shù)實際操作，為操作者提供更多手術(shù)可能性。

盡管MR技術(shù)顯示出具有一定優(yōu)勢，但在實際臨床應用中仍存在局限性。如軟組織移動性影響其精度，MR實時動態(tài)追蹤在患者體位改變的軟組織移動研究方面有一定的優(yōu)勢，但在實際術(shù)中更加細微的軟組織移動對精度也有影響。此外，在進行配準識別的過程中也發(fā)現(xiàn)了MR設備部分缺點，如HoIoLens初次操作者需進行培訓，配準時會受環(huán)境光線影響，長時間使用會出現(xiàn)設備發(fā)熱等。隨著MR技術(shù)的不斷研究與應用，在臨床實踐中會有更多的完善和適應。

總之，在體外模型中將MR技術(shù)與3D打印技術(shù)相結(jié)合，將3D重建后的虛擬醫(yī)學影像模型疊加在模擬患者的相應部位，實現(xiàn)了類似“透視”的效果，并對比了兩種方式的配準及動態(tài)追蹤效果，為MR技術(shù)實施精準個性化手術(shù)打下基礎。未來需要更多研究探索其體外模型上及真實手術(shù)中運用的安全性、準確性及高效性。

利益沖突聲明：作者聲明本文無利益沖突。