增強(qiáng)現(xiàn)實(shí)技術(shù)在口腔頜面部腫瘤患者軟組織缺損修復(fù)中應(yīng)用的可行性分析*

陳俊天，曾維，湯煒

610041 成都，四川大學(xué)華西口腔醫(yī)院 創(chuàng)傷與整形外科(陳俊天、曾維、湯煒);610041 成都，四川大學(xué) 口腔疾病研究國(guó)家重點(diǎn)實(shí)驗(yàn)室/國(guó)家口腔疾病臨床研究中心(陳俊天、曾維、湯煒)

口腔頜面部腫瘤切除常伴隨軟硬組織缺損，影響患者容貌，進(jìn)而損害患者身心健康。軟組織和骨組織移植是頜面部缺損修復(fù)中最常用的技術(shù)[1-4]。在血管化骨移植手術(shù)中，數(shù)字化技術(shù)已得到廣泛應(yīng)用，數(shù)字化虛擬修復(fù)設(shè)計(jì)、3D打印數(shù)字化導(dǎo)板輔助骨塑形等，有效提高了手術(shù)的精確性，促進(jìn)了數(shù)字化技術(shù)在頜面外科的應(yīng)用[5-7]。目前軟組織移植手術(shù)主要依靠術(shù)中測(cè)量及術(shù)者經(jīng)驗(yàn)，難以精確設(shè)計(jì)皮瓣形狀及大小。如何合理運(yùn)用數(shù)字化技術(shù)將術(shù)前手術(shù)規(guī)劃有效展現(xiàn)于術(shù)中，指導(dǎo)皮瓣精確制備，是頜面部軟組織缺損修復(fù)的重點(diǎn)和難點(diǎn)。

增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)技術(shù)是一種將虛擬模型疊加于真實(shí)場(chǎng)景的技術(shù)[8-11]，近年來在頜面外科手術(shù)領(lǐng)域，如頭頸部腫瘤、創(chuàng)傷、正頜外科等逐步得到應(yīng)用[12-13]，提高了手術(shù)的精確性。課題組前期搭建了基于云平臺(tái)的AR圖像引導(dǎo)系統(tǒng)，并進(jìn)行了初步應(yīng)用，在頜面創(chuàng)傷、鼻畸形、異物取出[14]等手術(shù)治療中將術(shù)前規(guī)劃設(shè)計(jì)模型實(shí)時(shí)顯示在術(shù)中真實(shí)場(chǎng)景中，取得了較好的效果?；诖?，本研究提出將AR技術(shù)應(yīng)用于腫瘤引起的頜面部軟組織缺損修復(fù)手術(shù)，在術(shù)中進(jìn)行實(shí)時(shí)動(dòng)態(tài)引導(dǎo)，輔助術(shù)中皮瓣的精確制取，并且評(píng)估該技術(shù)的可行性。

1 材料與方法

1.1 病例納入及分組

2019年1月至2021年1月，從就診于四川大學(xué)華西口腔醫(yī)院的患者中收集9例腫瘤患者。納入標(biāo)準(zhǔn)：頜面部軟組織缺損，需行皮瓣轉(zhuǎn)移修復(fù)手術(shù)者。排除標(biāo)準(zhǔn)：1)皮瓣移植失敗者；2)術(shù)后失訪者。本研究得到了四川大學(xué)華西口腔醫(yī)院倫理委員會(huì)的同意，所有患者理解并自愿參加研究，簽署了知情同意書。兩位醫(yī)師分別對(duì)同一病人進(jìn)行術(shù)前手術(shù)設(shè)計(jì)，年輕醫(yī)師利用數(shù)字化手術(shù)設(shè)計(jì)和AR圖像引導(dǎo)技術(shù)設(shè)計(jì)皮瓣，高年資醫(yī)師利用傳統(tǒng)測(cè)量方法手工設(shè)計(jì)皮瓣。5例患者按照AR技術(shù)設(shè)計(jì)的皮瓣實(shí)施手術(shù)，4例患者按照傳統(tǒng)方法設(shè)計(jì)皮瓣實(shí)施手術(shù)，患者詳細(xì)信息見表1。

表1 患者資料

1.2 設(shè)備及軟件

螺旋CT(Philips MX16 EVO CT,Holland，電壓120 kV，電流7 700 mA，掃描矩陣512×512，層厚0.50 mm)；實(shí)驗(yàn)用計(jì)算機(jī) (Pentium4 3.06 GHz 雙核 CPU，6G DDR2 內(nèi)存，256M RADEON 顯卡，1T 硬盤，Wind7-SP1 操作系統(tǒng))；光固化3D 打印機(jī)(蘇州中瑞智創(chuàng)三維科技股份有限公司，中國(guó)，型號(hào)SLA300,精度0.01 mm)；單目攝像機(jī)(CMOS,30hz,1080P,自動(dòng)對(duì)焦，HD)；Blender 2.90(Blender Foundation, Holland)；云平臺(tái)(https://116.63.185.120/huaxicloud/)。

1.3 數(shù)據(jù)采集

1.3.1 模型構(gòu)建 對(duì)納入的患者進(jìn)行螺旋CT掃描，以獲取頜面部數(shù)據(jù)，將數(shù)據(jù)保存為醫(yī)學(xué)數(shù)字成像和通信(Digital Imaging and Communications in Medicine，DICOM)格式，導(dǎo)入Blender 2.90中重建3D頜面部軟組織CT模型(圖1)。

圖1 使用Blender 2.90重建頜面部軟組織CT模型

1.3.2 確定皮瓣部位 對(duì)所有患者進(jìn)行面部動(dòng)靜脈彩超檢查，標(biāo)記出供區(qū)動(dòng)脈位置，以此確定皮瓣蒂部位置。

1.3.3 構(gòu)建AR模型 使用移動(dòng)端云平臺(tái)面部掃描功能，拍攝患者術(shù)前各角度照片，拍攝時(shí)患者保持坐位，囑患者保持不動(dòng)，面部肌肉放松。將照片導(dǎo)入Blender 2.90中重建3D頜面部掃描模型(圖2)。

圖2 在術(shù)前3D面部掃描模型上標(biāo)記缺損范圍

1.4 AR技術(shù)輔助頜面部軟組織缺損修復(fù)流程

1.4.1 軟組織缺損重建 將頜面部軟組織CT模型與面部掃描模型進(jìn)行配準(zhǔn)融合，在融合后的模型上標(biāo)記出組織缺損范圍(皮瓣受區(qū)范圍,圖3)，根據(jù)缺損范圍建立缺損修復(fù)模型。然后根據(jù)彩超標(biāo)記的動(dòng)脈走行標(biāo)記出皮瓣蒂部的位置，依據(jù)蒂部的位置將缺損范圍轉(zhuǎn)移至正常皮膚，標(biāo)記皮瓣供區(qū)，按照標(biāo)記建立皮瓣轉(zhuǎn)移模型并在模型上標(biāo)記皮瓣關(guān)鍵信息。最后，根據(jù)皮瓣轉(zhuǎn)移的方向和距離設(shè)計(jì)皮瓣轉(zhuǎn)移路徑，制作動(dòng)畫示意皮瓣轉(zhuǎn)移過程,以此在術(shù)中進(jìn)行主動(dòng)引導(dǎo)，輔助皮瓣設(shè)計(jì)(圖4)。

圖3 根據(jù)面部掃描模型在CT模型上標(biāo)記的軟組織缺損范圍

圖4 模擬修復(fù)動(dòng)畫及模型

1.4.2 AR圖像引導(dǎo)系統(tǒng)規(guī)劃設(shè)計(jì) 首先，將缺損修復(fù)模型、皮瓣轉(zhuǎn)移模型、轉(zhuǎn)移動(dòng)畫在Blender中設(shè)計(jì)完成后，分別上傳至云平臺(tái)AR系統(tǒng)。然后在Blender中設(shè)計(jì)出可供AR系統(tǒng)識(shí)別的計(jì)算機(jī)視覺人工標(biāo)記物(Marker)并上傳至云平臺(tái)。根據(jù)患者面部穩(wěn)固的解剖部位(耳廓、鼻背、額角等)設(shè)計(jì)固位導(dǎo)板，并將STL數(shù)據(jù)導(dǎo)入光固化打印機(jī)中進(jìn)行3D打印，利用固位導(dǎo)板將Marker放置于患者頜面部術(shù)前設(shè)計(jì)位置，系統(tǒng)通過對(duì)Marker識(shí)別跟蹤實(shí)時(shí)顯示AR模型。固位導(dǎo)板及Marker打印后行低溫等離子消毒。

1.4.3 術(shù)中應(yīng)用 常規(guī)插管麻醉后，首先，高年資醫(yī)師根據(jù)受區(qū)缺損范圍及彩超標(biāo)記的血管位置手動(dòng)測(cè)量，設(shè)計(jì)供區(qū)皮瓣。然后打開電腦，通過Chrome瀏覽器進(jìn)入AR系統(tǒng)。將滅菌后的人工標(biāo)記物固定在患者頜面部，用三腳架固定單目攝像機(jī)，識(shí)別標(biāo)記后顯示患者缺損修復(fù)及皮瓣轉(zhuǎn)移的AR模型，將重建的患者三維圖像信息與攝像機(jī)實(shí)時(shí)捕獲的患者面部信息融合并顯示在計(jì)算機(jī)屏幕上，年輕醫(yī)師根據(jù)AR模型再次標(biāo)記皮瓣供區(qū)。對(duì)兩次標(biāo)記的皮瓣進(jìn)行主觀比較和評(píng)價(jià)，依據(jù)標(biāo)記形狀的近似程度將結(jié)果分為“相似”和 “不同”。5名患者按照AR技術(shù)設(shè)計(jì)的皮瓣實(shí)施手術(shù)(圖5、6)，4名患者按照傳統(tǒng)方法設(shè)計(jì)的皮瓣實(shí)施手術(shù)，手術(shù)均由同一位醫(yī)師完成。

圖5 術(shù)中應(yīng)用

圖6 術(shù)中皮瓣移植

1.5 術(shù)后評(píng)估

術(shù)后3個(gè)月對(duì)患者隨訪，進(jìn)行術(shù)后面部掃描，獲得面掃模型，導(dǎo)入Geomagnetic Studio 13.0中，與術(shù)前模擬修復(fù)模型重疊配準(zhǔn)，計(jì)算兩個(gè)模型皮瓣受區(qū)的差異(圖7)。然后，調(diào)查患者對(duì)修復(fù)效果的滿意度評(píng)分，1～5分依次為“不滿意”“一般”“較滿意”“滿意”“十分滿意”。根據(jù)術(shù)中AR技術(shù)和傳統(tǒng)手術(shù)方式在術(shù)前準(zhǔn)備、手術(shù)設(shè)計(jì)、術(shù)中應(yīng)用全過程的比較，分析應(yīng)用AR技術(shù)與傳統(tǒng)手術(shù)方式的優(yōu)缺點(diǎn)，評(píng)估AR技術(shù)在口腔頜面部軟組織缺損修復(fù)中應(yīng)用的可行性。

圖7 術(shù)后評(píng)價(jià)

2 結(jié) 果

本研究共納入9名患者，年齡范圍為21歲到49歲(表1)。術(shù)后面掃模型與術(shù)前模擬修復(fù)模型在皮瓣區(qū)域的平均距離為0.21 mm至3.13 mm，標(biāo)準(zhǔn)偏差在1.58 mm至1.85 mm之間(表2)，兩組修復(fù)效果與術(shù)前預(yù)期均無明顯差異。6名患者兩種方式設(shè)計(jì)的皮瓣形狀基本一致，患者術(shù)后滿意度都較高；3名患者皮瓣形狀差異較大，應(yīng)用AR技術(shù)的患者術(shù)后滿意度較高(表3)。AR引導(dǎo)手術(shù)相較于傳統(tǒng)手術(shù)方式，需要計(jì)算機(jī)輔助設(shè)計(jì)相關(guān)的技術(shù)，術(shù)前設(shè)計(jì)時(shí)間較長(zhǎng)，術(shù)前設(shè)計(jì)難度也較高，但在術(shù)中有效展示了術(shù)前的規(guī)劃設(shè)計(jì)，降低了對(duì)醫(yī)師手術(shù)經(jīng)驗(yàn)的要求，輔助設(shè)計(jì)的皮瓣面積較精確，皮瓣形狀與缺損區(qū)域更加貼合、皮瓣蒂部的長(zhǎng)度更合適，通過精確的術(shù)前規(guī)劃和術(shù)中主動(dòng)引導(dǎo)保證了手術(shù)精確性，在口腔頜面部軟組織修復(fù)手術(shù)中有較好的可行性(表4)。

表2 術(shù)后面掃模型與術(shù)前模擬修復(fù)模型配準(zhǔn)偏差分析

表3 兩種方式設(shè)計(jì)的皮瓣相似度比較及術(shù)后患者滿意度評(píng)分

表4 AR輔助口腔頜面部軟組織修復(fù)的可行性分析

3 討 論

3.1 口腔頜面部軟組織移植的難點(diǎn)

對(duì)于腫瘤導(dǎo)致的頜面部軟組織缺損，皮瓣轉(zhuǎn)移修復(fù)是目前的常用方法。在軟組織移植修復(fù)過程中要考慮受區(qū)缺損面積、供區(qū)取皮瓣面積、血管走行等多種因素，在手術(shù)前需制定詳細(xì)的手術(shù)計(jì)劃。但如何在手術(shù)中有效執(zhí)行術(shù)前設(shè)計(jì)，精確輔助皮瓣轉(zhuǎn)移仍是手術(shù)的難點(diǎn)。傳統(tǒng)手術(shù)方式在設(shè)計(jì)皮瓣時(shí)主要依賴醫(yī)師的手術(shù)經(jīng)驗(yàn)，可能由于測(cè)量誤差、皮瓣形狀不規(guī)則等原因難以精確制取皮瓣，為避免移植后皮瓣面積不足，需制取較大皮瓣，受區(qū)缺損范圍較大，且供區(qū)皮瓣可能較厚，影響術(shù)后美學(xué)效果[15]。

3.2 AR技術(shù)的優(yōu)勢(shì)

AR技術(shù)可以將計(jì)算機(jī)生成的虛擬場(chǎng)景疊加在現(xiàn)有的現(xiàn)實(shí)場(chǎng)景之上，在頜面部軟組織缺損修復(fù)手術(shù)中，將術(shù)前設(shè)計(jì)模型直接疊加在真實(shí)術(shù)野上，實(shí)時(shí)展示皮瓣供區(qū)及受區(qū)范圍、血管位置等信息，并可通過術(shù)中動(dòng)畫展示實(shí)現(xiàn)手術(shù)設(shè)計(jì)動(dòng)態(tài)可視化，為醫(yī)師提供更多信息。皮瓣移植修復(fù)操作多位于皮膚表面，不存在物體與模型相互遮擋，因此AR模型顯示精確性較高。對(duì)于需要塑形的皮瓣，例如鼻部較大缺損的修復(fù)，可以通過術(shù)前對(duì)模型降維，創(chuàng)建二維修復(fù)模型并轉(zhuǎn)移至額部，精確制備匹配缺損區(qū)域形狀的皮瓣，在制取皮瓣面積合適的同時(shí)也能取得較好的美學(xué)效果[16]。

對(duì)比分析應(yīng)用AR技術(shù)與傳統(tǒng)方式設(shè)計(jì)的皮瓣可知，對(duì)于形狀較規(guī)則、曲度較小的皮瓣，兩種方式設(shè)計(jì)出的皮瓣較為一致，均取得了較為滿意的手術(shù)效果。但對(duì)于形狀不規(guī)則、曲度較大的皮瓣，兩種方式設(shè)計(jì)出的皮瓣存在較大差異，應(yīng)用AR技術(shù)設(shè)計(jì)的皮瓣形狀更加精確，手術(shù)效果更好。AR技術(shù)的應(yīng)用需要完善的術(shù)前數(shù)字化設(shè)計(jì)，可能增加術(shù)前準(zhǔn)備的時(shí)間，但通過術(shù)前設(shè)計(jì)規(guī)劃、術(shù)中實(shí)時(shí)展示引導(dǎo)，有效降低了醫(yī)師經(jīng)驗(yàn)的對(duì)手術(shù)效果的影響，年輕醫(yī)師也能夠通過術(shù)前數(shù)字化測(cè)量精確設(shè)計(jì)皮瓣[17-18]。課題組開發(fā)的云平臺(tái)AR圖像引導(dǎo)系統(tǒng)不僅能顯示皮瓣模型，還提供了皮瓣關(guān)鍵點(diǎn)位置的信息，同時(shí)設(shè)計(jì)動(dòng)畫展示皮瓣的轉(zhuǎn)移路徑，主動(dòng)引導(dǎo)術(shù)者進(jìn)行皮瓣設(shè)計(jì)，簡(jiǎn)化了皮瓣的設(shè)計(jì)過程，提高了手術(shù)精確性，在口腔頜面部軟組織缺損修復(fù)手術(shù)中應(yīng)用具有良好的可行性。

3.3 未來研究方向

AR技術(shù)在頜面外科皮瓣移植手術(shù)中應(yīng)用取得了良好的效果，有效幫助術(shù)者執(zhí)行術(shù)前規(guī)劃。本研究仍存在一定的局限性，樣本數(shù)據(jù)少(僅9人)，AR技術(shù)改善手術(shù)結(jié)果和手術(shù)條件的潛力和在實(shí)際應(yīng)用中的精確性，還需要在涉及更多患者的對(duì)比實(shí)驗(yàn)中得到證實(shí)。其次，盡管課題組開發(fā)的AR系統(tǒng)顯示了皮瓣形狀及血管位置等關(guān)鍵信息，并通過主動(dòng)引導(dǎo)保證皮瓣轉(zhuǎn)移的方向和位置的準(zhǔn)確性，降低了手術(shù)難度，保證了手術(shù)效果，但由于軟組織具有較大的彈性，系統(tǒng)無法模擬皮瓣發(fā)生的收縮、變形，實(shí)現(xiàn)軟組織缺損的精確修復(fù)仍是一個(gè)較大的挑戰(zhàn)。未來可通過對(duì)軟組織形變的研究，將軟組織形變的模擬引入AR系統(tǒng)，提高系統(tǒng)對(duì)頜面部軟組織缺損修復(fù)手術(shù)引導(dǎo)的精確性。此外，目前采用的視頻式AR顯示方式，模型僅在屏幕上疊加，不能直接展示在術(shù)區(qū)。未來研究可考慮通過術(shù)中投影，增加手術(shù)交互設(shè)計(jì)等方式，更直觀地展現(xiàn)術(shù)前設(shè)計(jì)，提高AR顯示技術(shù)的沉浸感，輔助口腔頜面部軟組織缺損精確修復(fù)[19-20]。

綜上所述，本課題組在前期研究基礎(chǔ)上，利用AR技術(shù)輔助設(shè)計(jì)皮瓣，為精確修復(fù)頜面部軟組織缺損提供了新的思路，降低了醫(yī)師經(jīng)驗(yàn)對(duì)手術(shù)效果的影響，取得了較為滿意的臨床效果，在口腔頜面部軟組織缺損修復(fù)中具有一定的可行性。未來還需結(jié)合軟組織形變的研究和交互技術(shù)的改進(jìn)，進(jìn)一步提高軟組織修復(fù)的精確性，促進(jìn)AR技術(shù)在口腔頜面部軟組織缺損修復(fù)的應(yīng)用。

作者聲明：本文全部作者對(duì)于研究和撰寫的論文出現(xiàn)的不端行為承擔(dān)相應(yīng)責(zé)任；并承諾論文中涉及的原始圖片、數(shù)據(jù)資料等已按照有關(guān)規(guī)定保存，可接受核查。

學(xué)術(shù)不端：本文在初審、返修及出版前均通過中國(guó)知網(wǎng)(CNKI)科技期刊學(xué)術(shù)不端文獻(xiàn)檢測(cè)系統(tǒng)的學(xué)術(shù)不端檢測(cè)。

同行評(píng)議：經(jīng)同行專家雙盲外審，達(dá)到刊發(fā)要求。

利益沖突：所有作者均聲明不存在利益沖突。

文章版權(quán)：本文出版前已與全體作者簽署了論文授權(quán)書等協(xié)議。