基于深度回歸的骨折鎖釘孔三維空間定位方法

王 菲，蔣俊鋒，鄧子越，陳 亮，黃 瑞，姚慶強

（1.河海大學物聯(lián)網(wǎng)工程學院，江蘇 常州 213000；2.常州錦瑟醫(yī)療信息科技有限公司，江蘇 常州 213000；3.南京醫(yī)科大學附屬南京醫(yī)院，江蘇 南京 210000）

0 引 言

人體長骨發(fā)生骨折后，首先需要在髓腔中插入髓內(nèi)釘，之后將螺釘置入髓內(nèi)釘鎖釘孔中，以固定骨折區(qū)域及髓內(nèi)釘。對于近端孔鎖釘，可通過配套瞄準器械準確定位其在髓腔中的空間位姿，但由于長骨髓腔具有一定的弧形，髓內(nèi)釘插入髓腔后其遠端會隨髓腔形狀發(fā)生形變，無法準確定位遠端孔的空間位姿（誤差需控制在2 mm 以內(nèi)），最終導致手術失敗［1-2］。骨折修復手術流程如圖1所示。

圖1 長骨骨折修復手術流程

傳統(tǒng)方法中，醫(yī)生通常借助C 臂機（術中X 線成像設備）反復拍攝大量的X 光射線徒手完成遠端鎖釘，但該方法對患者造成了大量的輻射傷害。研究表明，使用該方法平均需要拍攝21 次X 光射線，并且準確度嚴重依賴于醫(yī)生的臨床經(jīng)驗［3］。近年來，為解決這一問題，計算機輔助定位導航技術已被應用于髓內(nèi)釘遠端鎖釘手術中，并取得了巨大的成功。

計算機輔助定位導航技術可分為電磁導航［4-5］、混合現(xiàn)實導航［6-7］與慣性導航［8-9］，可以有效縮短手術時間，減少X 光射線的透視次數(shù)，但其一般需要開發(fā)新的手術工具，限制了其在臨床手術中的廣泛應用。相比于上述方法，基于術中X線片的光學定位方法具有操作簡便、無需改造硬件設備的優(yōu)點，可以滿足遠端孔鎖釘術中實際需求，本文方法同樣基于此。該導航技術的核心問題在于：如何根據(jù)術中一張或者多張X線片，準確定位遠端孔的空間位姿。

基于光學的遠端孔定位研究尚處在初步階段，該方法主要存在髓內(nèi)釘輪廓提取及2D-3D 配準2 個方面問題：由于X 線片中存在骨骼、手術器械成像的遮擋影響，傳統(tǒng)分割方法［10-11］（如閾值分割、分水嶺、區(qū)域增長等）無法準確提取髓內(nèi)釘輪廓特征（見圖2）；遠端孔定位對精度要求較高，定位誤差需小于2 mm，故僅根據(jù)術中拍攝的一張X 線片精準定位遠端孔的空間位姿具有極大的挑戰(zhàn)。

圖2 臨床X線片與傳統(tǒng)方法提取輪廓的結果

1）為了準確提取髓內(nèi)釘輪廓特征，本文設計一種由粗到精的兩階段輪廓提取方法。先利用髓內(nèi)釘成像先驗知識，通過目標檢測算法初步確定X線片中的髓內(nèi)釘及釘孔成像區(qū)域，然后結合深度學習方法，在成像區(qū)域中進行語義分割得到各個邊界輪廓。

2）針對基于一張X線片定位遠端孔空間位姿的問題，研究一種先通過對比髓內(nèi)釘輪廓相似性粗定位后，再利用對齊髓內(nèi)釘輪廓進而修正姿態(tài)的兩階段方法。即先通過虛擬髓內(nèi)釘（模擬系統(tǒng)中的髓內(nèi)釘CAD（Computer Aided Design）模型）在三維空間中不斷變換位姿，通過與真實術中髓內(nèi)釘對比輪廓相似度確定髓內(nèi)釘初始位姿，再利用位姿修正算法，通過對齊虛擬髓內(nèi)釘與真實術中髓內(nèi)釘?shù)某上褫喞?，實現(xiàn)位姿迭代優(yōu)化。

1 相關工作

計算機輔助定位跟蹤技術已被廣泛應用于術中導航領域。以色列希伯來大學的相關研究人員研制了一種小型髓內(nèi)釘鎖釘定位系統(tǒng)［12］，該系統(tǒng)由一個小型機器人、骨鉆導引模塊以及圖像處理軟件組成，該系統(tǒng)的定位精度達到了1 mm，但其需增加額外的硬件設備；德國慕尼黑大學的Weidert 等［13］在C 臂機設備中安裝相機以達到視頻增強效果，通過連續(xù)進行C 臂機透視完成鎖釘手術；Maidi 等［14］提出了一個由攝像頭與標定板組成的光學跟蹤系統(tǒng)，該系統(tǒng)可實現(xiàn)在短時間光學遮擋條件下的姿態(tài)跟蹤；哈爾濱工程大學的云智［15］開發(fā)出了一種具備增強現(xiàn)實功能的手術導航系統(tǒng)，該系統(tǒng)可實現(xiàn)術中場景的實時信息增強，同時設計了一種術中可實時追蹤的手術工具，能夠幫助醫(yī)生快速準確地定位遠端釘孔位姿；德國科隆大學的相關研究人員研制了一套腿前韌帶修復的醫(yī)療系統(tǒng)［16］，該系統(tǒng)以無線導航系統(tǒng)與標定球為基礎，由手術器械與標定球的相對位置關系確定患者手術位置，整個手術過程中，手術設備的位置能夠一直被追蹤；北京理工大學的賀長宇等［17］提出了一種將光學和慣性導航進行融合的方法，該方法可以在物體被部分遮擋的情況下進行姿態(tài)跟蹤，利用該方法可以準確地將病灶及手術工具的相對位置關系反饋給醫(yī)生。

骨骼植入物的二維三維配準方法對髓內(nèi)釘遠端鎖釘定位具有重要借鑒意義，具體可分為基于透視成像原理的方法與基于深度學習的圖像分析方法。具體介紹如下：

1）基于透視成像原理的方法：Diotte 等［18］使用一種增強型透射線鉆幫助醫(yī)生完成遠端鎖釘，C 臂機反復拍攝直至遠端孔成像為正圓，則此時借助透射線鉆即可完成鎖釘手術；Zuffi 等［19］提出了一種基于庫匹配的方法用于確定骨骼植入物的空間位姿，該方法通過對比骨骼植入物與植入物模型的二維投影成像確定植入物在空間中的6 個自由度，使用該方法對真實膝關節(jié)進行了實驗，結果表明該方法具有較好的定位準確性。

2）基于深度學習的圖像分析方法：西門子的研究人員Miao 等［20］提出了一種全自動、高精度的二維三維配準方法，該方法基于單張X線片并結合庫匹配與迭代配準方法用于精確定位骨骼植入物的空間位姿，與傳統(tǒng)方法相比，該方法在穩(wěn)健性與準確性方面有明顯提升，但其精度受輪廓庫中輪廓數(shù)量的影響；同時，Miao 等［21］提出了一種基于卷積神經(jīng)網(wǎng)絡回歸的方法以解決二維三維配準技術中速度慢及捕獲范圍小的問題，該方法在精度提升方面具有顯著優(yōu)勢。

本文方法借鑒上述髓內(nèi)釘遠端鎖釘與骨骼植入物定位方法，利用單張術中X線片精準定位髓內(nèi)釘遠端孔的空間位姿，引導輔助醫(yī)生完成鎖釘手術。

2 方法概述

本文方法總體思想如下（見圖3）：利用C 臂機在術中拍攝的一張X線片，首先通過深度學習方法提取X 線片中的髓內(nèi)釘輪廓并將其作為配準特征；然后虛擬髓內(nèi)釘不斷變換位姿，當其輪廓與真實髓內(nèi)釘輪廓的相似性最大時，即可確定真實髓內(nèi)釘在空間中的初始位姿；最后建立虛擬髓內(nèi)釘與真實髓內(nèi)釘之間的3D 密集對應關系，指導虛擬髓內(nèi)釘進行位姿微調(diào)以對齊兩者成像輪廓，即可確定髓內(nèi)釘?shù)淖罱K精確位姿。具體步驟如下：

圖3 本文方法總體流程

Step1 髓內(nèi)釘輪廓提?。菏紫冉Y合髓內(nèi)釘成像先驗知識，利用目標檢測算法初步確定髓內(nèi)釘成像區(qū)域位置，然后在成像區(qū)域中進一步語義分割得到髓內(nèi)釘輪廓（包括釘子外輪廓與孔輪廓）。

Step2 初始位姿確定:結合C臂機發(fā)射源與孔中心投影的位置確定位姿搜索空間，虛擬髓內(nèi)釘由粗到精在位姿搜索空間中進行采樣，當虛擬髓內(nèi)釘與真實髓內(nèi)釘兩者成像輪廓的相似性最大時，即可確定真實髓內(nèi)釘在空間中的初始位姿。

Step3 位姿修正：建立虛擬髓內(nèi)釘與真實髓內(nèi)釘之間的3D 密集對應關系，驅(qū)動虛擬髓內(nèi)釘不斷變換位姿以對齊兩者的成像輪廓，反復迭代修正髓內(nèi)釘?shù)奈蛔恕?/p>

3 方法細節(jié)

3.1 髓內(nèi)釘輪廓提取

如圖4 所示，本文首先通過目標檢測網(wǎng)絡初步確定X線片中的髓內(nèi)釘及釘孔成像區(qū)域，然后在其區(qū)域中進行語義分割得到各個邊界輪廓。其中，目標檢測網(wǎng)絡的訓練數(shù)據(jù)為合成影像（見圖5），合成影像是虛擬髓內(nèi)釘在模擬系統(tǒng)中的數(shù)字重建影像［22］（Digital Reconstructed Radiograph，DRR）與不同臨床X 線片的背景相互組合疊加生成的影像，訓練標簽為髓內(nèi)釘及釘孔成像區(qū)域的最小邊界框。

圖4 神經(jīng)網(wǎng)絡提取髓內(nèi)釘輪廓

圖5 部分合成影像

本文需要利用語義分割網(wǎng)絡從X 線片中分割髓內(nèi)釘遠端外輪廓Q1、遠端圓形孔的成像輪廓Q2、遠端矩形孔的成像輪廓Q3（見圖4髓內(nèi)釘輪廓），本文僅訓練一個語義分割網(wǎng)絡用于提取這3 種輪廓，以減少模型的冗余。語義分割網(wǎng)絡的輸入為目標區(qū)域圖像，輸出為對應圖像的輪廓標簽（0-1 二值分割）。具體地，本文采用YOLOv5網(wǎng)絡［23］識別X 線片中的目標區(qū)域，使用U-Net網(wǎng)絡［24］分割輪廓邊界。

3.2 初始位姿確定

首先，結合C臂機發(fā)射源與孔輪廓形心位置確定位姿搜索空間。如圖6所示，記C臂機發(fā)射源為O，髓內(nèi)釘遠端兩孔中心分別為E與F，其在成像平面中的投影分別記為E'與F'，則直線OE'為E的采樣區(qū)間，直線OF'為F的采樣區(qū)間，即E在OE'上運動，F(xiàn)在OF'上運動。

圖6 初始位姿確定示意

然后，虛擬髓內(nèi)釘在位姿搜索空間中進行采樣以確定初始位姿。虛擬髓內(nèi)釘在采樣區(qū)間中不斷改變位姿，包括點E與點F在各自采樣集上的運動以及髓內(nèi)釘繞自身軸線EF 的旋轉(zhuǎn)，由粗到精進行采樣以降低搜索空間，同時對比真實髓內(nèi)釘輪廓與虛擬髓內(nèi)釘輪廓之間的相似度，當兩者相似度達到最大時，即可確定真實髓內(nèi)釘在空間中的初始位姿。

3.3 位姿修正

3.3.1 總體思想

通過對齊髓內(nèi)釘成像輪廓迭代優(yōu)化位姿（見圖7）。首先虛擬髓內(nèi)釘位于經(jīng)3.2節(jié)計算得到的初始位置，獲得目標圖像（術中X 線片）與浮動圖像（虛擬髓內(nèi)釘成像）中的髓內(nèi)釘輪廓，之后使用2D-3D 配準算法（見3.3.2節(jié)）不斷優(yōu)化虛擬髓內(nèi)釘位姿，以2個輪廓對應點間的平均距離為代價函數(shù)，直到找到最佳的空間變換參數(shù)以對齊髓內(nèi)釘輪廓，即可確定髓內(nèi)釘最終精確位姿，位姿修正的形式化描述為：

圖7 位姿修正流程

其中，q1與q2分別表示真實髓內(nèi)釘輪廓與虛擬髓內(nèi)釘輪廓，D表示2個輪廓對應點間的平均距離，M1與M2分別表示真實髓內(nèi)釘與虛擬髓內(nèi)釘，P表示C臂機投影，C表示提取輪廓，R與t分別表示旋轉(zhuǎn)矩陣與平移向量。

3.3.2 2D-3D配準算法

首先，確定虛擬髓內(nèi)釘輪廓與真實髓內(nèi)釘輪廓之間的2D-2D密集對應關系。如圖8所示，輪廓C1為真實髓內(nèi)釘輪廓，輪廓C2為虛擬髓內(nèi)釘輪廓，首先，對輪廓C1進行均勻采樣，獲取n個點并記為I1；其次，在輪廓C2中找到與點集I1中每個點距離最近的點，將其作為I1的對應點并記為I2，由此，即可確定一組二維點集I1與I2。

圖8 2D-3D配準算法示意

其次，通過虛擬髓內(nèi)釘與真實髓內(nèi)釘之間的3D-3D 密集對應關系進行位姿變換。由X 線發(fā)射源與點集I2可確定一系列直線（圖中紅色直線），該直線必經(jīng)過虛擬髓內(nèi)釘?shù)谋砻?，將虛擬髓內(nèi)釘表面與上述直線的交點記為I4；同時經(jīng)過X 線發(fā)射源與點集I1同樣可確定一系列直線（圖中綠色直線），經(jīng)過點集I4向上述綠色直線作垂線，交點集記為I3，則I3與I4即為三維對應點，確定由點集I4到I3變換矩陣，驅(qū)動虛擬髓內(nèi)釘變換位姿以靠近真實髓內(nèi)釘。

4 實驗結果及分析

本文分別進行模擬實驗評估與臨床實驗評估，模擬實驗是在仿真環(huán)境中對虛擬髓內(nèi)釘定位，臨床實驗是在真實環(huán)境中對實體髓內(nèi)釘定位，并在定位時間與定位精度方面與醫(yī)生徒手鎖釘定位進行對比。

4.1 實驗環(huán)境與數(shù)據(jù)集

1）實驗環(huán)境。

構建與真實實驗環(huán)境一致的模擬系統(tǒng)。使用相機代替真實C臂機發(fā)射源，使用虛擬髓內(nèi)釘代替真實髓內(nèi)釘植入物，使用DRR 圖像代替術中X 線片，通過改變相機位姿得到不同的髓內(nèi)釘成像，同時，模擬系統(tǒng)與真實實驗環(huán)境共用同一個世界坐標系。具體地，本文采用VTK 即Visualization Toolkit 視覺化工具庫［25］構建與真實臨床環(huán)境一致的模擬系統(tǒng)。

真實實驗環(huán)境如圖9（b）所示，用于實驗的真實髓內(nèi)釘植入物如圖9（c）所示，尺寸約為450 mm×15 mm×18 mm，遠端包含有圓形孔（10 mm×10 mm）與矩形孔（10 mm×35 mm）。在髓內(nèi)釘遠端孔處固定二維碼，此二維碼垂直于孔軸線，如圖9（a）所示，使用增強現(xiàn)實眼鏡掃描二維碼即可確定孔軸線的真實位姿。

圖9 臨床環(huán)境搭建

2）數(shù)據(jù)集。

實驗數(shù)據(jù)包括合成影像數(shù)據(jù)（見圖5）與臨床影像數(shù)據(jù)（見圖10）。使用13521 張合成影像用于模擬實驗，12 張術中X 線片用于臨床實驗，術中X 線片為髓內(nèi)釘插入骨骼模型中并將其放置在空間中的不同位置，C 臂機每次拍攝一次，共得到的12 張X 線片。合成影像的圖像分辨率為1024×1024 像素，像素尺寸為0.264 mm，相機焦距從800 mm 遞增至1200 mm，視角從10°遞增至20°。術中X 線片的圖像分辨率為1024×1024 像素，像素尺寸為0.264 mm，C 臂機焦距為1020 mm，視角為15°。

圖10 部分臨床影像

4.2 神經(jīng)網(wǎng)絡訓練

本文方法的神經(jīng)網(wǎng)絡訓練軟硬件環(huán)境如下：神經(jīng)網(wǎng)絡訓練均在Ubuntu 16.04 系統(tǒng)中Pytorch 環(huán)境下，工作站處理器為Intel（R）Xeon（R）CPU E5-1650 v4 @ 3.60 GHz，顯卡類型為NVIDIA Quadro M4000，內(nèi)存為16 GB，顯存為8 GB，使用CUDA 加速模型的訓練。

YOLO 網(wǎng)絡及U-Net 網(wǎng)絡的具體訓練參數(shù)如表1所示。2 個網(wǎng)絡的訓練數(shù)據(jù)總數(shù)分別為19472 與12954，其中70%用于訓練，15%用于驗證，15%用于測試，學習率為0.0001，batch 大小為1024，訓練輪數(shù)分別為4856 與3642。YOLO 網(wǎng)絡中，訓練數(shù)據(jù)尺寸為1024×1024像素，U-Net網(wǎng)絡中，將髓內(nèi)釘遠端區(qū)域尺寸統(tǒng)一為200×200 像素，孔輪廓尺寸統(tǒng)一為40×40像素。對于訓練數(shù)據(jù)，通過隨機縮放、旋轉(zhuǎn)、平移和擾動進行數(shù)據(jù)集增強，當網(wǎng)絡在測試集上的誤差趨于平穩(wěn)時，停止訓練，網(wǎng)絡訓練時間約為32 h。

表1 神經(jīng)網(wǎng)絡訓練具體參數(shù)

4.3 評估標準

1）使用MSSIM（Mean Structural Similarity）平均結構相似性系數(shù)［26］用于計算2 幅圖像之間的相似性。本文使用此系數(shù)用于評估真實髓內(nèi)釘輪廓與虛擬髓內(nèi)釘輪廓之間的相似性，其值介于0與1之間，越接近于1，則2個輪廓越相似。

2）分別使用距離誤差、角度誤差評估本方法計算遠端孔軸線的準確度。如圖11 所示，距離誤差為真實遠端孔中心距所計算遠端孔軸線的距離；角度誤差為真實遠端孔軸線與所計算遠端孔軸線的夾角。

圖11 距離誤差與角度誤差

4.4 實驗結果

4.4.1 模擬評估結果

模擬環(huán)境中的平均距離與角度誤差如表2 所示。粗配準后，圓形孔的平均軸線誤差為0.81 mm 和0.84°，矩形孔的平均軸線誤差為0.87 mm 和0.85°。經(jīng)位姿修正后，軸線誤差顯著降低，對于圓形孔，軸線誤差降低了0.39 mm 和0.38°；對于矩形孔，軸線誤差降低了0.39 mm 和0.35°；位姿修正前后MSSIM 系數(shù)分別為0.832、0.971，提升了0.139。真實孔軸線與位姿修正后孔軸線對比如圖12所示。

表2 位姿修正前后的誤差對比（模擬環(huán)境）

圖12 真實孔軸線與所計算孔軸線（模擬環(huán)境）

4.4.2 臨床評估結果

1）輪廓提取精度。

評估使用本方法提取術中X 線片中髓內(nèi)釘輪廓的精確度。使用傳統(tǒng)閾值分割方法提取得到的輪廓易受到其它硬件設備或骨骼植入物的影響，尤其在孔輪廓的提取中，如圖13（b）所示，紅色為所提取輪廓。本文首先通過目標檢測網(wǎng)絡確定髓內(nèi)釘及釘孔成像區(qū)域的位置（圖13（a）左，矩形框內(nèi)為標簽及置信度），之后通過語義分割網(wǎng)絡提取各個輪廓的邊界，使用本文方法提取12 張術中X 線片，均得到了準確的提取結果（部分結果見圖13）。

圖13 髓內(nèi)釘輪廓提取對比（部分結果）

2）距離角度誤差。

首先評估位姿修正前后真實髓內(nèi)釘輪廓與虛擬髓內(nèi)釘輪廓之間的相似性變化。未使用位姿修正前MSSIM 系數(shù)為0.812，位姿修正后其為0.954，位姿修正前后輪廓相似性對比如圖14 所示（紅色為虛擬髓內(nèi)釘輪廓），經(jīng)修正后，輪廓相似性明顯提高。

圖14 位姿修正前后輪廓對比（部分結果）

平均距離與角度誤差結果如表3所示。位姿修正前，圓形孔的平均軸線誤差為1.52 mm和1.61°，矩形孔的平均軸線誤差為1.54 mm和1.58°。位姿修正后，圓形孔軸線的誤差降低了0.77 mm和0.80°；矩形孔軸線的誤差降低了0.82 mm和0.80°。位姿修正前后的距離及角度誤差分布如圖15所示，經(jīng)過位姿修正后，孔軸線誤差顯著降低，真實孔軸線與位姿修正后孔軸線如圖16所示。

表3 位姿修正前后的誤差對比（真實環(huán)境）

圖15 位姿修正前后的誤差分布

圖16 真實孔軸線與所計算孔軸線（真實環(huán)境）

4.4.3 傳統(tǒng)方法對比評估

使用本文方法與傳統(tǒng)徒手鎖釘方法對髓內(nèi)釘遠端孔進行定位，比較兩者的時間消耗及孔軸線的距離角度誤差。分別進行12 次鎖釘定位實驗，髓內(nèi)釘每次位于空間中的不同位置，結果如表4 所示。對于圓形孔，平均耗時由原來的10 min 降低為4 min，定位效率提高60%，定位誤差為0.75 mm 和0.81°，降低了0.60 mm 和0.57°；對于矩形孔，平均耗時由原來的12 min 降低為5 min，定位效率提高58%，定位誤差為0.72mm 和0.78°，降低了0.65mm 和0.64°。本文方法可以顯著提高髓內(nèi)釘遠端孔術中定位效率，降低定位誤差，具有臨床實用前景。

5 結束語

本文提出了一種基于單張術中X 線片精準定位髓內(nèi)釘遠端孔的方法。該方法首先通過虛擬髓內(nèi)釘在搜索空間中不斷變換位姿，同時對比髓內(nèi)釘輪廓相似性確定髓內(nèi)釘?shù)某跏嘉恢?；之后建立虛擬髓內(nèi)釘與真實髓內(nèi)釘之間的密集對應關系，以指導虛擬髓內(nèi)釘位姿不斷迭代優(yōu)化，最終確定髓內(nèi)釘精確位姿。此外，為了準確提取X 線片中的髓內(nèi)釘輪廓，本文提出了一種基于深度學習的輪廓提取方法。將本文方法與醫(yī)生徒手鎖釘定位方法進行對比，效率及定位精度均得到顯著提升。與現(xiàn)有方法相比，本文方法的主要優(yōu)點如下:

1）術中僅需拍攝一張X線片，精準定位遠端孔空間位姿，顯著減少患者及醫(yī)生的受輻射量。

2）利用髓內(nèi)釘成像先驗知識并結合目標檢測算法及語義分割網(wǎng)絡，準確提取髓內(nèi)釘輪廓，有效減少其它術中植入物遮擋對髓內(nèi)釘輪廓提取造成的影響。

未來研究工作如下:

1）當X 線片中的遠端孔成像數(shù)量少于2 個，或者孔成像輪廓提取不清晰時，本方法還需做進一步改進。

2）將本文方法推廣至其它不同類型的髓內(nèi)釘遠端孔定位中，驗證使用本文方法定位遠端孔空間位姿的準確性。