基于遷移學(xué)習(xí)與多視角感興趣點(diǎn)的膝關(guān)節(jié)運(yùn)動(dòng)追蹤網(wǎng)絡(luò)

王聰 ，謝帥寧 ，李康 ，王重陽(yáng) ，劉旭東 ,*，趙亮 *，蔡宗遠(yuǎn) a,c,*

a Shanghai Key Laboratory of Orthopaedic Implants & Clinical Translational R&D Center of 3D Printing Technology, Department of Orthopaedic Surgery, Shanghai Ninth People’s Hospital, Shanghai Jiao Tong University School of Medicine; School of Biomedical Engineering & Med-X Research Institute, Shanghai Jiao Tong University, Shanghai 200030, Chinab SenseTime Research, Shanghai 200233, China c Engineering Research Center of Digital Medicine and Clinical Translation, Ministry of Education, Shanghai 200030, China d Department of Orthopaedics, New Jersey Medical School, Rutgers University, Newark, NJ 07103, USA e Department of Orthopaedics, Shanghai Jiao Tong University Affiliated Sixth People’s Hospital, Shanghai 200233, China

1. 引言

對(duì)于了解膝關(guān)節(jié)的正常功能[1]、膝骨性關(guān)節(jié)炎的發(fā)展[2]、膝蓋損傷機(jī)制[3]、假體設(shè)計(jì)優(yōu)化[4]、術(shù)前規(guī)劃和術(shù)后康復(fù)[5]等眾多骨科用途而言，膝關(guān)節(jié)運(yùn)動(dòng)學(xué)有著至關(guān)重要的意義。此外，在肌肉骨骼系統(tǒng)的相關(guān)生物力學(xué)研究中，膝關(guān)節(jié)運(yùn)動(dòng)學(xué)測(cè)量也是必不可少的。臨床領(lǐng)域?qū)\(yùn)動(dòng)學(xué)的需求量巨大，在這種情況下，就需要有一種高效且可靠的方法來(lái)測(cè)量關(guān)節(jié)的動(dòng)態(tài)運(yùn)動(dòng)。

目前，研究人員可以采用多種測(cè)量工具對(duì)三維（3D）膝關(guān)節(jié)運(yùn)動(dòng)進(jìn)行量化，然而，只有少數(shù)工具能夠提供毫米級(jí)的精度以及快速的追蹤速度。基于皮膚標(biāo)記的光學(xué)追蹤系統(tǒng)在人體運(yùn)動(dòng)分析中得到了廣泛的應(yīng)用，但其準(zhǔn)確性受到標(biāo)記的相關(guān)軟組織偽影的影響，這種偽影可以引起高達(dá)40 mm的偏移[6]。雖然一些研究人員嘗試通過(guò)建立數(shù)學(xué)模型來(lái)降低軟組織漂移的影響[7-9]，但在使用基于皮膚標(biāo)記的運(yùn)動(dòng)捕捉技術(shù)時(shí)，這個(gè)問(wèn)題仍然沒(méi)有得到解決[10]。隨著醫(yī)療成像技術(shù)的發(fā)展，部分技術(shù)手段可以直接測(cè)量動(dòng)態(tài)的關(guān)節(jié)運(yùn)動(dòng)，如核磁共振（MR）斷層掃描以及計(jì)算機(jī)斷層掃描（CT）[11,12]。然而，這些技術(shù)的臨床推廣受到以下因素的限制：時(shí)間分辨率低、運(yùn)動(dòng)范圍（ROM）有限、需要控制運(yùn)動(dòng)速度、圖像質(zhì)量低、輻射量無(wú)法忽略不計(jì)[13,14]。相較于傳統(tǒng)的X射線(xiàn)攝影（圖1），雙熒光透視成像系統(tǒng)（DFIS）的精確度高[15]、易于測(cè)量、運(yùn)動(dòng)范圍廣[16]、輻射低，因此，在過(guò)去十年里，該系統(tǒng)在人體關(guān)節(jié)運(yùn)動(dòng)分析中得到了廣泛的應(yīng)用。

為了在雙熒光透視成像系統(tǒng)中確定目標(biāo)（即人體膝關(guān)節(jié)）的姿態(tài)，該系統(tǒng)在測(cè)量過(guò)程中采用二維（2D）—3D配準(zhǔn)技術(shù)來(lái)使體數(shù)據(jù)（如計(jì)算機(jī)斷層掃描圖像）與熒光透視（連續(xù)的X射線(xiàn)圖像）相匹配。研究人員通過(guò)反復(fù)調(diào)整計(jì)算機(jī)斷層掃描體數(shù)據(jù)的3D位置，同時(shí)生成大量的數(shù)字重建放射影像（DRR），直到數(shù)字重建放射影像接近最真實(shí)的X射線(xiàn)圖像為止[17]。隨著雙熒光透視成像系統(tǒng)在臨床應(yīng)用中日益廣泛的使用，研究人員嘗試了多種自動(dòng)配準(zhǔn)方法以加快2D—3D配準(zhǔn)過(guò)程。當(dāng)前，基于優(yōu)化的配準(zhǔn)方法已經(jīng)被廣泛研究，主要包括優(yōu)化器以及衡量圖像之間相似性的相似度指標(biāo)[18,19]。雖然基于優(yōu)化的配準(zhǔn)方法具有較高的準(zhǔn)確性[20-22]，但其仍有一些缺點(diǎn)（例如，配準(zhǔn)初始化的要求頗為嚴(yán)苛，并且優(yōu)化期間計(jì)算數(shù)字重建放射影像和迭代的計(jì)算成本較高）限制了雙熒光透視成像系統(tǒng)的廣泛使用[23]。

圖1. 用于測(cè)量膝關(guān)節(jié)動(dòng)態(tài)運(yùn)動(dòng)的虛擬雙熒光透視成像系統(tǒng)。

隨著近幾年來(lái)機(jī)器學(xué)習(xí)的迅猛發(fā)展[24,25]，人們已開(kāi)發(fā)了多種基于學(xué)習(xí)的方法，用于測(cè)量關(guān)節(jié)運(yùn)動(dòng)。相較于基于優(yōu)化的方法，其優(yōu)勢(shì)在于計(jì)算效率高和捕獲范圍廣[21,26-28]。但是，由于采用大量真實(shí)的標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練這樣的模型是不切實(shí)際的，因此，我們通過(guò)合成X射線(xiàn)圖像（即數(shù)字重建放射影像）來(lái)訓(xùn)練這些方法。盡管如此，我們?nèi)匀恍枰罅康恼鎸?shí)圖像，以保障配準(zhǔn)的魯棒性[22,27]。另一個(gè)問(wèn)題是數(shù)字重建放射影像與X射線(xiàn)圖像之間的差異。相較于數(shù)字重建放射影像，熒光透視影像的邊緣更模糊，且存在幾何變形和強(qiáng)度不均勻的問(wèn)題[29,30]。因此，通過(guò)數(shù)字重建放射影像訓(xùn)練的網(wǎng)絡(luò)并不能被理想地泛化到熒光透視影像場(chǎng)景[22]。過(guò)往的研究構(gòu)建了多種物理模型，如通過(guò)額外測(cè)量X射線(xiàn)的質(zhì)量來(lái)生成更加真實(shí)的數(shù)字重建放射影像[31,32]。但近期，Haskins等[24]開(kāi)展的一項(xiàng)研究證明，我們能夠通過(guò)在跨模態(tài)配準(zhǔn)中，使用遷移學(xué)習(xí)，來(lái)節(jié)省構(gòu)建復(fù)雜數(shù)字重建放射影像模型或收集真實(shí)臨床圖像的時(shí)間。

本文中，我們開(kāi)發(fā)了一個(gè)偽孿生多視角配準(zhǔn)框架，以解決真實(shí)熒光透視影像數(shù)量有限的問(wèn)題。我們提出的方法結(jié)合了偽孿生點(diǎn)追蹤網(wǎng)絡(luò)和特征遷移網(wǎng)絡(luò)。借助多視角配準(zhǔn)網(wǎng)絡(luò)、成對(duì)的數(shù)字重建放射影像以及熒光透視成像系統(tǒng)，我們追蹤膝關(guān)節(jié)上選定的點(diǎn)，從而確定膝關(guān)節(jié)的姿態(tài)。特征學(xué)習(xí)網(wǎng)絡(luò)使用數(shù)字重建放射影像和熒光透視影像，對(duì)特征提取器進(jìn)行訓(xùn)練。為了解決真實(shí)熒光透視影像數(shù)量有限的問(wèn)題，我們采用數(shù)字重建放射影像以及ImageNet上預(yù)先經(jīng)過(guò)訓(xùn)練的特征學(xué)習(xí)網(wǎng)絡(luò)，對(duì)多視角配準(zhǔn)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練。

本文的其余部分內(nèi)容如下：第2節(jié)綜述了基于深度學(xué)習(xí)的2D—3D配準(zhǔn)和領(lǐng)域自適應(yīng)；第3節(jié)介紹了與基于深度學(xué)習(xí)的2D—3D配準(zhǔn)有關(guān)的問(wèn)題；第4節(jié)介紹了各項(xiàng)實(shí)驗(yàn)及其結(jié)果；第5節(jié)對(duì)本文進(jìn)行了總結(jié)。

2. 相關(guān)工作

2.1. 基于學(xué)習(xí)的方法

由于基于優(yōu)化的配準(zhǔn)會(huì)產(chǎn)生大量的計(jì)算成本，研究人員最近開(kāi)發(fā)了基于學(xué)習(xí)的配準(zhǔn)方法以避免此問(wèn)題[24]。鑒于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的優(yōu)異表現(xiàn)，將其用于提取數(shù)字重建放射影像和熒光透視影像中的特征，之后可由分層回歸器估算剛性目標(biāo)的姿態(tài)[33]。雖然卷積神經(jīng)網(wǎng)絡(luò)模型能提高配準(zhǔn)的魯棒性，但其僅限于特征較強(qiáng)的目標(biāo)（如醫(yī)療植入物），因此無(wú)法對(duì)解剖結(jié)構(gòu)進(jìn)行有效配準(zhǔn)。Miao等[28]提出了一種強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，通過(guò)馬爾可夫決策過(guò)程，實(shí)現(xiàn)了脊柱X射線(xiàn)圖像和計(jì)算機(jī)斷層掃描圖像的配準(zhǔn)。雖然他們利用多智能體系統(tǒng)對(duì)這一方法進(jìn)行了改進(jìn)，但由于他們提出的方法在搜索期間無(wú)法收斂，因此仍可能失效。近期，人們多次嘗試?yán)命c(diǎn)對(duì)應(yīng)網(wǎng)絡(luò)對(duì)剛性目標(biāo)進(jìn)行配準(zhǔn)操作[27,34,35]，提高了解剖結(jié)構(gòu)的有效性和準(zhǔn)確性。這些方法克服了迭代姿態(tài)搜索計(jì)算成本高昂和不收斂的問(wèn)題，并通過(guò)引入多視角避免了平面外的誤差。

2.2. 領(lǐng)域自適應(yīng)

合成數(shù)據(jù)（即數(shù)字重建放射影像）和真實(shí)數(shù)據(jù)（即熒光透視影像）之間的差異（又被稱(chēng)為偏移）是基于學(xué)習(xí)的配準(zhǔn)方法所面臨的另一挑戰(zhàn)。在基于學(xué)習(xí)的配準(zhǔn)方法中，訓(xùn)練數(shù)據(jù)和實(shí)際場(chǎng)景數(shù)據(jù)必須處于同一特征空間，并且必須具備相同的分布[36]。相較于為了生成數(shù)字重建放射影像而構(gòu)建復(fù)雜的模型，領(lǐng)域自適應(yīng)是一種更簡(jiǎn)單的方法，該方法可以解決不同圖像之間的域差異[37]，并且領(lǐng)域自適應(yīng)已在眾多醫(yī)療用途中得到了應(yīng)用，如X射線(xiàn)分割[38]以及多模態(tài)圖像配準(zhǔn)[21,22,39]。針對(duì)2D—3D配準(zhǔn)，Zheng等[21]提出將成對(duì)的領(lǐng)域自適應(yīng)模塊整合到預(yù)先訓(xùn)練過(guò)的卷積神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)利用數(shù)量有限的訓(xùn)練數(shù)據(jù)，執(zhí)行剛性配準(zhǔn)。該網(wǎng)絡(luò)通過(guò)數(shù)字重建放射影像進(jìn)行訓(xùn)練，它在合成數(shù)據(jù)方面表現(xiàn)良好；因此，研究人員利用領(lǐng)域自適應(yīng)轉(zhuǎn)化真實(shí)特征，使其接近合成特征。然而，現(xiàn)有方法仍然不適用于人體關(guān)節(jié)（如膝蓋和臀部）。因此，研究人員需要設(shè)計(jì)出一種無(wú)需使用大量臨床X射線(xiàn)圖像的人體關(guān)節(jié)配準(zhǔn)方法。

3. 方法

2D—3D配準(zhǔn)旨在由成對(duì)的多視角熒光透視影像估算3D體數(shù)據(jù)的六個(gè)自由度（6DOF）。接下來(lái)，我們將首先介紹追蹤系統(tǒng)和基于點(diǎn)追蹤的多視角2D—3D配準(zhǔn)（第3.1節(jié)）。然后，在第3.2節(jié)和第3.3節(jié)將詳細(xì)介紹我們工作的兩個(gè)主要部分。

3.1. 基于多視角的配準(zhǔn)

3.1.1. 基于六自由度的2D—3D剛性配準(zhǔn)

我們將膝關(guān)節(jié)上每塊骨骼的配準(zhǔn)視為一個(gè)單獨(dú)的2D—3D配準(zhǔn)過(guò)程。我們將每塊骨骼的姿態(tài)重現(xiàn)定義為通過(guò)轉(zhuǎn)換矩陣T4×4對(duì)計(jì)算機(jī)斷層掃描體數(shù)據(jù)進(jìn)行姿態(tài)調(diào)整。該轉(zhuǎn)換矩陣具有六個(gè)平移和旋轉(zhuǎn)要素(x, y, z, γ, α, β)，使用歐拉角進(jìn)行表示[40]。轉(zhuǎn)換矩陣T4×4可以表示為4×4的齊次矩陣，姿態(tài)P可以按如下方式推導(dǎo)得出：

3.1.2. X射線(xiàn)成像的三維投影幾何

在虛擬雙熒光透視成像系統(tǒng)中，在生成數(shù)字重建放射影像時(shí)，利用每個(gè)成像平面的四個(gè)角以及X射線(xiàn)源的位置，建立針孔光學(xué)模型（圖1）。在對(duì)雙視角熒光檢查法進(jìn)行多項(xiàng)式扭曲校正和空間校正后，結(jié)合Amira軟件（ThermoFisher Scientific, USA）分割計(jì)算機(jī)斷層掃描體數(shù)據(jù)，然后由光線(xiàn)投射算法[41]生成數(shù)字重建放射影像。采用轉(zhuǎn)換矩陣T4×4，可以按如下方式計(jì)算得出最終的數(shù)字重建放射影像的IDRR：

式中，l(p,s)為X射線(xiàn)成像模型中連接X(jué)射線(xiàn)源和圖像平面的射線(xiàn)s；p為射線(xiàn)上的一點(diǎn)；μ(·)為體數(shù)據(jù)中某一點(diǎn)轉(zhuǎn)換后的衰減系數(shù)。

3.1.3. 多視角配準(zhǔn)

根據(jù)以前的文獻(xiàn)，單視角2D—3D配準(zhǔn)是不適定問(wèn)題；因此，我們采用雙視角熒光透視影像進(jìn)行配準(zhǔn)，以減少面外誤差[42]。由于基于點(diǎn)的配準(zhǔn)方法可用于解剖結(jié)構(gòu)[27,34,35]，我們通過(guò)追蹤雙熒光透視成像系統(tǒng)中表面模型上的一組選定的點(diǎn)（圖2），測(cè)量了膝關(guān)節(jié)的運(yùn)動(dòng)情況，并將選定的點(diǎn)表示為Pbone= [p1, p2, p3, ..., pN]。所有選定點(diǎn)的2D投影將被偽孿生多視角配準(zhǔn)網(wǎng)絡(luò)追蹤（第3.2節(jié)）。從所有提供的視角對(duì)選定點(diǎn)進(jìn)行追蹤后，我們利用三角測(cè)量[43]，重現(xiàn)這組點(diǎn)的3D位置，即PE=為了確定最終的轉(zhuǎn)換矩陣T，我們進(jìn)行了普式分析[44]：

通過(guò)轉(zhuǎn)換矩陣T，重現(xiàn)了每塊骨骼的最終姿態(tài)。

3.2. 偽孿生點(diǎn)追蹤網(wǎng)絡(luò)

在本方法中，我們通過(guò)一個(gè)偽孿生網(wǎng)絡(luò)從每個(gè)視角追蹤上文所述選定點(diǎn)。該偽孿生網(wǎng)絡(luò)包括兩個(gè)分支：一個(gè)是來(lái)自牛津大學(xué)視覺(jué)幾何組（VGG）[45]的用以提取數(shù)字重建放射影像特征的網(wǎng)絡(luò)；另一個(gè)是特征遷移網(wǎng)絡(luò)，用于從真實(shí)影像中提取人工合成影像特征（第3.3節(jié)）。整體的工作流程圖如圖3所示。本網(wǎng)絡(luò)的輸入是非匹配的數(shù)字重建放射影像與真實(shí)的熒光透視影像，網(wǎng)絡(luò)的輸出是在熒光透視影像中追蹤到的點(diǎn)。在圖3中，網(wǎng)絡(luò)的上部分支將輸出尺寸為M × N × C的數(shù)字重建放射影像特征圖FDRR，其中N和M為數(shù)字重建放射影像的長(zhǎng)和寬，C為特征通道數(shù)；網(wǎng)絡(luò)的下部分支將通過(guò)不共享權(quán)重的偽孿生特征遷移網(wǎng)絡(luò)輸出透視影像的特征圖Ffluoro。 在得到Ffluoro和FDRR兩個(gè)特征圖后，網(wǎng)絡(luò)將通過(guò)一個(gè)卷積層來(lái)定量?jī)商卣鞯南嗨贫萚27]。具體表示為：

式中，W為學(xué)習(xí)加權(quán)因子，用于為每個(gè)選定的點(diǎn)找到更優(yōu)的相似性。在訓(xùn)練過(guò)程中，需將目標(biāo)函數(shù)最小化，該目標(biāo)函數(shù)為歐氏距離損失函數(shù)（即配準(zhǔn)損失函數(shù)），具體表示為：

式中，pfluoro為被追蹤的2D點(diǎn)；pdrr為數(shù)字重建放射影像中位置已知的2D點(diǎn)。根據(jù)從不同視角追蹤的2D點(diǎn)，利用三角測(cè)量[43]，重新構(gòu)建3D點(diǎn)。

3.3. 使用域適應(yīng)的特征遷移

為了提取熒光透視影像的特征，我們提出了一種基于遷移學(xué)習(xí)的方法，用于降低合成圖像（如數(shù)字重建放射影像）與真實(shí)X射線(xiàn)圖像（如熒光透視影像）之間的域差異（圖4）。

圖2. 多視角配準(zhǔn)方法工作流程。在骨骼表面上選定一組點(diǎn)，并在虛擬雙熒光透視成像系統(tǒng)中從各個(gè)視角對(duì)其2D投影進(jìn)行追蹤，以重新構(gòu)建出其3D位置。利用普式分析[44]，由重建3D點(diǎn)確定最終的變換矩陣。

圖3. 點(diǎn)追蹤網(wǎng)絡(luò)的框架。將成對(duì)的數(shù)字重建放射影像和熒光透視影像導(dǎo)入網(wǎng)絡(luò)，由VGG和特征遷移網(wǎng)絡(luò)分別提取其特征。通過(guò)搜索數(shù)字重建放射影像中選定點(diǎn)附近最為相似的特征圖塊，追蹤熒光透視影像上的選定點(diǎn)。Conv：卷積層（convolution layers）。

為了縮小兩個(gè)域之間的差距，我們采用了領(lǐng)域自適應(yīng)法，在提取熒光透視影像的特征時(shí)，使用了額外具有余弦相似性的成對(duì)VGG網(wǎng)絡(luò)（圖5）。我們采用基于模型的手動(dòng)配準(zhǔn)法[9]，還原了成對(duì)的熒光透視影像的空間位置，并利用這一空間位置結(jié)合體數(shù)據(jù)生成數(shù)字重建放射影像，這些匹配的影像主要用于后續(xù)訓(xùn)練。我們將余弦相似性作為代價(jià)函數(shù)，測(cè)量?jī)蓚€(gè)域之間的差距。針對(duì)追蹤問(wèn)題，余弦相似性可表示為：

式中，||·||代表L2-范數(shù)；〈·〉代表點(diǎn)積；FX與FD為特征圖。為了提高特征遷移的效率，我們采用在ImageNet上接受預(yù)先訓(xùn)練的權(quán)重，對(duì)本方法進(jìn)行了優(yōu)化。

4. 實(shí)驗(yàn)與結(jié)果

4.1. 數(shù)據(jù)集

本研究經(jīng)過(guò)了倫理審查委員會(huì)的批準(zhǔn)。研究中，我們收集了三個(gè)受試者的膝蓋的斷層掃描圖像，所有受試者均執(zhí)行兩到三個(gè)動(dòng)作，這些動(dòng)作通過(guò)雙平面熒光透視成像系統(tǒng)（BV Pulsera, Philips, the Netherlands）拍攝，拍攝幀率為每秒30幀。我們還獲得了所有受試者膝蓋的計(jì)算機(jī)斷層掃描（SOMATOM Definition AS; Siemens, Germany）圖像，掃描范圍為膝關(guān)節(jié)線(xiàn)近端30 cm和遠(yuǎn)端30 cm的區(qū)域（厚度為0.6 mm；分辨率為512 × 512）。熒光透視影像的大小為1024 × 1024，像素間距為0.28 mm。我們利用雙平面熒光透視成像系統(tǒng)的幾何成像參數(shù)，如多項(xiàng)式扭曲校正參數(shù)[46]以及X射線(xiàn)源和探測(cè)器平面的位置，構(gòu)建了一個(gè)虛擬雙熒光透視成像系統(tǒng)，在該系統(tǒng)中，我們采用手動(dòng)方式重現(xiàn)了每塊骨骼的空間位置[47]。在本研究中，我們使用了143對(duì)配準(zhǔn)的熒光透視影像（圖6），其中91對(duì)匹配影像用于訓(xùn)練熒光透視影像的特征遷移網(wǎng)絡(luò)以及點(diǎn)追蹤網(wǎng)絡(luò)，剩余的影像則作為測(cè)試集。此外，本研究還進(jìn)行了三折交叉檢驗(yàn)。為了評(píng)估2D—3D配準(zhǔn)算法，我們使用了一種3D誤差測(cè)量方法，即目標(biāo)配準(zhǔn)誤差（TRE）[48]。此外，我們計(jì)算了用于確定3D誤差的平均目標(biāo)配準(zhǔn)誤差（mTRE），其定義為選定點(diǎn)之間的平均距離。

圖4. 成對(duì)合成圖像和真實(shí)圖像的特征遷移網(wǎng)絡(luò)。根據(jù)手動(dòng)配準(zhǔn)后的姿態(tài)，生成合成圖像（即數(shù)字重建放射影像）。

圖5. 合成X射線(xiàn)圖像特征提取的過(guò)程。

式中，Pbone表示選定的點(diǎn)；PE表示估算的點(diǎn)。成功率定義為平均目標(biāo)配準(zhǔn)誤差低于10 mm的所有測(cè)試案例的占比。

4.2. 跨域特征提取分析中的損失選擇

在真實(shí)X射線(xiàn)圖像的特征提取中，我們將余弦相似性定義為損失函數(shù)，為了選擇更好的損失函數(shù)，我們還將均方差作為損失函數(shù)[22]。損失函數(shù)的位置也可能會(huì)影響特征提取層的效果。因此，我們首先比較了不同卷積層上的損失函數(shù)的效果。為了從真實(shí)的熒光透視影像中獲得跨域特征的最佳效果，我們將已確定的損失函數(shù)應(yīng)用在成對(duì)的卷積層2、卷積層3、卷積層4和卷積層5之間。如圖7所示，我們根據(jù)最終配準(zhǔn)效果將余弦相似性稱(chēng)為損失函數(shù)。此外，余弦相似性在卷積層5之間的位置表現(xiàn)最優(yōu)（參見(jiàn)附錄A中的表S1）。

4.3. 采用或未采用遷移訓(xùn)練網(wǎng)絡(luò)分析

為了檢測(cè)本研究中的基于特征的遷移學(xué)習(xí)法的效果，我們將這一方法與孿生配準(zhǔn)網(wǎng)絡(luò)（即POINT2network）[27]進(jìn)行了比較。此外，本研究還比較了微調(diào)，以期找到一種更優(yōu)的方式，以減少熒光透視影像與數(shù)字重建放射線(xiàn)影像之間的差異。我們?cè)贗mageNet數(shù)據(jù)庫(kù)中預(yù)先訓(xùn)練了擬定方法的權(quán)重。我們將每種方法的10次測(cè)試的平均表現(xiàn)用作最終表現(xiàn)，并報(bào)告了第10個(gè)、第25個(gè)、第50個(gè)、第75個(gè)和第95個(gè)百分位上的平均目標(biāo)配準(zhǔn)誤差結(jié)果，以證明每種方法的魯棒性。相較于孿生配準(zhǔn)網(wǎng)絡(luò)，擬定的基于特征的遷移學(xué)習(xí)方法的表現(xiàn)更優(yōu)異（圖8），并且優(yōu)于配準(zhǔn)成功準(zhǔn)確率幾乎為零的微調(diào)法（參見(jiàn)附錄A中的表S2）。

圖6. 成對(duì)原始熒光透視影像以及經(jīng)過(guò)人工匹配后的相應(yīng)影像。原始熒光透視影像如（a）、（b）所示，在該影像中，可以在下肢表面找到不需要的噪聲（可穿戴肌電圖傳感器）。手動(dòng)配準(zhǔn)時(shí)調(diào)整膝蓋表面骨骼模型的投影直至與熒光透視影像的輪廓匹配，匹配后的結(jié)果顯示在（c）、（d）中。經(jīng)Elsevier Ltd.許可，轉(zhuǎn)載自參考文獻(xiàn)[6]，?2011。

圖7. 在不同卷積層使用余弦相似性和均方差的成功率。

4.4. 三折交叉驗(yàn)證

在本研究中，我們采用了三折交叉驗(yàn)證，并在采用遷移學(xué)習(xí)和不采用遷移學(xué)習(xí)這兩種情況下比較了偽孿生配準(zhǔn)網(wǎng)絡(luò)。因此，將三個(gè)實(shí)驗(yàn)對(duì)象中的兩個(gè)用于系統(tǒng)訓(xùn)練，最后一個(gè)則用于系統(tǒng)驗(yàn)證。通過(guò)隨機(jī)轉(zhuǎn)換測(cè)試對(duì)象，對(duì)這一方法進(jìn)行十次迭代。在每次迭代中評(píng)估其表現(xiàn)（平均目標(biāo)配準(zhǔn)誤差）。最終，對(duì)所有十次迭代記錄的表現(xiàn)取平均值，得到最終的平均目標(biāo)配準(zhǔn)誤差。我們記錄了第10個(gè)、第25個(gè)、第50個(gè)、第75個(gè)和第95個(gè)百分位上的平均目標(biāo)配準(zhǔn)誤差結(jié)果（表1）。最終的三折交叉驗(yàn)證證明，我們提出的方法在特征遷移方面表現(xiàn)更優(yōu)異。

表1 采用遷移學(xué)習(xí)和不采用遷移學(xué)習(xí)情況下的三折交叉驗(yàn)證

5. 結(jié)論

為了通過(guò)數(shù)字重建放射影像解決基于學(xué)習(xí)的2D—3D剛性配準(zhǔn)中真實(shí)熒光透視影像數(shù)量有限的問(wèn)題，我們提出了一種基于多視角的偽孿生配準(zhǔn)框架。我們提出的方法可以降低對(duì)真實(shí)X射線(xiàn)圖像的需求。由于能夠?qū)⒄鎸?shí)特征轉(zhuǎn)化為人工合成特征，我們提出的方法優(yōu)于微調(diào)的偽孿生網(wǎng)絡(luò)。本次研究還估算了采用遷移學(xué)習(xí)和不采用遷移學(xué)習(xí)這兩種情況下的POINT2network。結(jié)果表明，我們提出的偽孿生網(wǎng)絡(luò)的成功率和準(zhǔn)確率高于孿生點(diǎn)追蹤網(wǎng)絡(luò)。借助少量的訓(xùn)練數(shù)據(jù)，我們提出的方法可以作為優(yōu)化型配準(zhǔn)法的初始化步驟，以提高配準(zhǔn)成功率。盡管如此，目前的工作仍然存在幾方面的局限性。首先，由于我們的方法是針對(duì)至少兩個(gè)熒光視角設(shè)計(jì)的，因此需要利用多視角數(shù)據(jù)來(lái)重建膝關(guān)節(jié)3D位置；否則，由于物理成像原理的限制，面外平移和旋轉(zhuǎn)誤差將較大。其次，相較于基于優(yōu)化的方法，我們提出的方法無(wú)法達(dá)到亞毫米級(jí)的精度。與其他基于學(xué)習(xí)的方法類(lèi)似，我們提出的方法沒(méi)有較高的準(zhǔn)確性，但相較于基于優(yōu)化的方法，由于其在匹配期間無(wú)需采用迭代步驟，因此其速度更快。在臨床骨科實(shí)踐中，精確的關(guān)節(jié)運(yùn)動(dòng)學(xué)研究對(duì)于確定康復(fù)方案[5]、手術(shù)規(guī)劃[1]和功能評(píng)估[47]是必不可少的。單獨(dú)來(lái)看，我們提出的方法并不適用于測(cè)量人體關(guān)節(jié)運(yùn)動(dòng)。因此，把我們的方法和基于優(yōu)化的方法結(jié)合起來(lái)，將會(huì)是一個(gè)可行的解決方案。

圖8.不同配準(zhǔn)網(wǎng)絡(luò)下的平均目標(biāo)配準(zhǔn)誤差。

致謝

本項(xiàng)目由國(guó)家自然科學(xué)基金委員會(huì)（31771017、31972924和81873997）、上 海 市 科 學(xué) 技 術(shù) 委 員會(huì)（16441908700）、上海市教育委員會(huì)扶持的創(chuàng)新研究計(jì)劃（ZXWF082101）、國(guó)家重點(diǎn)研發(fā) 計(jì) 劃（2017YFC0110700、2018YFF0300504和2019YFC0120600）、上海自然科學(xué)基金會(huì)（18ZR1428600）、上海交通大學(xué)跨學(xué)科項(xiàng)目（ZH2018QNA06、YG2017MS09）資助。

Compliance with ethics guidelines

Cong Wang, Shuaining Xie, Kang Li, Chongyang Wang, Xudong Liu, Liang Zhao, and Tsung-Yuan Tsai declare that they have no conflict of interest or financial conflicts to disclose.

Appendix A. Supplementary data

Supplementary data to this article can be found online at https://doi.org/10.1016/j.eng.2020.03.016.