多模態(tài)融合的膝關(guān)節(jié)損傷預(yù)測(cè)

陸莉霞，鄒俊忠，郭玉成，張 見，王 蓓

1.華東理工大學(xué) 控制科學(xué)與工程學(xué)院，上海200237

2.清影醫(yī)療科技（深圳）有限公司，廣東 深圳518083

膝關(guān)節(jié)主要包括韌帶、關(guān)節(jié)面、肌肉、肌腱等多個(gè)組織結(jié)構(gòu)，是人體結(jié)構(gòu)中最復(fù)雜、最易發(fā)生損傷的關(guān)節(jié)之一。作為臨床上一種常見的骨損傷類型，膝關(guān)節(jié)損傷多發(fā)生在半月板、膝關(guān)節(jié)韌帶等位置，患者多表現(xiàn)為不同程度腫脹、疼痛等，且隨著現(xiàn)代交通業(yè)、建筑業(yè)的不斷發(fā)展，該疾病發(fā)生率呈現(xiàn)出逐年增高的趨勢(shì)，不僅給患者生活帶來(lái)了極大的不便，還影響到患者的生活質(zhì)量[1]。

隨著X 線、CT、MRI 等影像學(xué)檢查的普及，膝關(guān)節(jié)損傷診斷的準(zhǔn)確率顯著上升，為臨床早期治療提供客觀依據(jù)。MRI檢查具有較高的軟組織分辨率，能夠采集到更為豐富的圖像信息。通過(guò)矢狀位、橫軸位等方位的MRI 影像能夠?qū)οリP(guān)節(jié)軟組織及周圍結(jié)構(gòu)予以全面的探查，獲得詳細(xì)的、準(zhǔn)確的圖像，因而MRI檢查對(duì)前十字韌帶撕裂、半月板撕裂的臨床診斷表現(xiàn)出較高的準(zhǔn)確性[2-3]。近年來(lái)，膝關(guān)節(jié)磁共振成像（MRI）已成為診斷膝關(guān)節(jié)損傷的首選方法，一個(gè)用于分析膝關(guān)節(jié)MRI影像的自動(dòng)化系統(tǒng)，可以篩選出高?；颊?，并幫助臨床醫(yī)生做出更準(zhǔn)確的診斷。

傳統(tǒng)醫(yī)學(xué)影像分析主要采用邊緣檢測(cè)、紋理特征、形態(tài)學(xué)濾波以及構(gòu)建形狀模型和模板匹配等方法。Haralick等人[4]使用灰度共生矩陣來(lái)提取乳腺組織的紋理特征；Swain 等人[5]使用顏色直方圖來(lái)提取眼底圖像的顏色特征。

MRI影像的多維度、多平面的特性限制了傳統(tǒng)醫(yī)學(xué)影像分析方法對(duì)膝關(guān)節(jié)MRI的應(yīng)用[6]，而深度學(xué)習(xí)方法能夠自動(dòng)學(xué)習(xí)多層特征，非常適合于輔助診斷醫(yī)學(xué)影像[7]。近年來(lái)，深度學(xué)習(xí)方法已經(jīng)超越了傳統(tǒng)的醫(yī)學(xué)影像分析方法，并在膝關(guān)節(jié)MRI 影像領(lǐng)域取得了重大進(jìn)展。Prasoon等人[8]提出了一種新的體素分割系統(tǒng)，該系統(tǒng)集成了三個(gè)二維CNN 網(wǎng)絡(luò)，分別用于MRI 三維影像的xy、yz和zx三個(gè)平面的膝關(guān)節(jié)脛骨軟骨的分割。Liu 等人[9]開發(fā)了一套基于深度學(xué)習(xí)的全自動(dòng)膝關(guān)節(jié)MRI軟骨損傷檢測(cè)系統(tǒng)，該系統(tǒng)有兩個(gè)CNN網(wǎng)絡(luò)組成，第一個(gè)CNN 網(wǎng)絡(luò)進(jìn)行軟骨和骨骼的快速分割；第二個(gè)CNN網(wǎng)絡(luò)評(píng)估了分葉軟骨組織的結(jié)構(gòu)異常。吳恩達(dá)團(tuán)隊(duì)[10]首次提出了用于預(yù)測(cè)膝關(guān)節(jié)損傷的深度學(xué)習(xí)模型——MRNet，該模型通過(guò)MRI 影像對(duì)膝關(guān)節(jié)常見的損傷進(jìn)行預(yù)測(cè)，提高M(jìn)RI診斷的質(zhì)量。

本文通過(guò)將膝關(guān)節(jié)矢狀面、冠狀面和軸向面的MRI影像的多種特征融合，對(duì)前交叉韌帶撕裂、半月板撕裂和一般異常三種常見的膝關(guān)節(jié)損傷進(jìn)行分類預(yù)測(cè)。通過(guò)各個(gè)對(duì)比實(shí)驗(yàn)，驗(yàn)證本文方法的有效性和可行性。

1 方法介紹

對(duì)于膝關(guān)節(jié)MRI影像的特征提取方法，主要分為傳統(tǒng)特征提取方法和深度學(xué)習(xí)特征提取方法。一般來(lái)說(shuō)，傳統(tǒng)方法提取的特征底層語(yǔ)義特征，例如邊緣特征和紋理特征。而深度學(xué)習(xí)如卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）等，提取的圖像特征包含更多的細(xì)節(jié)信息，能表達(dá)高層語(yǔ)義信息。底層特征語(yǔ)義信息與高層語(yǔ)義信息對(duì)于膝關(guān)節(jié)損傷的診斷均有重要意義，因此本文提出用于膝關(guān)節(jié)診斷的一種多模態(tài)特征融合網(wǎng)絡(luò)，如圖1所示。

圖1 多模態(tài)特征融合網(wǎng)絡(luò)流程圖

首先，提取邊緣特征HOG 特征和紋理特征LBP 特征，經(jīng)contact 融合后利用PCA 選取特征貢獻(xiàn)度超過(guò)95%的特征作為傳統(tǒng)特征；其次，在VGG16網(wǎng)絡(luò)模型的基礎(chǔ)上加入金字塔融合的思想，將多個(gè)feature map 的信息融合作為深度特征；最后，通過(guò)一個(gè)多層神經(jīng)網(wǎng)絡(luò)將傳統(tǒng)特征和深度特征經(jīng)進(jìn)行深度融合，并得到預(yù)測(cè)概率。

1.1 數(shù)據(jù)預(yù)處理

膝關(guān)節(jié)MRI 影像的一個(gè)樣本的數(shù)據(jù)大小為n×256×256，其中n為一組MRI影像序列所包含的靜態(tài)圖片數(shù)目。

由于膝關(guān)節(jié)主要位于MRI的中央位置，因此先將所有靜態(tài)圖片進(jìn)行裁剪操作，并截取圖像中心224×224區(qū)域。接著進(jìn)行歸一化操作，像素值被歸一化到[0，255]之間，歸一化是為了消除其他變換函數(shù)對(duì)圖像變換的影響。在訓(xùn)練階段，數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，包括水平翻轉(zhuǎn)和旋轉(zhuǎn)角度為25°，水平和垂直方向移動(dòng)0.1的仿射變換。

1.2 傳統(tǒng)特征提取

1.2.1 HOG特征

HOG特征提取算法是Dalal等[11]提出的一種特征提取算法，核心思想是通過(guò)計(jì)算圖像局部區(qū)域梯度，并將每個(gè)局部區(qū)域中各像素點(diǎn)梯度的方向直方圖級(jí)聯(lián)。圖2為HOG特征提取算法的基本流程圖。

圖2 HOG特征提取算法的基本程圖

HOG特征提取的具體步驟如下：

（1）為消除光照和噪聲的影像，首先對(duì)圖像進(jìn)行圖像灰度化和伽馬標(biāo)準(zhǔn)化處理。

（2）用一維中心對(duì)稱算子k=[-1 01]及其轉(zhuǎn)置計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)方向的梯度，表達(dá)式為：

其中，H(x,y)表示像素在(x,y)處的灰度值。得到像素點(diǎn)的梯度幅值和梯度方向?yàn)椋?/p>

（3）將圖像分割為若干個(gè)小塊（block），每個(gè)小塊由4 個(gè)單元（cell）組成，每個(gè)單元由8×8 像素組成，塊的滑動(dòng)步長(zhǎng)為1個(gè)單元。將θ(x,y)在[0,π]區(qū)間上分為9個(gè)區(qū)間，即每20°為一個(gè)方向（bin）。單元（cell）中的每一個(gè)像素點(diǎn)都為直方圖通道進(jìn)行加權(quán)投票，權(quán)重為g(x,y)，這樣就得到每個(gè)單元內(nèi)的9個(gè)方向的梯度直方圖。

最后按順序級(jí)聯(lián)所有block 的直方圖向量，得到圖像的HOG特征μHOG，維度為7 056維。

1.2.2 LBP特征

原始的LBP模式算子為3×3的局部鄰域，以鄰域中心點(diǎn)像素的灰度值I(c)為基準(zhǔn)，對(duì)周圍其他8 個(gè)像素點(diǎn)做二值化處理，比I(c)大的鄰域像素值置為1，否則為0。將這8個(gè)二進(jìn)制數(shù)按順序排列得到一個(gè)二進(jìn)制序列即為中心點(diǎn)像素的LBP值。

為對(duì)原始的LBP模式進(jìn)行降維，并在數(shù)據(jù)量減少的情況下能最好地表示圖像的信息，本文采用均勻局部二值模式（Uniform Local Binary Pattern，ULBP）[12]。當(dāng)某個(gè)LBP 所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)從0 到1 或從1 到0 最多有兩次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱為一個(gè)等價(jià)模式，其余情況為非均勻模式。通過(guò)這樣的改進(jìn)，模式數(shù)量由原來(lái)的2p種減少為p(p-1)+2，二進(jìn)制模式的種類大大減少，而不會(huì)丟失任何信息。

本文用局部二進(jìn)制編碼直方圖表示LBP 圖像的特征，將LBP 圖像分為8×8 塊區(qū)域，獲取每個(gè)區(qū)域的LBP編碼直方圖，繼而得到整幅圖像的LBP 編碼直方圖，一張LBP圖像共有3 776維特征，記為μLBP。

1.2.3 HOG特征與LBP特征融合

經(jīng)上述方法提取到的HOG特征和LBP特征均存在特征維度過(guò)高，維度之間存在耦合的問(wèn)題，本文通過(guò)主成分分析（PCA）[13]來(lái)達(dá)到降維的效果。PCA 不僅減少了特征集的維數(shù)，同時(shí)避免了重要信息的丟失，保持特征集中對(duì)方差貢獻(xiàn)最大的特征。

設(shè)向量X=(x1,x2,…,xn)T，PCA的具體步驟如下：

將HOG 特征和LBP 特征歸一化后，經(jīng)contact 融合后的特征為[μHOG,μLBP]。經(jīng)PCA 降維后，將特征向量按對(duì)應(yīng)特征值大小從上到下按行排列，前1 325 項(xiàng)的累計(jì)貢獻(xiàn)率超過(guò)95%，為95.43%。因此將原特征集降維到1 325維得到傳統(tǒng)特征集μ=(μ1,μ2,…,μ1325)。

1.3 深度特征提取

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)療圖像診斷領(lǐng)域的應(yīng)用得到了廣泛而迅速地發(fā)展，并已取得不錯(cuò)的成果。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)圖像的卷積操作，可自動(dòng)完成特征的提取，且這些特征擁有更高級(jí)的語(yǔ)義信息，魯棒性更強(qiáng)[14]。

VGG16網(wǎng)絡(luò)[15]是2014年由牛津大學(xué)的視覺幾何組（Visual Geometry Group）提出，該網(wǎng)絡(luò)共有五個(gè)卷積塊，每個(gè)卷積塊后都是最大池化層，最后三層為全連接層，VGG16的結(jié)構(gòu)配置見表1。

表1 VGG16結(jié)構(gòu)配置

VGG16 網(wǎng)絡(luò)利用最后一層特征來(lái)進(jìn)行分類，這種方法的優(yōu)點(diǎn)是速度快、需要內(nèi)存少。缺點(diǎn)是僅僅關(guān)注深層網(wǎng)絡(luò)中最后一層的特征，卻忽略了其他層的特征，但多種信息的融合可以在一定程度上提升診斷的準(zhǔn)確率。由于卷積神經(jīng)網(wǎng)絡(luò)中淺層可以學(xué)習(xí)到比較通用的低級(jí)特征，如基本的灰度和邊緣信息等，深層可以學(xué)到特征的更多細(xì)節(jié)。因此本文在VGG16 網(wǎng)絡(luò)的基礎(chǔ)上加入Top-down 結(jié)構(gòu)，將提取的特征層逐步搭建為特征金字塔，并進(jìn)行像素疊加，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

通常深度學(xué)習(xí)被認(rèn)為在大量有標(biāo)注的圖像上進(jìn)行訓(xùn)練才可以達(dá)到良好的效果，在醫(yī)學(xué)圖像中很難有大量帶有標(biāo)注的病理圖像用于分割訓(xùn)練，因此本文采用遷移學(xué)習(xí)的方法，直接使用預(yù)訓(xùn)練好的VGG16 的第二至第五個(gè)卷積塊卷積塊（Block）。將每個(gè)卷積塊的最后一個(gè)卷積層得到的特征映射提取出來(lái)，分別為F(n)，其中n=2,3,4,5。F(n)經(jīng)上采樣（upsampling）與F(n-1)經(jīng)1×1 卷積處理后的結(jié)果進(jìn)行像素點(diǎn)融合，再采用3×3 的卷積核對(duì)融合結(jié)果進(jìn)行修正，消除了上采樣的混疊效應(yīng)，得到新的特征映射F′(n-1)。金字塔融合的公式為：

獲得最后一層融合層的F′(2)，依次通過(guò)BN 層、ReLU層、自適應(yīng)最大池化層和全連接層。BN 層不僅能夠加快模型的收斂速度，還能提升分類效果[16]經(jīng)過(guò)BN（Batch Normalization）層。設(shè)x(k)為F′(2)第k維特征，BN層為x(k)引入了兩個(gè)可學(xué)習(xí)的參數(shù)γ(k)和β(k)，并利用無(wú)差估計(jì)輸出第k維特征：

ReLU 層加入非線性因素的，增加模型的表達(dá)能力不夠。ReLU激活函數(shù)的表達(dá)式為：

自適應(yīng)最大池化層與標(biāo)準(zhǔn)的Max Pooling 區(qū)別在于，自適應(yīng)最大池化層Adaptive Max Pooling 會(huì)根據(jù)input_size(In)來(lái)控制輸出output_size(Out)。stride和κernelsize分別為：

全連接層可以看做h×w的全尺寸卷積，h和w為前一層輸出的大小，最終得到1 024 維通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征g=(g1,g2,…,g1024)。

1.4 多模態(tài)特征自適應(yīng)融合

由于提取到的傳統(tǒng)特征和深度特征維度均較高，若直接級(jí)聯(lián)兩個(gè)特征向量作為最后的特征會(huì)大大增加時(shí)間成本和計(jì)算成本，因而在多模態(tài)特征融合時(shí)要減少融合后特征的維度。同時(shí)考慮到不同模態(tài)的特征在融合結(jié)果中所起到的作用，以及保留多模態(tài)的相關(guān)性，本節(jié)構(gòu)建了一個(gè)多模態(tài)特征融合模塊，該模塊包含一個(gè)神經(jīng)元個(gè)數(shù)小于特征維數(shù)的隱藏層和一個(gè)Sigmoid 層，通過(guò)最大化特征層的能量比重來(lái)訓(xùn)練整個(gè)網(wǎng)絡(luò)，如圖4 所示。隱藏層對(duì)融合后特征進(jìn)行非線性降維，Sigmoid 層將融合后特征映射到（0，1）區(qū)間，即預(yù)測(cè)概率。令特征向量x=(μ,g)，前向傳播公式為：

圖3 加入金字塔融合的VGG16網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 多模態(tài)特征融合網(wǎng)絡(luò)圖

其中，T為樣本數(shù)量。當(dāng)函數(shù)ψ(θ)取得最大值時(shí)，特征層的能量比重大，隱層的能量小。當(dāng)在網(wǎng)絡(luò)內(nèi)傳輸數(shù)據(jù)時(shí)，數(shù)據(jù)流的方向也是能量衰減的方向，多次迭代之后，網(wǎng)絡(luò)能量呈衰減趨勢(shì)，網(wǎng)絡(luò)趨于有序或者概率分布趨于集中。

本文將偏差βi、αj初始值設(shè)為服從平均值為0，標(biāo)準(zhǔn)差為0.1的正態(tài)分布的隨機(jī)數(shù)，權(quán)重γij初始值設(shè)為服從平均值為0，標(biāo)準(zhǔn)差為0.01的正態(tài)分布很小的隨機(jī)數(shù)，隱藏層神經(jīng)元設(shè)為1 000個(gè)。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)時(shí)，所使用的CPU 型號(hào)為3.4 GHz、16 核AMD1950x，內(nèi)存容量為64 GB，GPU 為12 GHz 顯存NVIDIA TITAN-V。軟件方面，使用Python作為設(shè)計(jì)語(yǔ)言，配合opencv等視覺庫(kù)進(jìn)行代碼編寫。深度學(xué)習(xí)模型框架使用Pytorch以完成對(duì)模型的構(gòu)建，訓(xùn)練與預(yù)測(cè)。

本文網(wǎng)絡(luò)模型使用Adam優(yōu)化器，增加模型收斂穩(wěn)定性和收斂速度，同時(shí)也能得到優(yōu)良的分類結(jié)果。學(xué)習(xí)率經(jīng)過(guò)調(diào)試設(shè)置為1E-5，權(quán)重衰減為0.01，模型運(yùn)行50輪。

2.1 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)過(guò)程中使用了公開的膝關(guān)節(jié)MRI 競(jìng)賽數(shù)據(jù)集[10]對(duì)本研究中的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗(yàn)證。本研究的核心任務(wù)為檢陽(yáng)，因而本文采用了以下評(píng)價(jià)指標(biāo)：準(zhǔn)確率Accuracy、Recall 和AUC（Area Under Curve）值定量的評(píng)估不同模型的性能。

準(zhǔn)確率為模型預(yù)測(cè)正確的樣本占所有參與預(yù)測(cè)的樣本的比例。定義為：

其中，TP為真陽(yáng)性樣本數(shù)量，TN為真陰性樣本數(shù)量，F(xiàn)P為假陽(yáng)性樣本數(shù)量，F(xiàn)N為假陰性樣本數(shù)量。

AUC 值被定義為ROC 曲線下與坐標(biāo)軸圍成的面積。由于ROC曲線一般都處于y=x這條直線的上方，所以AUC 的取值范圍在0.5 和1 之間。AUC 越接近1.0，檢測(cè)方法真實(shí)性越高。

2.2 數(shù)據(jù)集

本次研究中的膝關(guān)節(jié)MRI 影像數(shù)據(jù)集來(lái)自于斯坦福大學(xué)醫(yī)學(xué)中心整理的從2001 年1 月1 日至2012 年12 月31 日期間內(nèi)的1 370 個(gè)膝關(guān)節(jié)核磁共振檢查數(shù)據(jù)集——MRNet數(shù)據(jù)集[18]。該數(shù)據(jù)集包含1 104例（80.6%）異常（Abnormal）檢查，其中前交叉韌帶撕裂（ACL tear）319例（23.3%），半月板撕裂（Meniscus tear）508例（37.1%）。194例（38.2%）患者同時(shí)發(fā)生前交叉韌帶撕裂和半月板撕裂。每個(gè)樣本包括矢狀面加權(quán)序列（sagittal plane）、冠狀面加權(quán)序列（coronal plane）和軸向面加權(quán)序列（axial plane）。這些序列的圖像數(shù)量從17 幅到61 幅不等（平均31.48幅，SD7.97幅）。

數(shù)據(jù)集被分為訓(xùn)練集（1 130個(gè)樣本，1 088名患者）和驗(yàn)證集（120個(gè)樣本，111名患者），訓(xùn)練集與測(cè)試集的數(shù)據(jù)分布見表2。

表2 訓(xùn)練集與測(cè)試集的數(shù)據(jù)分布

若將矢狀面加權(quán)序列、冠狀面加權(quán)序列和軸向面加權(quán)序列同時(shí)放入上述多模態(tài)特征融合網(wǎng)絡(luò)中，不僅對(duì)硬件要求較高，運(yùn)行時(shí)間較長(zhǎng)，而且不同序列的特征表達(dá)差異較大，預(yù)測(cè)準(zhǔn)確度不高。

因而本研究針對(duì)每個(gè)任務(wù)（異常、前交叉韌帶撕裂、半月板撕裂）和序列類型（矢狀面、冠狀面、軸向面）訓(xùn)練了不同的9個(gè)模型。

在驗(yàn)證階段，采用回歸模型得到異常、前交叉韌帶撕裂、半月板撕裂的預(yù)測(cè)概率，回歸模型結(jié)構(gòu)圖如圖5所示。

圖5 回歸模型結(jié)構(gòu)圖

將同一個(gè)樣本的矢狀面、冠狀面和軸向面加權(quán)序列同時(shí)放入上述多模態(tài)特征融合網(wǎng)絡(luò)中，分別得到在該序列下，樣本為異常樣本的概率P(A)、P(B)和P(C)。然后，將P(A)、P(B)和P(C)分別乘以一個(gè)回歸系數(shù)，相加后通過(guò)Sigmoid 函數(shù)得到在三種序列下，此樣本為異常樣本的預(yù)測(cè)概率，計(jì)算公式為：

為了尋找最佳參數(shù)wA、wB和wC，本文采用梯度上升的方法，將梯度算子移動(dòng)的步長(zhǎng)記為α，則梯度算法的迭代公式為：

同樣地，可以獲得此樣本為前交叉韌帶撕裂樣本和半月板撕裂樣本的預(yù)測(cè)概率。

2.3 實(shí)驗(yàn)結(jié)果與分析

特征提取不僅僅是分類和預(yù)測(cè)的前提，也是分類準(zhǔn)確率的保證，而高效準(zhǔn)確的特征可以提高后續(xù)分類和預(yù)測(cè)的精確度。本文數(shù)據(jù)經(jīng)相同的預(yù)處理后，每種膝關(guān)節(jié)MRI序列提取的傳統(tǒng)特征（Model a）、CNN特征（Model b）和多模態(tài)融合特征在每個(gè)任務(wù)下的實(shí)驗(yàn)結(jié)果見表3。

由表3 中Model a 的結(jié)果可知，僅僅依靠MRI 影像的紋理和邊緣特征，在膝關(guān)節(jié)損傷預(yù)測(cè)任務(wù)中存在一定的局限性，尤其在半月板撕裂的預(yù)測(cè)上，最高的準(zhǔn)確率僅有69.17%，無(wú)法很好地輔助臨床醫(yī)生進(jìn)行預(yù)測(cè)。而與傳統(tǒng)方法相比，深度學(xué)習(xí)方法在膝關(guān)節(jié)MRI影像診斷領(lǐng)域具有明顯優(yōu)勢(shì)。由表3中Model a和Model b的結(jié)果可知，深度學(xué)習(xí)方法的準(zhǔn)確率、召回率和AUC值均有大幅提升，其中在異常預(yù)測(cè)任務(wù)中召回率最高已達(dá)到97.89%，同時(shí)在傳統(tǒng)方法有所欠缺的半月板撕裂預(yù)測(cè)任務(wù)中，深度學(xué)習(xí)方法的準(zhǔn)確率均高于76%，充分顯示了深度學(xué)習(xí)方法能夠更好地診斷出陽(yáng)性的樣本，同時(shí)AUC值也更高，因而在偏態(tài)的樣本中更穩(wěn)健。

表3 各模型效果對(duì)比

本文模型在卷積神經(jīng)網(wǎng)絡(luò)中融入低級(jí)語(yǔ)義信息，豐富了模型的特征表達(dá)。由表3中Ours的結(jié)果可知，在融合了傳統(tǒng)特征與深度學(xué)習(xí)特征后，各性能指標(biāo)均得到一定程度的提升，尤其是準(zhǔn)確率和AUC值。在異常、前交叉韌帶撕裂、半月板撕裂這三項(xiàng)任務(wù)中，最高準(zhǔn)確率為92.50%、92.50%和81.83%，最高AUC 值為0.961 3、0.974 2 和0.857 4。同時(shí)，本文模型對(duì)一般異常的陽(yáng)性樣本的檢出率均高于94%，對(duì)前交叉韌帶撕裂和半月板撕裂陽(yáng)性樣本的檢出率也較高。這對(duì)于優(yōu)先發(fā)現(xiàn)高?；颊卟f(xié)助臨床醫(yī)生進(jìn)行診斷有著重要意義。

由表3 中Ours 的結(jié)果可知，在一般異常預(yù)測(cè)任務(wù)中，軸向面序列表現(xiàn)最佳，準(zhǔn)確率、召回率和AUC 值分別為92.50%、97.95%和0.961 3；在前交叉韌帶撕裂預(yù)測(cè)任務(wù)中，矢狀面序列更有優(yōu)勢(shì)，準(zhǔn)確率、召回率和AUC值分別為92.50%、94.44%和0.972 8；在半月板撕裂預(yù)測(cè)任務(wù)中，軸向面序列表現(xiàn)較好，準(zhǔn)確率、召回率和AUC值分別為81.83%、82.92%和0.846 5。此結(jié)果與半月板位于兩側(cè)脛骨與股骨外側(cè)髁間[19]而前交叉韌帶位于膝關(guān)節(jié)滑膜外側(cè)[20]的膝關(guān)節(jié)結(jié)構(gòu)相符合，因此，本文實(shí)驗(yàn)結(jié)果具有一定的科學(xué)性。

鑒于每個(gè)任務(wù)均只有陽(yáng)性和陰性兩種可能，為了更好地展示回歸模型的效果，將回歸模型預(yù)測(cè)概率大于或等于0.5 的認(rèn)為是陽(yáng)性樣本，小于0.5 的認(rèn)為是陰性樣本，則在一般異常、前交叉韌帶撕裂和半月板撕裂下的實(shí)驗(yàn)結(jié)果如表4。

表4 回歸模型各性能指標(biāo)

由表4 可知，本文模型在一般異常、前交叉韌帶撕裂和半月板撕裂預(yù)測(cè)任務(wù)中均有較好的性能指標(biāo)。尤其是一般異常和前交叉韌帶撕裂預(yù)測(cè)任務(wù)，準(zhǔn)確率和召回率均超過(guò)90%，AUC 值均高于0.94，說(shuō)明本次研究所應(yīng)用的方法能夠在這兩項(xiàng)膝關(guān)節(jié)損傷預(yù)測(cè)中為臨床醫(yī)生提供可靠的基礎(chǔ)診斷。由于半月板主要由纖維軟骨構(gòu)成，而MRI影像對(duì)軟骨組成成分具有局限性[21]。在這種情況下，本文模型在半月板撕裂預(yù)測(cè)任務(wù)中的AUC值仍達(dá)到了0.847 9。綜合來(lái)看，本文方法在膝關(guān)節(jié)損傷診斷方面具有一定的價(jià)值。

表5 不同膝關(guān)節(jié)損傷檢測(cè)模型性能比較

表5 對(duì)比了本文算法與MRNet 競(jìng)賽[18]前三名結(jié)果和現(xiàn)有文獻(xiàn)中最好結(jié)果的平均AUC值。

可以發(fā)現(xiàn)，在對(duì)膝關(guān)節(jié)損傷進(jìn)行預(yù)測(cè)時(shí)，表5中6種深度學(xué)習(xí)網(wǎng)絡(luò)AUC 值均高于90%，都能夠取得較好的預(yù)測(cè)結(jié)果，驗(yàn)證了深度學(xué)習(xí)強(qiáng)大的特征學(xué)習(xí)能力。Bien等[10]在論文中提出的MRnet 以及mrnet-baseline 都是以alexnet 模型為基礎(chǔ)的，AUC 值雖已達(dá)到0.917，但受alexnet模型本身深度和廣度的限制[22]，卷積層能學(xué)習(xí)到的特征的數(shù)量和種類有限。本文模型以更深層的vgg16模型為基礎(chǔ)，并在該卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了多模態(tài)的融合特征，包括多層卷積層的融合特征以及MRI影像的紋理和邊緣特征，讓模型有了更強(qiáng)大的表達(dá)能力，以此來(lái)獲得更好的預(yù)測(cè)效果。因此本文模型的平均AUC值略高與其他深度學(xué)習(xí)網(wǎng)絡(luò)，為0.920。

3 結(jié)束語(yǔ)

本文提出了用于膝關(guān)節(jié)診斷的一種多模態(tài)特征融合網(wǎng)絡(luò)。首先，通過(guò)對(duì)膝關(guān)節(jié)MRI影像的預(yù)處理，從傳統(tǒng)與深度學(xué)習(xí)兩方面提取膝關(guān)節(jié)損傷的多模態(tài)特征；然后，通過(guò)多層神經(jīng)網(wǎng)絡(luò)對(duì)特征進(jìn)行快速的相關(guān)性融合；最后，用logistic 回歸整合各個(gè)模型的概率。通過(guò)不同的實(shí)驗(yàn)，對(duì)上述所提到的三種模型進(jìn)行了比較，同時(shí)對(duì)回歸模型進(jìn)行了分析，結(jié)果顯示本文方法在膝關(guān)節(jié)損傷預(yù)測(cè)方面具有較大的優(yōu)勢(shì)和較高的實(shí)用價(jià)值。在未來(lái)的研究工作中，將嘗試更多模態(tài)的特征融合，例如MRI影像在時(shí)間維度上的特征。同時(shí)將此應(yīng)用在膝關(guān)節(jié)MRI 的算法應(yīng)用在其他醫(yī)學(xué)圖像類型和不同人體器官的診斷上。