基于半月板MRI的深度學(xué)習(xí)研究進(jìn)展

蔣可欣,張曉東

從1997年到2017年,骨性關(guān)節(jié)炎(osteoarthritis,OA)在年齡標(biāo)準(zhǔn)化發(fā)病率(age standardized incidence rate,ASIR)上的全球年增長(zhǎng)率為0.32% (95% CI:0.28～0.36),在28年期間增長(zhǎng)率約9%[1]。在中國(guó),OA的ASIR也呈現(xiàn)相似的增長(zhǎng)趨勢(shì);并且,骨關(guān)節(jié)炎導(dǎo)致的殘疾年數(shù)總數(shù)從1990年的0.84億增加到2017年的1.97億[2]。半月板撕裂可導(dǎo)致膝關(guān)節(jié)OA,同時(shí)半月板撕裂可加速OA的進(jìn)展[3]。半月板主要由I型膠原纖維組成,由于這一結(jié)構(gòu)特性,MRI是目前檢測(cè)半月板病變最重要的影像學(xué)方法[4]。但是,由于患者數(shù)量逐年增大,以及放射科醫(yī)師的主觀診斷差異,人工診斷半月板損傷、分類常出現(xiàn)偏差。近年來(lái),深度學(xué)習(xí)(deep learning,DL)被廣泛應(yīng)用于MRI圖像的預(yù)處理和分析,如尿路[5]、頸椎[6]MR圖像的自動(dòng)分割等,以及半月板的分割和損傷分類,有望幫助放射科醫(yī)師提升診斷的效率及準(zhǔn)確率。與傳統(tǒng)的機(jī)器學(xué)習(xí)(machine learning,ML)方法不同,ML需要從輸入中手動(dòng)提取特征,DL方法直接從數(shù)據(jù)中學(xué)習(xí)特征[7],并且DL在目標(biāo)檢測(cè)、圖像分割等任務(wù)中表現(xiàn)出了優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)的性能[8]。

半月板的解剖與損傷

正常膝關(guān)節(jié)半月板位于脛骨和股骨之間,分為內(nèi)、外側(cè)半月板,其主要功能為減少震蕩、緩沖壓力[3]。正常半月板在MR自旋回波(SE)和梯度回波(GRE)序列上均呈均一的低信號(hào),在矢狀面成像時(shí),兩側(cè)半月板在關(guān)節(jié)的邊緣層面上呈“蝴蝶結(jié)”狀,臨床上常根據(jù)內(nèi)外側(cè)將半月板進(jìn)一步分為6個(gè)區(qū)。

在質(zhì)子加權(quán)、T2加權(quán)序列上,半月板內(nèi)出現(xiàn)信號(hào)增高影即為半月板損傷的可靠征象[9]。Peterfy等[10]最早提出了膝關(guān)節(jié)全器官磁共振成像評(píng)分(whole-organ magnetic resonance imaging score,WORMs),將半月板損傷分為5級(jí)(圖1)。隨后基于WORMs評(píng)分的改良版[如波士頓利茲骨關(guān)節(jié)炎膝關(guān)節(jié)評(píng)分(boston leeds osteoarthritis knee score,BLOKS)[11]、膝關(guān)節(jié)骨關(guān)節(jié)炎 MRI 評(píng)分(MRI osteoarthritis knee score,MOAK)[12]]已被廣泛用于量化膝關(guān)節(jié)損傷程度。基于MRI量化評(píng)估半月板損傷對(duì)半月板治療具有重要的指導(dǎo)意義[13],但人工評(píng)分耗時(shí)耗力且高度依賴于評(píng)估者的專業(yè)水平,而DL有望幫助放射科和臨床醫(yī)生快速、準(zhǔn)確地對(duì)半月板損傷進(jìn)行自動(dòng)評(píng)估。

圖1 半月板損傷分級(jí)MRI。a) 0級(jí),正常半月板; b) 1級(jí),輕微的半月板徑向撕裂或鸚鵡喙撕裂(箭); c) 2級(jí),半月板非移位性撕裂或既往手術(shù)修復(fù)(箭); d) 3級(jí),半月板移位性撕裂或部分切除(箭); e) 4級(jí),半月板完全浸漬/破壞或完全切除(箭)。

DL基本概念

1.DL概念和醫(yī)學(xué)影像研究

DL是一類以多層神經(jīng)網(wǎng)絡(luò)為特征的機(jī)器學(xué)習(xí)算法,它能夠自動(dòng)提取數(shù)據(jù)特征,用于建立分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),模仿人腦的機(jī)制分析數(shù)據(jù)[5,14]。DL研究的設(shè)計(jì)需要一個(gè)共同的模式,包括幾個(gè)步驟:①制定一個(gè)臨床問(wèn)題;②選擇合適的計(jì)算機(jī)視覺(jué)任務(wù),并選擇其適當(dāng)?shù)亩攘?③數(shù)據(jù)采集;④數(shù)據(jù)預(yù)處理;⑤軟件框架和硬件平臺(tái)選擇,并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行設(shè)計(jì);⑥使用所選的度量標(biāo)準(zhǔn)在測(cè)試數(shù)據(jù)上驗(yàn)證結(jié)果[15]。

2.DL的經(jīng)典算法

DL的經(jīng)典算法包括卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)和生成對(duì)抗網(wǎng)絡(luò)(generative countermeasure network,GAN)。對(duì)于計(jì)算機(jī)視覺(jué)任務(wù),CNN表現(xiàn)較為出色,被廣泛應(yīng)用于醫(yī)學(xué)影像學(xué)中,用于分割、分類和檢測(cè)任務(wù)[11]。CNN架構(gòu)由卷積層、池化層、非線性層和全連接層組成[12]。卷積層是CNN的核心構(gòu)件,其參數(shù)由一組可學(xué)習(xí)的過(guò)濾器組成。池化層作用是最小化網(wǎng)絡(luò)中的參數(shù)和計(jì)算量,并控制過(guò)擬合。非線性層使用特定的非線性激活函數(shù)進(jìn)行選擇,僅允許部分特征能夠被輸出。全連接層可以整合卷積層或池化層中具有類別區(qū)分性的局部信息,充當(dāng)分類器。

近年來(lái),由Goodfellow等[16]提出的GAN也受到了廣泛關(guān)注。GAN包含有兩個(gè)模型,一個(gè)是生成模型(generative model,G),任務(wù)是生成與原始數(shù)據(jù)相似的實(shí)例;一個(gè)是判別模型(discriminative model,D),用于判斷給定的實(shí)例是真實(shí)數(shù)據(jù)還是人為偽造的。在訓(xùn)練過(guò)程中,G用于生成真實(shí)的圖片欺騙D,而D的目標(biāo)是將G生成的圖片與真實(shí)的圖片進(jìn)行區(qū)分。對(duì)于最后輸出的結(jié)果,可以同時(shí)對(duì)兩方的參數(shù)進(jìn)行調(diào)優(yōu):若D判斷正確,則需調(diào)整G的參數(shù)從而使得生成的假數(shù)據(jù)更為逼真;若D判斷錯(cuò)誤,則需調(diào)節(jié)D的參數(shù),避免下次出現(xiàn)相似錯(cuò)誤。這樣,G和D構(gòu)成了一個(gè)動(dòng)態(tài)的博弈過(guò)程,直到達(dá)到納什均衡[17]。

DL在半月板損傷評(píng)估中的應(yīng)用

目前DL在半月板MRI圖像的應(yīng)用上取得了較大進(jìn)展,主要表現(xiàn)在分割(表1)及分類(表2)方面。

表1 半月板DL分割模型

表2 半月板DL分類模型

1.半月板分割

半月板的精確分割是半月板損傷分類的重要基礎(chǔ)。將半月板分為內(nèi)、外側(cè)是目前最常用的分割方式,最高Dice相似系數(shù)(dice similarity coefficient,DSC)分別為:內(nèi)側(cè)半月板(medial meniscus,MM)0.89、外側(cè)半月板(lateral meniscus,LM)0.91[18]。Tack等[19]最早使用DL模型對(duì)半月板進(jìn)行分割,將2D和3D卷積U-Net與統(tǒng)計(jì)形狀模型(statistical shape models,SSM)結(jié)合分割半月板,內(nèi)、外側(cè)分割DSC系數(shù)分別為:MM 0.84、LM 0.89。但僅用2D U-Net卷積網(wǎng)絡(luò)結(jié)構(gòu)的DL模型半月板分割DSC較低[20]。隨后,Byra等[21]應(yīng)用遷移學(xué)習(xí)開(kāi)發(fā)2D attention U-Net卷積神經(jīng)網(wǎng)絡(luò),模型的DSC得分顯著高于放射科醫(yī)師的評(píng)分,模型的分割性能與人工分割準(zhǔn)確度相似。基于CNN的分割模型的半月板分割結(jié)果與放射科醫(yī)師相似,但這些基于CNN的方法無(wú)法完全區(qū)分半月板與膝關(guān)節(jié)中半月板以外的其他結(jié)構(gòu)。而GAN可通過(guò)對(duì)局部ROI中的半月板進(jìn)行分割,并對(duì)分割結(jié)果進(jìn)行反復(fù)判斷和改進(jìn),可以防止由于分割強(qiáng)度水平不均勻而導(dǎo)致的分割不足。如Gaj等[22]嘗試采用cGAN對(duì)半月板內(nèi)外側(cè)進(jìn)行分割,使分割性能得到了提升,特別是在決定分割的起始/結(jié)束切片方面,與手工分割更加一致,其學(xué)習(xí)方式與人類更加接近。最近Jeon等[23]提出了一個(gè)兩階段的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network,DCNN),將基于2D U-Net的半月板定位網(wǎng)絡(luò)與使用對(duì)象感知映射的條件生成對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial networks,cGAN)的分割網(wǎng)絡(luò)相結(jié)合,提出的多類自動(dòng)半月板定位方法可以有效避免局部區(qū)域的分類不平衡問(wèn)題,基于目標(biāo)感知地圖的對(duì)抗學(xué)習(xí)方法可以通過(guò)反復(fù)判斷和改進(jìn)分割結(jié)果來(lái)防止分割不足。

除外了DL對(duì)半月板內(nèi)、外側(cè)的分割外,Zhou等[24]和?lmez等[25]也基于CNN建立了整個(gè)半月板的分割模型,DSC最高達(dá)到0.89,但此整體分割模型對(duì)進(jìn)一步診斷半月板損傷的意義較小。2021年,Astuto等[26]通過(guò)計(jì)算兩個(gè)連續(xù)的V-Net進(jìn)一步將半月板分割為4個(gè)角,這種分割方式對(duì)臨床意義更大,但其分割精度較差,作者推測(cè)可能是由于半月板分為4個(gè)角的體積過(guò)小。

2.半月板損傷分類

目前大多數(shù)研究將半月板損傷進(jìn)行二分類:撕裂/無(wú)撕裂[27-35],基于整塊半月板的二分類已較成熟,最高ROC曲線下面積(area under curve,AUC)達(dá)到0.96[27]。Bien等[28]采用了斯坦福大學(xué)建立的膝關(guān)節(jié)數(shù)據(jù)庫(kù),開(kāi)發(fā)了一種DL模型MR Net,是最早基于整塊半月板進(jìn)行損傷分類的模型,它利用AlexNet為每個(gè)2D圖像的特征提取器。在內(nèi)部驗(yàn)證測(cè)試集中對(duì)檢測(cè)半月板撕裂的敏感度、特異度、準(zhǔn)確度和AUC分別為0.71、0.74、0.73和0.85,與普通放射科醫(yī)生相比,算法特異度較低(0.89)。在MR Net架構(gòu)的基礎(chǔ)上,Azcona等[29]用深度殘差網(wǎng)絡(luò)(如Resnet18,Resnet50和Resnet152)取代了AlexNet特征提取器,最終在驗(yàn)證數(shù)據(jù)上實(shí)現(xiàn)了0.908的AUC,高于MR Net模型性能。同樣地, ELNet[30]將主干網(wǎng)AlexNet改為Resnet,多層標(biāo)準(zhǔn)化和模糊池操作的新穎集成使ELNet模型保持輕量級(jí),易于在實(shí)際臨床環(huán)境中訓(xùn)練和部署。MRPyrNet[31]使用特征金字塔網(wǎng)絡(luò)和金字塔細(xì)節(jié)池來(lái)收集和捕獲膝蓋區(qū)域出現(xiàn)的小損傷,該模型被插入到MRNet和ELNet中,并實(shí)現(xiàn)了顯著的性能改進(jìn)。Dai等[32]提出TransMed用于多模態(tài)醫(yī)學(xué)圖像分類。與自然圖像相比,多模態(tài)醫(yī)學(xué)圖像具有明確而重要的長(zhǎng)期相關(guān)性,有效的多模態(tài)融合策略可以極大地提高深層模型的性能。TransMed結(jié)合了CNN和轉(zhuǎn)換器的優(yōu)點(diǎn),可以有效地提取圖像的低級(jí)特征,并在模型之間建立遠(yuǎn)程依賴關(guān)系,檢測(cè)半月板撕裂的準(zhǔn)確率和AUC值分別為0.85和0.95,較MRNet技術(shù)有所改進(jìn)。類似地,陸莉霞等[33]、Qiu等[34]均融合半月板的低層次特征和復(fù)雜高層次特征建立模型,對(duì)半月板進(jìn)行二分類,融合特征所獲結(jié)果高于Bien等[28]所提出的模型(僅提取一種特征)。此外,為進(jìn)一步對(duì)損傷進(jìn)行精確定位,Tack等加入多層感知器,基于半月板的6個(gè)角進(jìn)行二分類,每個(gè)角的AUC均達(dá)到0.90以上[35]。

半月板損傷的二分類模型無(wú)法滿足臨床實(shí)際需求,因此,許多學(xué)者進(jìn)一步開(kāi)發(fā)了半月板損傷的三分類模型。Pedoia等[36]采用2D U-Net將半月板分割為4個(gè)角(外側(cè)前角、外側(cè)后角、內(nèi)側(cè)前角、內(nèi)側(cè)后角),并使用3D CNN識(shí)別半月板是否損傷;同時(shí),該研究結(jié)合WORMS評(píng)分進(jìn)一步將半月板損傷分為正常、輕中度和重度三類,此分類方式更符合臨床需求。Astuto等[26]訓(xùn)練3D V-Net架構(gòu),將膝關(guān)節(jié)分割得到4個(gè)半月板角,并根據(jù)4個(gè)角對(duì)MR圖像的感興趣區(qū)(region of interest,ROI)進(jìn)行基于WORMS的分類標(biāo)簽:訓(xùn)練第一個(gè)模型對(duì)半月板進(jìn)行正?；虍惓７诸?第二個(gè)模型將樣本分類為異常中的兩個(gè)亞類(撕裂或浸漬),最終測(cè)得半月板正常、撕裂、浸漬的敏感度分別為0.85、0.74、0.85。另外,Rizk等[37]使用結(jié)合了半月板定位和病變分類的3D CNN架構(gòu),檢測(cè)內(nèi)側(cè)和外側(cè)半月板撕裂的AUC值分別為0.93和0.84,檢測(cè)內(nèi)側(cè)和外側(cè)半月板撕裂伴移位的AUC值分別為0.91和0.95。內(nèi)側(cè)和外側(cè)半月板撕裂檢測(cè)模型經(jīng)過(guò)外部驗(yàn)證,微調(diào)后AUC值為0.89,較MRNet模型的性能高4.3%。

此外,為了對(duì)半月板損傷定位進(jìn)行更準(zhǔn)確的測(cè)量,法國(guó)放射學(xué)會(huì)組織了一項(xiàng)數(shù)據(jù)挑戰(zhàn),使用2018年10月期間對(duì)膝關(guān)節(jié)進(jìn)行MRI檢查的數(shù)據(jù)集來(lái)檢測(cè)半月板撕裂,Roblot等[38]和Couteaux等[39]根據(jù)這項(xiàng)挑戰(zhàn),應(yīng)用3D CNN開(kāi)發(fā)的DL模型在診斷半月板撕裂的存在與否、撕裂的定位和方向方面具有良好的性能。

總結(jié)和展望

由于強(qiáng)大的學(xué)習(xí)能力、適應(yīng)性好、數(shù)據(jù)驅(qū)動(dòng)(上限高)以及在自動(dòng)分析圖像方面的優(yōu)勢(shì),DL成為近年來(lái)的研究熱點(diǎn)。許多學(xué)者建立了DL模型,對(duì)半月板MR圖像進(jìn)行自動(dòng)分割、分類,性能與放射科醫(yī)師準(zhǔn)確度相似并且可節(jié)省大量時(shí)間。DL模型有望在將來(lái)成為醫(yī)學(xué)中有幫助的決策支持工具。但DL在分析半月板MRI時(shí)仍存在許多挑戰(zhàn):①由于隱私保護(hù)和獲取成本的原因,半月板MRI圖像數(shù)據(jù)集規(guī)模不大,樣本間不平衡,特別是半月板外側(cè)損傷的病例;②注釋工作量大且高度依賴評(píng)估者的專業(yè)水平,導(dǎo)致獲得具有準(zhǔn)確注釋的MRI圖像困難;③大多數(shù)DL模型都是黑盒,只有輸入和輸出是清楚的,良好的表現(xiàn)有時(shí)很難解釋;④DL分析MRI圖像時(shí)只能分析一種序列,還沒(méi)有成熟的模型能夠?qū)Χ喾N序列同時(shí)進(jìn)行學(xué)習(xí)。

綜上所述,基于半月板MRI的DL已取得了一定進(jìn)展, 但從研究模型走向真正的臨床應(yīng)用仍需探索。本文對(duì)目前DL在膝關(guān)節(jié)MRI分析中面臨的主要挑戰(zhàn)進(jìn)行了剖析,期待能提高DL模型性能并早日應(yīng)用于臨床。