基于多影像中心磁共振成像數(shù)據(jù)的半監(jiān)督膝蓋異常分類

吳 潔，張師天，謝海濱，楊 光*

（1.華東師范大學(xué)物理與電子科學(xué)學(xué)院，上海 200241；2.上海市磁共振重點(diǎn)實(shí)驗(yàn)室（華東師范大學(xué)），上海 200062；3.愛(ài)丁堡大學(xué)物理與天文學(xué)院，愛(ài)丁堡EH8 9YL，英國(guó)）

0 引言

近幾年，深度學(xué)習(xí)在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用處于蓬勃發(fā)展階段［1-2］。在磁共振成像（Magnetic Resonance Imaging，MRI）相關(guān)的疾病分類［3］、病灶檢測(cè)［4］與組織分割［5］任務(wù)中，深度學(xué)習(xí)展現(xiàn)出自身強(qiáng)大的能力。這些研究通過(guò)實(shí)驗(yàn)表明，準(zhǔn)確且具體的專業(yè)標(biāo)記對(duì)于模型訓(xùn)練起到了重要作用。一些計(jì)算機(jī)視覺(jué)的研究也表明，使用網(wǎng)絡(luò)層數(shù)深與通道數(shù)寬的網(wǎng)絡(luò)用于訓(xùn)練模型可以提升模型性能［6-8］。但是，深而寬的網(wǎng)絡(luò)意味著網(wǎng)絡(luò)具有更多的參數(shù)，需要利用更多的數(shù)據(jù)去訓(xùn)練網(wǎng)絡(luò)。如果采用監(jiān)督學(xué)習(xí)方法，則需要放射學(xué)專家與臨床醫(yī)生花費(fèi)大量時(shí)間與精力對(duì)所有磁共振數(shù)據(jù)進(jìn)行一一標(biāo)記。

為了能在有限的有標(biāo)簽數(shù)據(jù)集上利用大模型，遷移學(xué)習(xí)［9］是一種不錯(cuò)的選擇，其工作機(jī)制是在具有大量有標(biāo)簽的數(shù)據(jù)集上預(yù)訓(xùn)得到一個(gè)模型，然后將該模型作為小數(shù)據(jù)集的初始模型。比如，Bien 等［10］在磁共振膝蓋診斷任務(wù)中遷移了在大量自然圖像組成的ImageNet 數(shù)據(jù)集［11］上預(yù)訓(xùn)練得到的AlexNet 網(wǎng)絡(luò)。但是訓(xùn)練數(shù)據(jù)量如此龐大的數(shù)據(jù)集不僅需要大量計(jì)算機(jī)資源，還要求模型必須兼容兩個(gè)不相關(guān)的數(shù)據(jù)集。磁共振圖像是三維的灰階圖像，而ImageNet 數(shù)據(jù)集由二維的彩色圖像組成，如果在磁共振圖像上利用ImageNet 預(yù)訓(xùn)練的模型，可能會(huì)面臨三維信息丟失與顏色信息冗余的潛在問(wèn)題。

半監(jiān)督學(xué)習(xí)［12］則是另一種可以緩解有標(biāo)簽數(shù)據(jù)有限問(wèn)題的方法，它的核心是通過(guò)無(wú)標(biāo)簽數(shù)據(jù)來(lái)約束模型。一致性約束是實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)的一個(gè)有效算法，它要求同一樣本經(jīng)過(guò)多次噪聲擾動(dòng)或網(wǎng)絡(luò)dropout 等約束后，模型必須給出一致的輸出結(jié)果。比如Laine 等［13］提出可以利用高斯噪聲與dropout 作為約束；Miyato 等［14］提出可以從樣本自身角度出發(fā)得到對(duì)抗噪聲，以此來(lái)代替隨機(jī)噪聲對(duì)樣本進(jìn)行擾動(dòng)。也有半監(jiān)督學(xué)習(xí)研究提出，模型對(duì)無(wú)標(biāo)簽數(shù)據(jù)的預(yù)測(cè)概率也可以作為無(wú)標(biāo)簽數(shù)據(jù)的偽目標(biāo)。比如Tarvainen 等［15］提出利用指數(shù)移動(dòng)平均（Exponential Moving Average，EMA）法可以得到更好的預(yù)測(cè)結(jié)果，然后將該結(jié)果作為無(wú)標(biāo)簽數(shù)據(jù)的偽目標(biāo)；Xie 等［16］提出了用強(qiáng)度較弱的擴(kuò)增變換數(shù)據(jù)后，把模型對(duì)弱擴(kuò)增無(wú)標(biāo)簽數(shù)據(jù)的預(yù)測(cè)結(jié)果作為無(wú)標(biāo)簽數(shù)據(jù)的偽目標(biāo)。

近期已經(jīng)有一些研究開(kāi)始將半監(jiān)督學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域［17-19］。在這些研究中，有標(biāo)簽與無(wú)標(biāo)簽樣本都來(lái)自同一個(gè)來(lái)源。但是對(duì)磁共振數(shù)據(jù)而言，很難從一個(gè)影像中心獲取到足夠多的有、無(wú)標(biāo)簽數(shù)據(jù)。為獲取到足夠多的磁共振數(shù)據(jù)，也面臨著圖像來(lái)源復(fù)雜的問(wèn)題，比如來(lái)自不同的機(jī)構(gòu)、生產(chǎn)廠家、成像協(xié)議與操作技師。另一方面，一個(gè)好的模型應(yīng)該在不同來(lái)源的數(shù)據(jù)中有好的表現(xiàn)，因此在訓(xùn)練過(guò)程中讓網(wǎng)絡(luò)接觸到多影像中心數(shù)據(jù)，可以使最終的模型更具魯棒性。

基于上述問(wèn)題，本文采用了兩個(gè)不同來(lái)源的公開(kāi)膝蓋磁共振數(shù) 據(jù)——MRNet 數(shù)據(jù)集［10］與OAI（OsteoArthritis Initiative）數(shù)據(jù)集［20］（https：//nda.nih.gov/oai/）來(lái)開(kāi)展半監(jiān)督學(xué)習(xí)的研究。MRNet 數(shù)據(jù)集提供了每個(gè)樣本膝蓋是否異常的標(biāo)簽，因此作為有標(biāo)簽數(shù)據(jù)參與訓(xùn)練；而OAI 數(shù)據(jù)集沒(méi)有提供膝蓋異常與否的標(biāo)簽，因此作為無(wú)標(biāo)簽數(shù)據(jù)參與訓(xùn)練。在本文的半監(jiān)督任務(wù)中，MRNet 數(shù)據(jù)集也作為無(wú)標(biāo)簽數(shù)據(jù)的一部分，將有標(biāo)簽數(shù)據(jù)作為無(wú)標(biāo)簽數(shù)據(jù)的一部分也是半監(jiān)督學(xué)習(xí)研究工作的普遍做法。

本文提出了用于磁共振的半監(jiān)督學(xué)習(xí)（Magnetic Resonance Semi-Supervised Learning，MRSSL）方法，用于從多影像中心磁共振數(shù)據(jù)中訓(xùn)練出膝蓋異常分類的模型。MRSSL以一致性約束為基礎(chǔ)，要求模型對(duì)同一樣本給出一致的預(yù)測(cè)概率。并且也提出了對(duì)應(yīng)的僅利用有標(biāo)簽數(shù)據(jù)的完全監(jiān)督學(xué)習(xí)（Magnetic Resonance Supervised Learning，MRSL）方法，將其作為MRSSL 的對(duì)比對(duì)象。在網(wǎng)絡(luò)搭建方面，本文借鑒了M2D CNN（Multichannel 2D Convolutional Neural Network）［21］與殘差網(wǎng)絡(luò)ResNet（Residual Network）［6-7］這兩個(gè)網(wǎng)絡(luò)。在訓(xùn)練過(guò)程中，利用了數(shù)據(jù)擴(kuò)增來(lái)提供模型所需的歸納偏置［22］，并且該偏置不小于MRNet 數(shù)據(jù)集與OAI 數(shù)據(jù)集之間的差異。受RangAugment［23］啟 發(fā)，也提出 了磁共 振擴(kuò)增（Magnetic Resonance Augmentation，MRAugment）作為本文的擴(kuò)增策略，用于緩解在擴(kuò)增參數(shù)上的調(diào)參壓力。然后，選出MRSL 與MRSSL 中各自的代表模型進(jìn)行對(duì)比，采用的評(píng)價(jià)指標(biāo)有接受者操作特性曲線下面積（Area Under Receiver Operating Characteristic Curve，AUC），準(zhǔn)確率（accuracy），敏感性（sensitivity），特異性（specificity）和敏感性與特異性的幾何平均值（Geometric mean between sensitivity and specificity，Gmean），其中AUC 是模型選擇的重要依據(jù)。實(shí)驗(yàn)結(jié)果表明，在具有相同有標(biāo)簽樣本的前提下，MRSSL 訓(xùn)練出的模型比MRSL 模型在性能與模型泛化能力上表現(xiàn)更好，在AUC、準(zhǔn)確率、特異性與G-mean 上面都有明顯的提升。最后，將MRSSL與其他半監(jiān)督學(xué)習(xí)方法在多個(gè)指標(biāo)上進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明MRSSL在膝蓋異常分類任務(wù)中取得了最好的模型性能。

1 數(shù)據(jù)介紹

1.1 MRNet數(shù)據(jù)集及其拆分

MRNet 數(shù)據(jù)集是斯坦福大學(xué)醫(yī)學(xué)中心對(duì)外公開(kāi)的膝蓋磁共振數(shù)據(jù)集。所有磁共振樣本都是在3.0 T 或者1.5 T 磁場(chǎng)強(qiáng)度的GE 掃描儀上采集到的，每個(gè)樣本都有3 個(gè)解剖方位的磁共振圖像，矢狀位、冠狀位和橫斷位圖像分別使用了T2 加權(quán)序列、T1 加權(quán)序列和質(zhì)子密度加權(quán)序列。MRNet 數(shù)據(jù)集的類別主要分為兩大類：膝蓋正常與膝蓋異常。所有磁共振數(shù)據(jù)的寬高都統(tǒng)一為256× 256 大小。

斯坦福大學(xué)醫(yī)學(xué)中心對(duì)外提供了1 130 個(gè)樣本作為訓(xùn)練集，120 個(gè)樣本作為驗(yàn)證集，但是沒(méi)有公開(kāi)測(cè)試集中的120 個(gè)樣本。根據(jù)MRNet 數(shù)據(jù)集中提供的標(biāo)記信息，膝蓋類別又可以細(xì)分成5 類：膝蓋正常、前交叉韌帶撕裂、半月板撕裂、既有前交叉韌帶也有半月板撕裂，以及其他膝蓋異常問(wèn)題。本文從5 個(gè)類別的數(shù)據(jù)中各選出了24 個(gè)樣本，總共120 個(gè)樣本作為本文的驗(yàn)證集。余下的1 010 個(gè)樣本（其中膝蓋正常的數(shù)據(jù)有193 個(gè)，膝蓋異常的數(shù)據(jù)有817 個(gè)）作為本文的訓(xùn)練集。而MRNet 數(shù)據(jù)集原始的驗(yàn)證集被作為本文的測(cè)試集。MRNet 數(shù)據(jù)集原本的數(shù)據(jù)劃分與本文所用的數(shù)據(jù)拆分詳情請(qǐng)見(jiàn)表1。由于MRNet 數(shù)據(jù)集沒(méi)有對(duì)外公開(kāi)測(cè)試集，所以把MRNet 數(shù)據(jù)集的驗(yàn)證集作為本文實(shí)驗(yàn)中的測(cè)試集。

表1 MRNet數(shù)據(jù)集的原始訓(xùn)練集、驗(yàn)證集與本文實(shí)驗(yàn)中訓(xùn)練集、驗(yàn)證集的膝蓋情況分布Tab.1 Distribution of original training set and validation set of MRNet dataset and training set and validation set used in the paper

1.2 OAI數(shù)據(jù)集及其預(yù)處理

OAI 數(shù)據(jù)集是一個(gè)對(duì)觀察群體長(zhǎng)達(dá)10 年的多中心研究，是美國(guó)國(guó)家健康研究所（National Institutes of Health，NIH）支持開(kāi)展的研究項(xiàng)目。所有的磁共振圖像都是用3.0 T 磁場(chǎng)強(qiáng)度的西門子掃描儀采集得到的。該數(shù)據(jù)集由4 796 個(gè)樣本組成，根據(jù)本文需要，從中選取了滿足要求的4 692 個(gè)樣本。選取標(biāo)準(zhǔn)是樣本必須需要同時(shí)具有矢狀位T2 加權(quán)序列、冠狀位T1 加權(quán)序列以及橫斷位T2 加權(quán)序列的右膝蓋圖像。可以發(fā)現(xiàn)，OAI 數(shù)據(jù)集不僅在掃描儀器廠商使用上與MRNet 數(shù)據(jù)集不一樣，而且提供的橫斷位數(shù)據(jù)所采用的掃描序列與MRNet 的也不一樣，這也反映了多影像中心磁共振數(shù)據(jù)往往會(huì)存在很大差異這一現(xiàn)實(shí)問(wèn)題。此外，OAI 數(shù)據(jù)集中沒(méi)有提供膝蓋異常的標(biāo)簽，所以它是本文半監(jiān)督學(xué)習(xí)研究中的無(wú)標(biāo)簽數(shù)據(jù)。

在OAI 數(shù)據(jù)集預(yù)處理方面，本文利用了基于直方圖的灰度值標(biāo)準(zhǔn)化算法［24］，以確保OAI 數(shù)據(jù)集中的圖像具有可對(duì)比的灰度值表示，將磁共振圖像的灰度值都統(tǒng)一到了0～255，去除一些比較異常的灰度值。圖像讀取方面采用了SimpleITK（v1.2）［25-26］，預(yù)處理方面利用了scikit-image library（v0.16）［27］。

2 方法介紹

2.1 MRSL與MRSSL及其訓(xùn)練目標(biāo)

MRSL 采用了完全監(jiān)督的學(xué)習(xí)方式，輸入網(wǎng)絡(luò)的數(shù)據(jù)只包含有標(biāo)簽數(shù)據(jù)，如圖1 虛線框內(nèi)區(qū)域所示，具有金標(biāo)準(zhǔn)YL的有標(biāo)簽數(shù)據(jù)XL經(jīng)過(guò)數(shù)據(jù)擴(kuò)增α后得到，然后被喂入網(wǎng)絡(luò)中訓(xùn)練（網(wǎng)絡(luò)細(xì)節(jié)見(jiàn)2.2 節(jié)），網(wǎng)絡(luò)給出對(duì)應(yīng)的預(yù)測(cè)概率值，訓(xùn)練目標(biāo)則是描述金標(biāo)準(zhǔn)與預(yù)測(cè)概率間的差異的二值交叉熵?fù)p失函數(shù)：

其中：n是訓(xùn)練集中有標(biāo)簽樣本的總數(shù)，在本文中是1 010；λ是處理類別不平衡數(shù)據(jù)集時(shí)常用的系數(shù)。本文中膝蓋正常樣本與膝蓋異常樣本數(shù)目不平衡，所以用λ來(lái)起到均衡作用：將其作用于膝蓋異常的樣本前，λ的值等于訓(xùn)練集中膝蓋正常的樣本總數(shù)與膝蓋異常的樣本總數(shù)之比［28］，結(jié)合表1可知該比值約為0.236（193/817）。注意MRSL 訓(xùn)練目標(biāo)中僅包含分類損失函數(shù)。

MRSSL 既利用了有標(biāo)簽數(shù)據(jù)進(jìn)行分類任務(wù)（圖1 虛線框內(nèi)區(qū)域），也利用了無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行一致性約束（圖1 虛線框外區(qū)域）。從圖1 可見(jiàn)，MRSSL 在處理有標(biāo)簽數(shù)據(jù)時(shí)與MRSL是一樣的，主要差別體現(xiàn)在MRSSL 對(duì)于無(wú)標(biāo)簽數(shù)據(jù)采用了一致性約束。在一致性約束部分，無(wú)標(biāo)簽數(shù)據(jù)會(huì)分別經(jīng)過(guò)兩次擴(kuò)增，一次是程度較強(qiáng)的擴(kuò)增（用大寫A表示），一次是程度較弱的擴(kuò)增（用小寫a表示）。需要注意的地方有兩點(diǎn)：一是這里的較強(qiáng)與較弱擴(kuò)增是指擴(kuò)增A的強(qiáng)度要比擴(kuò)增a的變換程度更強(qiáng)，實(shí)驗(yàn)用到的擴(kuò)增策略細(xì)節(jié)展示在表2 中；二是同大多數(shù)半監(jiān)督研究一樣，為了充分利用所有數(shù)據(jù)，有標(biāo)簽數(shù)據(jù)同時(shí)也作為無(wú)標(biāo)簽數(shù)據(jù)的一部分。經(jīng)歷弱擴(kuò)增a和強(qiáng)擴(kuò)增A的無(wú)標(biāo)簽數(shù)據(jù)和經(jīng)歷同樣擴(kuò)增的被用作無(wú)標(biāo)簽數(shù)據(jù)的有標(biāo)簽數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)輸出的預(yù)測(cè)概率分別是，一致性損失函數(shù)即是描述與之間的差異以及之間的差異的均方誤差函數(shù)：

其中：n+N是指有標(biāo)簽與無(wú)標(biāo)簽樣本的總數(shù)，本文中一共有5 702（其中1 010 個(gè)樣本來(lái)自MRNet 數(shù)據(jù)集，4 692 個(gè)樣本來(lái)自O(shè)AI 數(shù)據(jù)集）；L ∪U 指有標(biāo)簽與無(wú)標(biāo)簽樣本組成的集合。

MRSSL 的總訓(xùn)練目標(biāo)Losstotal中包含了兩大部分：

其中：Losscls是式（1）定義的分類損失函數(shù)，Losscons是式（2）定義的無(wú)監(jiān)督的一致性損失函數(shù)。這里的一致性約束權(quán)重系數(shù)ω用于控制一致性部分在訓(xùn)練過(guò)程的貢獻(xiàn)程度，初期隨著訓(xùn)練迭代次數(shù)t線性增加至其最大值ωmax，然后維持不變。

圖1 中虛線箭頭表示著梯度反向傳播的方向。在這一過(guò)程中，弱擴(kuò)增后的無(wú)標(biāo)簽數(shù)據(jù)經(jīng)過(guò)模型輸出的概率被看作是強(qiáng)擴(kuò)增分支的偽目標(biāo)，即認(rèn)為該偽目標(biāo)在梯度下降優(yōu)化過(guò)程中不應(yīng)該被主動(dòng)調(diào)整，同金標(biāo)準(zhǔn)一樣不參與到求導(dǎo)中。強(qiáng)擴(kuò)增圖像的模型輸出概率看作需要調(diào)節(jié)的，在優(yōu)化時(shí)通過(guò)梯度下降調(diào)節(jié)。之所以這樣做，是因?yàn)橄鄬?duì)于強(qiáng)擴(kuò)增變換后的圖像，弱擴(kuò)增變換后的圖像相對(duì)于原圖的差距更小，模型更容易準(zhǔn)確預(yù)測(cè)結(jié)果，因而以弱擴(kuò)增后輸出的概率作為偽目標(biāo)顯得更為合理。

圖1 MRSL與MRSSL的結(jié)構(gòu)Fig.1 Structure of MRSL and MRSSL

一些半監(jiān)督方法會(huì)將偽目標(biāo)進(jìn)行一定程度的“硬化”，即將預(yù)測(cè)的概率向著更高的自信度調(diào)整，例如將概率最大值直接作為標(biāo)簽［29］。但是，在現(xiàn)實(shí)生活中有些磁共振圖像上會(huì)存在一些偽影導(dǎo)致圖像質(zhì)量不佳，放射科專家或臨床醫(yī)生很難給出絕對(duì)的異常或正常（1 或0）判斷，比如本文所使用的兩個(gè)數(shù)據(jù)集都沒(méi)有排除有偽影的數(shù)據(jù)，對(duì)于模型而言，使用預(yù)測(cè)概率作為偽目標(biāo)可以允許模型對(duì)信息不足的圖像給出非確定性的判斷，比起在特定閾值下給出的二值化標(biāo)簽（1或0）顯得更合理。

2.2 網(wǎng)絡(luò)框架結(jié)構(gòu)

本文采取了端到端的學(xué)習(xí)方式，聯(lián)結(jié)特征提取與類別判斷兩個(gè)過(guò)程，即圖像輸入網(wǎng)絡(luò)后網(wǎng)絡(luò)直接給出相應(yīng)的預(yù)測(cè)概率。網(wǎng)絡(luò)圖像輸入方式上借鑒了M2D CNN，網(wǎng)絡(luò)結(jié)構(gòu)上采用了ResNet。

在圖像輸入方面，M2D CNN 將磁共振圖像層厚方向的圖像置于通道維度，然后使用二維卷積進(jìn)行特征提取，二維卷積相較于三維卷積具有更少的參數(shù)，對(duì)計(jì)算機(jī)資源需求量更少，并且訓(xùn)練也更加容易。此外，也有一些磁共振相關(guān)研究采用其他方式利用了二維卷積，比如文獻(xiàn)［10］將磁共振圖像當(dāng)作二維圖像輸入網(wǎng)絡(luò)，將層厚方向看作是不相關(guān)的，但該方法在每次迭代訓(xùn)練中只能學(xué)習(xí)單個(gè)樣本，使得模型訓(xùn)練的穩(wěn)定性較差，而M2D CNN 采用的方式可以較為靈活地控制每次訓(xùn)練迭代中的樣本數(shù)量，這也是本文選用M2D CNN方法作為網(wǎng)絡(luò)輸入的主要原因。

關(guān)于網(wǎng)絡(luò)主體部分，由圖2 可以看出，3 個(gè)方位的磁共振圖像分別經(jīng)過(guò)一個(gè)具有22 個(gè)卷積層的前激活殘差網(wǎng)絡(luò)［7］，在較深的網(wǎng)絡(luò)中，一些位于前若干層的訓(xùn)練參數(shù)和訓(xùn)練目標(biāo)之間距離較遠(yuǎn)，訓(xùn)練時(shí)的隨機(jī)因素被放大，使得這些層訓(xùn)練困難，而殘差網(wǎng)絡(luò)通過(guò)引入跨層連接，縮短了這些層和訓(xùn)練目標(biāo)的距離，使得所有層都容易獲得有效的訓(xùn)練。然后網(wǎng)絡(luò)從每個(gè)方位的磁共振圖像中分別提取了256 個(gè)特征，注意3 個(gè)方位經(jīng)過(guò)的殘差網(wǎng)絡(luò)是共享參數(shù)的。殘差網(wǎng)絡(luò)主要包含了一個(gè)7× 7 的卷積層和3 個(gè)殘差組，每個(gè)殘差組由3 個(gè)殘差塊構(gòu)成。在每?jī)蓚€(gè)殘差組之間有1 個(gè)dropout 層，并且dropout的概率是0.1。之后，將從3 個(gè)方位的磁共振圖像中提取特征并進(jìn)行合并，得到1 個(gè)768 長(zhǎng)的特征向量，然后通過(guò)1 個(gè)全連接層產(chǎn)生1 個(gè)logit，再經(jīng)過(guò)sigmoid 激活層輸出最終的預(yù)測(cè)概率。

圖2 網(wǎng)絡(luò)框架結(jié)構(gòu)Fig.2 Architecture of network

2.3 數(shù)據(jù)擴(kuò)增方法

受RandAugment［23］的啟發(fā)，本文設(shè)計(jì)了一種分等級(jí)的擴(kuò)增參數(shù)調(diào)節(jié)策略MRAugment。擴(kuò)增的方式主要分為兩大類，一個(gè)是顏色變化（亮度與對(duì)比度），另一個(gè)是仿射變化（水平翻轉(zhuǎn)、縮放、旋轉(zhuǎn)和平移）。把這些變換進(jìn)行組合，形成了如表2 所示的5 種變換組合。這5 種變換組合依據(jù)擴(kuò)增強(qiáng)度可以分為5 個(gè)等級(jí)。本文提出的擴(kuò)增策略將這些變換看成一個(gè)整體統(tǒng)一進(jìn)行調(diào)節(jié)，從而大大縮短了在數(shù)據(jù)擴(kuò)增上花費(fèi)的調(diào)節(jié)時(shí)間。

表2 MRAugment的5種擴(kuò)增等級(jí)Tab.2 Five augmentation levels of MRAugment

所有變換對(duì)應(yīng)的數(shù)值都是隨機(jī)生成的，水平翻轉(zhuǎn)變換的值（記為φ）代表翻轉(zhuǎn)概率，其他變換的值代表著一個(gè)均勻分布的上下限。亮度值（記為β）與對(duì)比度值（記為γ）對(duì)圖像X的變化表示為：

其中：b～Uniform(-β，β)，c～Uniform(-γ，γ)。

仿射變換可以用仿射變換矩陣進(jìn)行描述，縮放大小記為σ，旋轉(zhuǎn)角度記為ρ，平移量記為τ。多種仿射變換組合的變換矩陣可以寫成：

其中：Ms是縮放變換矩陣，Mr是旋轉(zhuǎn)變化矩陣，Mt是平移變換矩陣，它們的矩陣形式如下所示：

其中 ：s～Uniform(-σ，σ)，r～Uniform(-ρ，ρ)，tx～Uniform(-τ，τ)，ty～Uniform(-τ，τ)。

在MRSL 實(shí)驗(yàn)中，只涉及有標(biāo)簽樣本的擴(kuò)增，用α=0 表示有標(biāo)簽數(shù)據(jù)經(jīng)過(guò)了MRAugment 擴(kuò)增等級(jí)0 的對(duì)應(yīng)的變換。在MRSSL 實(shí)驗(yàn)中，用(α，A，a)=(1，1，0)等級(jí)組合表示有標(biāo)簽數(shù)據(jù)、強(qiáng)擴(kuò)增的無(wú)標(biāo)簽數(shù)據(jù)與弱擴(kuò)增的無(wú)標(biāo)簽數(shù)據(jù)分別采用了等級(jí)為1 的MRAugment 變換，等級(jí)為1 的MRAugment 變換和等級(jí)為0 的MRAugment 變換。

2.4 模型訓(xùn)練細(xì)節(jié)

在網(wǎng)絡(luò)的搭建方面，本文使用了PyTorch［30］作為框架。在MRSL 與MRSSL 上的一些參數(shù)設(shè)置是共享的：擴(kuò)增后的圖像的寬高將會(huì)被中心裁剪成224× 224，厚度方向隨機(jī)選取連續(xù)的16 層（MRNet 數(shù)據(jù)集中圖像最小的層數(shù)為17 層）。優(yōu)化方式上使用了帶動(dòng)量的隨機(jī)梯度下降方法，動(dòng)量值設(shè)置為0.9。權(quán)重衰減系數(shù)為5E-4。整個(gè)訓(xùn)練過(guò)程一共訓(xùn)練迭代了12 600 次，在前200 次迭代中采用了warmup 來(lái)控制學(xué)習(xí)率線性增長(zhǎng)到0.1，之后再利用余弦衰減策略讓學(xué)習(xí)率從0.1下降到1E-5。在MRSL 中，有標(biāo)簽數(shù)據(jù)的batch size 是24，MRSSL 中有標(biāo)簽數(shù)據(jù)與無(wú)標(biāo)簽數(shù)據(jù)的batch size 也都設(shè)置為24。

半監(jiān)督實(shí)驗(yàn)與監(jiān)督實(shí)驗(yàn)設(shè)置的區(qū)別在于，前者需要調(diào)節(jié)MRSSL 損失函數(shù)中一致性約束損失的權(quán)重因子（式（3）中的ω）。在訓(xùn)練最開(kāi)始的3 780 次迭代中，權(quán)重因子ω會(huì)從0 線性增長(zhǎng)到10，并在往后的迭代中繼續(xù)保持該值。值得注意的是，之所以采用漸進(jìn)式變化的方式而不是維持權(quán)重因子從始至終是一個(gè)常數(shù)，是因?yàn)橐婚_(kāi)始模型還沒(méi)有充分學(xué)習(xí)有標(biāo)簽數(shù)據(jù)中的標(biāo)簽信息，此時(shí)無(wú)標(biāo)簽數(shù)據(jù)產(chǎn)生的偽目標(biāo)可信度很低，如果此時(shí)讓模型過(guò)于關(guān)注一致性約束，會(huì)造成模型訓(xùn)練方向混亂，很難有好的分類表現(xiàn)。隨著訓(xùn)練迭代次數(shù)增加，模型的分類準(zhǔn)確度提升，無(wú)標(biāo)簽數(shù)據(jù)的偽目標(biāo)和有標(biāo)簽數(shù)據(jù)的真目標(biāo)更加一致，此時(shí)增加一致性約束的權(quán)重，可以讓模型有效吸收更多來(lái)自無(wú)標(biāo)簽數(shù)據(jù)的信息，而不至于讓兩個(gè)訓(xùn)練目標(biāo)南轅北轍。

2.5 模型選擇與評(píng)價(jià)

驗(yàn)證集在模型選擇中擔(dān)當(dāng)著重要的角色。在監(jiān)督實(shí)驗(yàn)中，有標(biāo)簽數(shù)據(jù)分別在4 個(gè)等級(jí)的MRAugment 變換（表3 的MRSL 部分）下進(jìn)行網(wǎng)絡(luò)訓(xùn)練；在半監(jiān)督實(shí)驗(yàn)中，有標(biāo)簽數(shù)據(jù)與無(wú)標(biāo)簽數(shù)據(jù)在MRAugment 等級(jí)組合變換（表3 的MRSSL部分）下得到擴(kuò)增的有標(biāo)簽數(shù)據(jù)、強(qiáng)擴(kuò)增的無(wú)標(biāo)簽數(shù)據(jù)與弱擴(kuò)增的無(wú)標(biāo)簽數(shù)據(jù)。然后，基于7 個(gè)不同的變換組合分別進(jìn)行了網(wǎng)絡(luò)訓(xùn)練。在每次訓(xùn)練迭代過(guò)程中，驗(yàn)證集的分類損失值最低的模型將被選出來(lái)。由于模型訓(xùn)練過(guò)程中存在著隨機(jī)性，本文對(duì)每種情形都進(jìn)行9 次重復(fù)實(shí)驗(yàn)。在MRSL 中，驗(yàn)證集AUC 平均值最高的MRAugment 等級(jí)將被選出，作為MRSL 最適合的擴(kuò)增等級(jí)；同樣地，在MRSSL 中，驗(yàn)證集AUC平均值最高的MRAugment 等級(jí)組合將被選出，作為MRSSL最適合的擴(kuò)增等級(jí)組合。

設(shè)置好參數(shù)后，測(cè)試集將會(huì)被用來(lái)評(píng)價(jià)MRSL 與MRSSL這兩種方法對(duì)應(yīng)的模型在分類性能方面的表現(xiàn)優(yōu)劣；驗(yàn)證集與測(cè)試集之間的差距將用于評(píng)價(jià)兩者模型的泛化能力。評(píng)價(jià)指標(biāo)有接受者操作特性曲線下面積（AUC）、準(zhǔn)確率acc、敏感性sen、特異性spe與G-mean，后4 個(gè)指標(biāo)的形式如下：

其中：TP、TN、FN與FP分別是指膝蓋異常的樣本被模型正確預(yù)測(cè)為異常的個(gè)數(shù)，膝蓋正常的樣本被模型正確預(yù)測(cè)為正常的個(gè)數(shù)，膝蓋異常的樣本被模型錯(cuò)誤預(yù)測(cè)為正常的個(gè)數(shù)與膝蓋正常的樣本被模型錯(cuò)誤預(yù)測(cè)為異常的個(gè)數(shù)。其中在準(zhǔn)確率、敏感性與特異性的計(jì)算中，概率轉(zhuǎn)化為二值輸出的閾值是0.5，這一閾值也是文獻(xiàn)［10］所使用的，本文將與之保持一致。G-mean 是敏感性與特異性的幾何平均值，是結(jié)合兩者對(duì)模型進(jìn)行綜合評(píng)價(jià)的指標(biāo)。

3 實(shí)驗(yàn)結(jié)果

3.1 擴(kuò)增對(duì)模型的影響

在2.5 節(jié)模型選擇與評(píng)價(jià)部分已經(jīng)提及本文在監(jiān)督與半監(jiān)督實(shí)驗(yàn)中開(kāi)展了多個(gè)擴(kuò)增強(qiáng)度等級(jí)與等級(jí)組合下的實(shí)驗(yàn)（擴(kuò)增調(diào)節(jié)實(shí)驗(yàn)中一致性約束權(quán)重因子最大值統(tǒng)一設(shè)置為10），實(shí)驗(yàn)結(jié)果展示在表3 中。對(duì)比表3 展示的MRSL 與MRSSL 的所有實(shí)驗(yàn)的測(cè)試集AUC 的平均值與中位數(shù)，可以發(fā)現(xiàn)，MRSSL 在測(cè)試集上的AUC 平均值與AUC 中位數(shù)都明顯高于MRSL，由此可以看出，MRSSL 訓(xùn)練出的模型在膝蓋異常分類性能上面比MRSL 更勝一籌。

根據(jù)2.5 節(jié)所介紹的模型選擇方法，表3 中的加粗字體表示了MRSL 與MRSSL 所選取的最佳擴(kuò)增等級(jí)與等級(jí)組合所對(duì)應(yīng)的結(jié)果。對(duì)于MRSL，等級(jí)2（α=2）的MRAugment 是最為合適的擴(kuò)增強(qiáng)度；對(duì)于MRSSL，MRAugment 等級(jí)組合(α，A，a)=(1，3，0)是最為合適的。值得注意的是，在MRSSL中，有標(biāo)簽數(shù)據(jù)所對(duì)應(yīng)的擴(kuò)增強(qiáng)度等級(jí)是a=1，這比MRSL中選出的有標(biāo)簽數(shù)據(jù)的擴(kuò)增程度a=2 要小。這是因?yàn)樵贛RSL 的網(wǎng)絡(luò)訓(xùn)練過(guò)程中，數(shù)據(jù)擴(kuò)增帶來(lái)的約束在模型性能上占據(jù)著主要的影響地位，而在MRSSL 的網(wǎng)絡(luò)訓(xùn)練中不僅有數(shù)據(jù)擴(kuò)增的約束，還添加了一致性約束，所以MRSSL 受到的約束需要綜合擴(kuò)增約束與一致性約束?？紤]到數(shù)據(jù)擴(kuò)增的一種解釋（也是原始解釋）是增加數(shù)據(jù)量，從這種意義上使用了更多數(shù)據(jù)的一致性約束和擴(kuò)增約束有一定的互相替代關(guān)系。因此，使用MRSL 時(shí)最合適的有標(biāo)簽數(shù)據(jù)擴(kuò)增強(qiáng)度等級(jí)對(duì)于使用MRSSL 時(shí)的有標(biāo)簽數(shù)據(jù)而言，并不一定意味著也是最合適的。

表3 MRSL與MRSSL分別在不同MRAugment擴(kuò)增等級(jí)與等級(jí)組合下的AUC的統(tǒng)計(jì)情況Tab.3 AUC statistics of MRSL with different MRAugment augmentation levels and MRSSL with different MRAugment level combinations

本文探究了驗(yàn)證集AUC 與測(cè)試集AUC 在MRSL 與MRSSL 中分別隨著擴(kuò)增程度增加的變化情況。各自的結(jié)果展示在圖3 中，圖3（a）是MRSL 中對(duì)應(yīng)的變化圖，圖3（b）是MRSSL 中對(duì)應(yīng)的變化圖，其中橫軸表示數(shù)據(jù)擴(kuò)增的強(qiáng)度等級(jí)，縱軸表示AUC 的大小，實(shí)線代表驗(yàn)證集AUC，虛線代表測(cè)試集AUC，線條周圍的誤差線代表著9 次重復(fù)實(shí)驗(yàn)得到的標(biāo)準(zhǔn)差。

從圖3 中能明顯看到，擴(kuò)增對(duì)于MRSL 與MRSSL 都起到了一定作用。在圖3（a）中，α=0 至α=2 時(shí)，本文的驗(yàn)證集與測(cè)試集的AUC 隨著擴(kuò)增增強(qiáng)而變大，MRSL 模型性能得到了提高；與此同時(shí)，驗(yàn)證集與測(cè)試集的AUC 間的差距也在縮小，這意味著模型的泛化性能得到了一定提高。當(dāng)然過(guò)強(qiáng)的擴(kuò)增也會(huì)導(dǎo)致模型退化，如α=3 時(shí)，驗(yàn)證集與測(cè)試集的AUC開(kāi)始出現(xiàn)下降。

同樣在MRSSL 中也能得到類似的結(jié)論。如圖3（b）所示，在保持有標(biāo)簽數(shù)據(jù)的擴(kuò)增α強(qiáng)度與無(wú)標(biāo)簽數(shù)據(jù)的弱擴(kuò)增a強(qiáng)度不變的情況下，分別對(duì)應(yīng)的是α=1 和a=0，驗(yàn)證集與測(cè)試集的AUC 隨著無(wú)標(biāo)簽數(shù)據(jù)的強(qiáng)擴(kuò)增A強(qiáng)度的增大（A=1 至A=3）而增長(zhǎng)，但A=4 時(shí)AUC 開(kāi)始出現(xiàn)下降。最后對(duì)比圖3（a）與圖3（b）中驗(yàn)證集與測(cè)試集AUC 之間的差距，可以發(fā)現(xiàn)MRSSL 對(duì)應(yīng)的驗(yàn)證集AUC 與測(cè)試集AUC 的差距明顯小于MRSL 的，MRSSL 的模型在測(cè)試集上具有更好的模型泛化能力。

圖3 MRSL與MRSSL在不同MRAugment擴(kuò)增等級(jí)與等級(jí)組合下的AUC變化Fig.3 AUC changes of MRSL with different MRAugment augmentation levels and MRSSL with different MRAugment level combinations

3.2 一致性權(quán)重對(duì)模型的影響

在2.4 節(jié)模型細(xì)節(jié)介紹中提到一致性權(quán)重ω在前3 780次迭代中線性增長(zhǎng)到一個(gè)定值ωmax，本節(jié)將探索ωmax對(duì)MRSSL 的模型性能的影響。本文對(duì)比了當(dāng)ωmax=0（該情形對(duì)應(yīng)于MRSL 的實(shí)驗(yàn)中有標(biāo)簽數(shù)據(jù)擴(kuò)增強(qiáng)度等級(jí)為α=1 的情形）、ωmax=5、ωmax=10 與ωmax=20 時(shí)，驗(yàn)證集AUC 與測(cè)試集AUC 的變化。ωmax=5、ωmax=10 與ωmax=20 這三個(gè)實(shí)驗(yàn)對(duì)應(yīng)于擴(kuò)增等級(jí)組合為(α，A，a)=(1，3，0)下的MRSSL 實(shí)驗(yàn)，結(jié)果如圖4。

圖4 MRSSL中AUC與一致性權(quán)重系數(shù)最大值的關(guān)系Fig.4 Relationship between AUC and maximum value of consistency weight coefficient in MRSSL

對(duì)比ωmax=0 與其他三種情形，它們的驗(yàn)證集AUC 處于差不多的高度，但是ωmax=0 的測(cè)試集AUC 明顯比其他三種情形對(duì)應(yīng)的測(cè)試集AUC 低，該結(jié)果也再次表明一致性約束損失函數(shù)作為訓(xùn)練目標(biāo)的一部分可以對(duì)模型性能起到促進(jìn)作用。

另一方面，相對(duì)于其他數(shù)值，一致性權(quán)重系數(shù)最大值為10 時(shí)的模型表現(xiàn)更好。主要體現(xiàn)在兩個(gè)方面：一是模型的測(cè)試集AUC 明顯高于其他三種情形；二是驗(yàn)證集與測(cè)試集AUC 間的差距也小于其他三種情況。由此可以看出，一致性權(quán)重最大值的大小對(duì)于模型訓(xùn)練也起到了較大的影響，在進(jìn)行半監(jiān)督學(xué)習(xí)任務(wù)中也需要仔細(xì)調(diào)節(jié)該參數(shù)的大小并分析該參數(shù)對(duì)模型的影響。

3.3 確定參數(shù)下選取模型的對(duì)比

通過(guò)上述實(shí)驗(yàn)結(jié)果，本文確定了在MRSL 中最適合的擴(kuò)增變換是α=2，在MRSSL 中最適合的擴(kuò)增變換組合是(α，A，a)=(1，3，0)，并且MRSSL 合適的一致性權(quán)重系數(shù)最大值為10。在確定好兩者各自的最適合參數(shù)后，接下來(lái)從MRSL 和MRSSL 各自的9 組重復(fù)實(shí)驗(yàn)中，分別選取出各自具有代表性的模型。選擇標(biāo)準(zhǔn)是9 組實(shí)驗(yàn)中驗(yàn)證集AUC 是中位數(shù)所對(duì)應(yīng)的模型。然后給出兩個(gè)代表模型的AUC，以及在概率閾值為0.5 的條件下的準(zhǔn)確率、敏感性、特異性與G-mean 這5 個(gè)評(píng)價(jià)指標(biāo)的數(shù)值，并從這5 個(gè)指標(biāo)出發(fā)，對(duì)兩者的代表模型進(jìn)行對(duì)比。同時(shí)本文也給出了AUC 的95%DeLong 置信區(qū)間，準(zhǔn)確率、敏感性與特異性的95% Wilson Score 置信區(qū)間。

表4 中可以看到，MRSSL 的模型在AUC、準(zhǔn)確率、特異性和G-mean 指標(biāo)上明顯好于MRSL，分別提升了0.043、0.025、0.160 與0.085。在模型特異性上，MRSSL 的模型對(duì)膝蓋正常的樣本精確預(yù)測(cè)為正常的能力明顯優(yōu)于MRSL；但是在敏感性上，MRSL 比MRSSL 高0.009，此時(shí)需要使用G-mean 指標(biāo)來(lái)綜合敏感性與特異性這兩個(gè)指標(biāo)去評(píng)價(jià)模型。由表4可以看出，MRSSL 的G-mean 數(shù)值是高于MRSL 的，同時(shí)相對(duì)于其他四個(gè)指標(biāo)的差異，敏感性的差異也相對(duì)不明顯?？偟膩?lái)說(shuō)，MRSSL 在多個(gè)評(píng)價(jià)指標(biāo)上的表現(xiàn)是超過(guò)MRSL 的。

表4 MRSL與MRSSL各自選取的代表模型在5個(gè)指標(biāo)上的結(jié)果對(duì)比Tab.4 Result comparison between the selected models of MRSL and MRSSL on 5 evaluation indicators

3.4 半監(jiān)督學(xué)習(xí)方法的對(duì)比

本文也將提出的半監(jiān)督學(xué)習(xí)方法與其他半監(jiān)督學(xué)習(xí)方法進(jìn)行了對(duì)比。首先對(duì)比了最早將一致性約束方法引入半監(jiān)督學(xué)習(xí)的PI Model［13］，它要求一致性約束的兩條分支采用同樣程度的微擾——高斯噪聲，也就是由一個(gè)樣本得到兩個(gè)經(jīng)過(guò)同樣程度擾動(dòng)的樣本，然后要求模型對(duì)兩者給出一致的預(yù)測(cè)結(jié)果。其次也選取了同樣在無(wú)標(biāo)簽數(shù)據(jù)上分別使用強(qiáng)弱擴(kuò)增進(jìn)行一致性約束的UDA（Unsupervised Data Augmentation）［16］與FixMatch［29］方法進(jìn)行比較。這兩種方法與本文方法不同之處在于，UDA 要求弱擴(kuò)增一側(cè)的輸出logit經(jīng)過(guò)溫度銳化，使得最終的輸出概率往更高的自信度上進(jìn)行調(diào)整，比如模型對(duì)弱擴(kuò)增的樣本給出的logit 值為1.1，那么經(jīng)過(guò)sigmoid 激活層后，模型原本會(huì)給出0.75 的輸出概率，但使用了溫度銳化（參照文獻(xiàn)［16］中的溫度值設(shè)為0.7）后，再經(jīng)過(guò)sigmoid 層后輸出概率便是0.83。而FixMatch 要求弱擴(kuò)增一側(cè)的輸出概率在給定區(qū)間以外時(shí)，則將該輸出概率直接轉(zhuǎn)為二值化偽標(biāo)簽（0 或1）。9 次重復(fù)實(shí)驗(yàn)的結(jié)果展示在表5 中。

表5 不同方法的結(jié)果對(duì)比Tab.5 Result comparison of different methods

在表5 中也添加了數(shù)據(jù)擴(kuò)增等級(jí)為α=2 時(shí)的MRSL 結(jié)果，還有僅使用高斯噪聲MRSL 結(jié)果作為4 種半監(jiān)督學(xué)習(xí)方法的對(duì)比基準(zhǔn)?？梢园l(fā)現(xiàn)，使用數(shù)據(jù)擴(kuò)增的MRSL 方法的模型性能優(yōu)于僅使用高斯噪聲的MRSL 方法。這是因?yàn)閿?shù)據(jù)擴(kuò)增相較于高斯噪聲能夠從原樣本中衍生出更加多樣化的數(shù)據(jù)，所以在膝蓋磁共振異常分類中對(duì)模型的性能提升更能起到促進(jìn)作用。

對(duì)比半監(jiān)督學(xué)習(xí)方法與監(jiān)督學(xué)習(xí)方法，可以發(fā)現(xiàn)：在磁共振膝蓋異常分類任務(wù)中，半監(jiān)督方法PI Model 的模型性能不僅與僅加高斯噪聲的MRSL 的模型性能相當(dāng)，且明顯低于使用數(shù)據(jù)擴(kuò)增的MRSL 的模型性能。但是使用了數(shù)據(jù)擴(kuò)增的FixMatch、UDA 和MRSSL 半監(jiān)督學(xué)習(xí)方法既獲得了比上述兩種情形的MRSL 更高的AUC，也在5 個(gè)評(píng)價(jià)指標(biāo)上獲得比PI Model 更高的數(shù)值。這說(shuō)明在一致性約束中，簡(jiǎn)單高斯噪聲是不足以提供模型所需的歸納偏置，從而導(dǎo)致最終模型性能不能得到有效提升，而數(shù)據(jù)擴(kuò)增的使用可以帶來(lái)明顯的性能增益，這也反映了數(shù)據(jù)擴(kuò)增在多影像中心磁共振數(shù)據(jù)與半監(jiān)督學(xué)習(xí)的結(jié)合應(yīng)用中的重要性。

此外，F(xiàn)ixMatch、UDA 與MRSSL 這三個(gè)半監(jiān)督學(xué)習(xí)方法總體上都優(yōu)于MRSL 方法。在使用同樣的有標(biāo)簽數(shù)據(jù)時(shí)，這些使用了另一影像中心無(wú)標(biāo)簽磁共振數(shù)據(jù)與數(shù)據(jù)擴(kuò)增的半監(jiān)督學(xué)習(xí)方法可以在不進(jìn)行額外專家標(biāo)記的情況下有效提高模型的分類性能，從而大大緩解了數(shù)據(jù)標(biāo)記與專家知識(shí)需求上的壓力。

對(duì)比FixMatch、UDA 與MRSSL 三者，F(xiàn)ixMatch 的特異性平均值是最高，G-mean 平均值次高，但在其他3 個(gè)指標(biāo)上的表現(xiàn)都不如UDA 和MRSSL，并且MRSSL 對(duì)應(yīng)的G-mean 平均值值高于FixMatch。對(duì)比UDA 與MRSSL，可以發(fā)現(xiàn)MRSSL在5 個(gè)指標(biāo)上都是處于較高的水平。由以上分析可知，在這三種半監(jiān)督學(xué)習(xí)方法中，F(xiàn)ixMatch 對(duì)模型預(yù)測(cè)輸出進(jìn)行了最強(qiáng)的“硬化”，UDA 方法次之，本文提出的MRSSL 方法則是維持原始輸出。本文在2.1 節(jié)提到當(dāng)遇到圖像質(zhì)量不佳的磁共振圖像時(shí)，醫(yī)生僅依據(jù)患者的圖像也很難給出確定性的膝蓋異常判斷結(jié)果。此時(shí)，對(duì)預(yù)測(cè)值進(jìn)行“硬化”容易引起錯(cuò)誤標(biāo)簽傳播的問(wèn)題，最終導(dǎo)致模型性能下降。而MRSSL 的設(shè)計(jì)中考慮到了這一情況并允許模型對(duì)這些數(shù)據(jù)給出非確定性的判斷，所以相較于FixMatch 與UDA，MRSSL 在磁共振膝蓋異常分類任務(wù)中獲得了更好的表現(xiàn)。

4 結(jié)語(yǔ)

為了緩解數(shù)據(jù)標(biāo)記壓力與單一影像中心數(shù)據(jù)有限的問(wèn)題，提出了利用多影像中心有標(biāo)簽與無(wú)標(biāo)簽磁共振數(shù)據(jù)的半監(jiān)督學(xué)習(xí)方法MRSSL。將MRSSL 與對(duì)應(yīng)的監(jiān)督學(xué)習(xí)方法MRSL 進(jìn)行了對(duì)比，發(fā)現(xiàn)MRSSL 在模型性能與泛化能力上明顯超過(guò)MRSL，實(shí)驗(yàn)結(jié)果說(shuō)明，無(wú)標(biāo)簽數(shù)據(jù)加上合適的數(shù)據(jù)擴(kuò)增有助于模型獲得必要的歸納偏置以及提取出更有辨別力的特征。最后對(duì)比了MRSSL 與其他半監(jiān)督學(xué)習(xí)方法，發(fā)現(xiàn)采用了數(shù)據(jù)擴(kuò)增以及具有更強(qiáng)數(shù)據(jù)包容性的MRSSL 取得了最好的膝蓋異常分類性能。

為了進(jìn)一步提高M(jìn)RSSL 的模型魯棒性，在未來(lái)的研究中，將繼續(xù)研究如何將MRSSL 應(yīng)用到更加現(xiàn)實(shí)、復(fù)雜的磁共振多影像中心問(wèn)題上，比如有標(biāo)簽數(shù)據(jù)中的樣本也是多影像中心的等。同時(shí)，本研究主要聚焦于膝蓋異常診斷任務(wù)，在未來(lái)的工作中將會(huì)把本文的方法應(yīng)用于其他身體部位或組織的磁共振成像任務(wù)中，進(jìn)一步驗(yàn)證MRSSL 方法的有效性。