結(jié)合域適應(yīng)學(xué)習(xí)的糖尿病視網(wǎng)膜病變分級診斷

宋若仙，曹鵬，趙大哲

1.東北大學(xué)計算機(jī)科學(xué)與工程學(xué)院,沈陽 110819； 2.醫(yī)學(xué)影像計算教育部重點實驗室,沈陽 110819

0 引 言

糖尿病視網(wǎng)膜病變(糖網(wǎng))(diabetic retinopthy，DR)是最常見且嚴(yán)重的糖尿病微血管并發(fā)癥之一，是致盲的主要病因。據(jù)國際糖尿病聯(lián)合會統(tǒng)計，2019年糖尿病人群占全球糖尿病患者的9.3%(4.63億)，預(yù)計2030年達(dá)到10.2%(5.78億)，到2045年將上升至10.9%(7億)，其中約1/5的患者經(jīng)受了糖網(wǎng)的侵害(Saeedi等，2019；Tilahun等，2020)。臨床醫(yī)學(xué)研究發(fā)現(xiàn)，定期的眼底篩查和早期診斷可以減少98%視力喪失情況的發(fā)生(Crossland等，2016)。糖網(wǎng)診斷需要專業(yè)醫(yī)生識別出眼底圖像的異常病理特征并劃分病變的嚴(yán)重程度，但糖網(wǎng)人群數(shù)量巨大導(dǎo)致人工診斷無法滿足需求。因此，迫切需要一種計算機(jī)輔助醫(yī)療自動診斷方法，短時間內(nèi)得到更準(zhǔn)確的診斷結(jié)果，幫助醫(yī)生提高診斷效率。

圖1 HMA病灶以及糖網(wǎng)的嚴(yán)重程度Fig.1 HMA lesions and severity of DR((a) fundus images and HMA lesions；(b) severity of DR)

糖網(wǎng)分級診斷問題可以視為糖網(wǎng)多分類問題。微動脈瘤(microaneurysms，MA)和出血點(hemorrhages，H)是糖網(wǎng)早期階段出現(xiàn)的病理特征(Khan等，2020)，圖1顯示了HMA(hemorrhages and microaneurysms)病灶和糖網(wǎng)不同程度的視網(wǎng)膜圖像實例。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在糖網(wǎng)多分類任務(wù)中表現(xiàn)出令人印象深刻的分類性能(Khatun和 Hossain，2019)。在特征表征學(xué)習(xí)方面，深度學(xué)習(xí)相比于傳統(tǒng)線性系統(tǒng)、核函數(shù)方法或淺層神經(jīng)網(wǎng)絡(luò)，得到的深度特征具有更強(qiáng)擬合目標(biāo)函數(shù)的能力，避免了傳統(tǒng)方式顯示特征提取的過程。然而，基于深度學(xué)習(xí)的糖網(wǎng)診斷方法仍存在以下3個亟待解決的問題：

1)目前，糖網(wǎng)多分類的性能主要取決于HMA的檢測精度(Cao等，2017)。以像素為單位對醫(yī)學(xué)圖像上的標(biāo)注是十分昂貴的，費時費力的同時需要專業(yè)的醫(yī)生進(jìn)行勾勒，不同醫(yī)生的標(biāo)注標(biāo)準(zhǔn)也有差異，降低了數(shù)據(jù)的可靠性。因此，在HMA檢測和分類流程中，病灶標(biāo)簽缺失導(dǎo)致傳統(tǒng)的監(jiān)督學(xué)習(xí)方法無法進(jìn)行有效訓(xùn)練和學(xué)習(xí)。

2)在傳統(tǒng)模式下，訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)需要保持獨立且相同分布的約束條件(Tan等，2018)，但單一數(shù)據(jù)集數(shù)據(jù)稀缺，致使衍生出多個數(shù)據(jù)集融合以提高分類性能的方法。Voets等人(2019)在Kaggle數(shù)據(jù)集構(gòu)建基于InceptionV3 CNN的分類器，移植到Messidor數(shù)據(jù)集完成糖網(wǎng)診斷。Zago等人(2020)選擇5層CNN模型訓(xùn)練DIARETDB1(standard diabetic retinopathy database calibration level 1)數(shù)據(jù)集提取HMA病理特征構(gòu)建分類器，在Messidor數(shù)據(jù)集測試糖網(wǎng)分類性能。但這些方法忽略了不同數(shù)據(jù)集的數(shù)據(jù)分布、采集方式等因素影響導(dǎo)致的特征差異，引發(fā)跨域數(shù)據(jù)異質(zhì)性問題。

3)識別醫(yī)學(xué)圖像的疑似病變區(qū)域是非常重要的，可為醫(yī)生和患者提供診斷決策的視覺參考(Wang等，2017)。但深度學(xué)習(xí)缺乏直觀的可解釋性，沒有給出與臨床病理學(xué)相關(guān)的分類依據(jù)。

問題1)和問題2)屬于數(shù)據(jù)問題，深度學(xué)習(xí)模型依賴于臨床數(shù)據(jù)的數(shù)量和質(zhì)量。問題3)是深度學(xué)習(xí)模型本身的問題，無法在語義上解釋模型的預(yù)測是現(xiàn)有基于深度學(xué)習(xí)的計算機(jī)輔助診斷方法的瓶頸。為了解決上述問題，本文提出一種結(jié)合適應(yīng)學(xué)習(xí)并協(xié)同注意力機(jī)制構(gòu)成弱監(jiān)督的網(wǎng)絡(luò)模型(weakly-supervised network with attention mechanism and domain adaptation，WAD-Net)。病灶標(biāo)簽的缺失是弱監(jiān)督學(xué)習(xí)問題(Cheplygina等，2019)，本文借助于多示例學(xué)習(xí)(multiple instance learning，MIL)框架的“示例—包”思想建立“病灶—影像”關(guān)聯(lián)關(guān)系，不依賴于有標(biāo)記的HMA訓(xùn)練樣本，只需要全局的圖像級監(jiān)督診斷信息實現(xiàn)“病灶—影像”的映射，進(jìn)而高效自動地對糖網(wǎng)病變診斷。除此之外，針對數(shù)據(jù)異質(zhì)性問題，采用遷移學(xué)習(xí)(transfer learning，TL)在樣本層面進(jìn)行跨域遷移，緩解數(shù)據(jù)異質(zhì)性對模型的影響，提高方法的泛化能力。同時，結(jié)合注意力機(jī)制定位細(xì)粒度高度疑似HMA的位置，提高全局的分類性能和解釋性。整體模型能夠預(yù)測糖網(wǎng)病變的嚴(yán)重程度，并且評估局部樣本對最終分類決策的重要性。最后，WAD-Net實現(xiàn)端到端的糖網(wǎng)分級診斷方法，抑制其他無關(guān)樣本對性能的影響，提供模型預(yù)測的可解釋性，并與幾種方法相比獲得了較好效果。

1 相關(guān)工作

基于對抗的深度遷移學(xué)習(xí)因良好的遷移效果和較強(qiáng)的實用性受到大家認(rèn)可。隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度遷移學(xué)習(xí)廣泛用于解決跨域數(shù)據(jù)異構(gòu)問題。其中，典型方法包括基礎(chǔ)生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)和跨域圖像特征映射的循環(huán)一致性對抗網(wǎng)絡(luò)(cycle-consistent generative adversarial networks，CycleGAN)。

Goodfellow等人(2014)提出GAN的定義。GAN由生成器(G)和判別器(D)兩部分組成，如圖2所示。G的輸入是服從某一分布pz的隨機(jī)向量z，輸出可以看做滿足采樣pg分布的生成樣本G(z)。假設(shè)真實樣本服從pdata，在真實數(shù)據(jù)量理想的狀態(tài)下，訓(xùn)練GAN模型，讓G學(xué)習(xí)至與pdata分布相近的函數(shù)，目的是生成類似于真實數(shù)據(jù)x的樣本欺騙D。而D的輸入是x與G(z)的組合，目的是判斷輸入的數(shù)據(jù)是真實的還是偽造的。G和D對抗訓(xùn)練最終會達(dá)到納什平衡狀態(tài)，D無法區(qū)分樣本的來源，說明G學(xué)習(xí)到了真實數(shù)據(jù)的分布?；谠撍枷?，傳統(tǒng)GAN的目標(biāo)函數(shù)設(shè)計為

(1)

式中，x為真實數(shù)據(jù)，V(G,D)為傳統(tǒng)GAN的目標(biāo)函數(shù)，為期望。

傳統(tǒng)GAN的主要目標(biāo)是最小化pg與pdata之間的距離，然而KL(Kullback-Leibler)散度的度量方式會出現(xiàn)梯度消失和模式崩潰的問題(陳佛計 等，2021)。

圖2 GAN的基本結(jié)構(gòu)和計算流程Fig.2 Basic structure and computation procedure of GAN

圖3 CycleGAN模型原理Fig.3 Principle of CycleGAN model

2 方 法

針對糖網(wǎng)多分類問題，提出一種結(jié)合域適應(yīng)學(xué)習(xí)并協(xié)同注意力機(jī)制構(gòu)成的弱監(jiān)督網(wǎng)絡(luò)模型(WAD-Net)，輸入整幅彩色眼底圖像，輸出糖網(wǎng)的病變等級和高疑似病灶的位置信息。整幅眼底圖像視為全局樣本X，每個X都有一個分類標(biāo)簽y，疑似病灶視做局部樣本x。源域訓(xùn)練樣本選擇僅包含HMA病灶位置信息的IDRiD(Indian diabetic retinopathy image dataset)數(shù)據(jù)集(Porwal等，2018)，目標(biāo)域訓(xùn)練樣本選擇僅包含圖像水平病變等級信息的Messidor數(shù)據(jù)集(Decencière等，2014)。WAD-Net 算法流程如圖4所示。整體流程為：1)對圖像進(jìn)行切片和數(shù)據(jù)增強(qiáng)的預(yù)處理操作；2)基于目標(biāo)域多分類預(yù)測結(jié)果，指導(dǎo)跨域生成新樣本完成域適應(yīng)；3)利用源域已標(biāo)記的樣本與跨域中生成的新樣本，先后分別通過預(yù)訓(xùn)練和微調(diào)過濾目標(biāo)域X中不相關(guān)的x；4)建立多類多示例模型及注意力學(xué)習(xí)構(gòu)建x與X之間局部—全局的映射關(guān)系，實現(xiàn)弱監(jiān)督多分類診斷。

2.1 基于注意力機(jī)制的弱監(jiān)督多分類網(wǎng)絡(luò)

注意力機(jī)制(Mnih等，2014)最早在視覺圖像領(lǐng)域提出，結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)結(jié)構(gòu)模擬人類對整幅圖像中關(guān)鍵特征集中觀察的能力，根據(jù)每個特征對于特定的分級結(jié)果的重要程度分配不同的注意力權(quán)重，提取更具影響力的特征信息。Yang等人(2016)針對文本分類任務(wù)提出層次注意力機(jī)制(hierarchical attention network，HAN)，融合了自注意力權(quán)重的計算，即

圖4 結(jié)合適應(yīng)學(xué)習(xí)的糖網(wǎng)分級診斷算法Fig.4 DR grading diagnosis algorithm based on domain adaptive learning

(2)

算法描述如下：

(3)

(4)

(5)

2.2 域適應(yīng)

HMA信息可從其他不同分布的數(shù)據(jù)集收集。為了克服跨域異質(zhì)性障礙，與病灶相關(guān)的局部樣本通過GAN遷移學(xué)習(xí)的方式生成人工新樣本對源域HMA分類器微調(diào)，實現(xiàn)漸進(jìn)的域適應(yīng)。在傳統(tǒng)GAN中，跨域信息是對等的，如局部—局部的模式，但本文與傳統(tǒng)跨域模式不同，是局部—全局模式，解決了跨域數(shù)據(jù)粒度，實現(xiàn)了端到端的GAN擴(kuò)展。

基于傳統(tǒng)GAN的目標(biāo)函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)存在很多變體(Lucic等，2018；Karras等，2020)，本文側(cè)重改進(jìn)生成器網(wǎng)絡(luò)。G:S→T方向的GS→T和與其相關(guān)Qt的目標(biāo)函數(shù)分別定義為

(6)

(7)

理論上，對抗性訓(xùn)練可以學(xué)習(xí)跨域的映射關(guān)系。但數(shù)據(jù)量很大時，會誘導(dǎo)G學(xué)習(xí)出多種與DT分布匹配的數(shù)據(jù)，不能保證學(xué)習(xí)到的映射函數(shù)可以將xs映射到有用的xt。為了進(jìn)一步減少可能的映射空間，引入了CycleGAN模型的循環(huán)一致性損失，具體為

(8)

(9)

(10)

2.3 跨域HMA分類

在視網(wǎng)膜圖像分類前，為了獲取更好的分類結(jié)果，X中不相關(guān)的x應(yīng)該被過濾掉。但由于Messidor數(shù)據(jù)集只包含病變等級注釋信息而沒有HMA的位置信息，因此借用IDRiD數(shù)據(jù)集構(gòu)建了基于VGG-16(Visual Geometry Group)(Simonyan和Zisserman，2015)網(wǎng)絡(luò)結(jié)構(gòu)的源域HMA分類模型。特征學(xué)習(xí)過程是針對尺寸為128×128像素Patch級別的圖像，由于尺寸較小故選擇淺層網(wǎng)絡(luò)即可實現(xiàn)有用信息的學(xué)習(xí)，還可以提升訓(xùn)練效率。訓(xùn)練目的是最小化與CNN參數(shù)相關(guān)的代價函數(shù)，即

(11)

2.4 訓(xùn)練細(xì)節(jié)

(12)

式中，λc、λg和λh表示可調(diào)的超參數(shù)。大量實驗表明，λc∶λg∶λh=1∶1∶1性能最好。在訓(xùn)練過程中，每一批次不一定更新所有的模型參數(shù)(Larsen等，2016)，WAD-Net的更新規(guī)則為

(13)

式中，θ為判別器的訓(xùn)練參數(shù)。

2.5 網(wǎng)絡(luò)結(jié)構(gòu)

判別器D采用馬爾可夫判別器(PatchGAN)(Li和Wand，2016)的體系結(jié)構(gòu)，如圖5所示。D分別由5個卷積層、4個激活層和3個批歸一化層交替網(wǎng)絡(luò)構(gòu)成，卷積層的步幅均設(shè)置為2，以增大輸出特征的感受野，批歸一化層的使用可以提高D的泛化能力。此外，D在Patch級別建模而不是全局圖像，有效捕獲高層特征信息，提高收斂速度和重建圖像質(zhì)量。

圖5 判別器的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The network structure of discriminator

弱監(jiān)督多分類網(wǎng)絡(luò)的特征學(xué)習(xí)與G的encoder結(jié)構(gòu)相同,如圖6所示。之后,通過展平層(Flatten)對多維特征一維化。接下來，全連接層FC1獲取嵌入式特征并通過嵌套(Lambda)重組為FC2,注意力機(jī)制層(Attention)位于特征提取和隨機(jī)失活(Dropout)之后,計算每一個局部樣本的權(quán)重信息,將其與FC2的特征向量通過(Multiply)相乘,完成局部—全局的特征映射。最后,附加兩個全連接層FC3與FC4和softmax激活函數(shù)輸出0～1之間判定類別的預(yù)測分?jǐn)?shù)。

圖6 弱監(jiān)督多分類網(wǎng)絡(luò)Fig.6 Weakly-supervised multi-class network

生成器G采用encoder-decoder的網(wǎng)絡(luò)結(jié)構(gòu)，如圖7所示。encoder對輸入圖像下采樣，捕獲圖像整體的上下文信息，由VGG-16特征提取的13個卷積層Conv2D和5個下采樣層即最大池化層(Maxpooling2D)組成。decoder執(zhí)行上采樣，具有與encoder下采樣相同數(shù)量的上采樣層(UpSampling2D)，將輸出的圖像分辨率與輸入圖像的分辨率維度相匹配,實現(xiàn)精確定位。下采樣與上采樣層之間通過(Concate-nate)設(shè)置跳躍連接(Isola等,2017),使輸入與輸出之間共享輪廓、顏色等低層特征,并對特征進(jìn)行實例歸一化(InstanceNormalization)加快訓(xùn)練模型的收斂速度。

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

實驗在8塊NVIDIA GTX 1080TI顯卡和128 GB內(nèi)存的Centos7.7服務(wù)器上進(jìn)行，使用 Python3.6.9版本的深度學(xué)習(xí)框架Keras搭建整體網(wǎng)絡(luò)模型。

實驗在ISBI 2018 IDRiD子挑戰(zhàn)1(https://idrid.grand-challenge.org/)和Messidor(http://www.adcis.net/en/third-party/messidor/)兩個公開數(shù)據(jù)集上進(jìn)行，采取10倍交叉驗證的方式評估WAD-Net算法在眼底圖像上的分類效果。

圖7 生成器的網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 The network structure of generator

IDRiD數(shù)據(jù)集由50°視野的KowaVX-10α數(shù)字眼底照相機(jī)拍攝捕獲，包含516幅JPG格式的彩色眼底圖像，尺寸均為4 288×2 848像素，其中81幅帶有像素級病變標(biāo)記信息，表1顯示了每種病變類型的圖像數(shù)量。IDRiD數(shù)據(jù)集采用原始圖像與標(biāo)記圖像像素位置對應(yīng)的方式注釋信息。根據(jù)Messidor數(shù)據(jù)集的分級評估標(biāo)準(zhǔn)，H和MA兩個主要的病變數(shù)據(jù)可作為遷移對象。

Messidor數(shù)據(jù)集由45°視野的Topcon TRC NW6非散瞳視網(wǎng)膜相機(jī)在3個眼科部門拍攝捕獲，包含1 200幅TIF格式的彩色眼底圖像，有1 440×960像素、2 240×1 488像素、2 304×1 536像素3個規(guī)格，為每幅圖像提供0～3之間病變等級的標(biāo)記信息。表1和表2顯示了不同階段的病變特征和數(shù)量。

表1 IDRiD數(shù)據(jù)集中的糖網(wǎng)病變類型Table 1 Type of DR lesions in IDRiD database

表2 Messidor數(shù)據(jù)集的糖網(wǎng)分級標(biāo)準(zhǔn)Table 2 Criteria of DR grading in Messidor database

為了評估算法性能，采用準(zhǔn)確率(accuracy，AC)、精確率(precision，PR)、召回率(recall，RE)、加權(quán)調(diào)和平均數(shù)(micro-F1)、ROC(receiver operating characteristic)曲線下面積(area under curve，AUC)和ROC曲線6種評價指標(biāo)進(jìn)行驗證。

3.2 有效性驗證

為了驗證WAD-Net算法在糖網(wǎng)多分類任務(wù)中的有效性，對其涉及的基于注意力機(jī)制的弱監(jiān)督分類、域適應(yīng)和疑似HMA過濾進(jìn)行有效性評估，并研究各部分對糖網(wǎng)分級決策的貢獻(xiàn)程度。為確保公平比較，所有對比方法均采用10倍交叉驗證的方式評估其泛化性能。進(jìn)行有效性驗證的模型包括：

1)ResNet50。利用ResNet50網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建的圖像水平分類模型；

2)WAD-Net-1。深度WAD-Net-1模型將所有局部樣本視為疑似HMA，不過濾不相關(guān)的局部樣本;

3)WAD-Net-2。結(jié)合源域HMA分類器不參與跨域微調(diào)過程的深度WAD-Net-1模型；

4)WAD-Net-3。利用源域HMA分類器辨別目標(biāo)域中局部樣本的類別，給予每個樣本一個偽標(biāo)簽。之后根據(jù)偽標(biāo)簽信息微調(diào)WAD-Net-2模型；

5)WAD-Net-4。在WAD-Net-2模型中源域HMA分類器通過GAN對生成的局部樣本進(jìn)行微調(diào)。利用微調(diào)后的模型對全局樣本過濾并輸入WAD-Net-1模型中，但不含有注意力機(jī)制。

實驗結(jié)果如表3所示?？梢钥闯觯琖AD-Net算法的準(zhǔn)確率、召回率、micro-F1和AUC指標(biāo)都表現(xiàn)出最優(yōu)的分類結(jié)果，HMA病灶的弱監(jiān)督多分類網(wǎng)絡(luò)的泛化能力遠(yuǎn)優(yōu)于圖像水平的監(jiān)督學(xué)習(xí)方法，也證明了利用弱監(jiān)督多分類網(wǎng)絡(luò)對糖網(wǎng)診斷的有效性。

表3 WAD-Net算法組件的比較Table 3 Comparison of components of WAD-Net algorithm

圖8顯示了對比方法的ROC曲線?？梢钥闯?，WAD-Net的AUC值明顯高于其他方法，說明此算法對不同類別病變嚴(yán)重程度的區(qū)分能力很強(qiáng)，可以發(fā)現(xiàn)HMA病理特征的細(xì)微變化。

圖8 對比方法的ROC曲線Fig.8 ROC curves of the comparative methods

總結(jié)實驗結(jié)果可得：1)由于訓(xùn)練集數(shù)量有限，而且病灶因與視網(wǎng)膜圖像上其他正常組織(血管片段等)在顏色和紋理特征方面相似,導(dǎo)致其全局變化不明顯，致使傳統(tǒng)的監(jiān)督學(xué)習(xí)方法不能充分訓(xùn)練圖像水平的分類模型；2)沒有任何過濾的弱監(jiān)督多分類網(wǎng)絡(luò)取得較差的分類結(jié)果，表明全局樣本中存在大量無關(guān)的局部樣本對方法的分類性能產(chǎn)生了負(fù)面影響；3)WAD-Net-2模型的分類效果低于WAD-Net方法，說明跨域數(shù)據(jù)集之間不符合獨立且同分布的假設(shè)，因此數(shù)據(jù)異質(zhì)性會使整體分類性能下降。另外，由于跨域數(shù)據(jù)分布不一致，WAD-Net-3可能產(chǎn)生錯誤的HMA分類標(biāo)簽；4)對比WAD-Net-4與WAD-Net的分類結(jié)果，可以看出結(jié)合注意力機(jī)制不僅能夠提供病理醫(yī)學(xué)上的可解釋性，而且提高了全局的分類性能。

從圖8的ROC曲線下面積AUC值的實驗結(jié)果可知，WAD-Net算法每個組件的使用都有助于糖網(wǎng)分級診斷性能的優(yōu)化，但貢獻(xiàn)程度不同。WAD-Net-2網(wǎng)絡(luò)與WAD-Net-1網(wǎng)絡(luò)相比，AUC值提高了11.8%，是疑似HMA過濾組件的作用。WAD-Net網(wǎng)絡(luò)與WAD-Net-3網(wǎng)絡(luò)相比，AUC值提高了20.2%，是域適應(yīng)組件的作用。WAD-Net網(wǎng)絡(luò)與WAD-Net-4網(wǎng)絡(luò)相比，AUC值提高了15.8%，是基于注意力機(jī)制的弱監(jiān)督分類組件的作用。顯然，域適應(yīng)組件對糖網(wǎng)診斷分級決策的貢獻(xiàn)最高，充分說明跨域GAN遷移方法從傳統(tǒng)的“局部—局部”模式擴(kuò)展到“局部—全局”模式解決了跨域粒度受限的數(shù)據(jù)異質(zhì)性問題。

由于采取“局部—全局”模式的糖網(wǎng)分類決策需要考慮病灶區(qū)域與背景區(qū)域的比例關(guān)系，目標(biāo)域數(shù)據(jù)集中多個樣本以隨機(jī)采樣的方式選取，評估病灶區(qū)域和背景區(qū)域在不同糖網(wǎng)嚴(yán)重程度1～3的比例分別為1/16、1/9和1/6，如表4所示，存在特征類別不平衡問題。去除黑色背景操作指在整幅圖像中去除非視網(wǎng)膜區(qū)域的黑色切片，計算保留的有內(nèi)容的切片數(shù)量在整幅圖像的占比；HMA過濾操作指整幅圖像經(jīng)過HMA分類提取出疑似HMA的切片，計算疑似HMA與有內(nèi)容切片數(shù)量的占比；注意力機(jī)制操作指疑似HMA切片經(jīng)過注意力機(jī)制得到高疑似HMA，計算高疑似HMA與疑似HMA切片數(shù)量的占比；無操作是指對整幅圖像沒有任何行為，計算真實病灶切片數(shù)量與整幅圖像占比。全局樣本通過去除黑色背景區(qū)域和跨域HMA分類器以及注意力機(jī)制過濾掉大量不相關(guān)的局部樣本，將比例收縮為1/2、2/3和4/5，比例關(guān)系達(dá)到平衡狀態(tài)，最終為背景區(qū)域分配的權(quán)重逐漸降低。

表4 病灶區(qū)域與背景區(qū)域比例的變化Table 4 Variations of the ratio between lesion region with the background region

結(jié)合表3的模型性能，WAD-Net-1表示去除黑色背景區(qū)域得到有內(nèi)容切片的模型，WAD-Net-2表示跨域HMA分類器過濾得到疑似HMA樣本的模型，WAD-Net表示注意力機(jī)制提取高疑似HMA樣本的模型。隨著背景權(quán)重的降低，糖網(wǎng)的分類準(zhǔn)確率逐漸升高，意味著模型一步步地解決了病灶區(qū)域與背景區(qū)域特征類別比例不平衡的問題，使糖網(wǎng)的分類結(jié)果對其并不敏感，也說明WAD-Net可以有效辨別圖像中有用的病灶信息。

3.3 消融實驗

3.3.1 圖像切片尺寸的影響

上述實驗均采用固定的切片尺寸128×128像素獲取局部樣本來分析全局糖網(wǎng)的診斷效果。為驗證圖像切片尺寸對WAD-Net算法性能的影響，在Messidor數(shù)據(jù)集上測試WAD-Net-128和WAD-Net-256的指標(biāo)性能，實驗結(jié)果如在圖9所示。可以看出，切片尺寸為128×128像素的WAD-Net獲得了更好的結(jié)果。這意味著較大的切片無法準(zhǔn)確捕捉到有意義的疑似HMA區(qū)域和發(fā)現(xiàn)病理特征的細(xì)微變化。此外，較大的切片會帶來巨大的計算成本，影響方法在實際應(yīng)用中的使用價值。

圖9 切片尺寸對WAD-Net性能的影響Fig.9 Influence of the patch size on WAD-Net performance

3.3.2 注意力機(jī)制層的影響

WAD-Net 算法結(jié)合多類多示例學(xué)習(xí)的思想設(shè)計了弱監(jiān)督多分類網(wǎng)絡(luò)，將局部樣本概率分布向量或局部樣本的特征向量聚合成全局表示。為了證明注意力機(jī)制的優(yōu)勢，將其與其他的池化操作進(jìn)行比較，分別為全局最大池化(global max pooling，GMP)、全局平均池化(global average pooling，GAP)和全局LSE池化(global log-sum-exp pooling，GLP)(Wang等，2018)，實驗結(jié)果如表5所示?？梢钥闯觯⒁饬C(jī)制的性能指標(biāo)都要好于其他池化方法，主要是更深層級地定位了高疑似HMA的病變區(qū)域，提高了分類性能。

表5 池化操作對WAD-Net算法的影響Table 5 Influence of the pooling operations on WAD-Net algorithm

3.3.3 GAN架構(gòu)變化的影響

為了更好地跨域遷移HMA的分類能力，本文 利用GAN生成目標(biāo)域新樣本微調(diào)模型。對此，將從損失函數(shù)的角度研究GAN架構(gòu)變化生成的高質(zhì)量新樣本對糖網(wǎng)分類性能的影響。設(shè)計了幾種方法：

表6 GAN損失函數(shù)的變化對WAD-Net算法的影響Table 6 Influence of the change of GAN loss function on WAD-Net algorithm

3.4 與其他糖網(wǎng)診斷方法的比較

為進(jìn)一步驗證本文方法的性能，與幾種最新糖網(wǎng)診斷方法進(jìn)行比較，實驗結(jié)果如表7所示。Alzami等人(2019)提出將分形維數(shù)與隨機(jī)森林(random forest，RF)分類器相結(jié)合的方法實現(xiàn)糖網(wǎng)診斷。Seoud等人(2015)生成HMA病變概率圖與位置、大小協(xié)同表示特征，并建立RF方法，兩名眼科專家A和B分別對Messidor數(shù)據(jù)集手動劃分病變的嚴(yán)重程度。Labhade等人(2016)采用統(tǒng)計矩和GLCM(gray level concurrence matrix)等紋理分析方法提取特征，然后基于支持向量機(jī)(support vector machines，SVM)、RF、自適應(yīng)提升(adaptive boosting，AdaBoost)、梯度提升(gradient boost，GB)和高斯樸素貝葉斯(Gaussian naive Bayes，GNB)方法對這些特征進(jìn)行分類。Li等人(2020)利用糖網(wǎng)和糖尿病黃斑水腫(diabetic macular edema，DME)疾病之間的相關(guān)性訓(xùn)練跨病注意網(wǎng)絡(luò)。Luo等人(2020)通過自我知識蒸餾法定制模型進(jìn)行糖網(wǎng)自動分級。這些現(xiàn)有關(guān)于糖網(wǎng)分類的深度學(xué)習(xí)方法不滿足于多分類任務(wù)設(shè)置，為了公平性，對后兩種最新的深度學(xué)習(xí)方法在同一運行環(huán)境下使用其各自發(fā)布的源代碼測試多分類性能。以上研究均通過Messidor數(shù)據(jù)集驗證各自方法的性能。

表7 WAD-Net與其他糖網(wǎng)診斷算法的性能比較Table 7 The comparison between WAD-Net algorithm and other DR diagnosis algorithms

從表7可以看出，本文算法在糖網(wǎng)分級診斷任務(wù)中顯示了較大優(yōu)勢。Seoud等人(2015)使用留一法測試算法性能，訓(xùn)練集數(shù)量遠(yuǎn)大于本文采用的10倍交叉驗證方式，測試集單一且計算時間長。相比于傳統(tǒng)的其他算法，本文算法獲得了較好的分類效果。與深度學(xué)習(xí)方法對比，可以發(fā)現(xiàn)WAD-Net跨域模型好于跨疾病的方法，有助于加強(qiáng)感興趣的病灶特征，能夠?qū)Σ≡钚螒B(tài)變化的學(xué)習(xí)有更好的認(rèn)知。在準(zhǔn)確率方面，本文模型比B專家的人工診斷性能提高了4.6%，表明模型的分類能力可以協(xié)助醫(yī)生完成更精確的糖網(wǎng)診斷。

3.5 可解釋性驗證

基于深度學(xué)習(xí)的模型通常缺乏可解釋性，這會阻礙醫(yī)生在常規(guī)臨床工作流程中接受模型的分類結(jié)果。因此，WAD-Net利用跨域HMA分類器和注意力機(jī)制解決深度學(xué)習(xí)的黑盒問題，輸出糖網(wǎng)的嚴(yán)重程度和高疑似病灶的位置信息以支持其分類決策。圖10展示了WAD-Net算法的工作流程，通過將切片的像素值與其相對應(yīng)的注意力權(quán)重相乘創(chuàng)建熱力圖，接著重新計算切片的注意力權(quán)重，具體公式為

(14)

高疑似HMA的病變區(qū)域可以通過熱力圖識別出來。

4 結(jié) 論

提出一種端對端結(jié)合域適應(yīng)學(xué)習(xí)的糖網(wǎng)自動分類方法，該方法協(xié)同注意力機(jī)制構(gòu)成弱監(jiān)督網(wǎng)絡(luò)(WAD-Net)，利用多示例學(xué)習(xí)中局部—全局的映射關(guān)系，并融入GAN的遷移學(xué)習(xí)思想和門控自注意力機(jī)制提高分類的泛化能力，有效實現(xiàn)對眼底圖像的糖網(wǎng)分級診斷。傳統(tǒng)的糖網(wǎng)自動分類算法大多基于HMA的精確定位，但由于病灶標(biāo)簽的缺失，很難采用傳統(tǒng)的監(jiān)督學(xué)習(xí)檢測HMA的位置信息。為此，WAD-Net汲取弱監(jiān)督學(xué)習(xí)思想，只需要圖像水平的標(biāo)記數(shù)據(jù)就能獲取糖網(wǎng)的分類等級和高疑似病灶的病變區(qū)域。另外，在含有像素級病灶標(biāo)注信息的IDRiD輔助數(shù)據(jù)集的幫助下，開發(fā)了一種跨域HMA分類器，通過域適實現(xiàn)目標(biāo)域中不相關(guān)的局部樣本的過濾，同時基于GAN遷移方法解決了跨域存在的數(shù)據(jù)異構(gòu)問題。最后，借助注意力機(jī)制獲取每個局部樣本的權(quán)重分?jǐn)?shù)，提供糖網(wǎng)分級診斷結(jié)果在醫(yī)學(xué)圖像上的依據(jù)，這對于計算機(jī)輔助醫(yī)療自動診斷在實際臨床中使用具有重要意義。在公開數(shù)據(jù)集Messidor上的實驗結(jié)果表明，與最新的幾種方法相比，WAD-Net取得了較好的性能，存在很大優(yōu)勢，可以大幅地減少注釋工作。

在未來工作中，將在糖網(wǎng)公開數(shù)據(jù)集EyePACs(www.eyepacs.org)和其他醫(yī)學(xué)領(lǐng)域如癌癥組織病理學(xué)圖像中評估WAD-Net模型的性能。同時，擴(kuò)展到其他含有弱監(jiān)督且具有異質(zhì)性數(shù)據(jù)的醫(yī)學(xué)領(lǐng)域進(jìn)行驗證。

圖10 糖網(wǎng)分類流程效果圖Fig.10 Effect map of DR grading process((a)slighted DR;(b)moderated DR；(c)severed DR)