基于雙視圖特征融合的糖尿病視網(wǎng)膜病變分級(jí)

姜璐璐,孫司琦,鄒海東,陸麗娜,馮 瑞,

（1.復(fù)旦大學(xué) 工程與應(yīng)用技術(shù)研究院,上海 200433;2.上海市眼科疾病精準(zhǔn)診療工程技術(shù)研究中心,上海 200080;3.復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 上海市智能信息處理重點(diǎn)實(shí)驗(yàn)室,上海 200433;4.復(fù)旦大學(xué) 上海市智能視覺計(jì)算協(xié)同創(chuàng)新中心,上海 200433;5.上海交通大學(xué)附屬第一人民醫(yī)院,上海 200080;6.上海市眼病防治中心,上海 200040）

0 引 言

糖尿病視網(wǎng)膜病變(diabetic retinopathy,DR)是糖尿病的重要并發(fā)癥之一.我國DR 患病率高達(dá)15%～ 43%,DR 是成年人致盲的首要原因[1].對(duì)DR 患者進(jìn)行早期篩查、診斷和治療能有效防止其視覺受損及失明.因此,DR 大規(guī)模篩查一直是防盲治盲的重要任務(wù)之一.

彩色眼底照相是一種簡(jiǎn)單且高效的DR 篩查手段.在社區(qū)篩查中,常使用雙視圖拍攝法對(duì)同一只眼睛從2 個(gè)不同視角進(jìn)行拍攝,得到以視盤為中心和以黃斑為中心的2 張圖像,如圖1 所示.由于基層操作人員技術(shù)能力有限、老年人瞳孔較小配合度較低等原因,導(dǎo)致從社區(qū)篩查采集到的圖像往往質(zhì)量較差,存在周邊區(qū)域不可讀、眼底結(jié)構(gòu)不清晰等問題.而雙視圖的眼底圖像對(duì)中既有相同區(qū)域,也有不同區(qū)域的互補(bǔ)信息,其相互結(jié)合能夠獲得較單視圖更為完整的信息,可以有效解決單視角下圖像遮擋和視場(chǎng)受限等問題.

隨著糖尿病人群的增多和眼科醫(yī)師的相對(duì)缺乏,傳統(tǒng)的人工DR 篩查方法已不能有效應(yīng)對(duì) DR 患病率和致盲率持續(xù)增高的雙重挑戰(zhàn).近年來隨著人工智能(artificial intelligence,AI)的飛速發(fā)展,基于彩色眼底圖像的AI 輔助診斷算法在DR 篩查中展現(xiàn)出了良好的靈敏度和特異度,不僅緩解了眼科醫(yī)師和閱片醫(yī)師的負(fù)擔(dān),也在一定程度上彌補(bǔ)了眼科醫(yī)療資源分布不均的不足.

然而,現(xiàn)有的DR 分級(jí)算法普遍存在兩個(gè)問題: 第一,由于眼底病灶在圖中占比率極小,普通的DR 分級(jí)模型使用圖像級(jí)標(biāo)簽進(jìn)行訓(xùn)練,準(zhǔn)確度低且診斷結(jié)果可解釋性差;第二,目前大多數(shù)模型基于單張圖像訓(xùn)練,不能有效利用彩色眼底照相中多個(gè)視圖的信息.

針對(duì)以上問題,本文提出了一種基于雙視圖特征融合的DR 分級(jí)算法: 首先,將自注意力機(jī)制引入DR 分級(jí),以減小圖中背景無關(guān)特征的影響,同時(shí)增強(qiáng)重要特征對(duì)分類結(jié)果的影響;其次,提出了一種跨視圖注意力模塊,挖掘雙視圖圖像對(duì)之間的語義聯(lián)系,提高DR 分級(jí)的準(zhǔn)確性.

1 相關(guān)工作

1.1 雙視圖融合技術(shù)

在基于醫(yī)學(xué)影像進(jìn)行診斷與疾病分級(jí)時(shí),醫(yī)師通常會(huì)綜合多個(gè)視角拍攝的影像作出更加可靠的決策.一般而言,雙視圖融合技術(shù)可以分為數(shù)據(jù)層融合、特征層融合和決策層融合這3 種類型.其中,特征層融合即對(duì)原始數(shù)據(jù)進(jìn)行特征提取后,在特征級(jí)別進(jìn)行融合.目前,已有大量研究通過構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)進(jìn)行雙視圖醫(yī)學(xué)影像分析,這些方法可以分為全局特征融合方法和區(qū)域特征融合方法這兩類[2].

(1)全局特征融合方法是指融合各視圖CNN 分支全局池化后的特征.以乳腺X 線攝像為例,基于矢狀面的CC(craniocaudal)視圖和中側(cè)面的MLO(mediolateral oblique)視圖,Wu 等[3]討論了在單一網(wǎng)絡(luò)中組合各視圖卷積分支的多種方法,從而得到使乳腺癌分類準(zhǔn)確率最高的組合方法.CT(computed tomography)肺部影像中也有類似應(yīng)用,如Wang 等[4]提出了一種雙視圖CNN,用于從CT 圖像中的軸向、冠狀面和矢狀面視圖分割肺結(jié)節(jié).然而,全局特征融合的方法不能關(guān)注到圖像的細(xì)節(jié)特征,也忽視了視圖之間的潛在聯(lián)系.

(2)區(qū)域特征融合方法是將圖像分成不同區(qū)域,挖掘不同區(qū)域之間的聯(lián)系.Wang 等[5]提出了一種基于區(qū)域的3 步方法: 第一步,從乳腺X 線攝像的每個(gè)視圖中提取大量感興趣區(qū)域(region of interest,ROI);第二步,使用基于注意力驅(qū)動(dòng)的CNN 從每個(gè)ROI 中提取單視圖的特征;第三步,通過一個(gè)基于長短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)的融合模型將各視圖的特征與其他臨床特征相結(jié)合.然而,區(qū)域特征融合方法的局限性在于需要對(duì)圖像劃分區(qū)域并進(jìn)行圖像配準(zhǔn),配準(zhǔn)的精度直接影響融合效果.

為避免上述問題的出現(xiàn),本文提出了雙視圖特征融合方法: 無須圖像配準(zhǔn),在模型卷積部分的中間層融合雙視圖特征,挖掘視圖間的語義聯(lián)系,從而提高模型性能.

1.2 注意力機(jī)制

近年來,注意力機(jī)制廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的研究,其形式與人類的視覺注意力相似.人類視覺通過快速瀏覽圖像的全局信息,且關(guān)注圖像中的重要區(qū)域并忽略不相關(guān)的部分,從而獲取更多細(xì)節(jié)信息.

在醫(yī)學(xué)圖像分析領(lǐng)域,注意力機(jī)制的重要性更加直觀.醫(yī)學(xué)診斷的重點(diǎn)是觀察小的局部異常區(qū)域,而大部分正常圖像部分則不那么重要.特別地,注意力機(jī)制在DR 輔助診斷算法中有著大量的應(yīng)用.Wang 等[6]提出了一種Zoom-in 網(wǎng)絡(luò),可以同時(shí)進(jìn)行DR 分級(jí)和生成病變區(qū)域的注意力圖,該網(wǎng)絡(luò)由3 個(gè)部分組成: 用于提取特征并輸出診斷結(jié)果的主干網(wǎng)絡(luò)、用圖像級(jí)別的監(jiān)督學(xué)習(xí)生成注意力圖的注意力網(wǎng)絡(luò),以及模擬臨床醫(yī)師檢查時(shí)放大操作的檢查網(wǎng)絡(luò).Lin 等[7]提出的基于抗噪聲檢測(cè)和基于注意力融合的框架,可以進(jìn)行5 類DR 分級(jí): 首先,利用CNN 提取特征,將特征輸入到中心樣本檢測(cè)器中以生成病變圖;然后,把病變圖和原始圖像送入所提出的注意力融合網(wǎng)絡(luò).該網(wǎng)絡(luò)可以學(xué)習(xí)原始圖像和病變圖的權(quán)重,減少了無關(guān)信息的影響.Zhao 等[8]提出用具有注意力機(jī)制的雙線性注意力網(wǎng)絡(luò)進(jìn)行DR 分級(jí): 首先,將ResNet 中提取的特征輸入注意力網(wǎng)絡(luò),可更加關(guān)注到?jīng)Q定分級(jí)的關(guān)鍵性區(qū)域;然后,采用雙線性策略訓(xùn)練兩個(gè)注意力網(wǎng)絡(luò),并進(jìn)行更細(xì)粒度的分類.

自注意力機(jī)制在Tansformer[9]中被提出,是注意力機(jī)制的改進(jìn)與優(yōu)化,并在自然語言處理領(lǐng)域迅速得以進(jìn)展.2018 年,Wang 等[10]提出了一種新型Non-local 網(wǎng)絡(luò),將自注意力機(jī)制首次引入計(jì)算機(jī)視覺領(lǐng)域,在視頻理解和目標(biāo)檢測(cè)任務(wù)上取得了卓越的效果.最近,各種深度自注意力網(wǎng)絡(luò)(視覺Transformer)[11-13]的出現(xiàn),更展現(xiàn)了自注意力機(jī)制的巨大潛力.

值得注意的是,在以上方法中,注意力圖是從單視圖中推斷出來,不能應(yīng)用于雙視圖眼底圖像的DR 分級(jí)場(chǎng)景中.而本文提出的跨視圖注意力機(jī)制是結(jié)合應(yīng)用場(chǎng)景對(duì)自注意力機(jī)制的一種創(chuàng)新性改進(jìn),能夠使模型更適應(yīng)下游任務(wù).

2 算法介紹

2.1 模型架構(gòu)

本文提出的基于雙視圖特征融合的DR 分級(jí)模型架構(gòu)如圖2 所示,其由3 個(gè)主要部分組成: 特征提取部分、特征融合部分和特征分類部分.圖2 中,C 是concatenation 運(yùn)算,S1,S2為輸出特征.

圖2 模型架構(gòu)Fig.2 Model framework

(1)特征提取部分: 主干網(wǎng)絡(luò)從成對(duì)的眼底圖像中提取特征表示.在本文研究中,為節(jié)省計(jì)算資源,提取眼底圖像對(duì)的特征使用了共享的主干網(wǎng)絡(luò),采用去除完全連接層的ResNets[14]作為主干網(wǎng)絡(luò),并加載模型在ImageNet 上預(yù)先訓(xùn)練好的參數(shù).

(2)特征融合部分: 首先,單視圖經(jīng)過自注意力模塊過濾掉單張圖像內(nèi)的無關(guān)信息,提取重要信息,同時(shí)跨視圖注意力則捕獲所提取的圖像對(duì)特征表示的像素之間的空間相關(guān)性;之后,將增強(qiáng)后的特征全局池化進(jìn)行拼接.

(3)特征分類部分: 使用全連接層得到DR 分級(jí)結(jié)果.

給定眼底圖像對(duì){I1,I2},I1和I2分別表示眼底圖像對(duì)視圖1 和視圖2 的圖像.I1和I2經(jīng)過主干網(wǎng)絡(luò)后,提取的特征分別為F1和F2,且I1,I2RH×W×3,F1,F2Rh×w×c,其中,H和W分別表示輸入圖像對(duì)的高度和寬度,h、w、c分別是被提取特征的高度、寬度和通道數(shù).F1和F2經(jīng)過多視圖特征融合模塊后的特征圖為S1和S2,特征通道數(shù)為c1; 經(jīng)過全局池化和拼接后的通道數(shù)為c2.

2.2 雙視圖特征融合

針對(duì)眼底病灶微小、普通的DR 分級(jí)模型準(zhǔn)確度低等問題,本文將自注意力機(jī)制引入模型,以降低圖像的噪聲影響,同時(shí)增強(qiáng)病灶細(xì)節(jié)特征的學(xué)習(xí);同時(shí)針對(duì)雙視圖眼底圖像對(duì)存在互補(bǔ)的關(guān)系,提出了一種跨視圖注意力模塊,挖掘雙視圖圖像對(duì)之間的語義聯(lián)系,以提高DR 分級(jí)的準(zhǔn)確性.

2.2.1 自注意力模塊

圖3 展示了針對(duì)單視圖的自注意力(self-attention,SA)模塊細(xì)節(jié),其中,reshape 為重塑操作,用于改變數(shù)組形狀.給定視圖1 和視圖2 利用主干網(wǎng)絡(luò)提取的特征F1和F2,首先,將每個(gè)視圖的特征轉(zhuǎn)換為查詢(query,q)特征、鍵(key,k)特征和值(value,v)特征.F1和F2通過1 × 1 卷積變換后的查詢特征、鍵特征、值特征分別為F1q、F1k、F1v和F2q、F2k、F2v,其中,F1q,F1k,F2q,F2kRh×w×c′,F1v,F2vRh×w×c′′,c′和c′′代表特征的通道數(shù),且c′c′′.相應(yīng)公式為

圖3 針對(duì)單視圖的自注意力模塊Fig.3 Self-attention module for single view fundus images

其中,linear 代表參數(shù)為θ的1 × 1 卷積.

然后,將F1q和F1k大小變換到 Rh×w×c′,并通過計(jì)算,再使用softmax 函數(shù)歸一化后得到視圖1 空間注意力圖F1_Att. 當(dāng)用于多標(biāo)簽分類問題時(shí),使用sigmoid 函數(shù).同理可以得到F2_Att.相應(yīng)公式為

將F1v大小變換到 Rh×w×c′′,將F1v和F1_Att做矩陣乘法,并將其大小變換到 Rh×w×c.

最后,把得到的F1_self乘上參數(shù)α并和原矩陣F1相加,得到經(jīng)過自注意力機(jī)制的最終結(jié)果.視圖2 同理.相應(yīng)公式為

其中,α1和α2是可學(xué)習(xí)的參數(shù),初始化為0,并在訓(xùn)練中不斷優(yōu)化.最終得到的和是空間注意力圖與原特征圖的加權(quán)融合.

經(jīng)過自注意力模塊后的視圖特征具有單視圖的全局上下文信息,并根據(jù)注意力有側(cè)重性地聚合上下文,增強(qiáng)了眼底病灶特征的學(xué)習(xí).

2.2.2 跨視圖注意力模塊

受跨模態(tài)特征融合中的跨模態(tài)注意力機(jī)制的啟發(fā),本文提出了跨視圖注意力(cross-attention,CA)模塊.圖4 展示了針對(duì)雙視圖的跨視圖注意力模塊細(xì)節(jié).此模塊中,將視圖1 與視圖2 的特征分別變換為查詢(query)特征、鍵(key)特征和值(value)特征的步驟與自注意力模塊一致,不再贅述.

圖4 針對(duì)雙視圖的跨視圖注意力模塊Fig.4 Cross-attention module for dual-view fundus images

相互引導(dǎo)的雙向關(guān)系捕捉了眼底圖像對(duì)中每個(gè)位置之間的重要性.以F1→2為例,每一行表示視圖1 的一個(gè)像素點(diǎn)位置與視圖2 所有像素位置之間的關(guān)系權(quán)重,通過與視圖2 的特征F2v矩陣相乘,大小變換后得到由視圖1 引導(dǎo)的視圖2 加權(quán)信息F2_cross,該特征將更多地傾向于關(guān)注視圖2 中與視圖1 相關(guān)的特征信息.同理,可以得到由視圖2 引導(dǎo)的視圖1 加權(quán)信息F1_cross,該特征重點(diǎn)挖掘視圖1 中與視圖2 相關(guān)的特征關(guān)系.相應(yīng)公式為

將視圖1 得到的注意力特征與跨視圖注意力特征進(jìn)行拼接,拼接后的特征既有視圖1 內(nèi)部的重點(diǎn)信息,也融合了與視圖2 相關(guān)的特征信息.利用1 × 1 卷積層將連接的特征轉(zhuǎn)換為輸出特征S1.同理可得到S2.相應(yīng)公式為

其中,S1,S2Rh×w×c1.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)基礎(chǔ)設(shè)置

本文采用ResNet-18、ResNet-34、ResNet-50 和ResNet-101 作為主干網(wǎng)絡(luò)的特征提取器,參數(shù)從ImageNet 預(yù)訓(xùn)練中初始化.為了適應(yīng)不同采集相機(jī)造成的不同圖像分辨率,首先將所有眼底圖像的尺寸調(diào)整到(512 × 512)像素.為了進(jìn)行訓(xùn)練,從調(diào)整后的圖像中隨機(jī)裁剪(448 × 448)像素大小的塊,測(cè)試時(shí)使用中心裁剪.本文使用Pytorch[15]框架,采用SGD(stochastic gradient descent)隨機(jī)梯度優(yōu)化器,使用交叉熵?fù)p失函數(shù);采用poly 策略動(dòng)態(tài)調(diào)整學(xué)習(xí)率,初始學(xué)習(xí)率設(shè)置為0.007,動(dòng)量因子為0.9,迭代次數(shù)為50 次.

3.2 數(shù)據(jù)集介紹

在本文自建的雙視圖數(shù)據(jù)集DFiD 和公開的數(shù)據(jù)集DeepDR[16]上,采用五折交叉驗(yàn)證法進(jìn)行了實(shí)驗(yàn)驗(yàn)證.數(shù)據(jù)集DFiD 有3 212 對(duì)共6 424 張雙視圖眼底圖像;數(shù)據(jù)集DeepDR 包含了400 對(duì)共800 張雙視圖眼底圖像.數(shù)據(jù)集的分布如表1 所示,且采用DR 五級(jí)標(biāo)注: DR-0 級(jí)表示無DR;DR-1 級(jí)表示輕度非增生型DR;DR-2 級(jí)表示中度非增生型DR;DR-3 級(jí)表示重度非增生型DR;DR-4 級(jí)表示增生型DR.

3.3 評(píng)價(jià)指標(biāo)

采用二次加權(quán)kappa 系數(shù)、調(diào)和平均值(F1)和ROC(receiver operating characteristic)曲線下面積(area under curve,AUC)作為評(píng)價(jià)指標(biāo).二次加權(quán) kappa 可以表示有序多分類問題中不同評(píng)估者的評(píng)估結(jié)果的一致性,它對(duì)分級(jí)的差異進(jìn)行懲罰,懲罰幅度與預(yù)測(cè)值與真實(shí)值之間距離的平方相關(guān).F1值是精確度和敏感度的調(diào)和平均值.相應(yīng)公式為

式(14)—(16)中:P為精確度(precision),即PPV(positive predictive value),陽性預(yù)測(cè)值,表示真陽性樣本在所有預(yù)測(cè)陽性樣本中的比例;RTP真陽性率(true positive rate,TPR)又稱敏感度(sensitivity),表示正確識(shí)別的陽性比例;NTP表示真陽性(true positive,TP)樣本的數(shù)量;NFP表示假陽性(false positive,FP)樣本的數(shù)量;NFN表示假陰性(false negative,FN)樣本的數(shù)量.

3.4 不同主干網(wǎng)絡(luò)與融合策略的實(shí)驗(yàn)對(duì)比

本文在自建的雙視圖眼底圖像數(shù)據(jù)集DFiD 上進(jìn)行了對(duì)比實(shí)驗(yàn),分別對(duì)比了不同主干網(wǎng)絡(luò)和不同特征融合策略的結(jié)果,其中,用于對(duì)比的融合策略是全局特征融合方法.實(shí)驗(yàn)結(jié)果如表2 所示.

由表2 的結(jié)果可知,使用更深的主干網(wǎng)絡(luò)作為特征提取器可以獲得更好的分類性能.同樣,在使用本文提出的特征融合方式的情況下,使用ResNet-101 為主干網(wǎng)絡(luò)與使用ResNet-18 的主干網(wǎng)絡(luò)的結(jié)果相比,二次加權(quán)kappa、F1、AUC 分別提高了4.9%、2.4%和2.6%.

在使用相同的主干網(wǎng)絡(luò)的情況下,本文提出的特征融合策略相比于全局特征融合方法,其結(jié)果都更優(yōu)越;在使用最優(yōu)的特征提取器ResNet101 的情況下,本文提出的融合策略比全局特征融合方法的二次加權(quán)kappa、F1、AUC 分別提高了6.1%、4.2%和3.0%.這證明了本文提出的雙視圖眼底圖像特征方法能夠顯著地提高分類準(zhǔn)確性.

3.5 與公開方法的對(duì)比

本文選取兩種公開的與本文方法類似的雙視圖眼底圖像特征融合算法同本文方法進(jìn)行了實(shí)驗(yàn)對(duì)比,實(shí)驗(yàn)結(jié)果如表3 所示.其中,AUBNet(attention-based unilateral and bilateral feature weighting and fusion network)[17]是一種基于注意力的單側(cè)和雙側(cè)特征加權(quán)和融合網(wǎng)絡(luò),由特征提取模塊、特征融合模塊和分類模塊組成,利用特征提取模塊進(jìn)行兩級(jí)特征加權(quán)和融合來獲得雙眼的特征表征,最后利用分類模塊進(jìn)行多標(biāo)簽分類;DCNet(dense correlation network)[18]由主干神經(jīng)網(wǎng)絡(luò)、空間相關(guān)模塊和分類器組成,空間相關(guān)模塊提取眼底圖像對(duì)特征之間的密集相關(guān)性,并融合相關(guān)的特征表示.

表3 與公開方法的對(duì)比Tab.3 Comparison results with public methods

由表3 的結(jié)果可以看到,在數(shù)據(jù)集DFiD 上,本文提出的方法各項(xiàng)指標(biāo)都取得了最優(yōu)表現(xiàn);在數(shù)據(jù)集DeepDR 上,本文提出方法的二次加權(quán)kappa 和AUC 值都取得了最優(yōu)表現(xiàn),F1值達(dá)到了與AUBNet的F1值相等.由實(shí)驗(yàn)結(jié)果可知,本文提出的方法是十分優(yōu)秀的,不僅在內(nèi)部數(shù)據(jù)集上有效,在完全公開的數(shù)據(jù)集上也表現(xiàn)優(yōu)異.這證明本文提出的雙視圖特征融合方法能夠有效地挖掘視圖之間的相關(guān)性.

3.6 消融實(shí)驗(yàn)

為了驗(yàn)證所設(shè)計(jì)的模塊對(duì)提高分類性能的有效性,本文在以ResNet-101 為主干網(wǎng)絡(luò)的情況下,分別加入自注意力(SA)模塊和跨視圖注意力(CA)模塊.用于對(duì)比的網(wǎng)絡(luò)結(jié)構(gòu)包括ResNet-101 主干網(wǎng)絡(luò)(提取特征后直接拼接)、加入SA 模塊的網(wǎng)絡(luò)、加入CA 模塊的網(wǎng)絡(luò),以及加入SA 模塊和CA 模塊的網(wǎng)絡(luò).實(shí)驗(yàn)結(jié)果如表4 所示.

表4 數(shù)據(jù)集DFiD 上的消融實(shí)驗(yàn)結(jié)果Tab.4 Ablation results on DFiD dataset

表4 的實(shí)驗(yàn)結(jié)果表明,SA 模塊和CA 模塊都能有效地提高DR 分級(jí)準(zhǔn)確性.自注意力能夠關(guān)注到單視圖中關(guān)鍵病灶部位,而跨視圖注意力能夠通過雙視圖的關(guān)聯(lián)更加可靠且全面地挖掘病灶特征.

此外,本文可視化了測(cè)試數(shù)據(jù)集DFiD 中的樣例,結(jié)果如圖5 所示.圖5 是使用Grad-CAM(gradient-weighted class activation mapping)[19]得到的可視化結(jié)果.此樣例的真實(shí)結(jié)果為DR-2 級(jí).從圖5(a)和圖5(b)所示的原始圖像對(duì)來看,圖5(a)所示的圖像1 圖像清晰,可以明顯看到眼底病灶;而圖5(b)所示的圖像2 圖像質(zhì)量較差,幾乎看不清細(xì)節(jié).在實(shí)際應(yīng)用中也常會(huì)出現(xiàn)這種情況,即如果雙視圖中有一方圖像質(zhì)量較差,對(duì)最終的分類結(jié)果并沒有幫助,甚至?xí)朐肼?圖5(c)顯示了模型不能準(zhǔn)確地關(guān)注到圖像顯著區(qū)域,特征響應(yīng)范圍過大.圖5(d)加入SA 模塊和CA 模塊后能夠消除背景以及噪聲信息的干擾,進(jìn)一步細(xì)化了注意力區(qū)域,準(zhǔn)確定位到了病灶區(qū)域.實(shí)驗(yàn)結(jié)果和可視化結(jié)果都證明了本文提出的特征融合方法的有效性.

圖5 可視化結(jié)果Fig.5 Visualization results

4 總結(jié)

本文提出了一種基于雙視圖特征融合的DR 分級(jí)算法,并在自建的數(shù)據(jù)集DFiD 和公開的數(shù)據(jù)集DeepDR上進(jìn)行了實(shí)驗(yàn).本文算法主要包括特征提取、特征融合與特征分類,其中特征融合部分,引入了自注意力機(jī)制挖掘單視圖病灶區(qū)域的上下文信息,并設(shè)計(jì)了融合雙視圖特征的跨視圖注意力模塊.實(shí)驗(yàn)結(jié)果表明,本文所提出的各模塊可有效地提高DR 的分類性能.最后采用 Grad-CAM 方法對(duì)本文模型進(jìn)行了可視化解釋,為模型推理提供了可見的預(yù)測(cè)依據(jù).

在后續(xù)研究工作中可部署模型到移動(dòng)端和PC 端,搭建眼底圖像檢測(cè)系統(tǒng),讓用戶在完成眼底照相后,能快速地得到初步篩查的結(jié)論,以緩解基層醫(yī)院缺乏眼科醫(yī)師的難題.