特征自適應(yīng)過濾的視網(wǎng)膜病變分級算法

梁禮明，雷 坤，詹 濤，周瓏頌

特征自適應(yīng)過濾的視網(wǎng)膜病變分級算法

梁禮明，雷 坤，詹 濤，周瓏頌

(江西理工大學(xué)電氣工程與自動化學(xué)院，江西 贛州 341000)

針對視網(wǎng)膜病變圖像特征識別困難以及病變分級效率不高等問題，提出一種特征自適應(yīng)過濾的視網(wǎng)膜病變分級算法。首先，算法利用ResNet-50網(wǎng)絡(luò)構(gòu)建的多尺度過濾分支(MFB)對視網(wǎng)膜病變圖像進行逐級特征提取；其次，在不同尺度的過濾分支后級聯(lián)自適應(yīng)特征過濾塊(AFFB)對視網(wǎng)膜病變圖像進行特征增強與過濾；然后，使用特征互補融合模塊(FCFM)對特征過濾后的多個局部增強特征進行信息互補，并通過聚合局部增強特征的互補信息豐富視網(wǎng)膜病變圖像的局部細節(jié)；最后，采用細粒度分類損失與焦點損失對具有不同局部特征信息的分級模型進行訓(xùn)練，并在IDRiD數(shù)據(jù)集上進行實驗。實驗結(jié)果表明，所提分級算法的準(zhǔn)確率為80.58%、加權(quán)Kappa系數(shù)為88.70%、特異性為94.20%、敏感性為94.10%，該算法能有效識別視網(wǎng)膜病變圖像的細微病變區(qū)域并提高分級效率。

視網(wǎng)膜病變；病變分級；自適應(yīng)；特征過濾；多尺度特征

糖尿病視網(wǎng)膜病變(diabetic retinopathy，DR)是糖尿病患者發(fā)病率極高的慢性并發(fā)癥之一。根據(jù)國際糖尿病聯(lián)盟發(fā)布的最新數(shù)據(jù)顯示，目前在20～79歲的成人群體中糖尿病患者的人數(shù)已高達5.366億[1]，形勢嚴(yán)峻。由于患病人數(shù)快速增長以及相關(guān)醫(yī)護資源緊缺，DR患者無法得到及時的診斷反饋，導(dǎo)致視網(wǎng)膜病變程度進一步加重，進而使DR患者的視力受到不可逆的損傷。因此，利用計算機輔助視網(wǎng)膜病變分級的智能算法研究，對預(yù)防糖尿病患者致盲有著非常重要的意義。

目前視網(wǎng)膜病變分級算法主要存在2個問題：一是不同病變時期的患者比例差異大，DR樣本分布不均衡；二是微血管瘤、出血點以及硬性滲出物等細微病變特征與視網(wǎng)膜周圍環(huán)境差異小，特征提取困難。針對DR樣本分布不均衡的問題，SHI和ZHANG[2]提出多階段遷移的方法對特征表示學(xué)習(xí)與分類過程進行獨立訓(xùn)練，再使用類平衡損失函數(shù)對分級模型進行優(yōu)化。該方法能有效緩解DR樣本分布不平衡的影響，并提高分級性能。針對視網(wǎng)膜病變圖像特征提取困難的問題，謝云霞等[3]先通過子圖對視盤進行分割，再使用在線困難樣本挖掘緩解在高分辨率眼底圖像中模型難以獲取細微病灶的問題。顧婷菲等[4]提出將細粒度分類方法[5]與多通道注意力選擇機制相結(jié)合的方法用于視網(wǎng)膜病變分級預(yù)測，該方法通過排序損失對每層通道的信息量進行優(yōu)化，使視網(wǎng)膜病變圖像的局部特征區(qū)域具有更多的信息量，從而突出視網(wǎng)膜病變圖像的細粒度特征信息。DU等[6]則使用漸進式訓(xùn)練策略與隨機拼圖生成器鼓勵網(wǎng)絡(luò)提取視網(wǎng)膜病變圖像的細粒度特征并融合，進而獲取視網(wǎng)膜病變圖像的多粒度特征信息，從而提高分級性能。

雖然上述解決方法能有效解決視網(wǎng)膜病變分級存在的問題，但分級模型不能高效且準(zhǔn)確定位視網(wǎng)膜的病變區(qū)域。于是本文提出一種僅通過網(wǎng)絡(luò)逐級自適應(yīng)過濾特征的算法用于視網(wǎng)膜病變區(qū)域的定位及分級預(yù)測。該算法通過多尺度過濾分支(multi-scale filtering branch，MFB)與自適應(yīng)特征過濾塊(adaptive feature filter block，AFFB)逐級挖掘視網(wǎng)膜病變圖像的局部細節(jié)特征并對局部特征進行增強與抑制；接著使用特征互補融合模塊(feature complementary fusion module，F(xiàn)CFM)對多個局部增強特征進行信息互補，并學(xué)習(xí)視網(wǎng)膜病變圖像的細節(jié)特征；最后，利用細粒度分類損失[7]與焦點損失[8]所構(gòu)建的組合損失對分級模型進行訓(xùn)練，并在IDRiD數(shù)據(jù)集上進行實驗，以期實現(xiàn)準(zhǔn)確定位視網(wǎng)膜病變圖像的病變區(qū)域以及對病變等級進行準(zhǔn)確預(yù)測。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 多尺度過濾分支

由于微細血管瘤與出血點等病變特征在眼底圖像上分布不規(guī)律，且病變區(qū)域大小存在差異。如果僅使用ResNet-50網(wǎng)絡(luò)[9]的最后一層輸出進行特征過濾，模型無法充分學(xué)習(xí)視網(wǎng)膜病變圖像的潛在細節(jié)特征。于是本文采用一種基于ResNet-50的MFB逐級處理視網(wǎng)膜病變圖像，充分學(xué)習(xí)局部細節(jié)特征。該分支首先在Stage1階段對輸入的視網(wǎng)膜病變圖像進行特征提取與下采樣，獲取視網(wǎng)膜病變圖像的淺層特征；接著，通過AFFB對Stage1的局部特征進行增強與過濾，并利用Stage2對過濾后的圖像特征進行特征提取與下采樣；Stage3重復(fù)Stage2的操作。

MFB通過逐級改變特征圖的尺寸進而縮小細粒度特征的區(qū)域范圍，其中Stage1由ResNet-50網(wǎng)絡(luò)的前三層Layer構(gòu)成，輸出特征維度為512×28×28，用于提取視網(wǎng)膜病變圖像的淺層特征信息；Stage2與Stage3分別為ResNet-50網(wǎng)絡(luò)的Layer3與Layer4，輸出特征維度分別為1024×14× 14與2048×7×7，其主要用于學(xué)習(xí)特征過濾后的圖像信息。MFB的結(jié)構(gòu)如圖1所示。

1.2 自適應(yīng)特征過濾塊

由于初期的DR圖像中僅含有少量微血管瘤或出血點，特征識別困難。受SONG和WANG[10]的啟發(fā)，本文采用AFFB對視網(wǎng)膜病變圖像的不同尺度特征進行特征過濾，并結(jié)合MFB逐級挖掘視網(wǎng)膜病變圖像的潛在局部細節(jié)。AFFB的結(jié)構(gòu)如圖2所示。

AFFB主要由SE[11]注意力機制、特征增強與特征抑制構(gòu)成。AFFB首先通過全局平均池化(global average pooling，GAP)對特征通道進行全局壓縮，再使用全連接層(fully connected layers，F(xiàn)C)訓(xùn)練通道權(quán)重并恢復(fù)通道維度。接著，利用歸一化的權(quán)值矩陣與輸入特征圖逐點相乘，為特征圖施加通道注意力。

圖1 多尺度過濾分支結(jié)構(gòu)

圖2 自適應(yīng)特征過濾塊

其中，(i)為第個條狀特征圖。

隨后，利用GAP對(i)進行歸一化并計算條狀特征圖的重要性因子b。接著，使用由個重要性因子構(gòu)成的重要性與輸入特征圖進行加權(quán)融合，進而對特征圖施加跨通道的注意力，使模型進行有效的特征學(xué)習(xí)并對局部特征進行增強，即

其中，為增強程度參數(shù)；?為哈達瑪積運算。

由于條狀特征圖的重要性權(quán)重越大，其對應(yīng)的特征信息量也越大，為使下級特征提取網(wǎng)絡(luò)能有效學(xué)習(xí)潛在的細粒度特征信息。本文通過特征抑制向量對信息量大的特征進行特征抑制并過濾，進而排除多余特征信息的干擾。其中特征抑制向量取決于重要性因子b，當(dāng)b為中的最大值時，抑制因子S=1-b，反之S=1，表示抑制程度參數(shù)。特征抑制輸出為

1.3 特征互補融合模塊

由于局部增強特征來自于MFB，具有多尺度信息，所以局部增強特征之間的信息存在細微差異。因此，本文算法采用FCFM對不同的局部增強特征進行信息互補，通過聚合不同局部增強特征之間的互補信息對局部特征進行細化。FCFM的結(jié)構(gòu)如圖3所示。

圖3 特征互補融合塊

FCFM通過對局部增強特征間的相似度矩陣進行反運算，獲取局部增強特征間的互補信息矩陣。隨后，利用互補信息矩陣對不同的局部增強特征進行信息互補融合。局部增強特征間的相似度矩陣為

其中，(,)=T，X與X分別為不同尺度的局部增強特征；為局部增強特征間的相似度矩陣，互補信息矩陣為-。相似度矩陣中元素相似性越高，局部增強特征間的互補信息越弱。

最后，通過對不同局部增強特征的互補信息進行聚合，從而獲取局部特征輸出為

其中，為融合參數(shù)，取值為0.5；Y為不同局部增強特征的互補信息。

1.4 算法整體框架

特征自適應(yīng)過濾的視網(wǎng)膜病變分級算法主要由MFB，AFFB和FCFM組成。該算法通過MFB與AFFB對視網(wǎng)膜病變圖像進行逐級處理，迫使網(wǎng)絡(luò)模型持續(xù)挖掘視網(wǎng)膜病變圖像的潛在細粒度特征。然后，使用FCFM對局部增強特征進行信息互補，并對局部增強特征的互補信息進行聚合。最后，利用組合損失函數(shù)對分級模型進行訓(xùn)練。本文算法結(jié)構(gòu)如圖4所示。

圖4 算法整體框架

2 損失函數(shù)

該算法采用焦點(Focal)損失函數(shù)用于緩解視網(wǎng)膜病變圖像樣本不均衡對DR分級性能造成的影響，并結(jié)合細粒度分類損失函數(shù)(mutual channel，MC)輔助DR分級模型充分學(xué)習(xí)視網(wǎng)膜病變圖像中的細粒度特征。

Focal損失函數(shù)主要通過加權(quán)誤差調(diào)制指數(shù)來重塑交叉熵，以減輕樣本不均衡對模型的影響，即

其中，為加權(quán)誤差調(diào)制系數(shù)；p為標(biāo)簽預(yù)測概率。

MC損失函數(shù)主用于輔助網(wǎng)絡(luò)模型學(xué)習(xí)細粒度特征，其由差異性分支(dis)與多樣性分支(div)加權(quán)組成，即

其中，為特征圖；為加權(quán)值，取值為10。

差異性分支由通道注意(channel-wise attention，CWA)、跨通道最大池化(cross-channel max pooling，CCMP)、GAP和Softmax層構(gòu)成。其中CWA用于捕獲特征通道中的差異特征信息，CCMP用于計算特征通道上的最大類別響應(yīng)，并對通道維度和空間維度進行降維。多樣性分支由Softmax層、CCMP、Sum和Average構(gòu)成，用于計算不同類別特征通道之間的相似度，及同時獲取不同感興趣區(qū)域。細粒度分類損失的結(jié)構(gòu)如圖5所示。

圖5 細粒度分類損失結(jié)構(gòu)圖

為提高MFB的特征提取能力，本文算法的總損失中還引入了不同尺度過濾分支的分類損失，即

3 數(shù)據(jù)集及其預(yù)處理

3.1 數(shù)據(jù)集來源

本文所使用的IDRiD[12]數(shù)據(jù)集來源于2018年舉行的IEEE生物醫(yī)學(xué)圖像國際研討會，其中包括516張眼底圖像，分辨率為4288×4288。該數(shù)據(jù)集根據(jù)國際臨床DR嚴(yán)重程度標(biāo)準(zhǔn)，將視網(wǎng)膜圖像分為5類，如圖6所示。該數(shù)據(jù)集的樣本分布見表1。

3.2 數(shù)據(jù)預(yù)處理

由于視網(wǎng)膜病變圖像的背景區(qū)域與病變區(qū)域?qū)Ρ炔幻黠@，故先采用高斯平滑對視網(wǎng)膜病變圖像進行預(yù)處理，再與原圖(G)進行加權(quán)融合，進而提高視網(wǎng)膜病變圖像的對比度，并減少其他背景的干擾，即

其中，=4，=-4，=128；*為濾波操作；G為二維高斯核；I為經(jīng)過加權(quán)融合后的圖像。預(yù)處理前后對比結(jié)果如圖7所示。

圖6 糖尿病視網(wǎng)膜病變類型((a)健康；(b)輕度非增殖性；(c)中度非增殖性；(d)重度非增殖性；(e)增殖性)

表1 IDRiD數(shù)據(jù)樣本分布

圖7 預(yù)處理對比結(jié)果((a)出血；(b)滲出物)

此外，本文針對IDRiD數(shù)據(jù)集的樣本總量較小的問題，采用了隨機水平和垂直翻轉(zhuǎn)、隨機旋轉(zhuǎn)與色彩抖動等數(shù)據(jù)增強方式對IDRiD數(shù)據(jù)集進行數(shù)據(jù)增強。

4 實驗與討論

本文所有的實驗均在Ubuntu16.04操作系統(tǒng)進行，基于Pytorch1.5框架建模，仿真平臺為pycharm。計算機配置為Nvidia GeFore GTX2070 GPU，Intel Core TM i7-6700H CPU，16 G內(nèi)存。本文訓(xùn)練集包含413張視網(wǎng)膜病變圖像，測試集采用103張視網(wǎng)膜病變圖，訓(xùn)練批次為5，學(xué)習(xí)率為0.002。

4.1 實驗定性分析

4.1.1 混淆矩陣

為分析本文算法與其他DR分級算法在IDRiD數(shù)據(jù)集上的預(yù)測性能，圖8給出了本文算法與其他算法的混淆矩陣。圖8(a)和(b)分別來源于文獻[2]和文獻[13]；圖8(c)采用文獻[10]的方法對IDRiD數(shù)據(jù)集進行訓(xùn)練后的預(yù)測結(jié)果，其訓(xùn)練參數(shù)與本文算法保持一致；圖8(d)為本文算法的預(yù)測結(jié)果。

分析圖8可知，本文算法的混淆矩陣對角線樣本分布更為集中，且大多數(shù)誤分樣本均被分成相鄰類，而其他3種算法的混淆矩陣中部分樣本被錯分為其他類的情況嚴(yán)重。如果在實際臨床中發(fā)生上述嚴(yán)重錯分情況，則會出現(xiàn)誤診，導(dǎo)致患者錯過最佳治療時間。

通過對比本文算法與其他DR分級算法發(fā)現(xiàn)，本文算法對早中期的視網(wǎng)膜病變預(yù)測效果更明顯。其中對于視網(wǎng)膜病變等級為1，2以及3的樣本，不僅正確預(yù)測結(jié)果增多，還使得誤分類數(shù)據(jù)樣本越靠近主對角線位置區(qū)域。

由于IDRiD數(shù)據(jù)集測試樣本偏少，為防止本文算法在IDRiD數(shù)據(jù)集上的實驗結(jié)果出現(xiàn)隨機性。于是在APTOS2019數(shù)據(jù)集上進行了增強對比實驗，用于檢驗本文算法在IDRiD數(shù)據(jù)集上的預(yù)測結(jié)果。實驗采用ResNet-50網(wǎng)絡(luò)、文獻[10]及本文3種模型均在APTOS2019數(shù)據(jù)集上進行訓(xùn)練并測試，且前兩種模型訓(xùn)練參數(shù)設(shè)置與本文算法保持一致。

圖8 混淆矩陣((a)文獻[2]；(b)文獻[13]；(c)文獻[10]；(d)本文算法)

在APTOS2019數(shù)據(jù)集上的混淆矩陣對比結(jié)果如圖9所示。其中，ResNet-50網(wǎng)絡(luò)與文獻[10]的預(yù)測樣本分布較為散亂，且對應(yīng)樣本誤分為其他類別的情況較嚴(yán)重。此外，其對角線上的樣本總量較少，預(yù)測結(jié)果不理想。而本文算法的預(yù)測效果好于ResNet-50和文獻[10]所對應(yīng)的分級模型，尤其對早中期視網(wǎng)膜病變圖像的預(yù)測上，具有明顯的優(yōu)勢。

此外，本文算法模型的混淆矩陣中誤分類樣本主要為相鄰類，而不是誤分為其他類，與在IDRiD數(shù)據(jù)集上的混淆矩陣可視化結(jié)果類似，進而驗證了本文算法在IDRiD數(shù)據(jù)集上的結(jié)果的可靠性。

4.1.2 熱力圖

(1) 可視化局部增強特征。為分析MFB與AFFB逐級挖掘視網(wǎng)膜病變圖像局部特征的過程。圖10給出了IDRiD數(shù)據(jù)集中健康、輕度非增殖、中度非增殖、重度非增殖與增殖性5種視網(wǎng)膜病變圖像在不同Stage階段的特征可視化結(jié)果。其中Stage1階段的輸出特征主要為視網(wǎng)膜病變圖像的淺層特征，該階段靠近模型的輸入端，特征提取能力有限。

隨著模型逐級加深，視網(wǎng)膜病變圖像的局部細節(jié)區(qū)域逐漸被關(guān)注。由輕度非增殖病變與重度非增殖病變的Stage2階段所對應(yīng)的特征可視化結(jié)果可看出，模型的下一階段特征輸出更關(guān)注于視網(wǎng)膜病變圖像的病變區(qū)域。不同Stage階段的特征可視化結(jié)果證明MFB以及AFFB能充分挖掘視網(wǎng)膜病變圖像的局部細節(jié)特征并豐富視網(wǎng)膜病變圖像的細粒度特征。

圖9 增強對比實驗((a) ResNet-50網(wǎng)絡(luò)；(b)文獻[10]；(c)本文算法)

圖10 可視化結(jié)果((a)健康；(b)輕度非增殖性；(c)中度非增殖性；(d)重度非增殖性；(e)增殖性)

(2) 可視化預(yù)測結(jié)果。本文算法與ResNet-50網(wǎng)絡(luò)模型在IDRiD數(shù)據(jù)集上的預(yù)測結(jié)果如圖11所示。由于僅依靠ResNet-50網(wǎng)絡(luò)模型提取視網(wǎng)膜病變圖像特征的方式簡單，模型未能充分學(xué)習(xí)視網(wǎng)膜病變圖像的細粒度特征信息，進而導(dǎo)致模型的分級預(yù)測結(jié)果較差。而本文算法通過MFB與AFFM逐級挖掘視網(wǎng)膜病變圖像的潛在細粒度特征，能使模型高效地區(qū)分視網(wǎng)膜病變圖像的病變區(qū)域，提高分級模型的預(yù)測能力。

4.2 實驗定量分析

4.2.1 評價指標(biāo)

本文采用敏感性(sensitivity，Sen)、特異性(specificity，Spe)、準(zhǔn)確率(accuracy，Acc)和加權(quán)Kappa系數(shù)(quadratic weighted kappa，QWK)對分級模型的性能進行評估，即

其中，TP，F(xiàn)P，F(xiàn)N和TN分別為真陽性、假陽性、假陰性、真陰性的樣本數(shù)量。

加權(quán)Kappa系數(shù)為模型的一致性度量，加權(quán)Kappa系數(shù)越大，模型的一致性越高，即

其中，為總類別數(shù)；W,j為第類與類的懲罰權(quán)重；Q,j為第類判別為類的數(shù)量；E,j為第類的總數(shù)×第類的總數(shù)/總數(shù)。

圖11 預(yù)測對比結(jié)果((a)原圖；(b) ResNet-50；(c) Ours)

4.2.2 與其他DR分級算法的對比

表2為本文算法與其他分級算法在IDRiD數(shù)據(jù)集上的實驗對比，其他算法的對比結(jié)果分別來源于對應(yīng)參考文獻。SIRAJUDEEN和EZHILARASI[14]采用的LBP算子雖然特征維度低，計算速度快，但亮度不均衡的視網(wǎng)膜病變圖像會影響LBP算子學(xué)習(xí)視網(wǎng)膜病變圖像的真實紋理特征。QIAO等[15]則采用Gabor濾波器提取視網(wǎng)膜病變圖像的紋理特征，再結(jié)合支持向量機(support vector machine，SVM)分類器對視網(wǎng)膜病變圖像進行分級預(yù)測。其中Gabor濾波器雖然對于圖像的亮度和對比度變化以及圖像姿態(tài)變化具有較強的魯棒性，但模型的分級性能仍與本文算法有一定差距。BHARDWAJ等[16]利用深度神經(jīng)網(wǎng)絡(luò)從眼底圖像中提取特征，并與機器學(xué)習(xí)方法進行結(jié)合，雖然分級性能有很大進步但依然低于本文算法。WU等[17]先利用粗網(wǎng)絡(luò)判定眼底圖像中是否存在病變，然后再利用細網(wǎng)絡(luò)對粗網(wǎng)絡(luò)的預(yù)測結(jié)果進行分級預(yù)測，雖然在一定程度上解決了正常樣本與患病樣本之間的分布不均衡，但分級效果與本文算法仍有一定差距。

此外，本文算法還對不同分級模型在IDRiD數(shù)據(jù)集上的一致性度量進行了對比，結(jié)果由表3可知，本文算法的模型一致性度量較好且優(yōu)于現(xiàn)有DR分級算法。

表2 不同DR分級算法對比結(jié)果

注：加粗數(shù)據(jù)為最優(yōu)值

表3 一致性度量對比

注：加粗數(shù)據(jù)為最優(yōu)值

4.2.3 消融實驗

為驗證本文算法模型的組合損失函數(shù)以及模型各組件的有效性，在IDRiD數(shù)據(jù)集上對本文算法進行了消融實驗與分析。消融實驗主要分為組合損失函數(shù)和模型組件2部分。

(1) 組合損失函數(shù)。不同損失函數(shù)對DR分級性能的影響結(jié)果由表4可知，使用MC損失函數(shù)輔助優(yōu)化后的分級算法與僅采用交叉熵損失(cross entropy，CE)或Focal損失函數(shù)的算法相比，前者的分級性能具有明顯優(yōu)勢，證明MC損失函數(shù)能有效輔助模型獲取視網(wǎng)膜病變圖像的細粒度特征信息。此外，采用Focal損失函數(shù)的分級算法與采用CE損失函數(shù)的分級算法相比，前者的加權(quán)Kappa比后者高出2.25%，由此說明Focal損失函數(shù)對提升視網(wǎng)膜病變分級模型的一致性度量有明顯效果。

注：加粗數(shù)據(jù)為最優(yōu)值

(2) 模型組件。表5給出了分級模型不同組件的消融實驗結(jié)果。由表5可知，去掉AFFB的分級模型由于缺少自適應(yīng)特征過濾，MFB逐級挖掘細節(jié)特征的能力減弱，分級效率降低；去掉FCFM的模型輸出僅由不同尺度的局部增強特征直接相加，導(dǎo)致局部增強特征的互補信息缺失，進而降低了模型的分級性能；采用CE損失函數(shù)替代組合損失函數(shù)的模型，由于DR樣本分布不均衡以及細粒度特征不易識別的影響，模型的分級性能同樣有所下滑。

表5 消融對比實驗(%)

注：加粗數(shù)據(jù)為最優(yōu)值

綜上，本文算法所采用的AFFB，F(xiàn)CFM以及組合損失函數(shù)對提升視網(wǎng)膜病變分級性能有明顯效果。

5 結(jié)束語

本文針對視網(wǎng)膜病變圖像特征識別困難以及病變分級效率不高等問題，提出一種特征自適應(yīng)過濾的視網(wǎng)膜病變分級算法。首先，該算法采用逐級特征提取的方式對視網(wǎng)膜病變圖像進行處理，以獲取視網(wǎng)膜圖像不同尺度的局部特征信息。然后，采用AFFB與FCFM增強視網(wǎng)膜病變圖像的局部特征信息。最后，使用組合損失函數(shù)對視網(wǎng)膜病變分級模型進行優(yōu)化訓(xùn)練。實驗結(jié)果表明，該算法能有效定位視網(wǎng)膜病變圖像的病變區(qū)域并提高分級效率。但由模型的預(yù)測結(jié)果可知，DR后期的分級準(zhǔn)確率還有較大提升的空間。

[1] OGURTSOVA K, GUARIGUATA L, BARENGO N C, et al. IDF diabetes Atlas: global estimates of undiagnosed diabetes in adults for 2021[J]. Diabetes Research and Clinical Practice, 2022, 183: 109118.

[2] SHI L, ZHANG J X. Few-shot learning based on multi-stage transfer and class-balanced loss for diabetic retinopathy grading[EB/OL]. [2022-01-28]. https://arxiv.org/abs/2109.11806.

[3] 謝云霞, 黃海于, 胡建斌. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的糖尿病視網(wǎng)膜病變分期及病灶檢測[J]. 計算機應(yīng)用, 2020, 40(8): 2460-2464.

XIE Y X, HUANG H Y, HU J B. Staging and lesion detection of diabetic retinopathy based on deep convolution neural network[J]. Journal of Computer Applications, 2020, 40(8): 2460-2464 (in Chinese).

[4] 顧婷菲, 郝鵬翼, 白琮, 等. 結(jié)合多通道注意力的糖尿病性視網(wǎng)膜病變分級[J]. 中國圖象圖形學(xué)報, 2021, 26(7): 1726-1736.

GU T F, HAO P Y, BAI C, et al. Grading of diabetic retinopathy combined with multi-channel attention [J]. Chinese Journal of Image Graphics, 2021, 26(7): 1726-1736 (in Chinese).

[5] 張文軒, 吳秦. 基于多分支注意力增強的細粒度圖像分類[J]. 計算機科學(xué), 2022, 49(5): 105-112.

ZHANG W X, WU Q. Fine-grained image classification based on multi-branch attention-augmentation[J]. Computer Science, 2022, 49(5): 105-112 (in Chinese).

[6] DU R Y, CHANG D L, BHUNIA A K, et al. Fine-grained visual classification via progressive multi-granularity training of jigsaw patches[M]//Computer Vision - ECCV 2020. Cham: Springer International Publishing, 2020: 153-168.

[7] CHANG D L, DING Y F, XIE J Y, et al. The devil is in the channels: mutual-channel loss for fine-grained image classification[J]. IEEE Transactions on Image Processing, 2020, 29: 4683-4695.

[8] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2999-3007.

[9] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[10] SONG J W, YANG R Y. Feature boosting, suppression, and diversification for fine-grained visual classification[C]//2021 International Joint Conference on Neural Networks. New York: IEEE Press, 2021: 1-8.

[11] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[12] PORWAL P, PACHADE S, KAMBLE R, et al. Indian diabetic retinopathy image dataset (IDRiD): a database for diabetic retinopathy screening research[J]. Data, 2018, 3(3): 25.

[13] LUO L, XUE D Y, FENG X L. Automatic diabetic retinopathy grading via self-knowledge distillation[J]. Electronics, 2020, 9(9): 1337.

[14] SIRAJUDEEN A, EZHILARASI M. Multi-scale LBP and SVM classification to identify diabetic retinopathy in lesions[J]. Current Medical Imaging Reviews, 2015, 11(1): 49-55.

[15] QIAO L, ZHU Y, ZHOU H. Diabetic retinopathy detection using lesions[J]. Current Medical Imaging Reviews, 2015, 11(1): 49-55.

[16] BHARDWAJ C, JAIN S, SOOD M. Transfer learning based robust automatic detection system for diabetic retinopathy grading[J]. Neural Computing and Applications, 2021, 33(20): 13999-14019.

[17] WU Z, SHI G L, CHEN Y, et al. Coarse-to-fine classification for diabetic retinopathy grading using convolutional neural network[J]. Artificial Intelligence in Medicine, 2020, 108: 101936.

[18] LIN T Y, ROYCHOWDHURY A, MAJI S. Bilinear CNN models for fine-grained visual recognition[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 1449-1457.

[19] YU C J, ZHAO X Y, ZHENG Q, et al. Hierarchical bilinear pooling for fine-grained visual recognition[M]//Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018: 595-610.

[20] WANG Y M, MORARIU V I, DAVIS L S. Learning a discriminative filter bank within a CNN for fine-grained recognition[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4148-4157.

[21] PORWAL P, PACHADE S, KOKARE M, et al. IDRiD: diabetic retinopathy - segmentation and grading challenge[J]. Medical Image Analysis, 2020, 59: 101561.

[22] ARAúJO T, ARESTA G, MENDON?A L, et al. DR|GRADUATE: uncertainty-aware deep learning-based diabetic retinopathy grading in eye fundus images[J]. Medical Image Analysis, 2020, 63: 101715.

Feature-adaptive filtering for retinopathy grading

LIANG Li-ming, LEI Kun, ZHAN Tao, ZHOU Long-song

(School of Electrical Engineering and Automation, Jiangxi University of Science and Technology, Ganzhou Jiangxi 341000, China)

To address the difficulty in recognizing features of retinopathy images and the low efficiency of disease grading, a retinopathy grading algorithm based on feature adaptive filtering was proposed. Firstly, the algorithm used the multi-scale filtering branches (MFB) constructed by the ResNet-50 network to extract features of retinopathy images step by step. Secondly, cascade adaptive feature filter blocks (AFFB) was adopted after filtering branches of different scales to perform feature enhancement and filtering on retinopathy images. Then, the feature complementary fusion module (FCFM) was utilized to complement the multiple local enhancement features after feature filtering, and enrich the local details of the retinopathy image by aggregating the complementary information of the local enhancement features. Hierarchical models with different local feature information were trained and experiments were performed on the IDRiD dataset. The experimental results show that the accuracy of the proposed grading algorithm was 80.58%, the weighted kappa coefficient 88.70%, the specificity 94.20%, and the sensitivity 94.10%. The algorithm could effectively identify the subtle lesions in retinopathy images and improve the grading efficiency.

retinopathy; lesion grading; adaption; feature filtering; multi-scale features

TP 391

10.11996/JG.j.2095-302X.2022050815

A

2095-302X(2022)05-0815-10

2022-03-16；

2022-06-15

16 March，2022；

15June，2022

國家自然科學(xué)基金項目(51365017，6146301)；江西省自然科學(xué)基金(20192BAB205084)；江西省教育廳科學(xué)技術(shù)研究重點項目(GJJ170491)

National Natural Science Foundation of China (51365017，6146301);Natural Science Foundation of Jiangxi Province (20192BAB205084); Key Project of Science and Technology Research of Jiangxi Provincial Department of Education (GJJ170491)

梁禮明(1967–)，男，教授，碩士。主要研究方向為醫(yī)學(xué)圖像處理、計算機視覺等。E-mail：9119890012@jxust.edu.cn

LIANG Li-ming (1967-), professor, master. Hismain research interests cover medical image processing, computer vision, etc. E-mail：9119890012@jxust.edu.cn