融合可解釋性特征的糖尿病視網(wǎng)膜病變自動診斷

蔣杰偉，雷舒陶，耿苗苗，鞏稼民,，朱澤昊，張運(yùn)生，劉芳，吳藝杰，王育文，李中文

1.西安郵電大學(xué)電子工程學(xué)院，陜西西安 710121；2.西安郵電大學(xué)通信與信息工程學(xué)院，陜西西安 710121；3.溫州醫(yī)科大學(xué)寧波市眼科醫(yī)院，浙江寧波 315000

前言

據(jù)國際糖尿病聯(lián)盟的統(tǒng)計(jì)數(shù)據(jù)顯示2019年全球糖尿病患者數(shù)量約為4.63 億人［1］。2020年中國糖尿病患者數(shù)量也已達(dá)到1.298億人［2］。糖尿病患者血液中的高血糖濃度會導(dǎo)致視網(wǎng)膜血管的滲透性發(fā)生變化，進(jìn)而演變?yōu)樘悄虿∫暰W(wǎng)膜病變（Diabetic Retinopathy, DR），預(yù)計(jì)1/3 的糖尿病患者會引發(fā)DR［3-4］。傳統(tǒng)診斷需要經(jīng)驗(yàn)豐富的眼科醫(yī)生才能得到可靠的結(jié)果，診斷效率較低并且存在主觀差異性。使用以深度學(xué)習(xí)為代表的計(jì)算機(jī)視覺技術(shù)進(jìn)行DR輔助篩查可以減輕眼科醫(yī)生的工作量并提高工作效率，緩解眼科醫(yī)生數(shù)量不足的現(xiàn)狀。

深度學(xué)習(xí)技術(shù)與醫(yī)學(xué)圖像處理的結(jié)合已經(jīng)有了顯著的成果，在彩色眼底圖像DR 自動診斷方面也有很好的表現(xiàn)，其中集成學(xué)習(xí)的方法被廣泛應(yīng)用［5-6］。Abidalkareem 等［5］通過限制超參數(shù)范圍的方式生成多個(gè)結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN），最后集成10 個(gè)不同CNN 進(jìn)行DR病變程度分級診斷，原始數(shù)據(jù)集經(jīng)圖像增強(qiáng)算法擴(kuò)大到20 000 張訓(xùn)練圖像，該集成方法取得了93.2%的診斷準(zhǔn)確率。Gadekallu 等［7］先將DR 數(shù)據(jù)標(biāo)準(zhǔn)化并使用PCA 減少冗余信息，再通過GWO 算法選擇DNN 網(wǎng)絡(luò)最佳超參數(shù)，相對于傳統(tǒng)機(jī)器學(xué)習(xí)分類器有更好的診斷表現(xiàn)。Al-Turk 等［8］結(jié)合U-Net 和CNN識別DR 病理特征，采用基于特征的方法實(shí)現(xiàn)多種分級標(biāo)準(zhǔn)下的DR 診斷任務(wù)，訓(xùn)練集共有60 000 張圖像，該方法最高Kappa 系數(shù)為85.7%。Elswah 等［9］使用線性核函數(shù)的支持向量機(jī)（Support Vector Machine, SVM）對CNN 網(wǎng)絡(luò)提取的特征進(jìn)行分類，數(shù)據(jù)集共有516 張圖像，最終診斷準(zhǔn)確率為86.67%。He 等［10］在CABNet 模型中提出類別注意模塊解決類別間數(shù)據(jù)分布不均衡問題和全局注意模塊捕獲微小DR 病變信息，由此提高模型診斷性能，訓(xùn)練集共包含13 673 張圖像，提出的方法在Messidor 數(shù)據(jù)集上取得了93.1%的診斷準(zhǔn)確率。Hemanth 等［11］用直方圖均衡和自適應(yīng)直方圖均衡的方法處理彩色眼底圖像，有利于模型分類性能的提升。Hemalakshmi等［12］使用MS-DRLBP 方法對預(yù)處理后的眼底圖像進(jìn)行邊緣特征和紋理特征的提取并融合圖像的均值方差等特征，最后使用徑向基核函數(shù)（Radial Basis Function, RBF）網(wǎng)絡(luò)分類。Zhou 等［13］公開了文章中使用的數(shù)據(jù)集FGADR，共包含2 842 張圖像，在分類任務(wù)中通過多尺度遷移連接MTC的方式整合分割網(wǎng)絡(luò)中的特征，并使用DSAA模塊減小分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)特征的差異，增強(qiáng)分類模型提取特征的能力，最終DR 診斷準(zhǔn)確率為86.03%。Holmberg 等［14］使用不同的醫(yī)學(xué)模態(tài)圖像訓(xùn)練CNN 網(wǎng)絡(luò)，再將模型參數(shù)遷移到DR 分級任務(wù)，論證了ResNet50 模型在9 790 張不同模態(tài)圖像下可達(dá)到35 124 張單模態(tài)圖像的分類性能，其最高Kappa得分為79.1%。

前人對DR 檢測所作的大量的工作中，高性能的DR 檢測模型均需要依靠足夠多且圖像質(zhì)量高的訓(xùn)練數(shù)據(jù)集，但是在實(shí)際中較難得到大量由專業(yè)眼科醫(yī)生標(biāo)注的高質(zhì)量DR 眼底圖像，針對質(zhì)量參差不齊的小樣本DR 眼底圖像，自動診斷算法具有很高的應(yīng)用價(jià)值但也是不小的挑戰(zhàn)。

1 方法

本文收集的眼底數(shù)據(jù)集來自多個(gè)社區(qū)醫(yī)院，數(shù)據(jù)量偏少，由于醫(yī)生的從業(yè)經(jīng)驗(yàn)和操作規(guī)范性有差異，導(dǎo)致獲取的眼底圖像質(zhì)量有差別。如圖1 所示，部分圖像存在著不同程度的模糊或曝光不充分問題。針對這些問題，本文提出一種融合模型可解釋性特征的集成學(xué)習(xí)方法，利用CNN 模型的可解釋性技術(shù)在原始圖像上生成病灶區(qū)域（微動脈血管瘤、出血、軟滲出、硬滲出）或血管標(biāo)記的可解釋圖像，融合生成圖像和原始圖像的特征，以此提高DR 診斷的準(zhǔn)確性。

圖1 彩色眼底圖像示例Figure 1 Examples of color fundus images

本文提出的融合可解釋性特征的DR 自動診斷網(wǎng)絡(luò)如圖2 所示，主要由3 部分組成：可解釋性圖像生成、特征提取和融合、自動分類?？山忉屝詧D像生成：首先使用原始數(shù)據(jù)集訓(xùn)練基礎(chǔ)CNN-Basic 網(wǎng)絡(luò)，再使用導(dǎo)向梯度加權(quán)類激活映射圖（Guided Grad-CAM,GC）［15］和顯著圖（Saliency Map,SM）［16］方法生成具有可解釋性特征的SM 數(shù)據(jù)集和GC 數(shù)據(jù)集，最后利用這兩個(gè)生成的數(shù)據(jù)集訓(xùn)練CNN-SM 和CNNGC 模型，其中3 個(gè)CNN 都是帶有遷移學(xué)習(xí)的ResNet50 模型［17］。特征提取和融合：首先去除訓(xùn)練好的CNN-Basic、CNN-SM、CNN-GC 模型的全連接層，提取最后一層卷積的輸出特征圖，再使用全局平均池化（Global Average Pooling,GAP）將特征圖變成特征向量，最后線性串聯(lián)以融合3個(gè)模型提取的特征向量。自動分類：本文使用線性核函數(shù)SVM 作為融合特征的DR 分類器［18］。SVM 是一種廣泛使用的二分類監(jiān)督學(xué)習(xí)模型，求解能以最大幾何間隔劃分樣本類別的超平面。相比于RBF 核函數(shù)，線性核函數(shù)SVM 不需要尋優(yōu)、效率高，且能更好地處理高維向量，本文中3 個(gè)特征融合后的向量維度為6 144×1，線性核函數(shù)更適于融合后的DR 特征，同時(shí)本文也對比了線性和RBF核函數(shù)的性能差異。

圖2 融合可解釋性特征的DR自動診斷網(wǎng)絡(luò)框架圖Figure 2 Diabeticretinopathy automatic diagnosis network framework diagram after interpretable features fusion

1.1 DR可解釋性圖像的生成

基于兩種主流的解釋性模型GC 和SM，從分類輸出回推到輸入的圖像，在輸入圖像上標(biāo)注出與分類結(jié)果相關(guān)的病灶（微動脈血管瘤、出血、硬滲出、軟滲出）區(qū)域或血管，即自動標(biāo)注出模型分類的判別依據(jù)，GC和SM均能在像素級別給出合理的解釋。

GC是結(jié)合梯度加權(quán)類激活映射（Gradient-weighted Class Activation Mapping,Grad-CAM）和導(dǎo)向反向傳播［19］（Guided Backpropagation,GB）優(yōu)點(diǎn)的一種可解釋性生成方法，Grad-CAM的特征映射圖是指定類別的特征區(qū)域，GB可以在像素級別表示所有類別的判別特征，Grad-CAM和GB從不同側(cè)面給出了診斷相關(guān)聯(lián)的特征區(qū)域。GC的核心思想是通過權(quán)重疊加CNN網(wǎng)絡(luò)最后一層卷積的輸出特征圖生成可解釋性圖像，第p張?zhí)卣鲌DRp的權(quán)重rip求解如式（1）所示：

其中，S表示特征圖Rp的總像素點(diǎn)個(gè)數(shù)，vi表示第i個(gè)類別得分，Rpxy表示Rp的第xy像素點(diǎn)的值，通過反向傳播求得，再使用全局平局池化求得rpi。根據(jù)加權(quán)系數(shù)疊加所有的特征圖，計(jì)算過程如式（2）所示：

通過修正線性函數(shù)（The Rectified Linear Unit,ReLU）僅保留特征圖中值為正的分量，小于零的分量對分類判別沒有貢獻(xiàn)，從而保留對第i類有貢獻(xiàn)的像素值，即模型判別的依據(jù)。通過插值的方法將gi擴(kuò)展到與輸入圖像相同的尺寸，再與GB 圖像對應(yīng)點(diǎn)相乘得到類激活映射圖，最后把類激活映射圖與原圖像疊加生成GC。

SM 方法是根據(jù)類別得分通過反向傳播得到輸入圖像的梯度，用輸入圖像的梯度值表示對應(yīng)像素點(diǎn)在分類判別中的貢獻(xiàn)。具體地，假設(shè)在分類任務(wù)中第t個(gè)分類的得分和輸入圖像X的映射關(guān)系為Pt(X)，在復(fù)雜的CNN 網(wǎng)絡(luò)中Pt(X)是非線性的映射關(guān)系，為了方便，把Pt(X)作一階泰勒展開得到式（3）：

將圖像X變換成一維向量，則權(quán)重向量ωT的值表示像素點(diǎn)對分類得分的重要性，對于輸入圖像X0，將式（3）對X求導(dǎo)可得：

通過式（4）可得圖像X0的每個(gè)像素點(diǎn)對分類貢獻(xiàn)的大小，利用反向傳播算法可得到ω。將輸入圖像的梯度與對應(yīng)的原始圖像疊加即得到SM。

1.2 DR特征融合

CNN 在圖像特征提取方面具有較強(qiáng)的性能，它使用多層卷積，每個(gè)卷積層由多個(gè)不同的卷積核組成，不同的卷積核從不同側(cè)面提取與輸入圖像相關(guān)的特征，通過滑動窗口方式感受輸入圖像的局部特征。卷積層之后的池化層能有效降低特征冗余和模型計(jì)算量，進(jìn)一步使用非線性激活函數(shù)以擬合復(fù)雜的規(guī)律。經(jīng)過多層的特征提取將輸入圖像轉(zhuǎn)化為特征圖，有效表達(dá)輸入圖像蘊(yùn)含的信息，從而CNN把圖像抽象特征轉(zhuǎn)化為可供機(jī)器計(jì)算的數(shù)字化特征。特征提取流程如圖2b 所示，首先將原始圖像、GC 圖像和SM圖像縮小到224×224，送入ResNet50，去除模型的全連接層，提取輸入圖像的特征圖，ResNet50 輸出特征圖的尺寸為2 048×7×7，然后使用7×7 的GAP 把輸出特征圖轉(zhuǎn)化為2 048×1 維的特征向量，最后將3個(gè)網(wǎng)絡(luò)提取的特征向量通過線性融合的方式，得到6 144×1維的特征向量。

2 結(jié)果與分析

2.1 數(shù)據(jù)集

本文使用的彩色眼底圖像來自于寧波市鄞州區(qū)多個(gè)社區(qū)醫(yī)院，由溫州醫(yī)科大學(xué)寧波市眼科醫(yī)院從業(yè)6年以上的3 位高年資眼科醫(yī)生標(biāo)注。數(shù)據(jù)集總共包括1 443 張彩色眼底圖像，其中正常眼底圖像873 張，621 張作為訓(xùn)練圖像，252 張作為測試圖像，DR 圖像570 張，432 張作為訓(xùn)練圖像，138 張作為測試圖像，訓(xùn)練集總共1 053 張圖像，測試集總共390 張圖像。在模型訓(xùn)練之前對訓(xùn)練圖像作隨機(jī)水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和旋轉(zhuǎn)操作，以擴(kuò)增訓(xùn)練集。

2.2 實(shí)驗(yàn)配置

實(shí)驗(yàn)環(huán)境配置為：Ubuntu16.04 LTS，8 塊Nvidia GeForce RTX 2080 Ti GPU，Nvidia Driver 418.87.00，CUDA 10.1，CUDNN 7.6.4，Pytorch 1.6.0，Python 3.7.9。訓(xùn)練過程的參數(shù)如下：3 個(gè)CNN 網(wǎng)絡(luò)都基于ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練模型［20］，總迭代次數(shù)為160次，batch size 為64，動量為0.9，使用動態(tài)學(xué)習(xí)率，初始學(xué)習(xí)率為0.001，每迭代40 次，學(xué)習(xí)率降為原來的1/10，優(yōu)化目標(biāo)函數(shù)為交叉熵?fù)p失函數(shù)。

2.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果的性能評價(jià)指標(biāo)為精度（Precision）、特異性（Specificity）、靈敏性（Sensitivity）、準(zhǔn)確率（Accuracy）和Kappa 系數(shù)，計(jì)算方法如式（5）～式（10）所示。其中，真陽性（True Positive,TP）：表示分類標(biāo)簽為DR 且分類結(jié)果是DR 的樣本；假陽性（False Positive,FP）：分類標(biāo)簽為正常但分類結(jié)果為DR的樣本；真陰性（True Negative, TN）：分類標(biāo)簽為正常且分類結(jié)果為正常的樣本；假陰性（False Negative,FN）：分類標(biāo)簽為DR 但分類結(jié)果為正常的樣本。N是測試集的總樣本數(shù)。

經(jīng)過GC和SM 可解釋性方法處理后的眼底圖像如圖3 所示，對于正常類別的眼底圖像，生成了少量輕微的標(biāo)記，生成圖和原始圖像的差異性很小，對于DR 眼底圖像，在病灶區(qū)域生成了表示DR 類別特征的標(biāo)記，被深色標(biāo)記的像素區(qū)域是模型分類判別的依據(jù)，生成圖像和原始圖像存在部分差異，融合可解釋性特征后可為DR診斷提供新的特征。

圖3a為原始圖像，DR圖像右側(cè)的兩張小圖表示的是兩塊不同的出血病灶區(qū)域，由圖3b可以看出，GC方法可以有效地對黃框內(nèi)的病灶生成標(biāo)記，而對藍(lán)框內(nèi)的病灶區(qū)域沒有生成可解釋特征，由圖3c可以看出，SM方法對藍(lán)框內(nèi)的病灶區(qū)域做出了有效標(biāo)記，而黃框內(nèi)的病灶區(qū)域沒有生成可解釋特征。GC方法和SM方法對圖3a中的DR眼底圖像生成了互補(bǔ)的可解釋性特征。相對于原始圖像的特征，3種圖像特征融合后，特征向量包含了互補(bǔ)全面的病灶區(qū)域信息。

圖3 經(jīng)過GC和SM方法處理的眼底圖像示例Figure 3 Examples of fundus images processed by GC or SM

T分布隨機(jī)鄰域嵌入法［21］（T-distributed Stochastic Neighbor Embedding,T-SNE）是一種非線性的流形學(xué)習(xí)法。在特征向量的分布概率保持不變的情況下，可將高維空間中的點(diǎn)映射到低維空間。圖4 是提取的正常和DR特征向量在利用T-SNE降維方法后在二維特征空間中的分布圖，3個(gè)基礎(chǔ)網(wǎng)絡(luò)提取的特征向量在二維空間中的可分性都不強(qiáng)，但它們之間有著不同的分布，結(jié)合3 個(gè)基礎(chǔ)特征向量的差異，融合后的特征向量在二維空間上具有較強(qiáng)的可分性（圖4d）。

圖5a是4種不同模型（CNN-Basic、CNN-GC、CNN-SM、SVM-Linear）的接受者操作特性曲線［22］，其中，CNN-Basic訓(xùn)練集為原始圖像，CNN-GC訓(xùn)練集為GC圖像，CNN-SM訓(xùn)練集為SM圖像，SVM-Linear是融合可解釋性特征后的線性核函數(shù)SVM分類器。

圖4 基于T-SNE的特征向量在二維空間上的可分性比較Figure 4 Comparison of the separability of feature vectors based on T-SNE in two-dimensional space

SVM-Linear具有最大的AUC 值為 0.968， 95% 置信區(qū)間［23］（Confidence Interval, CI）為0.943～0.987。上述4 個(gè)模型的PR 曲線如圖5b 所示，線性核函數(shù)SVM 有最大的PR 曲線下方面積。SVM-Linear 在ROC 曲線和PR 曲線中都有最好的表現(xiàn)，相對基礎(chǔ)CNN-Basic 模型，融合可解釋性特征后的SVM-Linear可大大提升DR診斷的性能。

圖5 基礎(chǔ)模型和特征融合后分類器的性能曲線Figure 5 Performance curve of the classifier in basic model and after features fusion

更詳細(xì)的實(shí)驗(yàn)結(jié)果如表1 所示，其中CNN-Basic表示使用原始圖像作為訓(xùn)練集的ResNet50 網(wǎng)絡(luò)，SVM-Linear 表示融合了可解釋性特征和線性核函數(shù)SVM 的模型，SVM-Linear 在所有的評價(jià)指標(biāo)上都優(yōu)于CNN-Basic 模型，并且其準(zhǔn)確率提高3.6%，精度提高4.6%，特異性提高2.4%，靈敏度提高5.8%，Kappa得分提高7.9%，由此可見融合可解釋性特征的方法可有效地提升DR 診斷的性能。Vote-CNNs 是基于CNN-Basic、CNN-GC 和CNN-SM 的投票集成分類模型，利用3個(gè)基礎(chǔ)模型的分類結(jié)果采用少數(shù)服從多數(shù)的原則。Average-CNNs是使用平均得分的集成分類模型，首先分別取出3個(gè)基礎(chǔ)模型全連接層特征經(jīng)過Softmax 后的輸出概率，再將正常和DR 類別概率分別累加并求均值，最后利用平均后的概率值進(jìn)行分類。相較于CNN-Basic方法，兩種集成學(xué)習(xí)方法在正常類別的判定上具有更好的表現(xiàn)，其特異性提高2.0%，在DR 類別的判別中，診斷性能無明顯提升。此外，相對于基礎(chǔ)CNN-Basic 網(wǎng)絡(luò)，使用RBF 的支持向量機(jī)SVM-RBF 在DR 診斷中特異性提升2.8%、靈敏度提升4.4%。

表1 不同集成方式的分類結(jié)果Table1 Classification results of different ensemble methods

Vote-CNNs 和Average-CNNs 的集成學(xué)習(xí)策略僅將分類結(jié)果進(jìn)行線性組合，無法有機(jī)結(jié)合CNN 提取的特征，而特征對分類結(jié)果的影響較大。本文所提融合可解釋性特征的方法從兩個(gè)角度提高了診斷性能：一是生成的可解釋性圖像提供了病灶的互補(bǔ)信息；二是融合可解釋特征后，特征向量在特征空間中形成了更有利于分類器判別的分布。此外，本文對比了兩種不同核函數(shù)SVM 在糖網(wǎng)診斷上的表現(xiàn)，其中，SVM-RBF 使用網(wǎng)格遍歷尋優(yōu)法確定了最優(yōu)的參數(shù)懲罰因子C值為0.5，核函數(shù)系數(shù)gamma 值為0.001 953。在融合可解釋特征后的高維特征向量（6 144 維）上，線性核函數(shù)SVM-Linear 和非線性核函數(shù)SVM-RBF 在糖網(wǎng)自動診斷上的性能差異較小，但SVM-RBF 的參數(shù)尋優(yōu)需要消耗大量的時(shí)間，SVMLinear 不需要尋優(yōu)，時(shí)間消耗較少，在效率和性能之間進(jìn)行折中，本文最終選擇線性核函數(shù)SVM 為最優(yōu)的模型。

此外進(jìn)一步對模型性能作了評估，將圖2中CNNBasic由ResNet50更改為Densenet121，模型性能參數(shù)如表2所示。相對于基礎(chǔ)模型Densenet121的診斷性能，本文所提出的特征融合方法結(jié)合SVM-Linear和SVMRBF分類器都能提高診斷性能，其中SVM-Linear方法準(zhǔn)確率提高3.4%，靈敏度提高8.7%，Kappa 系數(shù)提高7.7%，精度和特異性也有小幅度提升。SVM-RBF方法與SVM-Linear方法性能接近，準(zhǔn)確率提升3.6%，精度提高2.8%，靈敏度提高8.0%，Kappa系數(shù)提高8.2%，精度指標(biāo)高于SVM-Linear方法。基礎(chǔ)模型ResNet50在數(shù)據(jù)集上的表現(xiàn)優(yōu)于Densenet121，本文所提出的方法對于兩種基礎(chǔ)模型都能帶來診斷性能的提升。

表2 改變CNN-Basic后的分類結(jié)果Table 2 Performance indicators after changing CNN-Basic

3 總結(jié)

本文提出一種融合可解釋性特征的分類器，可有效提升DR 自動診斷的性能。在基于原始圖像訓(xùn)練的ResNet50 基礎(chǔ)網(wǎng)絡(luò)上，使用GC 和SM 可解釋性模型生成有類別特征標(biāo)注的圖像，提供互補(bǔ)的病灶信息，然后融合原始圖像和生成圖像的特征，由分類器實(shí)現(xiàn)DR 自動診斷。相比集成學(xué)習(xí)方法和徑向基核函數(shù)SVM 方法，融合可解釋性特征方法結(jié)合線性核函數(shù)SVM 在DR 診斷上有更好的性能。下一步，我們將改進(jìn)可解釋性方法，以生成更細(xì)致的圖像可解釋性標(biāo)注，尋求更優(yōu)的分類器結(jié)合方式，探究其他不同的特征融合方法以進(jìn)一步提升DR診斷的性能。