融合注意力的ConvNeXt視網(wǎng)膜病變自動(dòng)分級(jí)

黃文博，黃鈺翔，姚遠(yuǎn)，燕楊

（1.長春師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，吉林 長春 130032；2.中國科學(xué)院重大任務(wù)局，北京 100864）

1 引言

視網(wǎng)膜病變會(huì)導(dǎo)致患者視物模糊、視力下降甚至失明［1］，由于缺少自動(dòng)識(shí)別與分級(jí)系統(tǒng)，大量診斷工作主要由專家人工操作，因此基于深度學(xué)習(xí)方法的視網(wǎng)膜病變自動(dòng)識(shí)別與分級(jí)成為研究熱點(diǎn)［2］。

國內(nèi)外學(xué)者對(duì)視網(wǎng)膜病變自動(dòng)分級(jí)方法展開了較為深入的研究。Xu等［3］采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）將視網(wǎng)膜病變圖像分類。Jiang等［4］通過預(yù)訓(xùn)練3個(gè)不同的CNN網(wǎng)絡(luò)，通過Adaboost方法將預(yù)訓(xùn)練的模型融合實(shí)現(xiàn)視網(wǎng)膜病變識(shí)別。以上兩種模型僅對(duì)患者是否存在視網(wǎng)膜病變進(jìn)行判定，未得到具體的病變分級(jí)結(jié)果。目前，視網(wǎng)膜病變自動(dòng)分級(jí)的方法較多，以CNN為基礎(chǔ)模型進(jìn)行改進(jìn)或與其他方法相結(jié)合。Li等［5］提出了基于CNN的遷移學(xué)習(xí)方法，結(jié)合支持向量機(jī)（Support Vector Machine，SVM）實(shí)現(xiàn)視網(wǎng)膜病變分級(jí)。韋哲［6］提出利用基于遷移學(xué)習(xí)的Xception［7］模型實(shí)現(xiàn)視網(wǎng)膜病變分級(jí)。王嘉良［8］提出了基于目標(biāo)檢測的區(qū)域全卷積網(wǎng)絡(luò)（Region-based Fully Convolutional Networks，R-FCN）算法，通過檢測血管瘤、眼底出血及玻璃體出血等病變區(qū)域，實(shí)現(xiàn)對(duì)視網(wǎng)膜病變的圖像分級(jí)。Lin等［9］提出了抗噪聲檢測和注意力融合的視網(wǎng)膜病變檢測模型。鄭雯［10］引入空洞卷積代替普通卷積并融合注意力機(jī)制實(shí)現(xiàn)了視網(wǎng)膜病變分級(jí)。這些方法基本解決了視網(wǎng)膜病變分級(jí)問題中視盤區(qū)域?qū)Σ≡钭R(shí)別的干擾問題，但由于視網(wǎng)膜微血管的類間圖像特征差別小，分級(jí)的特征臨界值相對(duì)模糊，現(xiàn)有視網(wǎng)膜病變分級(jí)算法仍存在分級(jí)準(zhǔn)確率較低、模型能力受限等問題，因此目前視網(wǎng)膜病變分級(jí)仍然是一項(xiàng)具有挑戰(zhàn)性的工作［11］。

本文提出一種基于ConvNeXt網(wǎng)絡(luò)的視網(wǎng)膜病變自動(dòng)識(shí)別與分級(jí)方法。ConvNeXt網(wǎng)絡(luò)使用余弦下降法動(dòng)態(tài)調(diào)整學(xué)習(xí)率。針對(duì)訓(xùn)練網(wǎng)絡(luò)帶標(biāo)記的眼底圖像數(shù)據(jù)不足，導(dǎo)致ConvNeXt網(wǎng)絡(luò)在訓(xùn)練的過程中分級(jí)精度較低的問題，通過圖像增強(qiáng)和引入額外數(shù)據(jù)集的方法解決數(shù)據(jù)分布不均衡問題。針對(duì)類間圖像特征差別小導(dǎo)致的低精度問題，采用遷移學(xué)習(xí)法訓(xùn)練模型中所有層權(quán)重，設(shè)計(jì)了能夠提取更深層次特征的E-Block模塊，添加到ConvNeXt網(wǎng)絡(luò)模型中，避免參數(shù)降維，有效捕捉跨通道交互信息，顯著提升了模型的準(zhǔn)確率。

2 圖像預(yù)處理

2.1 數(shù)據(jù)集

本文的主體數(shù)據(jù)集采用APTOS 2019 Blindness Detection競賽數(shù)據(jù)集。該數(shù)據(jù)集采用國際視網(wǎng)膜病變分級(jí)標(biāo)準(zhǔn)，依據(jù)視網(wǎng)膜病變的嚴(yán)重程度將圖片分為5個(gè)等級(jí)，如圖1所示。其中，0級(jí)為正常，1級(jí)為輕度病變，2級(jí)為中度病變，3級(jí)為重度病變，4級(jí)為增殖性視網(wǎng)膜病變。通過觀測數(shù)據(jù)集中各類數(shù)據(jù)的分布，可發(fā)現(xiàn)APTOS2019數(shù)據(jù)集存在嚴(yán)重的數(shù)據(jù)不均衡情況，導(dǎo)致模型更多關(guān)注樣本多的類別，忽略樣本少的類別，訓(xùn)練效果不理想。因此，這里引入由EyePACS平臺(tái)提供的Kaggle（2015）競賽數(shù)據(jù)集和IDRiD（Indian Diabetic Retinopathy Image Dataset）數(shù) 據(jù) 集。考慮到圖像的采集環(huán)境，首先要對(duì)數(shù)據(jù)集進(jìn)行清理，清理掉因受拍攝環(huán)境影響而出現(xiàn)的圖像顯示不正常和噪聲太大的數(shù)據(jù)，如圖2所示。通過數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)量較少的類別（主要針對(duì)等級(jí)3和等級(jí)4）進(jìn)行數(shù)據(jù)擴(kuò)充，采用水平翻轉(zhuǎn)、左右變換等方法擴(kuò)充數(shù)據(jù)集，使得每個(gè)類別的圖像數(shù)量相對(duì)均衡，最終構(gòu)建成本文的實(shí)驗(yàn)數(shù)據(jù)集，共10 041幅圖像，各類別圖像數(shù)如表1所示。

圖1 APTOS 2019 Blindness Detection數(shù)據(jù)集示例Fig.1 Examples of APTOS 2019 blindness detection dataset sample

圖2 清理掉的圖像示例Fig.2 Examples of cleaned up images

表1 數(shù)據(jù)集擴(kuò)充前后對(duì)比Tab.1 Comparison before and after dataset expansion

2.2 圖像預(yù)處理

由于數(shù)據(jù)集中多數(shù)眼底圖像的對(duì)比度比較低，病灶區(qū)域和非病灶區(qū)域不容易區(qū)分，使得病變特征不易檢測。另外，受制于眼底圖像的拍攝環(huán)境及成像設(shè)備的性能，數(shù)據(jù)集中的圖像出現(xiàn)不同程度的圖像模糊、照明不均等問題。為了得到更好的訓(xùn)練效果，本文使用Graham方法［12］對(duì)圖像進(jìn)行預(yù)處理，減輕因不同照明條件或成像設(shè)備而產(chǎn)生的問題。給定一張眼底圖像I，經(jīng)Graham方法處理后的圖像?為：

其中：G(θ)是具有標(biāo)準(zhǔn)差θ的2D高斯濾波器，*是卷積算子，α，β和γ是加權(quán)因子。

圖3 預(yù)處理前后圖像對(duì)比Fig.3 Comparison of images before and after preprocessing

采用中心裁剪法去掉圖像中含有無用信息的黑色區(qū)域，如圖3所示。處理后的圖像裁剪掉了無關(guān)區(qū)域，提亮了眼球邊緣的暗部區(qū)域，出血點(diǎn)、絮狀物、滲出物和血管等重要特征更加突出。在訓(xùn)練時(shí)還引入了隨機(jī)裁剪、隨機(jī)透視變換和高斯濾波等方法對(duì)圖像進(jìn)行特征增強(qiáng)。

3 模型設(shè)計(jì)

3.1 網(wǎng)絡(luò)搭建

視網(wǎng)膜病變圖像分類的難點(diǎn)主要是不同類別圖像的病變特征差距很小且重疊率高，屬于細(xì)粒度圖像分類的范疇，是對(duì)大類下的子類進(jìn)行分類，只有向神經(jīng)網(wǎng)絡(luò)輸送大量的圖像信息才能挖掘到更深層次的特征。本文搭建的ConvNeXt網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，詳細(xì)參數(shù)信息如表2所示。選擇ConvNeXt-T網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，與Transfrom網(wǎng)絡(luò)［13］相比，ConvNext網(wǎng)絡(luò)不需要進(jìn)行分塊合并、窗口偏移和相對(duì)位置偏執(zhí)等操作，具有更好的性能和更少的計(jì)算量。ConvNext網(wǎng)絡(luò)的 整 體 結(jié) 構(gòu) 與ResNet［14］類 似，在Block的 堆 疊次數(shù)設(shè)計(jì)上參考了Transformer網(wǎng)絡(luò)。本網(wǎng)絡(luò)主要由卷積層、E-Block層和線性層3部分組成。其中，E-Block層是本網(wǎng)絡(luò)的核心部分，負(fù)責(zé)提取視網(wǎng)膜圖像的特征，E-Block層1至E-Block層3由E-Block模塊和下采樣模塊組成，E-Block層4由E-Block模塊和全局平均池化層組成，EBlock層1至E-Block層4的堆疊次數(shù)分別為（3，3，9，3），延續(xù)使用ConvNeXt-T網(wǎng)絡(luò)結(jié)構(gòu)堆疊次數(shù)設(shè)置。

在ConvNeXt模型中，首先將經(jīng)過預(yù)處理的視網(wǎng)膜圖像輸入模型，在第一部分對(duì)圖像使用4×4的卷積核進(jìn)行卷積處理，設(shè)置步距為4，經(jīng)過層歸一化（Layer Normalization，LN）處理后進(jìn)入第二部分的E-Block層，最后在第三部分的線性層輸出模型的預(yù)測結(jié)果。

表2 ConvNeXt網(wǎng)絡(luò)結(jié)構(gòu)詳細(xì)信息Tab.2 ConvNeXt network structure details

圖4 本文ConvNeXt網(wǎng)絡(luò)的結(jié)構(gòu)模型Fig.4 Structure model of proposed ConvNeXt

3.2 E-Block模塊

理論上模型的網(wǎng)絡(luò)深度越深，其性能就會(huì)越好，但是大量實(shí)驗(yàn)表明，盲目地加深網(wǎng)絡(luò)的深度會(huì)適得其反，造成“退化”現(xiàn)象。針對(duì)這個(gè)問題，何凱明等［14］在ResNet網(wǎng)絡(luò)的設(shè)計(jì)中提出了殘差單元結(jié)構(gòu)，殘差單元將經(jīng)過處理的參數(shù)與原參數(shù)相加，解決了網(wǎng)絡(luò)的退化問題。本文基于殘差基本思想提出了E-Block結(jié)構(gòu)。E-Block結(jié)構(gòu)設(shè)計(jì)如圖5所示，相比于經(jīng)典卷積方法，深度可分離卷積（Depthwise Separable Convolution，DSC）可在保留大卷積核的基礎(chǔ)上減少參數(shù)量并加速模型訓(xùn)練。因此，本文首先利用DSC減少參數(shù)，加速模型訓(xùn)練。在DSC中，每個(gè)卷積核的通道數(shù)都等于1，每個(gè)卷積核只負(fù)責(zé)輸入特征矩陣的一個(gè)通道數(shù)，所以卷積核的個(gè)數(shù)必須等于輸入特征矩陣的通道數(shù)，從而使得輸出特征矩陣的通道數(shù)等于輸入特征矩陣的通道數(shù)；然后，通過兩個(gè)1×1的卷積核來調(diào)整輸出特征矩陣的通道數(shù)，再將調(diào)整后的特征輸入到高效通道注意力模塊（Efficient Channel Attention，ECA），進(jìn)一步提取深層次特征；最后，為了防止模型出現(xiàn)過擬合現(xiàn)象，提高模型的泛化能力，設(shè)置了一個(gè)Dropout層和一個(gè)DropPath層。Dropout法通過隨機(jī)刪除神經(jīng)元的方式來減少神經(jīng)元之間的協(xié)同性，它強(qiáng)迫一個(gè)神經(jīng)單元和隨機(jī)挑選出來的其他神經(jīng)單元共同工作。DropPath層的作用與Dropout層類似，不同的是DropPath法會(huì)將模型中的主分支結(jié)構(gòu)按幾率失活，即DropPath以一定的概率將主結(jié)構(gòu)的輸出變?yōu)?，等價(jià)于只有捷徑分支構(gòu)成輸出。

圖5 E-Block結(jié)構(gòu)Fig.5 E-Block structure

圖6 ECA模塊結(jié)構(gòu)Fig.6 ECA module structure

3.3 高效通道注意力模塊

ECA模塊通過不降維的局部跨信道交互策略和自適應(yīng)選擇一維卷積來實(shí)現(xiàn)。該模塊可在只引入少量參數(shù)的情況下獲得明顯的性能提升，如圖6所示。通過全局平均池化，將每個(gè)通道上對(duì)應(yīng)的空間信息（H*W）壓縮到對(duì)應(yīng)通道中變?yōu)?個(gè)具體數(shù)值，此時(shí)一個(gè)像素表示一個(gè)通道，最終變?yōu)?×1×c，形成一個(gè)向量。隨后，通過一個(gè)卷積核尺寸為k的一維卷積對(duì)該向量進(jìn)行特征提取，得到權(quán)重信息。在獲得權(quán)重信息的過程中，通過參數(shù)k來控制第0～k個(gè)通道參與計(jì)算，這樣就得到了第一個(gè)通道的權(quán)值。卷積核向下滑動(dòng)1格，控制第1～k+1個(gè)通道參與計(jì)算，這樣便實(shí)現(xiàn)了局部跨通道交互，再通過卷積核滑動(dòng)依次算出所有通道的權(quán)重信息。最后，將計(jì)算出的權(quán)重信息與對(duì)應(yīng)通道的特征像素相乘就完成了特征圖的重校驗(yàn)。為了避免在交叉驗(yàn)證時(shí)手動(dòng)調(diào)整參數(shù)k，ECA模塊以自適應(yīng)方式來確定k值，見式（2）～式（4），其中，交互的覆蓋范圍（卷積核尺寸為k）與通道維度成正比。

假設(shè)在k和C之間存在映射φ：

由φ(k)=γ*k-b可知，其中γ=2，b=1，線性函數(shù)是最簡單的映射方式，但是以線性函數(shù)為特征的關(guān)系非常有限。由于通道維數(shù)C通常是2的指數(shù)倍，因此通過將線性函數(shù)φ(k)=γ*k-b拓展到非線性函數(shù)來解決這個(gè)問題：

給定通道維數(shù)C后可得：

4 實(shí)驗(yàn)結(jié)果與分析

圖7 不同方法視網(wǎng)膜病變分級(jí)混淆矩陣Fig.7 Classification confusion matrix of retinopathy for each model

實(shí)驗(yàn)在Pytorch深度學(xué)習(xí)框架下搭建，實(shí)驗(yàn)環(huán)境為python 3.8，pytorch 1.10，cuda 10.2。把數(shù)據(jù)集中，80%的圖像劃分為訓(xùn)練集，20%的圖像劃分為測試集。使用自定義學(xué)習(xí)率LambdaLR=6×10-4，warmup=10，在 達(dá) 到最大學(xué) 習(xí)率后采用余弦下降法動(dòng)態(tài)調(diào)整學(xué)習(xí)率，優(yōu)化器為AdamW，訓(xùn)練epoch=200，batch_size=64。本文使用遷移學(xué)習(xí)法，將ConvNeXt網(wǎng)絡(luò)在ImageNet_1k上訓(xùn)練好的權(quán)重作為本文網(wǎng)絡(luò)模型的初始權(quán)重。

4.1 評(píng)價(jià)標(biāo)準(zhǔn)

本文模型利用靈敏度（Sensitivity）、特異度（Specificity）和準(zhǔn)確率（Accuracy）這3個(gè)指標(biāo)來評(píng)估性能，主要由TP（True Positive）、FP（False Negative）、FN（False Negative）和TN（True Negative）4個(gè)基礎(chǔ)指標(biāo)計(jì)算，即：

表3 不同算法的視網(wǎng)膜病變分級(jí)結(jié)果Tab.3 Results of diabetic retinopathy grading by different algorithms （%）

由表3可見，使用ConvNeXt網(wǎng)絡(luò)訓(xùn)練擴(kuò)充后的數(shù)據(jù)集相比擴(kuò)充前各項(xiàng)指標(biāo)均有提高，由此證明了本文數(shù)據(jù)均衡方法的有效性。使用本文方法訓(xùn)練Densenet網(wǎng)絡(luò)和Shufflenet網(wǎng)絡(luò)均取得了較好的分類結(jié)果，證明本文的訓(xùn)練策略具有優(yōu)秀的魯棒性。由于CBAM（Convolutional Block Attention Module）機(jī)制有助于網(wǎng)絡(luò)提取更深層次的特征信息，所以本文在ConvNeXt網(wǎng)絡(luò)中引入了CBAM注意力模塊。實(shí)驗(yàn)結(jié)果表明，CBAM機(jī)制的引入與原ConvNeXt網(wǎng)絡(luò)的表現(xiàn)幾乎沒有差別，其原因是引入CBAM的同時(shí)增加了更多參數(shù)，網(wǎng)絡(luò)更加復(fù)雜，計(jì)算量增大，結(jié)果不如預(yù)期。本文還比較了SE（Squeezeand-Excitation）通道注意力對(duì)網(wǎng)絡(luò)的影響。實(shí)驗(yàn)結(jié)果表明，加入ECA模塊的網(wǎng)絡(luò)兼具通道注意力參數(shù)少、輕量化的優(yōu)點(diǎn)，性能更好。改進(jìn)的ConvNeXt網(wǎng)絡(luò)的3項(xiàng)評(píng)價(jià)指標(biāo)都在95%以上，對(duì)比其他算法，各項(xiàng)指標(biāo)均有顯著的提高且各項(xiàng)指標(biāo)之間的參數(shù)差較小，說明本文設(shè)計(jì)的網(wǎng)絡(luò)性能更穩(wěn)定。

5 結(jié)論

本文提出了一種結(jié)合E-block模塊的改進(jìn)ConvNeXt視網(wǎng)膜病變自動(dòng)分級(jí)模型。利用遷移學(xué)習(xí)方法在訓(xùn)練時(shí)提高了模型訓(xùn)練速度，加快了模型收斂；改進(jìn)模型的殘差結(jié)構(gòu)并設(shè)計(jì)具有高性能、低參數(shù)特性的E-block模塊，避免參數(shù)降維，有效捕捉跨通道交互信息，在只增加少量參數(shù)的情況下獲取到更多的圖像細(xì)節(jié)，提升了模型準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文模型對(duì)視網(wǎng)膜病變的識(shí)別與分級(jí)敏感性為95.20%、特異度為98.80%，準(zhǔn)確率為95.21%，各項(xiàng)指標(biāo)均有顯著提高，可為臨床提供借鑒。