基于改進EfficientNetV2網絡的腦腫瘤分類方法

崔 博, 賈兆年, 姬 鵬, 李秀華, 侯阿臨

(長春工業(yè)大學 計算機科學與工程學院, 長春 130012)

醫(yī)學成像技術是非侵入性的, 常用于檢測腫瘤, 是目前用于癌癥類型分類最常見和最可靠的技術[1]. 磁共振成像(magnetic resonance imaging, MRI)技術是醫(yī)學成像技術的一種, 在腦腫瘤的分類中尤其適用于提供高分辨率的腦組織圖像[2]. 腦腫瘤分為150種, 其中包括良性腫瘤和惡性腫瘤[3]. 腦腫瘤的早期診斷和準確分類對挽救病人生命至關重要, 腦部MRI圖像可分為不同的腫瘤類型. 自動分類可以在放射科醫(yī)生最少干預的情況下對腦腫瘤MRI圖像進行分類[4].

卷積神經網絡(convolutional neural networks, CNN)是深度學習的主要代表算法之一. Shelhamer等[5]提出了一種深度、 粗層和細層相結合的雙路徑CNN跳躍結構, 實現(xiàn)了對腦癌的精確分割. Cheng等[6]利用T1-MRI數(shù)據(jù)研究了腦腫瘤的三級分類問題, 該方法先利用圖像膨脹擴大腫瘤區(qū)域, 然后將其劃分為逐漸細小的環(huán)狀子區(qū)域. Das等[7]使用包含3 064張T1加權對比增強MRI圖像的卷積神經網絡識別各種腦癌, 如膠質瘤、 腦膜瘤和腦垂體瘤. CNN模型通過基于可變大小的卷積濾波器/核調整卷積網絡的大小, 獲得了94%的準確率. Bad?a等[8]提出了一種新的CNN結構, 該結構基于對現(xiàn)有的預訓練網絡的改進, 使用T1加權對比增強磁共振圖像對腦腫瘤進行分類, 該模型的準確率為96.56%, 其由兩個10倍交叉驗證技術組成, 使用增強圖片. Mzoughi等[9]采用基于灰度歸一化和自適應對比度增強的預處理方法, 提出了一種完全自動化的腦膠質瘤三維細胞神經網絡模型, 用于腦膠質瘤的低級別和高級別分類.

深度學習中的CNN是目前較好的圖像處理方法[10]. AlexNet[11],VGG[12]等CNN的發(fā)展證明了增加網絡深度能在一定程度上提高網絡性能. 但卷積核作為其中數(shù)量最多的參數(shù), 對網絡性能的影響較大[13]. 若只通過簡單的網絡層堆疊增加深度會導致網絡出現(xiàn)梯度消失和過擬合的情況[14]. 為解決這類問題, 本文提出基于改進EfficientnetV2網絡的方法, 實驗結果表明, 與其他算法相比, 將其運用到腦腫瘤分類的任務中, 準確率更高.

1 模型架構

1.1 EfficientNetV2網絡模型

EffcicentNetV2[15]是根據(jù)EfficientNet[16]的基本思想進行改進的網絡. 該網絡通過改變網絡的深度、 寬度和輸入圖像分辨率的參數(shù)提高網絡性能[16]. EfficientNetV2是一種采用神經結構搜索技術(neural architecture search, NAS)和復合模型擴張方法的分類識別網絡, 它能選擇最優(yōu)的復合系數(shù), 即按比例擴展網絡的深度、 寬度和輸入圖像分辨率3個維度, 以找到最大識別特征精度所需的最優(yōu)參數(shù). EfficientNetV2通過自適應地平衡3個維度, 成功減少了模型訓練的參數(shù)量和復雜度, 從而大幅度提高了模型性能. 與單一維度的縮放相比, 這種方法能獲得更好的效果, 同時在訓練速度上也有明顯的提升. EffcicentNetV2網絡主要由Fused-MBConv[17]和MBConv模塊堆疊而成, 網絡結構列于表1.

表1 EfficientNetV2網絡結構Table 1 EfficientNetV2 network architecture

理論上, 隨著硬件設備的優(yōu)化和算法設計的改進, 普通卷積在某些條件下可能會比之前更有效. 為驗證這兩者對卷積計算速度的影響, 在淺層卷積使用Fused-MBConv, 在深層卷積使用深度可分離卷積MBConv.

為使網絡運算速度更快, 該網絡在淺層卷積中使用Fused-MBConv模塊, 在深層卷積中使用深度可分離卷積MBConv模塊, MBConv模塊由2個1×1卷積、 1個3×3深度可分離卷積、 SE(squeeze-and-excitation)注意力模塊組成, 如圖1(A)所示; 由于深度可分離卷積用在淺層卷積中會拖慢運行速度, 因此Fused-MBConv模塊是在MBConv中使用一個普通的3×3卷積結構替換1×1的升維卷積和3×3的深度卷積, 如圖1(B)所示.

圖1 模塊結構Fig.1 Module structure

SE注意力模塊由全局平均池化和兩個全連接層組成. 該模塊首先進行Squeeze操作, 將每個通道的特征壓縮為全局特征, 然后通過Excitation操作將全局特征轉化為權重系數(shù), 從而實現(xiàn)模型對不同通道間特征的區(qū)分.

1.2 坐標注意力機制

坐標注意力(coordinate attention, CA)機制[18]是一種新型輕量級即插即用的注意力機制, 它可以很容易地插入到移動網絡的經典模塊中, 不僅可獲取通道的輸入特征信息, 還可獲取方向和位置的特征信息, 有助于模型更準確地定位和識別感興趣的對象, 重點關注重要信息的目標區(qū)域, 有效抑制背景信息給檢測結果產生的影響, 緩解信息丟失問題[19]. 并且同時考慮水平和垂直方向的特征信息, 在可學習參數(shù)和計算代價相當?shù)那闆r下, 坐標信息嵌入更有助于圖像分類. CA結構如圖2所示.

圖2 CA機制模塊Fig.2 CA mechanism module

2 本文算法設計

2.1 改進的網絡結構

由于人的大腦組織結構復雜, 因此要想將腦部腫瘤精確分類, 就要精準地獲取輸入的腦腫瘤MRI圖像的特征信息. EfficientNetV2網絡模型中MBConv模塊加入了SE注意力機制, SE注意力機制只考慮對通道間信息進行編碼, 而忽略了位置信息的重要性, 導致注意力機制提取腦腫瘤的特征信息不全面, 從而使模型的分類精準度較低. 而CA注意力模塊恰好可以更準確地獲取輸入的位置特征信息, 有助于網絡更準確地定位感興趣的對象, 同時使網絡覆蓋更大的區(qū)域. 坐標注意力模塊可以自適應地選擇輸入腦腫瘤圖像的感受野大小和位置, 使其能更好地適應不同尺度和形狀的輸入圖像, 從而提高腦腫瘤分類模型的魯棒性和泛化能力, 因此將SE注意力模塊替換為CA注意力模塊. 在替換時, 需要保持注意力模塊的輸入和輸出維度不變, 以保證模型的正確性. 為使該網絡計算速度更快, 對量化更友好, 進一步提高腦腫瘤分類的正確率, 本文將原網絡中的SiLU激活函數(shù)換為Hard-Swish激活函數(shù), 改進后的網絡結構如圖3所示.

圖3 改進后的網絡結構Fig.3 Improved network structure

該實驗腦腫瘤MRI圖像的樣本數(shù)量較少, 網絡中用Dropout層減少訓練網絡中部分神經元的活性, 以防止網絡過擬合的發(fā)生, BN(batch normalization)[20]通過減少梯度對參數(shù)或其初始值尺度的依賴, 從而能使用更高的學習率, 極大加快了深層神經網絡的訓練速度.

2.2 激活函數(shù)

在原EfficientNetV2網絡使用的SiLU激活函數(shù)是Swish激活函數(shù)的一個特例, 當β=1時, Swish激活函數(shù)稱為SiLU激活函數(shù). 該激活函數(shù)存在一些潛在的缺點: SiLU激活函數(shù)的導數(shù)對于較大的負輸入可能會變得非常小, 可能導致反向傳播期間梯度消失. 對于深度神經網絡, 會導致訓練變得困難; 雖然SiLU是一種靈活的激活函數(shù), 但它表達能力有限, 可能會限制其在數(shù)據(jù)中表示復雜函數(shù)和模式的能力; SiLU激活函數(shù)缺乏可解釋性, 與其他一些激活函數(shù)(如Sigmoid或雙曲正切)不同, SiLU函數(shù)沒有明確的概率解釋, 可能會使解釋模型的行為和輸出的含義變得更困難. SiLU激活函數(shù)曲線如圖4所示.

圖4 SiLU激活函數(shù)曲線Fig.4 SiLU activation function curve

Hard-Swish激活函數(shù)[21]是Swish激活函數(shù)非線性改進版本, 其計算速度更快, 計算過程只涉及基本的數(shù)學運算, 如乘法和加法, 實現(xiàn)相對簡單, 而SiLU涉及指數(shù)運算, 計算速度相對較慢. 并且Hard-Swish激活函數(shù)對量化更友好, 更適合深度卷積網絡, 同時也可增加腦腫瘤分類的正確率. 因此本文將原網絡中的SiLU激活函數(shù)換為Hard-Swish激活函數(shù). Hard-Swish激活函數(shù)曲線如圖5所示.

圖5 Hard-Swish激活函數(shù)曲線Fig.5 Hard-Swish activation function curve

訓練卷積網絡時, 在梯度下降的過程中, 梯度消失是一個常見的問題. 相比于SiLU激活函數(shù), Hard-Swish激活函數(shù)在輸入接近于0時的梯度更大, 因此在這種情況下出現(xiàn)梯度消失問題的概率更小. Hard-Swish激活函數(shù)更復雜, 因此在訓練深層神經網絡時可以更好地捕捉特征, 從而提高訓練效果.

Swish函數(shù)表達式為

Swish(x)=x×Sigmoid(βx),

(1)

其中β表示可調參數(shù). Hard-Swish函數(shù)表達式為

(2)

3 實驗與分析

3.1 數(shù)據(jù)集與預處理

本文使用的腦腫瘤圖像數(shù)據(jù)集來自公開數(shù)據(jù)集figshare(www.figshare.com), 該數(shù)據(jù)集由233名患者的腦部MRI圖像組成, 包括橫斷面、 冠狀面和矢狀面共3 064張圖像, 其中腦膜瘤切片708張, 膠質瘤切片1 426張, 垂體瘤切片930張.

本文預處理首先將腦腫瘤圖像數(shù)據(jù)集中的每張圖像調整尺寸大小至512像素×512像素; 其次將MRI圖像原始數(shù)據(jù)信息進行特征提取, 得到帶有標簽的樣本集合; 最后將數(shù)據(jù)集按照80%和20%劃分為訓練集和驗證集. 分類標簽包括腦膜瘤、 膠質瘤、 垂體瘤3種類別標簽.

3.2 參數(shù)設置與評價指標

3.2.1 實驗環(huán)境

本文實驗基于PyTorch深度學習框架, 使用Python 3.6語言實現(xiàn), 搭建了基于改進EfficientNetV2網絡的腦腫瘤圖像三分類框架. 在Linux CentOS7環(huán)境下完成, CUDA版本為10.2. 硬件設備為: Intel(R) Xeon(R) CPU E5-2650 2.2 GHz CPU, NVIDIA TITAN XP×2顯卡, 12 GB×2顯存.

3.2.2 參數(shù)設置

在訓練過程中, 本文實驗使用隨機梯度下降(SGDM)優(yōu)化器優(yōu)化所設計的模型, 網絡模型訓練過程中涉及的超參數(shù)設置列于表2.

表2 訓練過程的超參數(shù)設置Table 2 Hyperparameter settings for training process

因為僅憑準確率評價指標并不能充分證明網絡設計及參數(shù)調整的合理性, 因此, 為全面評價本文改進的EfficientNetV2網絡的性能, 使用準確率和混淆矩陣作為評價指標. 混淆矩陣是一種用于總結分類算法性能的技術. 如果每個類別中的觀察數(shù)不相等, 或者數(shù)據(jù)集中有兩個以上類別, 則僅憑分類準確性可能會產生誤導. 混淆矩陣提供真陽性(TP), 即預測為正、 事實為正; 真陰性(TN), 即預測為負、 事實為負; 假陽性(FP), 即預測為正、 事實為負; 假陰性(FN), 即預測為負、 事實為正的值.

在經過準確率和混淆矩陣進行網絡模型評估后, 這些值可用于計算本文算法的準確率、 精確度、 召回率和F1-Score的數(shù)值[22-23]. 其中F1-Score是準確率和召回率的調和平均評估指標[24]. 本文用這5個評價指標作為實驗結果的評判標準.

準確率表示所有預測正確的樣本占總樣本的百分數(shù), 用公式表示為

(3)

精確度表示預測正確的正類樣本占所有預測為正類樣本的百分數(shù), 用公式表示為

(4)

召回率表示預測正確的正類樣本占所有事實正類樣本情況的百分數(shù). 召回率在醫(yī)學圖像分類問題中又被稱為靈敏度, 靈敏度越高, 說明對病灶區(qū)域越敏感, 用公式表示為

(5)

F1-Score表示精確率和召回率的調和平均數(shù), 綜合考慮了精確率和召回率, 是一個綜合評價指標, 通常被用作分類模型性能的重要指標之一[25], 用公式表示為

(6)

3.3 實驗結果與分析

為證明本文基于改進的EfficientNetV2網絡的MRI腦腫瘤圖像分類算法的有效性, 實驗選擇引入坐標注意力機制的分類模型, 模型中還結合了Hard-Swish激活函數(shù)、 BN以及Dropout層. 同時選擇了SE,CBAM(convolutional block attention module)和ECA(efficient channel attention)注意力模塊進行對比實驗, 觀察模型算法并進行分析.

數(shù)據(jù)集上訓練和驗證過程的準確率和損失函數(shù)曲線如圖6所示, 其中: 灰色曲線表示EfficientNetV2原模型中引入的SE注意力模塊的訓練曲線; 橙色、 綠色曲線分別表示將EfficientNetV2模型中的SE替換為CBAM和ECA; 紫色曲線為本文改進的引入CA注意力模塊的訓練曲線. 將改進的EfficientNetV2模型稱CA-EfficientNetV2模型. 準確率的變化曲線能反應模型訓練過程中對腦腫瘤的分類精度, 準確率的值越高表示模型的分類正確率越高. 損失值的變化曲線能反應模型訓練過程中的優(yōu)化結果, 損失值越小表示模型的魯棒性越好, 當損失值趨于平穩(wěn)時, 表示模型訓練達到了局部最優(yōu)值.

圖6 訓練和驗證的準確率和損失函數(shù)曲線Fig.6 Accuracy and loss function curves for training and validation

由圖6可見: 在訓練過程中4種模型的訓練效果均較穩(wěn)定, 但CA-EfficientNetV2模型的精度明顯高于其他3種模型, 達到了98.9%, 損失函數(shù)值明顯低于其他3種模型, 達到了0.022; 在驗證過程中, CA-EfficientNetV2模型的準確率有明顯提升, 訓練曲線平穩(wěn)且收斂效果好, 達到了98.4%, 其他3種模型訓練過程中的振蕩較嚴重, 且準確率明顯低于CA-EfficientNetV2模型; 在損失函數(shù)值上, 其他3種模型訓練過程中的振蕩極其嚴重, 而CA-EfficientNetV2模型的訓練過程較穩(wěn)定, 雖有輕微振蕩, 但不影響實驗結果, 并且損失函數(shù)值低于其他模型.

總體分析CA-EfficientNetV2模型的訓練曲線, 由圖6(A)和(B)可見, 模型在前100輪保持穩(wěn)定的上升趨勢, 在后100輪準確率保持穩(wěn)定, 說明模型得到了擬合. 由圖6(C)和(D)可見, 模型在前40輪下降速度較快, 在后面的輪數(shù)中下降趨于平緩, 最后保持穩(wěn)定, 說明模型在訓練過程中得到收斂. 因此可證明CA-EfficientNetV2模型對腦腫瘤有良好的分類效果.

為更清楚地表達CA-EfficientNetV2網絡對每個類別的預測結果, 也為更準確、 更方便地計算評判模型的評價指標, 本文給出了腦腫瘤圖像數(shù)據(jù)集在該模型下預測結果的混淆矩陣, 結果列于表3. 在混淆矩陣中, 從左上到右下的對角線表明每個類別正確預測的個數(shù), 對角線上的數(shù)量越多, 說明模型對驗證集數(shù)據(jù)的預測效果越好, 以此進一步評估模型的性能.

表3 預測結果的混淆矩陣Table 3 Confusion matrix for prediction results

由表3可見: 122例腦膜瘤中只有3例被錯誤預測為垂體瘤; 299例腦膠質瘤中有1例被錯誤預測為腦膜瘤, 4例被錯誤預測為垂體瘤; 192例垂體瘤中只有2例被錯誤預測為膠質瘤. 為更直觀地表達本文網絡模型的分類效果, 將腦膜瘤、 膠質瘤、 垂體瘤三類在Precision,Recall,Specificity,F1-Score評價指標上進行詳細分析, 結果列于表4.

表4 本文網絡模型的評價指標Table 4 Evaluation indexes of proposed network model %

經公式計算該模型在Precision,Recall,Specificity,F1-Score 4個評價指標上的均值達到98.3%,98.0%,99.1%,98.1%, 進一步證明了改進的網絡模型在腦腫瘤分類中的穩(wěn)定性和魯棒性.

本文將CA-EfficientNetV2網絡模型與其他文獻中使用的相同數(shù)據(jù)集的分類方法進行對比, 對比結果列于表5. 由表5可見: 文獻[6]使用傳統(tǒng)機器學習的方法, 采用灰度直方圖、 灰度共生矩陣(GLCM)和詞袋模型(BOW)3種特征提取方法對腦腫瘤進行分類, 該方法最終的分類準確率為91.28%; 文獻[26]采用GAN網絡作為鑒別器, 用Softmax分類器代替最后一個全連接層, 最終對腦腫瘤的分類準確率為93.01%; 文獻[27]采用多尺寸卷積核模塊和多深度融合殘差塊相結合的方法, 最終得到的腦腫瘤分類準確率為93.51%; 本文方法得到的分類準確率達到98.4%. 實驗結果表明, 本文方法對腦膜瘤、 腦膠質瘤和垂體瘤3種腦部腫瘤有良好的分類效果.

表5 不同方法的分類準確率對比Table 5 Comparison of classification accuracy of different methods

3.4 消融實驗與分析

為更好地評估CA-EfficientNetV2網絡模型的性能, 本文進行了消融實驗. 實驗將分別驗證引入坐標注意力模塊和Hard-Swish激活函數(shù)這兩個改進方法對模型準確率和損失率的影響.

首先在原始數(shù)據(jù)集上進行測試, 雖然模型在復雜程度上有所增加, 但改進后的模型分類精確度有明顯優(yōu)勢, 在不同模塊部分的消融對比結果列于表6. 由表6可見: 僅將SiLU激活函數(shù)替換為Hard-Swish激活函數(shù)的實驗表明, 雖然在模型性能方面有所提升, 但準確率提升并不明顯; 當引入了坐標注意力模塊后, 模型的準確率顯著提高, 損失率也有所改善; 同時引入以上兩個模塊, 腦腫瘤圖像分類的網絡性能得到明顯提升. 通過消融實驗, 進一步證明了改進后的模型具有更好的分類性能.

表6 在不同模塊部分的消融對比結果Table 6 Comparison of ablation results in different module sections

綜上所述, 針對腦腫瘤磁共振圖像分類問題中過擬合及分類準確率較低的問題, 本文提出了一種基于改進EfficientNetV2網絡的腦腫瘤分類方法. 首先, 介紹了注意力機制的原理和模塊, 同時介紹了改進的Hard-Swish激活函數(shù); 其次, 介紹了基于改進EfficientNetV2網絡的腦腫瘤分類方法, 將原網絡中的SE注意力機制替換成CA注意力機制, 解決了因SE注意力機制在捕獲特征信息不足時產生網絡分類精度低的問題, 實驗結果表明, CA注意力機制在EfficentNetV2網絡模型中針對腦腫瘤分類的精度有很大提升; 再次, 本文改進了Hard-Swish激活函數(shù)并且融合了BN和Dropout層, 加快了網絡計算速度, 避免發(fā)生過擬合問題, 使網絡在穩(wěn)定性更好的前提下增加了準確率, 因此改進后的模型相對于其他模型有較高的分類精度, 并且性能也優(yōu)于其他模型, 分類準確率達到98.4%; 最后, 通過對比實驗和消融實驗驗證了改進腦腫瘤分類模型的先進性和有效性, 該模型能有效提高醫(yī)生的診斷效率.