基于有效通道注意力EfficientNet的肝硬化識別

馬粵盼　趙希梅　張寧

摘要：針對傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型復雜度高、參數(shù)量大，網(wǎng)絡分類的精度和效率不佳等問題，提出一種應用于醫(yī)學超聲圖像中肝硬化識別的深度學習方法（E-EfficientNet）。在EfficientNet網(wǎng)絡模型中，將模塊MBConv中的注意力機制SENet模塊替換為一種不降維的ECANet模塊，避免降維操作導致的特征信息缺失，增強通道學習能力并降低模型復雜度；將可變形卷積融入EfficientNet網(wǎng)絡，利用可變形卷積核能夠依據(jù)目標形態(tài)自適應調(diào)整變化的特點，充分學習圖像細節(jié)，提升算法的泛化能力和特征提取能力；對有限樣本進行數(shù)據(jù)增強，避免訓練過程中出現(xiàn)過擬合，并使用Leaky ReLU作為激活函數(shù)保留圖像負值特征信息，提高對肝硬化的識別效果。實驗結(jié)果表明，該模型復雜度低，在肝硬化識別中準確率為98.9%。

關鍵詞：EfficientNet；MBConv；注意力機制；可變形卷積；Leaky ReLU

中圖分類號：TP391 文獻標志碼：A

肝硬化是一種慢性進行性肝病，由一種或多種原因引起的彌漫性肝損害，早期的發(fā)現(xiàn)和治療可以預防癌變等并發(fā)癥的出現(xiàn)，超聲檢測在預防和排查肝硬化疾病中有著重要的作用[1]。目前，計算機輔助診斷[2]（Computer Aided Diagnosis，CAD）技術在醫(yī)學圖像處理領域發(fā)展迅速[3]，在肝臟影像處理方面應用廣泛，可以降低醫(yī)生由于主觀因素導致的誤判，提高診斷效率。隨著近幾年卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）[4]在醫(yī)學圖像分析領域的飛速發(fā)展[5-6]，針對超聲圖像中肝硬化的識別和分類[7-8]大多采用基于卷積特征自動提取的深度學習算法[9-10]。比如，根據(jù)LBP的局部二進制特征抽取與稀疏表達技術建立的肝臟疾病鑒別方法[11]，得到接近98%的檢測準確率；基于數(shù)據(jù)增強的多尺度多特征卷積神經(jīng)網(wǎng)絡的新方法[12]，對測試集的分類具有較好的效果。隨著卷積神經(jīng)網(wǎng)絡模型的復雜化，模型層數(shù)由淺變深，參數(shù)量和計算量極速增加，造成了網(wǎng)絡運行效率低，復雜度高，時間耗費長等問題。本文以EfficientNet[13]為基礎，提出一種基于有效通道注意力EfficientNet的肝硬化識別方法（E-EfficientNet），優(yōu)化原網(wǎng)絡中的注意力機制，增強通道學習能力并降低網(wǎng)絡復雜度，并能增強網(wǎng)絡的魯棒性；在模型中加入可變形卷積，使網(wǎng)絡擁有自適應的感受野，提高網(wǎng)絡的學習能力；在此基礎上采用Leaky ReLU激活函數(shù)，保留更多特征信息從而提高識別準確率。為驗證所提方法的有效性，將其與E-VGG[14]、E-ResNet[15]等網(wǎng)絡模型進行實驗對比，結(jié)果證明本研究提出的E-EfficientNet方法在準確率、正確率和召回率等指標都優(yōu)于其他方法。

1 相關理論

1.1 EfficientNet網(wǎng)絡

EfficientNet是使用神經(jīng)架構搜索[16]設計的新基礎結(jié)構。該網(wǎng)絡提出一種簡單高效的組合縮放方式，利用一個固定的比例因子對網(wǎng)絡的寬度、深度和分辨率縮放獲得一系列EfficientNets模型，增加網(wǎng)絡的寬度、深度和分辨率都是為了提高網(wǎng)絡的泛化能力，增大感受野，從而捕捉到更細粒度的特征信息。

1.2 通道注意力網(wǎng)絡

近幾年興起的注意力機制在圖像處理領域中取得了重要的突破。有效通道注意力網(wǎng)絡（Efficient-Channel-Attention-Networks，ECANet）[17]是在壓縮和激勵網(wǎng)絡（Squeeze-and-Excitation-Networks，SENet）[18]的基礎上改進得到的。SENet模塊通過學習的方式獲取到不同特征通道的重要程度，從而按照重要程度去提升或者抑制信息特征。流程結(jié)構如圖1，首先傳入一個特征圖X，H、W、C分別為高度、寬度和通道尺寸，利用兩個全連接層和一個σ操作（Sigmoid函數(shù)）對各信道進行單獨的全局平均池化。兩個全連接層通過降維和升維控制模型復雜性以更好的捕捉跨通道交互，最終得到C個權重用于對應的通道加權，得到具有新權值的特征圖X'。

ECANet模塊的流程結(jié)構如圖2所示，與SENet模塊相比，ECANet模塊將兩層全連接層換成了卷積核大小為k的一維卷積，避免降維操作，有效實現(xiàn)局部跨信道交互，降低模型復雜度。在不降低維度的情況下進行全局平均池化，利用每個通道及k的鄰近來預測通道的權值，捕捉本地跨信道的交互信息。一維卷積核的大小k（k≤9）表示一個局域間的交互覆蓋，與通道維數(shù)C成正比并可以自適應確定其最優(yōu)值。

1.3 可變形卷積

傳統(tǒng)的卷積操作是對輸入的特征圖在固定位置進行采樣，卷積核通常具有固定尺寸和大小，對未知的變化適應性差，只局限于模型自身的幾何變換，對于數(shù)據(jù)集較少、形變復雜的樣本卷積效果較差?？勺冃尉矸e[19]在感受野中引入了可以根據(jù)數(shù)據(jù)情況自適應學習的偏移量，使卷積核根據(jù)學習目標的實際情況進行自我調(diào)整，從而更好的提取輸入特征。如圖3所示，（a）中圓點表示常規(guī)卷積的感受野位置，（b）、（c）和（d）代表加上偏移量后的新的感受野位置，（c）和（d）是（b）的特殊情況，表明在添加偏移量后可變形卷積核的位置是可以根據(jù)當前需要識別的圖像內(nèi)容來進行自適應調(diào)整。

1.4 激活函數(shù)Leaky ReLU

卷積神經(jīng)網(wǎng)絡的分類問題中，最常采用的激活函數(shù)是ReLU，因其形式簡單且高度非線性，在使用隨機梯度下降法時計算效率高，提高了模型的收斂性。但ReLU在輸入值接近零或為負時，函數(shù)的梯度變?yōu)榱?，使網(wǎng)絡無法執(zhí)行反向傳播，導致神經(jīng)元不能更新參數(shù)，只能丟棄特征圖中一部分負值特征信息。Leaky ReLU是ReLU的變體，具有ReLU所有的優(yōu)點[20]，并且可以保留圖像的負值特征信息，如圖4所示。ReLU中，x<0時函數(shù)值為0。Leaky ReLU給出了一個負數(shù)梯度值，對輸入小于0部分的反應有所變化，解決了一部分有用的負特征信息被丟棄的問題，減輕了ReLU的稀疏性。

2 本文算法E-EfficientNet

2.1 改進的MBConv模塊

EfficientNe網(wǎng)絡主要由16個重復堆疊的移動翻轉(zhuǎn)瓶頸卷積（Mobile inverted Bottleneck Convolution，MBConv）模塊構成。為了在降低模型復雜度時有效提高肝硬化樣本的識別率，改進了MBConv模塊，如圖5所示。在MBConv模塊中，首先進行Conv1×1的升維操作，通過深度可分離卷積（Depthwise Convolution）[21-22]減少網(wǎng)絡參數(shù)，加快網(wǎng)絡運行效率，注意力機制SENet模塊負責調(diào)整特征矩陣，通過學習自動獲取每個特征通道的重要程度，更好的保留重要的特征信息，最后利用Conv1×1降維輸出。改進的MBConv模塊在調(diào)整注意力機制時，用ECANet模塊替換原模型中的SENet模塊。ECANet模塊作為一種不降維的局部跨通道交互方法，在保證自動學習獲取到每個通道的重要程度的同時能有效降低模型的復雜度，實現(xiàn)了性能上的提優(yōu)。

2.2 有效通道注意力EfficientNet（E-EfficientNet）

由于醫(yī)學圖像具有特殊性，為使網(wǎng)絡模型充分學習到目標的特征信息，在提高分類精度時不影響網(wǎng)絡的運行效率，提出一種新的網(wǎng)絡模型E-EfficientNet（圖6）。與原網(wǎng)絡相比，E-EfficientNet網(wǎng)絡卷積核、步長和池化層不發(fā)生改變，模型初始將卷積核為3×3的常規(guī)卷積升級成3×3的可變形卷積，使網(wǎng)絡更好的適應肝硬化樣本信息的多樣性，提高網(wǎng)絡的泛化能力。經(jīng)過可變形卷積網(wǎng)絡提取特征后，目標圖片進入重復堆疊的改進的MBConv模塊。由于融入了ECANet模塊，改進的MBConv模塊可以讓網(wǎng)絡更好地保留重要信息，忽略次要信息，從而更加準確分類識別肝硬化樣本。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與參數(shù)設置

實驗開發(fā)環(huán)境為Windows 10（64位）操作系統(tǒng)，內(nèi)存32GB，顯卡NVIDIA GeForce GTX 1080Ti，基于Anaconda3 中的 Spyder3.6平臺下的pytorch1.2.0進行實驗，提取樣本的Matlab版本為 R2018b。各網(wǎng)絡模型采用的實驗參數(shù)：epoch的訓練輪數(shù)為100輪，學習率為0.001，優(yōu)化器使用隨機梯度下降法，每次輸入的樣本批量大小的batchsize為16，激活函數(shù)為Leaky ReLU。

3.2 數(shù)據(jù)選擇和處理

實驗所需的數(shù)據(jù)集全部來自青島大學附屬醫(yī)院肝膽影像科，根據(jù)臨床醫(yī)師指示采集肝硬化標本及正常肝標本。在B超影像中，正常肝臟的回聲為微小而均勻的小斑點，肝硬化的回聲則增粗增密并且輕度紊亂。實驗使用Matlab對已獲得的樣本進行感興趣區(qū)域ROI（Regions Of Interest）的提取，見圖7，提取后的正常肝和肝硬化樣本如圖8所示，共采集到1 200份樣本。

由于醫(yī)學數(shù)據(jù)數(shù)量有限且獲取耗費時間和精力，所以在原有的1200張原始樣本的基礎上進行數(shù)據(jù)增強，將樣本隨機旋轉(zhuǎn)不同角度，從而得到更多的樣本數(shù)量，如圖9所示。本次實驗的訓練集包括正常肝樣本2 000張，肝硬化樣本1 000張，測試集包括正常肝樣本和肝硬化樣本各500張。

3.4 實驗結(jié)果

3.4.1 加入不同方法的實驗對比 首先設置4組實驗分別測試可變形卷積和Leaky ReLU激活函數(shù)。見表1，實驗1為原EfficientNet網(wǎng)絡，實驗2是加入可變形卷積后的網(wǎng)絡，對肝硬化樣本的識別率、正確率和召回率各提高了1.52%、1.03%和1.12%。實驗3使用Leaky ReLU作為激活函數(shù)，保留對分類有效的部分負值特征，較原網(wǎng)絡各項指標分別提升了1.24%、1.69%和1.01%，由于保留負值信息，從而增加了較少的參數(shù)量，使模型的訓練時間增加了28 s。實驗4為將二者都加入得到的網(wǎng)絡，總體識別率提高了2.63%，正確率和召回率分別提高了2.49%，2.25%。

將實驗4的網(wǎng)絡與不同注意力機制融合后對肝硬化樣本重新分析，用CA（Coordinate Attention）模塊[23]和ECANet模塊分別替換網(wǎng)絡中的SENet模塊得到C-EfficientNet、E-EfficientNet模型，見表2。C-EfficientNet網(wǎng)絡與原網(wǎng)絡相比，準確率提高了1.52%，正確率和召回率各提高了0.76%，0.77%，用時增加84 s，E-EfficientNet模型在各項指標上分別提高了2.15%，1.61%和1.55%，時間縮短了30 s。由實驗結(jié)果可知，將模型與ECANet模塊結(jié)合后可以更好地關注重要信息，肝硬化樣本識別效果和模型的運行效率均得到提升。

3.4.2 不同分類方法對比 為了更好的評估E-EfficientNet網(wǎng)絡在肝硬化識別中的性能，將本文方法分別與VGG和ResNet兩種網(wǎng)絡結(jié)合得到E-VGG和E-ResNet，并與E-EfficientNet測試對比，結(jié)果見表3。改進后的3個新模型在各項指標上都得到不同程度的提升。E-VGG和E-ResNet網(wǎng)絡的識別率各提升了4.42%和4.92%，正確率、召回率和分類效率均有所提高；E-EfficientNet網(wǎng)絡的識別率達到98.9%，相比原網(wǎng)絡提升4.77%，時間損耗更少，正確率和召回率分別達到99.38%和97.8%，在針對肝硬化識別的實驗中，與不同網(wǎng)絡模型結(jié)合對提高網(wǎng)絡識別效果是有效的。

3.4.3 模型復雜度對比 卷積神經(jīng)網(wǎng)絡在計算復雜度時需要考慮時間復雜度和空間復雜度。時間復雜度是指模型的運算次數(shù)，決定了模型訓練或預測的時間，用浮點運算次數(shù)Flops（FLoating-point OPerations）表示。卷積神經(jīng)網(wǎng)絡整體的時間復雜度是所有卷積層時間復雜度的總和

其中，D是神經(jīng)網(wǎng)絡的卷積層的數(shù)量，指網(wǎng)絡的深度；l為第l個卷積層；M表示每個卷積核輸出特征圖的邊長；K是每個卷積核的邊長；C代表每個卷積核的通道數(shù)。

卷積神經(jīng)網(wǎng)絡的空間復雜度為

空間復雜度為總參數(shù)量與各層輸出特征圖之和，與卷積核的尺寸K、通道數(shù)C和層數(shù)D相關，與輸入圖片的尺寸無關。如果模型具有較高的空間復雜度，會使模型的訓練和預測花費較長時間，且參數(shù)量較多，訓練模型所需要的數(shù)據(jù)量越大，導致模型的訓練更容易過擬合，無法更好地驗證模型有效性。

與其他6種模型的復雜度比較結(jié)果見表4，改進后的VGG、ResNet和EfficientNet模型網(wǎng)絡參數(shù)明顯減少，證明E-EfficientNet模型的魯棒性和有效性，相較于其他網(wǎng)絡模型擁有更低的復雜度和更高的運算效率。

4 結(jié)論

本文提出一個新的網(wǎng)絡模型E-EfficientNet應用于醫(yī)學圖像肝硬化的識別，利用可變形卷積能夠根據(jù)目標形態(tài)自適應調(diào)整感受野的特點，充分學習特征信息，采用Leaky ReLU作為激活函數(shù)保留圖像負值信息，提高圖像的分類效果，保證模型的有效性和魯棒性與改進后的VGG、ResNet等進行對比實驗和數(shù)據(jù)分析，本文方法在降低模型復雜度的情況下提高了識別率，并在效率和性能上都有一定的提升。后續(xù)實驗將進一步優(yōu)化網(wǎng)絡結(jié)構，提高識別率，并應用于其他臨床超聲圖像中。

參考文獻

[1]MITREA D， LUPSOR M P， NEDEVSCHI S，et al. Discovering the cirrhosis grades from ultrasound images by using textural features and clustering methods[C]// 36th International Conference on Telecommunications and Signal Processing （TSP）. Rome， 2013： 633-637.

[2]DOI K.Computer-aided diagnosis in medical imaging： historical review， current status and future potential[J]. Computerized Medical Imaging and Graphics， 2007， 31（4-5）： 198-211.

[3]LITJENS G， KOOI T， BEJNORDI B E， et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis， 2017， 42： 60-88.

[4]周飛燕， 金林鵬， 董軍. 卷積神經(jīng)網(wǎng)絡研究綜述[J]. 計算機學報， 2017， 40（6）： 1229-1251.

[5]張順，龔怡宏，王進軍.深度卷積神經(jīng)網(wǎng)絡的發(fā)展及其在計算機視覺領域的應用[J].計算機學報，2019，42（3）：453-482.

[6]蘇賦，呂沁，羅仁澤.基于深度學習的圖像分類研究綜述[J].電信科學，2019，35（11）：58-74.

[7]PANIGRAHI S， NANDA A， SWARNKAR T. Deep learning approach for image classification[C]// 2nd International Conference on Data Science and Business Analytics （ICDSBA）. Changsha， 2018： 511-516.

[8]LI Q， YANG Y J， GUO Y W， et al. Performance evaluation of deep learning classification network for image features[J]. IEEE Access， 2021， 9： 9318-9333.

[9]鞠維欣，趙希梅，魏賓，等.基于深度學習的肝硬化識別[J].青島大學學報（自然科學版），2018，31（4）：54-61.

[10] 李海強，趙希梅，魏賓，等.基于多特征融合和ELM的肝病多分類識別[J].青島大學學報（自然科學版），2018，31（4）：42-48.

[11] 韓秀芝，趙希梅，于可歆，等.一種基于LBP特征提取和稀疏表示的肝病識別算法[J].中國生物醫(yī)學工程學報，2017，36（6）：647-653.

[12] 劉夢倫，趙希梅，魏賓.基于多尺度多特征卷積神經(jīng)網(wǎng)絡的肝硬化識別[J].計算機仿真， 2020，37（12）：375-381.

[13] TAN M X， LE Q V. Efficientnet： Rethinking model scaling for convolutional neural networks[C]// 36th International Conference on Machine Learning （ICML）. Long Beach， 2019： 6105-6114.

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[DB/OL]. [2022-02-14]. https：//arxiv.53yu.com/abs/1409.1556.

[15] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Seattle， 2016： 770-778.

[16] WISTUBA M， RAWAT A， PEDAPATI T. A survey on neural architecture search[DB/OL]. [2022-02-14] https：//arxiv.org/abs/1905.01392

[17] WANG Q L， WU B G， ZHU P F， et al. ECA-Net： Efficient channel attention for deep convolutional neural networks[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Seattle， 2020： 11531-11539.

[18] HU J， SHEN L， SUN G. Squeeze-and-excitation networks[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， 2018： 7132-7141.

[19] DAI J F， QI H Z， XIONG Y W， et al. Deformable convolutional networks[C]// IEEE International Conference on Computer Vision. Venice， 2017： 764-773.

[20] HE K M， ZHANG X Y， REN S Q， et al. Delving deep into rectifiers： Surpassing human-level performance on imagenet classification[C]// IEEE International Conference on Computer Vision. Santiago， 2015： 1026-1034.

[21] 劉夢倫，趙希梅，魏賓.基于MobileNet V2-ELM的肝硬化識別[J].青島大學學報（自然科學版），2019，32（4）：17-21.

[22] CHOLLET F. Xception： Deep learning with depthwise separable convolutions[C]// 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu， 2017： 1800-1807.

[23] HOU Q B， ZHOU D Q， FENG J S. Coordinate attention for efficient mobile network design[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Electr Network， 2021： 13713-13722.

Liver Cirrhosis Recognition Based on Efficient Channel Attention EfficientNet

MA Yue-pana， ZHAO Xi-meia，b ， ZHANG Ninga

（a. College of Computer Science and Technology，b. Shandong Province Key Laboratory of Digital

Medicine and Computer-assisted Surgery，Qingdao University，Qingdao 266071，China）

Abstract： Aiming at the problems of high complexity， large number of parameters and poor accuracy and efficiency of the traditional convolutional neural network model， a deep learning method （E-EfficientNet） for liver cirrhosis identification in medical ultrasound images was proposed. In the EfficientNet network model， the attention mechanism SENet module in MBConv was replaced by ECANet module that does not reduce the dimension， so as to avoid the loss of feature information caused by the dimensionality reduction operations， reduce the complexity of the model and enhance the channel learning ability. The deformable convolution was integrated into the EfficientNet network， and the deformable convolution kernel was adaptively adjusted and changed according to the image content， so as to fully learn the image details and improve the generalization ability and feature extraction ability of the algorithm. The data of limited samples was enhanced， over fitting was avoided in the training process， and Leaky ReLU was used as the activation function to save image negative feature information to improve the recognition effect of liver cirrhosis. The experimental results show that the complexity of the model is low， and the accuracy in liver cirrhosis recognition reaches 98.9%.

Keywords： EfficientNet；MBConv；attention mechanism；deformable convolution；Leaky ReLU

收稿日期：2022-03-16

基金項目：國家自然科學基金（批準號：62006134）資助。

通信作者：趙希梅，女，博士，副教授，主要研究方向為計算機軟件及計算機應用，自動化技術。E-mail：xmzhao_qdu@163.com