基于注意力機制及卷積神經(jīng)網(wǎng)絡的肺部圖像分類

趙鑫，石翠萍，黃天盛，吉訓杰

基于注意力機制及卷積神經(jīng)網(wǎng)絡的肺部圖像分類

趙鑫，石翠萍＊，黃天盛，吉訓杰

（齊齊哈爾大學 通信與電子工程學院，黑龍江 齊齊哈爾 161000）

新冠肺炎在全球范圍內(nèi)的突然爆發(fā)，使醫(yī)療工作者進入了緊張的工作狀態(tài)。面臨此次突發(fā)的危機事件，病毒檢測速度較慢，檢測手段單一等問題也迅速暴露出來，為此，提出了一種基于注意力機制的輕量級卷積神經(jīng)網(wǎng)絡方法，以進行高效肺部圖像分類，從而緩解醫(yī)療工作壓力。提出模型采用MobileNet為基本網(wǎng)絡，并融合注意力機制。實驗表明，提出網(wǎng)絡的總體分類精度高達95.92%，比MobileNet基本網(wǎng)絡提高了1.02%，且分類精度高于VGG16，VGG19，Inception-V3網(wǎng)絡，具有良好的分類性能。

卷積神經(jīng)網(wǎng)絡；肺部圖像分類；注意力機制；MobileNet

近年來，深度學習逐漸成為計算機視覺發(fā)展的大趨勢，卷積神經(jīng)網(wǎng)絡被眾多研究者用于圖像分類任務。但與自然圖像不同，肺部圖像多數(shù)為單通道的灰度圖像，其內(nèi)部紋理組織豐富，圖像細節(jié)較多，在成像上易受機器的干擾并產(chǎn)生噪聲，從而大大增加了識別的難度。傳統(tǒng)提取圖像特征的方法有手工特征提取的方法，如：搜索樹[1]，尺度不變特征變換[2]，方向梯度直方圖[3]等，但這些基于底層的圖像特征提取方法對提取肺部圖像信息效果有限。卷積神經(jīng)網(wǎng)絡（Convolutional neural network，CNN）憑借其在計算機視覺領域的卓越表現(xiàn)，被廣泛用于圖像分類[4-6]，并能提供良好的分類精度。同時，注意力機制也成為提升分類性能的一大影響因素。然而，并非所有的卷積神經(jīng)網(wǎng)絡和注意力機制都適用于肺部圖像分類。結合肺部圖像特點，探尋一種適合其自身特性的神經(jīng)網(wǎng)絡模型，并用于高效分類是一項極具挑戰(zhàn)性的任務。

常見的肺部圖像分類方法有基于雙參數(shù)的聚類分類、基于像素分類概率的迭代分類、多譜圖像分類等，但這些傳統(tǒng)的提取醫(yī)學圖像特征的方法效果有限，并不能很好地提取到有效特征。2014年，隨著VGG系列網(wǎng)絡的誕生，卷積神經(jīng)網(wǎng)絡被廣泛應用于各類場景中。憑借其對圖像深層特征的良好探索能力，使得眾多研究者把卷積神經(jīng)網(wǎng)絡應用于肺部圖像分類任務中。卷積神經(jīng)網(wǎng)絡主要由卷積層、池化層和全連接層構成。為了更好地提取圖像特征，提高分類精度，越來越多的研究者不斷探索更深層更寬的網(wǎng)絡，因此，模型復雜度急劇增加，對機器數(shù)據(jù)處理能力要求大幅提高，給模型的訓練與快速應用帶來了不便。直到2016年一種輕量級網(wǎng)絡（SqueezeNet）發(fā)表，憑借其模型訓練速度快，分類精度高，模型復雜度小等優(yōu)點迅速脫穎而出。

同時，注意力機制[7-9]也成為了提高分類精度的有利方法。當大量的醫(yī)學圖像信息被輸入到神經(jīng)網(wǎng)絡中時，盡管卷積操作減少了數(shù)據(jù)的計算量，但網(wǎng)絡提取到的特征信息的能力是有限的。而注意力機制可以關注信道間特征權重的關系，在空間與通道中的進一步探索目標特征，減少信息的損失。

為了實現(xiàn)在分類精度較好的情況下，盡量降低模型復雜度，本文提出了一種基于注意力機制的輕量級神經(jīng)網(wǎng)絡模型（Convolutional Neural Network Based on Attention，ATT-CNN），并用于肺部圖像分類。在輕量級基礎上，關注肺部圖像關鍵特征及位置，進而提高分類精度。

1 方法

本文提出一種基于注意力機制的卷積神經(jīng)網(wǎng)絡，以MobileNet[10]作為基本網(wǎng)絡，在特征加權階段融合了模塊注意力機制（Convolutional Block Attention Module，CBAM），在模型的四到六組中，將特征圖進行卷積后所提取到的特征信息輸送到CBAM中，進行深層信息探索與提取。最后將得到的特征信息轉換為一維特征向量，輸送到分類器中進行圖像預測。本模型的整體結構框圖如圖1所示。

圖1 ATT-CNN 的總體結構框

1.1 圖像增強

肺部圖像在成像時易受到外界環(huán)境干擾，如磁場、電場等，從而產(chǎn)生噪聲，影響對圖像的判斷[11-12]。在模型訓練之前，本文進行了圖像增強處理，以抑制無關信息。如圖2所示，采用了伽馬變換對圖像進行增強，其公式可以表示為

經(jīng)過實驗發(fā)現(xiàn)，在G=1.9，C=1時圖像的細節(jié)效果最佳。

1.2 注意力機制

1.3 輕量級模型的構建

本文在選用模型時，避免了傳統(tǒng)的大型網(wǎng)絡模型，以MobileNet輕量級網(wǎng)絡作為此次實驗的基本網(wǎng)絡，應用普通2D卷積與深度可分離卷積間隔排列的方式進行特征探索，在特征提取的主要階段（第四到六組）加入了CBAM注意力機制。這樣不僅訓練速度快，模型的復雜程度也得到了一定程度上的縮減。表1為ATT-CNN網(wǎng)絡模型的結構圖。

表1 ATT-CNN網(wǎng)絡模型的結構圖

2 實驗結果及分析

2.1 數(shù)據(jù)集

本次實驗選取了醫(yī)學公共數(shù)據(jù)集上的肺部X射線圖像進行了實驗，其中包含正常的肺部圖像和患有肺部疾病患者的圖像，在實驗中采用訓練集∶測試集=5∶5進行了模型的訓練。圖像的一些示例樣本如圖3所示。

圖3 肺部圖像的數(shù)據(jù)樣本示例

2.2 實驗設置

為了得到更多的肺部圖像，使模型充分訓練，進行了以下設置：

（1）本文進行了圖像擴充，具體步驟如下：

①對圖像進行歸一化處理。

②將圖像進行隨機旋轉0~60°。

③將圖像的長度，寬度隨機偏移0.2倍。

（2）參數(shù)設置

初始學習率設置為0.01。訓練時的動量為0.9，批量大小設置為32，實驗是在一臺CPU：Intel（R）Core（TM）i7-10750H，顯卡：RTX2060，RAM：16GB。

2.3 提出模型的實驗結果

如表2所示，比較了提出的模型ATT-CNN與基本網(wǎng)絡模型MobileNet，VGG16模型，VGG19模型和Inception-V3模型在醫(yī)學公共數(shù)據(jù)集上的總體精度（OA），F(xiàn)1指標，平均精度（AP）上的比較結果。OA是指對每一個隨機樣本，所分類的結果與檢驗數(shù)據(jù)類型相一致的概率，可以直觀的看出分類性能的優(yōu)劣；AP是測試集上每個場景類準確率的平均值；F1評分為精確率與召回率的算數(shù)平均數(shù)除以幾何平均數(shù)。實驗結果表明，所提方法的OA精度，F(xiàn)1系數(shù)，AP精度分別達到了95.92%, 95.39%, 95.79%，分別比原基本網(wǎng)絡分別提高了1.02%, 1.03%, 0.85%，并且均高于VGG16, VGG19, Inception-V3網(wǎng)絡，證明了該方法的有效性。

圖4給出了ATT-CNN與MobileNet的訓練過程平均精度曲線和驗證平均精度曲線，可以看出提出網(wǎng)絡相比于MobileNet網(wǎng)絡，模型訓練過程中收斂速度更快，且震蕩幅度較小。由此看出，所提出的模型可以快速應用于肺部圖像分類中以應對緊急醫(yī)療公共衛(wèi)生事件，表明了該方法的高效性。

圖4 不同方法的訓練和驗證精度比較

3 結束語

本文提出了ATT-CNN，將其用于肺部圖像分類，并且實現(xiàn)了端到端的訓練，大大降低了模型訓練開銷。目前，越來越多的研究者不斷擴大網(wǎng)絡的深度與寬度，以提高模型復雜度為代價，換取更好的分類性能。受MobileNet網(wǎng)絡啟發(fā)，本模型在輕量級網(wǎng)絡上改進，探究了一種適合提取肺部圖像特征的注意力機制CBAM，提取肺部圖像上的有用信息，并減少有用信息的損失。在醫(yī)學公共數(shù)據(jù)集上進行了實驗，證明了提出網(wǎng)絡ATT-CNN具有良好的分類表現(xiàn)。

下一步將繼續(xù)優(yōu)化提出的模型，繼續(xù)提升模型的分類精度，以實現(xiàn)在較小網(wǎng)絡中獲取更好的分類性能，且能夠快速有效地應用于肺部圖像分類，進而減輕醫(yī)療工作者的壓力。同時，在圖像預處理方面進行深入研究，以探索一種新方法來應對肺部圖像上的無關噪聲。

[1] 俞斌，袁保宗. 用于特征選擇的BF算法及其與BF算法的比較[J]. 電子學報，1993(4): 52-57.

[2] 楊娟. 基于尺度不變特征變換的車牌特征提取及BBF匹配方法[J]. 機床與液壓，2019, 47(06): 127-132.

[3] 段成剛. 基于方向梯度直方圖的行人特征提取方法應用[J]. 中國戰(zhàn)略新興產(chǎn)業(yè)，2018(28): 133-134.

[4] Huang Z, Zhu X, Ding M, et al. Medical image classification using a light-weighted hybrid neural network based on PCANet and DenseNet[J]. IEEE Access, 2020, 8(99): 24697-24712.

[5] Tang H, Hu Z. Research on medical image classification based on machine learning. IEEE Access, 2020, 8: 93145-93154.

[6] Bardou D, Zhang K, Ahmad S M. Classification of breast cancer based on histology images using convolutional neural networks[J]. IEEE Access, 2018, 6: 24680-24693.

[7] Wang J, Bao Y, Wen Y, et al. Prior-attention residual learning for more discriminative COVID-19 screening in CT images[J]. IEEE Transactions on Medical Imaging, 2020, 39(8): 2572-2583.

[8] Zhang J, Xie Y, Xia Y, et al. Attention residual learning for skin lesion classification[J]. IEEE Transactions on Medical Imaging, 2019, 38(9): 2092-2103.

[9] Shaikh M, Kollerathu V A, Krishnamurthi G. Recurrent attention mechanism networks for enhanced classification of biomedical images[C]. 2019 IEEE 16th International Symposium on Biomedical Imaging, Italy, 2019: 1260-1264.

[10] Howard A G, Zhu M, Chen B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[J]. 2017.

[11] 王衛(wèi)國，孫旸，唐蕾，等. 醫(yī)學圖像的噪聲處理與增強方法的研究[J]. 當代醫(yī)學，2009, 15(21): 100-101.

[12] 彭盛坤，趙原，蒲紅. 不同成像參數(shù)與肺部結節(jié)CT圖像質(zhì)量及輻射劑量的相關性研究[J]. 中國循證醫(yī)學雜志，2019, 19(10): 1158-1162.

Convolutional neural network based on attention mechanism for lung image classification

ZHAO Xin，SHI Cui-ping＊，HUANG Tian-sheng，JI Xun-jie

(College of Communication and Electronical Engineering, Qiqihar University, Heilongjiang Qiqihar 161000, China)

Novel coronavirus pneumonia broke out worldwide, and medical workers entered a tense state of work. Faced with this sudden crisis, the speed of virus detection is slow, and the variability of virus is high. This paper proposes a convolutional neural network based on attention mechanism (ATT-CNN) for lung image classification to alleviate the pressure of medical work. The proposed model uses MobileNet as the basic network and integrates attention mechanism. Experiments show that the overall accuracy of the network is as high as 95.92%, which is 1.02% higher than that of the MobileNet basic network, and the accuracy is higher than that of VGG16, VGG19 and Inception-V3 networks.

convolutional neural network；lung image classification；attention mechanism；MobileNet

2021-02-24

2020年省級重點大學生創(chuàng)新創(chuàng)業(yè)訓練計劃資助項目（202010232001）；黑龍江省教育科學“十三五”規(guī)劃2020年度重點課題研究成果“‘新工科’背景下大學生創(chuàng)新能力培養(yǎng)的教學實踐研究-以《數(shù)字圖像處理》為例”（GJB1320385）；2019年度黑龍江省高等教育教學改革研究項目（SJGY20190718）；2020年齊齊哈爾大學教育科學研究項目（GJZRYB202002）

趙鑫（1999-），男，河北唐山人，本科，主要從事計算機視覺研究，2018132047@qqhru.edu.cn。

石翠萍（1980-），女，內(nèi)蒙古牙克石人，副教授，博士，主要從事計算機視覺研究，scp1980@126.com。

TN919

A

1007-984X(2021)04-0027-06