基于注意力機制改進(jìn)CNN的肺炎圖像識別研究

高 敏，曾孟佳，2*

（1.湖州師范學(xué)院信息工程學(xué)院，湖州 313000；2.湖州學(xué)院電子信息學(xué)院，湖州 313000）

0 引言

肺炎是臨床上最常見的傳染病之一，由于肺炎病因復(fù)雜，且發(fā)病時間短，因此盡早識別肺炎對肺炎的治療和診斷都起著重要的作用［1］。X 光檢查因其輻射小、費用低、實用性強等優(yōu)點而被廣泛用于影像檢查［2］。但是X光肺炎圖像分辨率低，圖像中的器官會出現(xiàn)重疊、交叉等現(xiàn)象，增加了專業(yè)醫(yī)生的識別難度，容易導(dǎo)致醫(yī)生出現(xiàn)誤診、漏診的情況［3］。如果肺炎沒有被及時地發(fā)現(xiàn)和治療，將影響到人的呼吸，嚴(yán)重的可能危及生命［4］。因此，快速和準(zhǔn)確地診斷肺炎在治療過程中至關(guān)重要。

傳統(tǒng)的肺炎識別方法主要是依靠肺部專業(yè)醫(yī)生的個人經(jīng)驗來判斷［5］?，F(xiàn)有的識別方法過于依賴專業(yè)的醫(yī)學(xué)知識，由于醫(yī)務(wù)人員的短缺、視覺疲勞和缺乏經(jīng)驗等客觀因素導(dǎo)致診斷效率偏低［6］。隨著計算機和圖像處理技術(shù)的快速發(fā)展，計算機輔助診療系統(tǒng)逐漸應(yīng)用在臨床醫(yī)學(xué)中，并為肺炎診斷等提供了參考性的意見。針對肺炎識別的問題，中外很多研究學(xué)者都提出了許多不同的方法［7］。Jun 等［8］利用支持向量機（support vector machine，SVM）算法對兩種不同的肺炎進(jìn)行了分類，最后的分類結(jié)果與放射科專業(yè)醫(yī)生的分類結(jié)果準(zhǔn)確率只相差5%～6%。俞一奇［9］在對咳嗽音兒童肺炎識別模型選用的是支持向量機算法，通過驗證比較不同核函數(shù)等參數(shù)，最終實驗得出的分類準(zhǔn)確率為73.26%。Jakhar 等［10］使用深度卷積神經(jīng)網(wǎng)絡(luò)對肺炎圖像進(jìn)行識別，這是一個基于隨機森林算法優(yōu)化的大數(shù)據(jù)預(yù)測模型來識別肺炎圖像，通過實驗得出肺炎識別的準(zhǔn)確率為84%。

隨著人工智能的深入發(fā)展和醫(yī)學(xué)影像數(shù)據(jù)的增加，人工智能在智慧醫(yī)療領(lǐng)域取得了重大的突破［11］。深度學(xué)習(xí)技術(shù)可以提高臨床診斷的準(zhǔn)確性和效率，它能夠自動地從原始圖像數(shù)據(jù)中逐層提取特征，從而更加準(zhǔn)確地識別肺炎。Krizhevsky 等［12］使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）在ImageNet 挑戰(zhàn)賽中取得了壓倒性的成功，引起大多數(shù)研究者的關(guān)注。在CNN 模型取得成功之后［13?14］，Anwar 等［15］將CNN 用于醫(yī)學(xué)圖像的相關(guān)分析中， Jahan 等［16］采用CNN 的高效網(wǎng)絡(luò)，通過遷移學(xué)習(xí)和微調(diào)訓(xùn)練分類器，將改進(jìn)后的網(wǎng)絡(luò)模型用于肺炎識別中。Song等［17］使用特征金字塔網(wǎng)絡(luò)改進(jìn)殘差神經(jīng)網(wǎng)絡(luò)，克服殘差神經(jīng)網(wǎng)絡(luò)過擬合問題，并通過實驗證明該方法在肺炎識別上取得了不錯的準(zhǔn)確率。Kong 等［18］提出了密集型融合網(wǎng)絡(luò)和VGG 特征的分類網(wǎng)絡(luò)，通過特征的重復(fù)利用來減少網(wǎng)絡(luò)參數(shù)的數(shù)量，并緩解了梯度消失的現(xiàn)象。

為了提高肺炎圖像的分辨率，同時提高肺炎識別的準(zhǔn)確率，本文設(shè)計了一種基于注意力機制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的肺炎識別方法，使用公開的肺炎X 光圖像數(shù)據(jù)集，對其進(jìn)行圖像增強等操作來增強肺炎圖像的對比度，將處理完成后的數(shù)據(jù)作為網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)；由于無關(guān)特征對肺炎識別的影響，本文在卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機制進(jìn)行改進(jìn)，對肺炎特征施加不同的權(quán)重，使得模型更加關(guān)注肺炎特征，抑制重疊器官和背景等無關(guān)特征的影響，從而提高肺炎識別的準(zhǔn)確率。

1 方法

1.1 數(shù)據(jù)集預(yù)處理

卷積神經(jīng)網(wǎng)絡(luò)要求網(wǎng)絡(luò)中與全連接層相連的最后一個卷積層的特征圖尺寸是統(tǒng)一的。然而初始數(shù)據(jù)的質(zhì)量和尺寸大小存在較大差別，需要對數(shù)據(jù)集進(jìn)行尺寸歸一化處理。本文使用拉伸縮放的方式將圖像調(diào)整為224 × 224大小。

在肺炎圖像形成的過程中，由于噪音等原因會使得的圖像對比度降低，邊緣模糊，再加上圖像本身就有各種臟器覆蓋，前后背景對比不突出。圖片的質(zhì)量會直接影響模型的訓(xùn)練。本文采取直方圖均衡化和限制（HE）對比度直方圖均衡（CLAHE）對圖像進(jìn)行增強操作。CLAHE主要在于對比度的限制，對每個小區(qū)域塊都使用對比度限制，用來克服HE 過度放大噪音的問題。如圖1 所示，CLAHE 方法能夠優(yōu)化均衡化的效果，保留了肺炎圖像更多的細(xì)節(jié)。

圖1 圖像增強示例

1.2 基于注意力機制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元節(jié)點連接構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，廣泛應(yīng)用于視覺圖像識別領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)中主要的核心結(jié)構(gòu)層由卷積層、最大池化層、全連接層構(gòu)成，卷積層和最大池化層之間交替疊加，各結(jié)構(gòu)層之間共同作用。

1.2.1 總體框架

本文研究的是注意力機制的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的肺炎識別方法，首先對肺炎圖像進(jìn)行圖像增強等相關(guān)的預(yù)處理，然后在不改變CNN 網(wǎng)絡(luò)深度的前提下，向網(wǎng)絡(luò)中不同深度加入注意力機制，從而使得網(wǎng)絡(luò)能夠根據(jù)肺炎特征的不同重要性，對不同通道上的特征施加不同的權(quán)重，抑制無關(guān)器官和背景特征的干擾，從而提高網(wǎng)絡(luò)模型的肺炎識別準(zhǔn)確性。具體網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2 改進(jìn)CNN網(wǎng)絡(luò)架構(gòu)

1.2.2 全連接層

在模型訓(xùn)練的過程當(dāng)中，加入模型的參數(shù)很多，而用于訓(xùn)練的數(shù)據(jù)集樣本很少，會出現(xiàn)訓(xùn)練完成之后的模型出現(xiàn)過擬合的現(xiàn)象。在網(wǎng)絡(luò)模型訓(xùn)練的過程中加入全連接層可以有效緩解過擬合現(xiàn)象的發(fā)生［19］。

全連接層是一種正則化的方法，在訓(xùn)練中，隱藏層的神經(jīng)元以概率P被抑制，部分隱藏層的神經(jīng)元會被丟棄，然而被丟棄的結(jié)點參數(shù)值會被保留下來。在誤差反向傳播的過程當(dāng)中，只有激活的神經(jīng)元參數(shù)被更新。這個過程將在下一次訓(xùn)練過程中重復(fù)進(jìn)行，從而可以在隱藏層的不同子集中學(xué)習(xí)相對應(yīng)的特征，來減少特征之間的依賴性，防止過擬合。標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)和應(yīng)用Dropout的神經(jīng)網(wǎng)絡(luò)如圖3所示。

圖3 Dropout技術(shù)圖

1.2.3 注意力機制

為了使改進(jìn)后的CNN 忽略不相關(guān)的信息，更加關(guān)注肺炎的關(guān)鍵特征信息，本文在不同層的CNN 網(wǎng)絡(luò)中加入了通道注意力機制模塊，通道注意力機制是一個端到端、簡單而又有效的計算機視覺注意力機制模塊，在卷積神經(jīng)網(wǎng)絡(luò)中，通道注意力機制可以沿著通道維度輸入任何中間的特征圖。然后，將經(jīng)過注意力施加權(quán)重的特征圖與輸入的特征圖相乘，對輸入的特征圖進(jìn)行一定程度的自適應(yīng)特征細(xì)化。最后，將其無縫集成到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中。通道注意力模型的計算方法如公式（1）所示。

其中：MLP是多層感知器；σ為sigmoid 函數(shù)；AvgPool是平均池化操作；MaxPool是最大池化操作，F(xiàn)是輸入的特征圖。通道注意力機制的結(jié)構(gòu)如圖4所示，其中?表示乘法運算。

圖4 通道注意力機制結(jié)構(gòu)

2 實驗和討論

本實驗在Windows10 環(huán)境中基于keras 深度學(xué)習(xí)框架和TensorFlow 開源庫，處理器為Intel（R）Core（TM）i5?7200U CPU@2.50 GHz 2.70 GHz，內(nèi)存為16 GB。

2.1 數(shù)據(jù)集介紹

本文采用加州大學(xué)圣迭戈分校Kermany等［20］于2018 年在Kaggle 網(wǎng)站公開的胸部X 光影像數(shù)據(jù)集Chest X?ray Images。數(shù)據(jù)集分為兩大類和三小類。訓(xùn)練集共有5216 張影像，包含1341張正常（normal）狀態(tài)的影像和3875張患有肺炎的影像，其中患有肺炎的圖像包含2530 張細(xì)菌性（bacteria）肺炎影像和1345 張病毒性（virus）肺炎影像。測試集共有624 張影像，包含234 張正常狀態(tài)的影像和390張患有肺炎的影像，其中患有肺炎的圖像包含242 張細(xì)菌性肺炎影像和148 張病毒性肺炎影像。圖5是胸部X光影像數(shù)據(jù)集正常、病毒性肺炎、細(xì)菌性肺炎樣本數(shù)據(jù)。圖6是胸部X光影像數(shù)據(jù)集的具體分布情況。

圖5 胸部X光影像部分樣本數(shù)據(jù)

圖6 胸部X光影像數(shù)據(jù)分布

2.2 評估標(biāo)準(zhǔn)

對于醫(yī)學(xué)圖像的識別，性能的評價指標(biāo)一般有三個，分別是準(zhǔn)確率Accuracy、精確率Pre?cision、召回率Recall。在三分類任務(wù)中使用平均值的評價方法。對正常、細(xì)菌性肺炎、病毒性肺炎三個類別分別統(tǒng)計準(zhǔn)確率、精確率和召回率三個評價指標(biāo)，然后求算術(shù)平均值作為模型的準(zhǔn)確率、召回率和精確率。計算過程如公式（2）～公式（4）所示。

式中：TP是指真正的正樣本；TN是指真正的負(fù)樣本；FP是指假正樣本；FN是指假負(fù)樣本。

2.3 實驗結(jié)果分析

為了驗證本文提出的圖像增強方法對肺炎識別的有效性，分別使用直方圖均衡化和限制對比度直方圖均衡對圖像進(jìn)行增強操作，然后輸入到CNN當(dāng)中進(jìn)行對比，結(jié)果如表1所示。

表1 使用圖像增強技術(shù)的對比結(jié)果

表中的模型（1）、模型（2）和模型（3）依次表示輸入CNN中的肺炎圖像數(shù)據(jù)未進(jìn)行圖像增強、經(jīng)過直方圖均衡化圖像增強、經(jīng)過限制對比度直方圖均衡圖像增強之后的實驗結(jié)果。相比較而言，肺炎圖像數(shù)據(jù)經(jīng)過圖像增強處理之后能夠一定程度地提高肺炎識別的準(zhǔn)確率，提高了2%～6%左右，表明肺炎圖像增強方法的有效性。

為了驗證本文改進(jìn)的CNN 網(wǎng)絡(luò)結(jié)構(gòu)的有效性，采用本文收集的數(shù)據(jù)集與其他主流的網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果進(jìn)行對比，且使用相同的圖像增強方法進(jìn)行數(shù)據(jù)預(yù)處理，為了驗證注意力機制在肺炎特征提取中的有效性，對本文網(wǎng)絡(luò)沒有使用注意力機制和加入了注意力機制的情況進(jìn)行對比，結(jié)果如表2所示。

表2 與現(xiàn)有模型的對比結(jié)果

由表2 可知，本文研究的Att?CNN 網(wǎng)絡(luò)在肺炎識別的準(zhǔn)確率達(dá)到90.57%，在所有對比方法中最高，表明加入注意力機制對網(wǎng)絡(luò)進(jìn)行改進(jìn)能有效提高肺炎圖像識別的準(zhǔn)確率，召回率和精確率都不是很高，相對而言處于平均水平。本文在不同深度的CNN 中加入注意力機制模塊進(jìn)行改進(jìn)，為CNN 在提取肺炎特征時分配了不同的權(quán)重，從而提高了肺炎識別的準(zhǔn)確率，在加入注意力機制的情況下，本文研究的網(wǎng)絡(luò)結(jié)構(gòu)的三個評價指標(biāo)都達(dá)到最高，表明本文所提出方法的有效性。

3 結(jié)語

本文研究基于注意力機制改進(jìn)CNN 的肺炎圖像識別方法，網(wǎng)絡(luò)結(jié)構(gòu)采用CNN為主干網(wǎng)絡(luò)，首先對肺炎圖像數(shù)據(jù)進(jìn)行圖像增強處理，然后在不增加CNN 網(wǎng)絡(luò)深度的情況下，向網(wǎng)絡(luò)結(jié)構(gòu)的不同層加入注意力機制，對肺炎特征施加不同的權(quán)重進(jìn)行訓(xùn)練，使得網(wǎng)絡(luò)能夠更加精準(zhǔn)地識別肺炎特征。實驗結(jié)果表明，本文的模型和主流的方法相比，能夠有效識別肺炎，其準(zhǔn)確率達(dá)到了90.57%，精準(zhǔn)率達(dá)到了89.76%。在一定程度上滿足了部分臨床的需求，對智慧醫(yī)療中肺炎識別的臨床診斷有極其重要的意義。