基于深度學(xué)習(xí)的慢性萎縮性胃炎診斷

鞏稼民，馬豆豆，蔣杰偉，張雅瓊，裴夢(mèng)杰

1.西安郵電大學(xué)電子工程學(xué)院，陜西西安710121；2.山西醫(yī)科大學(xué)附屬山西省人民醫(yī)院消化科，山西太原030012；3.西安郵電大學(xué)計(jì)算機(jī)學(xué)院，陜西西安710121

前言

慢性萎縮性胃炎是一種常見(jiàn)的消化道疾病，且在中國(guó)的發(fā)病率很高［1］。如果慢性萎縮性胃炎得不到及時(shí)治療，有可能發(fā)展成胃癌。2015年國(guó)家癌癥中心相關(guān)數(shù)據(jù)顯示，胃癌發(fā)病人數(shù)僅次于肺癌，是我國(guó)惡性腫瘤發(fā)病人數(shù)的第2 位［2］。醫(yī)學(xué)上將慢性萎縮性胃炎表征為嚴(yán)重的癌前病變。然而，胃鏡檢查在萎縮性胃炎檢查中的敏感性僅為約42%，并且活檢受許多因素的影響，檢查過(guò)程費(fèi)時(shí)費(fèi)力［3］。

目前，深度學(xué)習(xí)由于其學(xué)習(xí)特征的特性而不斷發(fā)展，在圖像領(lǐng)域已經(jīng)取得了巨大的成功。同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是醫(yī)學(xué)圖像識(shí)別和分類領(lǐng)域的出色工具，應(yīng)用于各種眼科疾病的識(shí)別和診斷［4-6］、腫瘤和癌癥的檢測(cè)，比如胃癌［7］、肺結(jié)節(jié)［8］、乳腺癌［9］等。Tajbakhsh 等［10-12］將各種息肉的特征通過(guò)CNN 應(yīng)用于檢測(cè)息肉的系統(tǒng)。Zhu等［13］將用于特征提取的CNN與支持向量機(jī)作為的分類器相結(jié)合，用以檢測(cè)內(nèi)窺鏡圖像的病變區(qū)域。Pogorelov等［14］檢測(cè)了單疾病和多疾病計(jì)算機(jī)輔助檢測(cè)的疾病，并比較了6 層和3 層CNN 的性能。Zhang 等［15］提出了一個(gè)GPDNet 用于檢測(cè)胃癌的癌前病變。

癌癥的排查很重要，但是慢性萎縮性胃炎的防治也有極大意義。然而，在利用胃鏡的胃竇圖像計(jì)算機(jī)輔助篩查慢性萎縮性胃炎方面仍然存在很大的差距。因此，利用深度學(xué)習(xí)方法協(xié)助胃鏡檢查慢性萎縮性胃炎是一項(xiàng)開(kāi)創(chuàng)性的研究工作。本文提出的方法優(yōu)于其他常規(guī)方法，慢性萎縮性胃炎的檢出率為87.92%，為自動(dòng)診斷慢性萎縮性胃炎提供了可能性。并且通過(guò)對(duì)Apriori算法挖掘萎縮性胃炎與其他癥狀之間的關(guān)聯(lián)關(guān)系，輔助醫(yī)生的診斷。

1 相關(guān)工作

1.1 胃鏡圖像采集與處理

從2018年4月至2019年4月，從山西人民醫(yī)院胃鏡圖像數(shù)據(jù)庫(kù)中的1 699 例患者中收集了5 470 張胃竇圖像，并將這些圖像的病理結(jié)果作為標(biāo)記這些圖像的金標(biāo)準(zhǔn)，有3 042張萎縮性胃炎的圖像和2 428張無(wú)萎縮性胃炎的圖像。

首先，對(duì)所有胃竇圖像進(jìn)行調(diào)整，使圖像的長(zhǎng)度和寬度相同，大小為512×512，圖像格式為bmp。由于每個(gè)圖像中都有水印，有些水印會(huì)與目標(biāo)區(qū)域重疊，這會(huì)干擾所要研究的目標(biāo)。第一步是使用INPAINT_TELEA方法對(duì)圖像進(jìn)行預(yù)處理，以去除圖像中的水印噪聲。INPAINT_TELEA算法用于處理胃鏡圖像某些區(qū)域中的水印，例如年齡、性別、時(shí)間和系統(tǒng)。目的是去除與患者有關(guān)的敏感信息，避免在萎縮性胃炎圖像識(shí)別中出現(xiàn)白色水印干擾。并且使用雙線性插值法統(tǒng)一圖像尺寸。所有胃鏡圖像均未壓縮，圖像信息已完全保留。通過(guò)INPAINT_TELEA算法去除水印的過(guò)程如圖1所示。

圖1 INPAINT_TELEA 算法去除水印的過(guò)程Fig.1 Process of INPAINT_TELEA algorithm to remove watermarks

1.2 評(píng)價(jià)指標(biāo)

將80%和20%的萎縮性胃炎圖像和非萎縮性胃炎圖像隨機(jī)分配給訓(xùn)練集和測(cè)試集，利用五折交叉驗(yàn)證來(lái)評(píng)估實(shí)驗(yàn)結(jié)果，并驗(yàn)證模型的可靠性，然后使用測(cè)試集來(lái)評(píng)估模型的有效性［16］。為了評(píng)價(jià)SRCAGnet模型的性能，將其與4 個(gè)評(píng)價(jià)指標(biāo)進(jìn)行比較，它們分別是準(zhǔn)確性、敏感性、特異性和精確度，計(jì)算公式如式（1）所示：

其中，TN、FN、TP和FP分別表示真陰性、假陰性、真陽(yáng)性和假陽(yáng)性的數(shù)目。此外，ROC的概念也被引入了機(jī)器學(xué)習(xí)領(lǐng)域，用以評(píng)估分類和測(cè)試結(jié)果。因此，ROC曲線是一項(xiàng)非常重要的統(tǒng)計(jì)分析方法。AUC是ROC曲線下的面積，也可用于評(píng)價(jià)網(wǎng)絡(luò)模型結(jié)果的性能。

2 SR-CAGnet網(wǎng)絡(luò)的設(shè)計(jì)

在計(jì)算機(jī)視覺(jué)領(lǐng)域，CNN 已成為主流的方法，例如Alexnet、GoogleNet、Incepetion 以及殘差網(wǎng)絡(luò)（ResNet）［17］等。本文在殘差網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合Zagoruyko 等［18］提出的寬殘差神經(jīng)網(wǎng)絡(luò)的思想，淺層網(wǎng)絡(luò)增加寬度也可以提升模型的性能。因此在基于ResNet-32 的基礎(chǔ)上，針對(duì)圖像的輸入大小通過(guò)修改第一層卷積層的卷積核大小以及每層卷積層中的特征圖數(shù)量得到一個(gè)改進(jìn)的20層的殘差網(wǎng)絡(luò)。

首先，在第一層卷積層中使用大小為5×5的卷積核，獲取更多的信息，填充像素?cái)?shù)（p）設(shè)為2，步長(zhǎng)（s）設(shè)為1，使得輸出與輸入具有相同的特征圖，然后輸入到殘差單元中。所改進(jìn)的殘差網(wǎng)絡(luò)包含有9 個(gè)殘差模塊：首先使用3×3的卷積操作對(duì)上一層輸入進(jìn)行特征提取，p為1，s為1 以保證每個(gè)殘差模塊的輸入與輸出特征圖大小相同。其次采用批歸一化算法對(duì)輸出數(shù)據(jù)進(jìn)行處理，防止過(guò)擬合現(xiàn)象，并采用ReLu激活函數(shù)增強(qiáng)網(wǎng)絡(luò)之間的非線性關(guān)系［19］。然后將其輸入到第二個(gè)卷積層中，所用參數(shù)與第一個(gè)卷積層一樣。在經(jīng)過(guò)9個(gè)殘差單元后，通過(guò)全局平均池化融合學(xué)習(xí)到的特征并與全連接層（FC）連接，F(xiàn)C 層輸出為本文分類數(shù)。通過(guò)實(shí)驗(yàn)證明了改進(jìn)的殘差網(wǎng)絡(luò)與ResNet-32 相比，分類的精度提高0.6%，兩者的網(wǎng)絡(luò)參數(shù)對(duì)照如表1所示。

表1 改進(jìn)前后的殘差模塊網(wǎng)絡(luò)參數(shù)Tab.1 Parameters of residual block network before and after improvement

為進(jìn)一步提高萎縮性胃炎的識(shí)別率，在基于改進(jìn)的殘差網(wǎng)絡(luò)的基礎(chǔ)上融入了Squeeze_and_Excitaion（SE）模塊，形成SR-CAGnet。SENet是由Hu等［20］在2017年提出，它基于一個(gè)稱為SE模塊的新結(jié)構(gòu)單元。圖2是SE模塊的結(jié)構(gòu)圖。給定輸入x，特征通道數(shù)為C1。經(jīng)過(guò)一系列的卷積和其他變換后，獲得了具有特征通道數(shù)量為C2的特征。與傳統(tǒng)的CNN不同，該模塊將先前的特征通過(guò)3個(gè)操作（Squeeze、Excitation和Scale）進(jìn)行了重新校準(zhǔn)。

圖2 SE模塊的結(jié)構(gòu)圖Fig.2 Architecture of SE block

（1）Squeeze操作，該操作通過(guò)全局平均池化來(lái)實(shí)現(xiàn)，沿空間維度執(zhí)行特征壓縮，將每個(gè)二維特征通道轉(zhuǎn)換為實(shí)數(shù)，如文獻(xiàn)［19］中給出的式（2）所示：

其中，輸入是經(jīng)過(guò)卷積操作后所輸出的一個(gè)三維矩陣，特征通道的數(shù)目為，mt為寬度，nt為高度，為三維矩陣中特定的通道。

（2） Excitation 操作即 Support(A→B) =其中，P(B|A)是第一個(gè)FC的參數(shù)，P(A?B)是第二個(gè)FC 的參數(shù)，P(A)是ReLu 激活，N(A?B)為sigmiod 激活，N(S)為縮放參數(shù)，取16。該操作通過(guò)運(yùn)算操作，顯式地建立特征通道之間的相關(guān)性。首先，將尺寸減小到輸入的1/16，然后通過(guò)全連接層FC 返回原始尺寸，最終得到參數(shù)s，如文獻(xiàn)［19］中給出的式（3）所示：

（3）Scale 操作，將Excitation 輸出的權(quán)重作為特征選擇，然后通過(guò)將權(quán)重之前的特征相乘進(jìn)行輸出，如式（4）所示：

改進(jìn)的網(wǎng)絡(luò)SR-CAGnet 引入了短路機(jī)制并利用特征重用原理，使得網(wǎng)絡(luò)在增加層數(shù)的同時(shí)不會(huì)出現(xiàn)梯度消失的現(xiàn)象，并將胃竇圖像中特征的強(qiáng)弱賦予不同的權(quán)重，減少冗余的特征。SR-CAGnet 的基礎(chǔ)模塊如圖3所示，該網(wǎng)絡(luò)充分利用了殘差網(wǎng)絡(luò)和SE模塊的優(yōu)點(diǎn)。將所設(shè)計(jì)的SR-CAGnet網(wǎng)絡(luò)應(yīng)用到胃竇圖像中CAG 的自動(dòng)診斷過(guò)程中，取得了良好的分類效果。

圖3 SR-CAGnet的基礎(chǔ)模塊結(jié)構(gòu)Fig.3 Basic module structure of SR-CAGnet

SR-CAGnet 網(wǎng)絡(luò)中包含了9 個(gè)SE 模塊，分類過(guò)程如圖4所示，首先通過(guò)卷積層將輸入的胃竇圖像進(jìn)行淺層特征的提取，然后再通過(guò)殘差模塊對(duì)特征進(jìn)行進(jìn)一步的學(xué)習(xí)，SE block對(duì)進(jìn)一步學(xué)習(xí)的特征執(zhí)行特征重標(biāo)定策略，使用全局平均池化融合學(xué)習(xí)到的特征，最后用Softmax分類器進(jìn)行分類。

圖4 SR-CAGnet模型的分類框圖Fig.4 Architecture of classification framework of SR-CAGnet model

為了比較優(yōu)化算法對(duì)模型準(zhǔn)確率的影響，本文分別對(duì)比了Adam 算法和SGD 算法對(duì)網(wǎng)絡(luò)模型的影響。其中，自適應(yīng)隨機(jī)優(yōu)化方法Adam 算法［21］等效于對(duì)原始梯度進(jìn)行指數(shù)加權(quán)平均，執(zhí)行歸一化過(guò)程，然后更新梯度值。從而將獨(dú)立的自適應(yīng)學(xué)習(xí)率設(shè)置為不同的參數(shù)。其公式如式（5）所示：

式中，mt、nt分別是對(duì)梯度的一階矩估計(jì)和二階矩估計(jì)是對(duì)mt、nt的校正。Adam 算法在實(shí)踐中具有優(yōu)勢(shì)，即所需內(nèi)存較少且計(jì)算高效。

3 Apriori算法

關(guān)聯(lián)規(guī)則挖掘［22］，也稱為購(gòu)物籃分析，最早用于在超市銷售數(shù)據(jù)庫(kù)中發(fā)現(xiàn)不同商品之間的關(guān)系。這個(gè)算法反映一個(gè)事件與其他事件之間的關(guān)系。如果我們能夠了解多個(gè)事件之間的明確關(guān)系，那么理論上其中一個(gè)事件可以被其他事件預(yù)測(cè)。Apriori 算法［23］是用于挖掘頻繁數(shù)據(jù)集的最經(jīng)典、最常用的算法。關(guān)聯(lián)規(guī)則挖掘廣泛應(yīng)用于生物醫(yī)學(xué)領(lǐng)域，例如微生物能量勘探［24］和污染流行病學(xué)［25］。Apriori 算法中有兩個(gè)重要參數(shù)：支持度和置信度。支持度從字面上看是一種支持程度，換句話說(shuō)，它表示事件A和事件B同時(shí)出現(xiàn)的百分比。置信度揭示了當(dāng)事件A出現(xiàn)時(shí)事件B是否必須發(fā)生，如果發(fā)生，它出現(xiàn)的可能性。如果A到B的置信度為100%，則表示當(dāng)A出現(xiàn)時(shí)B將出現(xiàn)（返回不一定成立）。關(guān)聯(lián)規(guī)則的支持度和置信度通過(guò)式（6）和式（7）表示：

其中，P(B|A)表示假設(shè)如果發(fā)生了事件A，則發(fā)生事件B的概率；P(A?B)表示同時(shí)發(fā)生事件A和事件B的概率；P(A)表示事件A的概率；N(A?B)表示事件A和事件B同時(shí)發(fā)生的次數(shù)；N(S)表示所有的次數(shù)。

由于胃鏡圖像的數(shù)據(jù)集還包括其他癥狀，例如化生、粘膜粗糙等。因此，挖掘它們與萎縮性胃炎之間的關(guān)系是有必要的。通過(guò)Apriori 算法，可以了解其他癥狀和萎縮性胃炎之間的關(guān)聯(lián)關(guān)系，以輔助醫(yī)生的診斷。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境

在實(shí)驗(yàn)中，使用Caffe 環(huán)境［26］實(shí)現(xiàn)SR-CAGnet 網(wǎng)絡(luò)，并在兩個(gè)NVIDIA TITAX X GPU 上同時(shí)進(jìn)行訓(xùn)練。每個(gè)GPU 上的batch size 大小為64，以加速參數(shù)收斂?；A(chǔ)學(xué)習(xí)率設(shè)置為0.001，優(yōu)化算法比較了Adam和SGD，最大迭代次數(shù)設(shè)為4 000。

4.2 實(shí)驗(yàn)結(jié)果和分析

在訓(xùn)練過(guò)程中，本文嘗試了幾種不同的網(wǎng)絡(luò)體系結(jié)構(gòu)Alexnet、改進(jìn)的ResNet 和SR-CAGnet。然后通過(guò)實(shí)驗(yàn)比較各個(gè)網(wǎng)絡(luò)的性能。在訓(xùn)練過(guò)程中，模型采用了原始圖像的隨機(jī)剪切策略，并在不同的優(yōu)化算法下分別進(jìn)行實(shí)驗(yàn)。表2說(shuō)明了不同的CNN 在不同優(yōu)化算法下的分類結(jié)果。通過(guò)表2的數(shù)據(jù)，可以得出在改進(jìn)的網(wǎng)絡(luò)中Adam算法優(yōu)于SGD算法，因此實(shí)驗(yàn)選用Adam算法作為網(wǎng)絡(luò)的優(yōu)化算法。

表2 不同CNN模型在不同優(yōu)化算法下的準(zhǔn)確率（%）Tab.2 Accuracies of different convolutional neural network models using different optimization algorithms(%)

研究表明，SR-CAGnet 網(wǎng)絡(luò)在識(shí)別慢性萎縮性胃炎方面具有很高的性能。通過(guò)K折交叉驗(yàn)證（K=5）以保證模型的可靠性，5 組模型測(cè)試集的準(zhǔn)確度約為87.9%，稍有變化，但變化幅度小，五折交叉驗(yàn)證的結(jié)果表明該模型具有較好的魯棒性。為了評(píng)價(jià)SR-CAGnet，計(jì)算了敏感性和特異性，分別為88.2%和85.6%。此外，使用ROC 曲線和AUC 值來(lái)研究改進(jìn)后模型的可靠性和泛化能力。本實(shí)驗(yàn)中的靈敏性和特異性是在0.5 的分類概率的位置上進(jìn)行截?cái)嗟贸龅模催x擇輸出結(jié)果中概率值大的類別作為分類類別。從圖5可以看出，AUC 已經(jīng)達(dá)到0.895，表明SR-CAGnet具有良好的分類性能。

圖5 SR-CAGnet的ROC曲線Fig.5 Receiver operating characteristic curve of SR-CAGnet

在本實(shí)驗(yàn)的Apriori 算法中，設(shè)定最小置信度為0.7，則輸出的置信度都大于這個(gè)最小值，結(jié)果如表3所示。

從表3可以看出，胃鏡檢查下的黏膜粗糙和白相以及化生，與慢性萎縮性胃炎的最終診斷相關(guān)，這將為醫(yī)生的診斷提供可解釋性。換句話說(shuō)，如果醫(yī)生在胃鏡下觀察到黏膜粗糙，白相為主或者化生的現(xiàn)象，則極大可能診斷該患者的病理結(jié)果為慢性萎縮性胃炎。從總體病歷來(lái)看，患病年齡以中老年為主，且男女患病無(wú)明顯差異，如果能早期發(fā)現(xiàn)和治療慢性萎縮性胃炎，就可能延緩甚至阻止疾病的進(jìn)展。這些結(jié)果被醫(yī)生證實(shí)是有價(jià)值的。

表3 關(guān)聯(lián)規(guī)則算法的結(jié)果Tab.3 Results of association rule algorithm

為了探尋該模型在胃竇圖像上進(jìn)行黏膜萎縮判定時(shí)的決策依據(jù)，本文利用CAM 生成熱力圖來(lái)查看胃鏡圖像中的哪些像素決定了模型的分類結(jié)果，如圖6所示。

圖6a 為原始圖像，其中黃色框?yàn)樵撃Ｐ驮谠紙D像上的隨機(jī)裁剪區(qū)域；圖6b 為從原始圖像上裁剪下來(lái)的區(qū)域，其中紅色框?yàn)獒t(yī)生標(biāo)注的病灶區(qū)域；圖6c為經(jīng)過(guò)CAM 可視化后生成的熱圖。從圖6中可以看出，CAM 熱圖在醫(yī)生所標(biāo)注的病灶區(qū)域附近顯示出了鮮艷的暗紅色，表明SR-CAGnet 模型在判別胃竇圖像是否存在黏膜萎縮時(shí)與醫(yī)生判斷是基本一致的。不僅如此，通過(guò)CAM 熱圖生成不僅完成了圖像分類，并定位出了病灶的相對(duì)位置?？梢?jiàn)本文中所提出的模型是準(zhǔn)確有效的。

5 結(jié)論

隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，人工智能技術(shù)在消化道內(nèi)鏡領(lǐng)域的應(yīng)用越來(lái)越重要。由于深度學(xué)習(xí)的出現(xiàn)，在許多領(lǐng)域中檢測(cè)和診斷醫(yī)學(xué)圖像是有效的。

由于胃竇圖像中慢性萎縮性胃炎的胃鏡下表現(xiàn)比較細(xì)微，因此從實(shí)驗(yàn)結(jié)果來(lái)看，本文所提出的SRCAGnet 由于結(jié)合了殘差網(wǎng)絡(luò)與SE block 的優(yōu)勢(shì)，在本數(shù)據(jù)集上相比于其它網(wǎng)絡(luò)可以取得不錯(cuò)的分類效果。此外，通過(guò)Apriori 算法得出了萎縮性胃炎與其他癥狀的關(guān)聯(lián)關(guān)系，可以輔助醫(yī)生診斷，這是非常重要的一點(diǎn)。下一步，我們將研究性能更好的網(wǎng)絡(luò)以提高慢性萎縮性胃炎的檢出率，節(jié)省人工檢查的成本。

圖6 SR-CAGnet模型在胃竇圖像的慢性萎縮性胃炎篩查可解釋性熱圖Fig.6 SR-CAGnet model for the interpretation of chronic atrophic gastritis in the image of gastric antrum