基于Inception-ResNet-v2的乳腺癌輔助診斷方法*

何欣穎 吳黎明 鄭耿哲 吳佳毅

（1.廣東工業(yè)大學(xué)機電工程學(xué)院，廣東 廣州 510006 2.佛山滄科智能科技有限公司，廣東 佛山 528200）

0 引言

癌癥是當(dāng)前嚴(yán)重威脅人類健康的主要疾病，其中乳腺癌是影響女性健康最主要的惡性腫瘤之一。乳腺癌的診斷主要有影像學(xué)檢查和病理學(xué)檢查2種方法，其中病理學(xué)檢查是乳腺病變良惡性的最終診斷依據(jù)[1]。因此，病理圖像的分析診斷對判斷是否存在癌癥極其重要。但病理圖像存在細(xì)胞重疊、病變細(xì)胞形態(tài)差異細(xì)微、染色不均等特點，導(dǎo)致病理醫(yī)生依據(jù)經(jīng)驗耗費大量時間仔細(xì)觀察和鑒別做出的診斷，存在受主觀人為因素影響且可能出現(xiàn)漏診誤診的可能[2]。高效準(zhǔn)確地自動分類病理圖像，對緩解病理醫(yī)生的壓力和給出更加客觀、準(zhǔn)確的結(jié)果尤為重要[3]。

學(xué)者們針對乳腺癌病理圖像自動分類開展了相關(guān)研究。在傳統(tǒng)機器學(xué)習(xí)算法方面，Kowal等[4]基于自適應(yīng)閾值和聚類分割方法，采用K-means、模糊C均值、競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和高斯混合模型4種聚類算法對細(xì)胞核進(jìn)行分割，實驗結(jié)果表明準(zhǔn)確率達(dá)96%～100%；Spanhol等[5]公布了由7909幅乳腺癌病理圖像構(gòu)成的BreaKHis數(shù)據(jù)集，并在此數(shù)據(jù)集上采用基于紋理表示的全局方法，利用局部二值模式（local binary patterns, LBP）、局部相位量化（local phase quantization, LPQ）等6種紋理描述符提取特征并用支持向量機（support vector machine, SVM）、隨機森林（random forest, RF）、二次判別分析（quadratic discriminant analysis, QDA）和K近鄰4種分類器進(jìn)行分類，準(zhǔn)確率達(dá)80%～85%。上述方法都是基于傳統(tǒng)機器學(xué)習(xí)進(jìn)行病理圖像分類，需要人工設(shè)計特征，存在專業(yè)知識要求高、提取特征耗時及難以提取高層次特征的問題。

近年來，將深度學(xué)習(xí)運用到醫(yī)療圖像分析領(lǐng)域成為研究熱點之一[6]。深度學(xué)習(xí)與傳統(tǒng)機器學(xué)習(xí)最大的不同在于其特征表示是從大量數(shù)據(jù)中自動學(xué)習(xí)得到，能從大量的數(shù)據(jù)集中逐步提取更高層次的抽象語義特征，避免了人工設(shè)計及提取特征的局限性[7]。Spanhol等[8]將BreaKHis數(shù)據(jù)集以隨機和固定滑動窗口的方式，在不同放大倍數(shù)的圖像中采樣塊訓(xùn)練AlexNet網(wǎng)絡(luò)，識別率最高達(dá)89.6%，無法滿足臨床需要。Deniz等[9]提出先用遷移學(xué)習(xí)預(yù)訓(xùn)練AlexNet，VGG16網(wǎng)絡(luò)，再對網(wǎng)絡(luò)進(jìn)行微調(diào)，實現(xiàn)乳腺癌病理圖像的自動分類，最佳精度值達(dá)93.78%，證明了使用遷移學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練比直接使用深度卷積網(wǎng)絡(luò)或 SVM的效果更好。

由于目前缺乏大量公開、已標(biāo)注的數(shù)據(jù)集，本文基于深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)乳腺癌病理圖像的自動分類，采用遷移學(xué)習(xí)解決數(shù)據(jù)稀少、易過擬合的問題；用數(shù)據(jù)增強，增加訓(xùn)練的數(shù)據(jù)量，提高模型的泛化能力，滿足更加精準(zhǔn)地判斷乳腺病理圖像的需求。

1 模型與方法

1.1 Inception-ResNet-v2網(wǎng)絡(luò)

對比目前常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet，VGG，Inception、ResNet等，本文選用在ILSVRC圖像分類基準(zhǔn)測試中實現(xiàn)當(dāng)下較好成績的 Inception-ResNet-v2網(wǎng)絡(luò)作為基本結(jié)構(gòu)，實現(xiàn)乳腺癌病理圖像分類。Inception-ResNet-v2網(wǎng)絡(luò)在Inception V3基礎(chǔ)上引入了殘差網(wǎng)絡(luò)跳躍連接的方法，加深網(wǎng)絡(luò)深度的同時，避免了梯度消失、梯度爆炸的問題，提高了網(wǎng)絡(luò)性能；將卷積核進(jìn)行分解，提升了計算能力，使得網(wǎng)絡(luò)深度進(jìn)一步增加，并增加了網(wǎng)絡(luò)的非線性，整體結(jié)構(gòu)如圖1所示。

圖1 Inception-ResNet-v2網(wǎng)絡(luò)總體結(jié)構(gòu)

Inception-ResNet-v2要求輸入層為299×299×3的RGB圖片；中間各層得到的結(jié)果稱為特征圖（Feature Map），主要包括組合卷積、池化、殘差、張量連接等運算，其中組合卷積以“多通道卷積—批歸一化—激活運算”的方式進(jìn)行；輸出層以SoftMax分類器為基礎(chǔ)，利用特征圖中的各個特征分量預(yù)測圖片屬于某類別的概率。

該網(wǎng)絡(luò)的特征提取模塊為 Inception-ResNet-A、Inception-ResNet-B、Inception-ResNet-C多路卷積殘差模塊，結(jié)構(gòu)分別如圖2、圖3、圖4所示。Feature Map經(jīng)ReLu激活函數(shù)后進(jìn)入右路通道進(jìn)行組合卷積運算；通過張量連接、殘差結(jié)構(gòu)后，再進(jìn)入ReLu中進(jìn)行激活處理，其中 S1代表卷積步長為 1。在 Inception-Resnet-B、Inception-Resnet-C結(jié)構(gòu)中，右路卷積將7×7和 3×3 的卷積核分解成 1×7、7×1 和 1×3、3×1 的不對稱卷積核，在提高運算性能的同時加深了網(wǎng)絡(luò)深度及非線性。

Inception-ResNet-v2網(wǎng)絡(luò)結(jié)構(gòu)最終得到的Feature Map是一個1×1792維的特征向量。SoftMax分類器以1792維向量作為輸入，輸出向量的維度與類別數(shù)相同。對于每張輸入圖像x(i)，其標(biāo)記為y(i)∈ { 1 , 2,…，k} ，共k類，本文僅對乳腺癌病理圖像做良惡性分類，即k= 2。用假設(shè)函數(shù)估計其屬于每個類別j的概率p(y(i)=j|x(i))，則假設(shè)函數(shù)hi為

矩陣θ中，每一列參數(shù)負(fù)責(zé)每一類的預(yù)測。在訓(xùn)練過程中通過式(2)、式(3)優(yōu)化θ矩陣以及前面所有層的卷積核參數(shù)，使損失函數(shù)LossFunc(θ) 最小，得到最終的權(quán)重值。

式中，m為輸入的病理圖像數(shù)；1 (y(i)=j)為指示性函數(shù)。

圖2 Inception-ResNet-A

圖3 Inception-ResNet-B

圖4 Inception-ResNet-C

1.2 數(shù)據(jù)增強與遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)眾多，因此需要大規(guī)模的數(shù)據(jù)集才能防止過擬合。但現(xiàn)階段獲得由專業(yè)病理醫(yī)生標(biāo)注的大規(guī)模數(shù)據(jù)集極其困難且代價昂貴，導(dǎo)致缺乏大規(guī)模、已標(biāo)注的醫(yī)療圖像訓(xùn)練數(shù)據(jù)。本文采取遷移學(xué)習(xí)、數(shù)據(jù)增強的方法來解決此問題[10-11]。

遷移學(xué)習(xí)通過在大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，得到模型初始化參數(shù)；再遷移到目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)和訓(xùn)練，從而加快并優(yōu)化模型的學(xué)習(xí)效率[12]。本文在ImageNet數(shù)據(jù)集（包含1400余萬幅圖像和2萬多個類別）上對Inception-ResNet-v2進(jìn)行預(yù)訓(xùn)練，得到的模型參數(shù)作為網(wǎng)絡(luò)初始化參數(shù)；然后遷移到目標(biāo)數(shù)據(jù)集BreaKHis上進(jìn)行微調(diào)訓(xùn)練。同時采用仿射變換方法對原始圖像進(jìn)行數(shù)據(jù)增強，主要通過將圖像旋轉(zhuǎn)、平移、翻轉(zhuǎn)、顏色變換等，將數(shù)據(jù)集擴充5倍。

2 實驗

2.1 數(shù)據(jù)集

本文使用BreaKHis數(shù)據(jù)集[6]，其數(shù)據(jù)來自于82位患者的病理切片，每張病理切片均采用4種放大倍數(shù)，共7909幅。其中2480幅良性樣本和5429幅惡性腫瘤樣本，數(shù)據(jù)集分布情況如表1所示。

表1 BreaKHis數(shù)據(jù)集具體分布情況

每張圖像的固定像素為700×460，模式為三通道RGB、PNG格式。數(shù)據(jù)集的每幅樣本都已做好標(biāo)注，如SOB_B_TA-14-4659-40-001.png是通過外科開放活組織檢查（SOB）收集、放大倍數(shù)為40×的管狀滑動腺瘤（TA）類型的良性腫瘤（Benign）的圖像1，其圖像來自幻燈片14-4659。圖5為數(shù)據(jù)集惡性腫瘤中的小葉癌（LC）放大不同倍數(shù)的圖片。

圖5 不同放大倍數(shù)下的惡性腫瘤病理圖像

將上述數(shù)據(jù)集按照6：2：2的比例隨機劃分成訓(xùn)練集、驗證集、測試集；將圖片大小 700×460裁剪成299×299送到網(wǎng)絡(luò)中進(jìn)行微調(diào)訓(xùn)練，實驗結(jié)果為5次隨機分配數(shù)據(jù)集實驗的平均值。

2.2 實驗平臺與超參數(shù)

本文實驗平臺配置包括：處理器 Intel i7-7700k；內(nèi)存 32 G DDR4 2400 MHz；2個 Nvidia GeForce GTX1080Ti顯卡；固態(tài)硬盤 850EVOSATA3（120 G）；操作系統(tǒng)為 64位 Ubuntu14.04 LTS；實驗框架為TensorFlow開源框架。

在微調(diào)階段將訓(xùn)練集、驗證集中的圖像送入預(yù)訓(xùn)練好的Inception-ResNet-v2網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用自適應(yīng)矩估計（Adam）梯度優(yōu)化算法對權(quán)重、偏置進(jìn)行更新；初始學(xué)習(xí)率設(shè)置為0.001；動量因子取0.9和0.999；每次訓(xùn)練的批量數(shù)為64；當(dāng)訓(xùn)練迭代次數(shù)達(dá)20000次時，將學(xué)習(xí)率調(diào)為0.0001，便于收斂網(wǎng)絡(luò)。

2.3 實驗結(jié)果與分析

對于二分類問題，本文使用圖片識別率即準(zhǔn)確率（ACC）作為模型的評價指標(biāo)

式中，Nall為測試集中所有的圖像數(shù)目；Nr為測試集中正確分類的圖像數(shù)目。

為驗證數(shù)據(jù)增強、遷移學(xué)習(xí)的有效性，本實驗對是否采用數(shù)據(jù)增強及遷移學(xué)習(xí)前后3種分類結(jié)果進(jìn)行對比，如圖6所示。

圖6 數(shù)據(jù)增強及遷移學(xué)習(xí)前后的分類結(jié)果

圖6結(jié)果顯示數(shù)據(jù)增強、遷移學(xué)習(xí)后，準(zhǔn)確率都有大幅度提高，證實了模型在預(yù)訓(xùn)練時學(xué)到了一些淺層特征，有助于模型在目標(biāo)數(shù)據(jù)集上更好地學(xué)習(xí)；證實了數(shù)據(jù)增強，擴充數(shù)據(jù)集后，能有效提高模型的分類性能。在 40×放大倍數(shù)下，得到的準(zhǔn)確率最高達(dá)96.8%，反映了 40×放大倍數(shù)的病理圖像包含了更多區(qū)別良惡性腫瘤的特征，包括組織結(jié)構(gòu)及細(xì)胞核特征。

為驗證Inception-ResNet-v2網(wǎng)絡(luò)性能，在相同的實驗環(huán)境和訓(xùn)練策略下，對比與 Inception-ResNet-v2卷積層數(shù)相近的ResNeXt-101和SENet-101網(wǎng)絡(luò)的訓(xùn)練性能。以均值平均精度（mAP）作為指標(biāo)進(jìn)行比較，分別計算3條P-R曲線（即精確率—召回率曲線）的積分得到mAP值，如表2所示。

表2 mAP對比結(jié)果

由表2可知，Inception-ResNet-v2的mAP值高于ResNeXt-101和SENet-101網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型在總體分類性能上略優(yōu)于其他二者。

3 結(jié)論

本文利用深度學(xué)習(xí)方法實現(xiàn)了乳腺癌病理圖像的自動分類，比傳統(tǒng)機器學(xué)習(xí)方法能提取到更高層的抽象語義特征。通過實驗，驗證了遷移學(xué)習(xí)和數(shù)據(jù)增強的有效性，及基于Inception-ResNet-v2網(wǎng)絡(luò)模型的分類性能略優(yōu)于其他相近的網(wǎng)絡(luò)模型。實驗在40×放大倍數(shù)下，準(zhǔn)確率達(dá)96.8%，在一定程度上可應(yīng)用于實際醫(yī)學(xué)輔助診斷場景。