基于遷移學(xué)習(xí)的乳腺腫瘤組織病理圖像分類研究

王振東，李悅，申炳俊，金麗虹，夏冰

（1.長春理工大學(xué) 生命科學(xué)技術(shù)學(xué)院，長春 130022；2.長春婦產(chǎn)科醫(yī)院，長春 130041）

乳腺癌是女性最常見的惡性腫瘤之一［1］，早期的診斷和治療可以大大提高乳腺癌患者的生存率和生活質(zhì)量。組織病理學(xué)圖像是乳腺癌診斷的“金標(biāo)準(zhǔn)”，病理醫(yī)師根據(jù)組織病理學(xué)圖像的細(xì)胞形態(tài)學(xué)特征及分布信息，進(jìn)而完成對乳腺癌臨床分類診斷。然而，這個過程不僅非常費時費力，而且診斷易受到病理醫(yī)師經(jīng)驗和知識水平的影響。隨著組織病理學(xué)圖像被大量應(yīng)用于乳腺癌的臨床分類診斷，最大程度地輔助醫(yī)生精確、快速地診斷病情，這成為醫(yī)學(xué)圖像處理領(lǐng)域的研究熱點。

深度學(xué)習(xí)作為計算機輔助診斷的方法之一，其在提高乳腺癌診斷的效率和準(zhǔn)確度方面展現(xiàn)了顯著優(yōu)勢。2016 年，Spanhol 等人［2］發(fā)表了乳腺病理圖像處理領(lǐng)域重要的數(shù)據(jù)集BreakHis，通過對數(shù)據(jù)進(jìn)行預(yù)處理達(dá)到對數(shù)據(jù)擴增的目的，使用Alexnet 網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)并進(jìn)行分類，實驗結(jié)果與傳統(tǒng)的機器學(xué)習(xí)分類相比，高出4%-6%。2021 年，Singh 等人［3］提出了一種混合深度神經(jīng)網(wǎng)絡(luò)，用于組織病理學(xué)圖像中的癌癥檢測，BreakHis 數(shù)據(jù)庫放大倍數(shù)分別為40、100、200 和400 的分類精度分別達(dá)到0.808 0、0.827 6、0.865 5和0.858 0。隨著神經(jīng)網(wǎng)絡(luò)的層數(shù)越來越多，提取的特征越來越復(fù)雜，計算量也逐漸增加，但增加網(wǎng)絡(luò)的深度不一定會取得較好的分類結(jié)果，有時候也會適得其反。為了解決這種問題，遷移學(xué)習(xí)算法進(jìn)入了研究者的視野。Vesal 等人［4］使用預(yù)訓(xùn)練好的Inception-V3 和ResNet50 網(wǎng)絡(luò)，通過微調(diào)方法對乳腺腫瘤組織病理圖像進(jìn)行分類。對比發(fā)現(xiàn)，Inception-V3 的分類結(jié)果高于ResNet50，達(dá)到97.08%。Saini 等人［5］提出一種遷移學(xué)習(xí)策略，首先在大型數(shù)據(jù)ImageNet 上進(jìn)行訓(xùn)練并保存參數(shù)，對BreakHis 數(shù)據(jù)集上不同放大倍數(shù)的圖像進(jìn)行實驗驗證，分別獲得了0.965、0.94、0.955 和0.93 的準(zhǔn)確率。

近年來，許多研究者開始使用遷移學(xué)習(xí)結(jié)合其他分類器來進(jìn)行分類。Zerouaoui 等人［6］使用MLP 分類器和DensNet 201 特征提?。∕DEN）的混合架構(gòu)，對BreakHis 數(shù)據(jù)集四種放大倍數(shù)圖像進(jìn)行分類，準(zhǔn)確率分別達(dá)到92.61%、92%、93.93%和91.73%。Wang 等人［7］采用卷積神經(jīng)網(wǎng)絡(luò)和與機器學(xué)習(xí)結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)模型對ICIAR2018數(shù)據(jù)集上的乳腺圖像進(jìn)行分類。通過數(shù)據(jù)增強操作，使用Vgg-16 模型分類取得的分類準(zhǔn)確率為92.5%。

隨著不同的分類器應(yīng)用到乳腺癌分類中，像遺傳算法（GA）這樣的優(yōu)化算法也成為提高分類準(zhǔn)確率的趨勢。Dhahri 等人［8］提出了一個基于GP 的乳腺癌分類模型，GP 算法在研究中的作用是優(yōu)化模型的數(shù)據(jù)和控制參數(shù)。Davoud 等人［9］使用三種不同的優(yōu)化器（小批量梯度下降、Adam和GA）訓(xùn)練模型，并通過對BreakHis 數(shù)據(jù)集的各種實驗評估模型。實驗結(jié)果表明，通過GA 訓(xùn)練的CNN 模型的性能與Adam 優(yōu)化器一樣好，分類準(zhǔn)確率為85%。Fu 等人［10］采用果蠅優(yōu)化算法（FOA）優(yōu)化網(wǎng)絡(luò)架構(gòu)，進(jìn)一步提高SNN 性能。通過特征提取、基于熵的時間編碼和網(wǎng)絡(luò)優(yōu)化，對BreaKHis 數(shù)據(jù)圖像分類的準(zhǔn)確率為95.83%。

基于此，本文提出了一種基于遷移學(xué)習(xí)的乳腺腫瘤診斷方法：使用塊處理作為數(shù)據(jù)增強技術(shù)，用于解決基于深度學(xué)習(xí)的模型訓(xùn)練時數(shù)據(jù)量不足問題；調(diào)用已經(jīng)在ImageNet 數(shù)據(jù)集上訓(xùn)練好的Alexnet，凍結(jié)頂部的卷積層權(quán)重，微調(diào)底部的全連接層部分，并采用支持向量機作為分類器；最后，使用三種優(yōu)化算法優(yōu)化SVM 的參數(shù)，進(jìn)一步提高分類效果。

1 數(shù)據(jù)集及預(yù)處理

1.1 數(shù)據(jù)集

BreakHis 數(shù)據(jù)集目前包含四種不同類型的良性乳腺腫瘤和四種惡性腫瘤，數(shù)據(jù)庫中的7 909個樣本來自于82 名志愿者，其中2 480 個樣本標(biāo)記為良性腫瘤，剩余5 429 個樣本標(biāo)記為惡性腫瘤。圖1 給出了四種不同放大倍數(shù)下的圖像樣本。表1 詳細(xì)介紹BreakHis 中各放大倍數(shù)下良惡性樣本的數(shù)量。

表1 BreakHis 中各放大倍數(shù)下良惡性病人數(shù)目分布

圖1 BreakHis 數(shù)據(jù)集中四種不同放大倍數(shù)下的圖像樣本

1.2 預(yù)處理

BreakHis 數(shù)據(jù)集原始圖像大小為700×460，而Alexnet 網(wǎng)絡(luò)圖像輸入大小為227×227×3，因此采用塊處理的方法對組織病理學(xué)圖像進(jìn)行裁剪，提取六個大小為227×227 的非重疊圖像塊，對邊緣部分進(jìn)行舍棄（如圖2 所示），以便于將其輸入到神經(jīng)網(wǎng)絡(luò)。經(jīng)過預(yù)處理后，各放大倍數(shù)下的良惡性樣本數(shù)量擴大到原來的6 倍。將預(yù)處理過后的圖像數(shù)據(jù)按照7∶3 的比例隨機劃分為訓(xùn)練集和測試集。

圖2 數(shù)據(jù)預(yù)處理

2 遷移學(xué)習(xí)模型

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)方法最大的特點就是可以很快地建立一種識別圖像的模型，通過調(diào)用在大型數(shù)據(jù)庫已經(jīng)訓(xùn)練好的學(xué)習(xí)模型，來解決與原有問題相似的問題。所引用的模型在大規(guī)模數(shù)據(jù)上表現(xiàn)出非常出色的效果，其包含大量的層結(jié)構(gòu)及參數(shù)，通過微調(diào)技術(shù)，可以將其應(yīng)用到所要解決的問題中。主要方法是凍結(jié)模型的卷積結(jié)構(gòu)及其參數(shù)，修改全連接層以匹配數(shù)據(jù)。

2.2 分類器及優(yōu)化

Alexnet 網(wǎng)絡(luò)最終全連接層輸出端是一個Softmax 分類器，為了提高分類準(zhǔn)確率，本文在提取特征之后選用SVM 作為分類器。

SVM 通過訓(xùn)練有限數(shù)量的樣本，獲得誤差較小，尤其是在給數(shù)據(jù)獨立測試時，發(fā)生錯誤的概率是最小的。SVM 分類方法避免了神經(jīng)網(wǎng)絡(luò)在分類問題中難以解決的局部最小值問題，具有處理小樣本和非線性分類問題的優(yōu)點。給定特征向量χi，權(quán)重向量ω和類標(biāo)簽yi：

其中，i表示樣本數(shù)；C是懲罰參數(shù)，用于控制間隔最大化和分類誤差最小化之間的權(quán)衡；ζi是松弛變量。

SVM 作為一種機器學(xué)習(xí)算法，它能夠?qū)Q策函數(shù)的內(nèi)積置換為核函數(shù)，進(jìn)而有效地求解復(fù)雜的不確定性現(xiàn)象。其中，線性核能用來解答復(fù)雜的線性問題，而高斯徑向基能用來解答復(fù)雜的非線性問題。

在其他學(xué)者的研究基礎(chǔ)上，本文選擇徑向基核函數(shù)（RBF）的SVM 作為分類器。此外，使用灰狼算法（GWO）、遺傳算法（GA）和網(wǎng)格搜索算法（Grid）對SVM 的核參數(shù)進(jìn)行自動尋優(yōu)來提高SVM 的分類性能。

2.3 模型結(jié)構(gòu)

2012 年Krizhevsky 等人［15］構(gòu)建了Alexnet 網(wǎng)絡(luò)，由此遷移學(xué)習(xí)受到學(xué)者的追捧，逐漸成為最熱門的研究領(lǐng)域。本文所使用的策略為微調(diào)，保留Alexnet 網(wǎng)絡(luò)中的內(nèi)部網(wǎng)絡(luò)及參數(shù)（圖3 方框所示），對網(wǎng)絡(luò)的全連接層部分進(jìn)行微調(diào)。在Alexnet 網(wǎng)絡(luò)前兩層全連接層及其參數(shù)后添加fc8和fc9 全連接層，參數(shù)設(shè)置為64 和2，在fc8 層添加ReLU 激活函數(shù)。此外，采用SVM 替換原先的Softmax 分類器，修改后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，將其稱為Alexnet-SVM 網(wǎng)絡(luò)。圖像經(jīng)模型訓(xùn)練提取特征，將最后一層全連接層特征歸一化到［0 1］，輸入到SVM 分類器進(jìn)行良惡性分類。

圖3 Alexnet-SVM 網(wǎng)絡(luò)結(jié)構(gòu)

2.4 參數(shù)設(shè)置

網(wǎng)絡(luò)訓(xùn)練使用帶動量的隨機梯度下降（SGDM）作為優(yōu)化函數(shù)，學(xué)習(xí)策略為分段式學(xué)習(xí)，學(xué)習(xí)率下降因子設(shè)置為0.5，學(xué)習(xí)率下降周期為8，驗證頻率設(shè)置為80。每訓(xùn)練完一個epoch就打亂一次數(shù)據(jù)，避免丟棄同一批數(shù)據(jù)。此外，為了防止過擬合，引入L2 正則化技術(shù)。提取最后一層全鏈接層輸出的特征，將數(shù)據(jù)打亂后進(jìn)行歸一化處理，輸入SVM 分類器進(jìn)行分類。表2詳細(xì)介紹網(wǎng)絡(luò)模型的超參數(shù)。

表2 實驗參數(shù)設(shè)置

3 實驗結(jié)果和討論

3.1 實驗環(huán)境

本文所有實驗都是在以下平臺進(jìn)行的：操作系統(tǒng)為64 位Windows10，Inter Xeon CPUE5-2678-v3@2.40 GHz，運行內(nèi)存為48 GB，GTX 1050Ti 4G圖形處理器。實驗使用的軟件是Matlab 2019b。

3.2 預(yù)處理前后對比

將未進(jìn)行預(yù)處理的圖像調(diào)整尺寸后輸入到Alexnet（Softmax）網(wǎng)絡(luò)，與經(jīng)過預(yù)處理的數(shù)據(jù)進(jìn)行對比，觀察預(yù)處理前后分類性能的變化。實驗采用五倍交叉驗證，每次實驗網(wǎng)絡(luò)在訓(xùn)練集的準(zhǔn)確率均達(dá)到100%，其在測試集表現(xiàn)如圖4 所示。方塊代表的是沒有進(jìn)行預(yù)處理的分類結(jié)果，圓點代表的是采用塊處理后的分類結(jié)果。

圖4 預(yù)處理前后的分類準(zhǔn)確率

圖4 展示了四種不同放大倍數(shù)下病理圖像分類結(jié)果?？梢钥闯?，經(jīng)過預(yù)處理后的數(shù)據(jù)分類準(zhǔn)確率均比未經(jīng)過預(yù)處理的數(shù)據(jù)分類準(zhǔn)確率高，其在放大倍數(shù)為40、100 和400 中表現(xiàn)最為明顯。放大倍數(shù)為200 時的兩種實驗分類結(jié)果最為相近，但經(jīng)過預(yù)處理之后的分類準(zhǔn)確率仍比未經(jīng)過預(yù)處理的略高。

在放大倍數(shù)為40、100 和400 的實驗中，沒有經(jīng)過塊處理的數(shù)據(jù)，其分類準(zhǔn)確率波動幅度范圍較大，而經(jīng)過塊處理后的數(shù)據(jù)，其分類準(zhǔn)確率不僅有較大提高，且準(zhǔn)確率的波動幅度比未進(jìn)行預(yù)處理的要小很多。因此，經(jīng)過所提出的預(yù)處理方法后，遷移學(xué)習(xí)策略可以明顯提高網(wǎng)絡(luò)分類性能，并且具有較好的魯棒性。

3.3 與原Alexnet（Softmax）對比

圖像經(jīng)過預(yù)處理后，對比原Alexnet（Softmax）和Alexnet-SVM 兩種遷移學(xué)習(xí)模型對數(shù)據(jù)的分類效果。圖5 所示為四種不同放大倍數(shù)下的圖像經(jīng)過預(yù)處理后Alexnet（Softmax）和Alexnet-SVM 兩種網(wǎng)絡(luò)對數(shù)據(jù)的分類結(jié)果。紅色代表的是Alexnet-SVM 網(wǎng)絡(luò)，黑色代表的是Alexnet（Softmax）網(wǎng)絡(luò)。

圖5 Alexnet（Softmax）和Alexnet-SVM 的分類準(zhǔn)確率

放大倍數(shù)為40X 和200X 下的圖像分類結(jié)果中，Alexnet-SVM 的分類準(zhǔn)確率明顯要比Alexnet（Softmax）高，說明SVM 分類效果比Softmax 更好；放大倍數(shù)為100X 下的圖像分類結(jié)果中，Alexnet-SVM 的準(zhǔn)確率和Alexnet（Softmax）的相差很小，但SVM 分類器的分類結(jié)果仍比Softmax 的高；放大倍數(shù)為400X 下的圖像分類結(jié)果中，Alexnet-SVM 只在第2 次實驗中的分類準(zhǔn)確率比Alexnet（Softmax）低，其他4 次實驗中的分類準(zhǔn)確率均比Alexnet（Softmax）高。綜上可知，SVM 分類器比Softmax 更具有優(yōu)勢。

3.4 SVM 參數(shù)優(yōu)化

由以上實驗可知替換為SVM 分類器，模型的分類性能有了明顯的提高。為了進(jìn)一步提高分類的準(zhǔn)確率，本文采用三種算法來優(yōu)化SVM 的核參數(shù)。圖6 展示的是使用放大倍數(shù)為40 的圖像使用Alexnet-SVM 網(wǎng)絡(luò)與三種算法優(yōu)化后的分類準(zhǔn)確率，可以看出GWO、GA、Grid 優(yōu)化SVM 后都能在不同程度上提高網(wǎng)絡(luò)分類的準(zhǔn)確率。

圖6 不同優(yōu)化算法分類結(jié)果

GA 算法在對SVM 參數(shù)進(jìn)行優(yōu)化后所得到的準(zhǔn)確率在五次實驗中均為最高，尤其是在第4 次實驗中準(zhǔn)確率提升最為明顯，比Alexnet-SVM 提高0.25%，GWO 算法的優(yōu)化效果次之，表現(xiàn)最差的是未優(yōu)化的Alexnet-SVM 模型。Grid 算法在第3 次和第5 次實驗中表現(xiàn)與GA 算法一樣，準(zhǔn)確率分別為97.61%和97.63%，但在其他3 次實驗中的分類準(zhǔn)確率均比GA 算法優(yōu)化過的分類準(zhǔn)確率低。由此可知GA 優(yōu)化的SVM 分類性能較好。

3.5 不同放大倍數(shù)下的分類結(jié)果

表3 是四種放大倍數(shù)的乳腺腫瘤圖像分類準(zhǔn)確率。使用放大倍數(shù)為40 的圖像進(jìn)行分類時，只有Fold1 的分類準(zhǔn)確率在97%之下，其他四組實驗分類準(zhǔn)確率均在97.50%以上；使用放大倍數(shù)為100 的圖像進(jìn)行分類時，在Fold2 實驗中其分類準(zhǔn)確率達(dá)到最高，為98.02%；而以200 放大倍率的圖像作為數(shù)據(jù)集測試時，準(zhǔn)確率最高達(dá)到了98.10%，比其他三種放大倍數(shù)下的測試準(zhǔn)確率都要高。

表3 不同放大倍數(shù)的圖像分類結(jié)果

四種放大倍數(shù)的交叉驗證分類準(zhǔn)確率平均值均在97%以上，實驗結(jié)果證明，微調(diào)后的網(wǎng)絡(luò)不僅在分類性能上表現(xiàn)很好，而且具有較好的穩(wěn)定性。

3.6 評價指標(biāo)

用TN 表示“將負(fù)類預(yù)測為負(fù)類”的數(shù)量，F(xiàn)P表示“將負(fù)類預(yù)測為正類”的數(shù)量，F(xiàn)N 表示“將正類預(yù)測為負(fù)類”的數(shù)量，TP 表示“將正類預(yù)測為正類”的數(shù)量，則以下指標(biāo)可表示為：

其中，準(zhǔn)確率（Accuracy）反映模型正確預(yù)測正樣本精度的能力；召回率（Recall）反映模型正確預(yù)測正樣本數(shù)量占全部正樣本數(shù)量的能力；特異性（Specificity）是疾病分類中的一個重要指標(biāo)，它衡量了分類器對負(fù)例的識別能力。表4 顯示了四種放大倍數(shù)下性能指標(biāo)平均值。

表4 不同放大倍數(shù)的圖像分類指標(biāo)

3.7 與其他方法對比

本文將基于Alexnet-SVM 方法與其他文獻(xiàn)進(jìn)行對比，驗證本模型分類性能。各文獻(xiàn)方法具體的分類準(zhǔn)確率如表5 所示。在放大倍數(shù)為40的圖像分類中，本文模型表現(xiàn)最佳，與分類效果最差的Dense-Net 201 相比，高出16.71%；在放大倍數(shù)為100 的圖像分類中，Googlenet 模型的準(zhǔn)確率達(dá)到94.60%，比其他五種方法獲得的分類準(zhǔn)確率均高，但本文模型比其高了3.05%；在放大倍數(shù)為200 和400 圖像分類中，全卷積模型FCN+Bi-LSTM 得到的準(zhǔn)確率比其他方法都要高，分別為96.32%和94.29%。而Dense-Net 201 混合深度神經(jīng)網(wǎng)絡(luò)，分類的準(zhǔn)確率分別為86.55% 和85.80%，表現(xiàn)最差。本文提出的遷移學(xué)習(xí)模型獲得的分類準(zhǔn)確率比其他方法均高，其分類性能表現(xiàn)最好。

表5 與其他方法對比

4 結(jié)論

本文致力于開發(fā)一種精確的乳腺腫瘤圖像分類算法，提出了一種基于遷移學(xué)習(xí)網(wǎng)絡(luò)與支持向量機相結(jié)合的分類模型，簡稱Alexnet-SVM模型。首先通過對圖像進(jìn)行塊處理，對數(shù)據(jù)量進(jìn)行擴增，增強模型的泛化能力；使用基于核的SVM 作為分類器，替換掉原Softmax 分類器，提高了分類準(zhǔn)確率；使用算法優(yōu)化SVM 的核參數(shù)，進(jìn)一步提高Alexnet-SVM 的分類性能。通過一系列對比實驗分析，所提出的遷移學(xué)習(xí)模型對乳腺腫瘤組織病理圖像有較好的分類效果，該研究對于乳腺腫瘤的診斷具有重要意義。未來的研究將側(cè)重于不同乳腺癌類型的分類，以確定其作為醫(yī)療診斷工具的適用性。