結(jié)合多維度特征的病理圖像病灶識(shí)別方法

胡偉岸，鄒俊忠，郭玉成，張 見(jiàn)，王 蓓

1.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237

2.清影醫(yī)療科技（深圳）有限公司，廣東 深圳 518083

目前，通過(guò)病理檢查對(duì)癌癥進(jìn)行診斷是一種常用的方法，它能夠提供明確的疾病診斷，指導(dǎo)病人的治療。對(duì)病理圖像進(jìn)行人工分析本身是一件非常有挑戰(zhàn)性的工作，一張病理切片通常包含數(shù)百萬(wàn)個(gè)細(xì)胞[1]，一名病理科醫(yī)生一天需要分析許多病理圖像，這給他們帶來(lái)很大的工作負(fù)擔(dān)，疲勞閱片現(xiàn)象時(shí)有發(fā)生[2-3]。同時(shí)，該領(lǐng)域內(nèi)專家的培養(yǎng)速度趕不上病例的增加速度，將有限的、珍貴的人力資源大量投入到重復(fù)的病理圖像的識(shí)別診斷中是非常可惜的。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)[4]（Convolutional Neural Network，CNN）快速識(shí)別病理圖像中的病變區(qū)域是本文的主要研究?jī)?nèi)容。

CNN 是一種高效的學(xué)習(xí)方法，局部連接和權(quán)值共享的特點(diǎn)降低了網(wǎng)絡(luò)模型的復(fù)雜程度，減少了需要學(xué)習(xí)的參數(shù)。將計(jì)算機(jī)輔助診斷應(yīng)用于數(shù)字病理圖像已經(jīng)得到了研究：在Cossatto等人[5]的研究中，采用人工提取特征，多實(shí)例學(xué)習(xí)的半監(jiān)督胃癌檢測(cè)與診斷方法；Spanhol等人[6]的研究中，在BreaKHis乳腺病理數(shù)據(jù)集上對(duì)圖像提取了6種特征描述，之后使用機(jī)器學(xué)習(xí)方法對(duì)圖像進(jìn)行分類，最終整體準(zhǔn)確率達(dá)到85%；Ciresan 等人[7]使用有監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)作為分類器，以88%的查準(zhǔn)率及70%的查全率贏得了ICPR 2012有絲分裂檢測(cè)競(jìng)賽；王瑩等人[8]使用Alexnet及GoogLeNet對(duì)臨床結(jié)直腸病理圖像進(jìn)行圖塊分類，獲得91%的整體準(zhǔn)確率。在Sharma等人[9]的研究中，使用了卷積神經(jīng)網(wǎng)絡(luò)，對(duì)小樣本胃癌數(shù)據(jù)集的三個(gè)惡性級(jí)別進(jìn)行了分類，并取得了良好的效果；Li 等人[10]設(shè)計(jì)了一種基于CNN 的胃癌自動(dòng)識(shí)別框架，獲得了97%的圖塊級(jí)別準(zhǔn)確率；基于多種結(jié)構(gòu)的融合模型在胃癌病理圖像上取得了較好的分類結(jié)果[11]；Coudray等人[12]使用基于Inception網(wǎng)絡(luò)的架構(gòu)，在對(duì)肺病理圖像中肺組織及肺癌進(jìn)行區(qū)分任務(wù)中獲得良好的效果；遷移學(xué)習(xí)的應(yīng)用在乳腺病理圖像的自動(dòng)分類中獲得91%的圖塊識(shí)別準(zhǔn)確率[13]；以上的研究均證明了卷積神經(jīng)網(wǎng)絡(luò)在數(shù)字病理圖像研究中的實(shí)用性。然而，在上述研究中仍存在一些問(wèn)題，影響了計(jì)算機(jī)輔助治療在實(shí)際中的應(yīng)用，包括：手動(dòng)提取圖像特征的過(guò)程復(fù)雜；網(wǎng)絡(luò)模型參數(shù)多，訓(xùn)練過(guò)程耗時(shí)；準(zhǔn)確率有待提高。

另外，出于多種原因，如染色原料差異、制備方法差異、圖像保存時(shí)間長(zhǎng)短等，病理圖像所呈現(xiàn)的顏色都會(huì)有所不同。為使得網(wǎng)絡(luò)在學(xué)習(xí)時(shí)更加關(guān)注細(xì)胞的形態(tài)、結(jié)構(gòu)和排列等特征，期望圖像在輸入網(wǎng)絡(luò)前表現(xiàn)出較一致的顏色。使用標(biāo)準(zhǔn)化染色方案和自動(dòng)染色機(jī)可以通過(guò)產(chǎn)生更準(zhǔn)確和一致的染色來(lái)改善染色質(zhì)量。但是，很難避免所有的外在因素，使最終的染色完全一致[14]。

針對(duì)上述問(wèn)題，本文在預(yù)處理階段采用了染色校正的策略，在不改變?cè)行螒B(tài)特征的情況下，使圖像表現(xiàn)出更加一致的顏色；受文獻(xiàn)[15]啟發(fā)，本文提出一種結(jié)合多維度特征的卷積神經(jīng)網(wǎng)絡(luò)模型以自動(dòng)提取病理圖像特征，將CNN 中包含紋理等信息的低維特征與包含豐富抽象語(yǔ)義信息的高維特征相結(jié)合，使用深度可分離卷積（Depth Wise Separable Convolution）降低模型參數(shù)量，減小了計(jì)算復(fù)雜度，并使用批量規(guī)范化（Batch Normalization，BN）及殘差連接（Residual Connection）避免梯度消失，改善輸出結(jié)果。實(shí)驗(yàn)結(jié)果表明：采用染色校正的處理方法能夠提高預(yù)測(cè)準(zhǔn)確率；本文所提出的CNN模型能夠自動(dòng)提取圖像特征，且參數(shù)少訓(xùn)練快，最終能夠達(dá)到較好的識(shí)別性能。在胃病理病灶識(shí)別任務(wù)中準(zhǔn)確率達(dá)到98.67%，TCGA肝癌病理病灶識(shí)別任務(wù)中準(zhǔn)確率達(dá)到97.4%，且假陽(yáng)性及假陰性均較低，在病灶識(shí)別任務(wù)中能夠媲美主流CNN模型所達(dá)到的效果。

1 方法

傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要以人工提取特征為前提，特征的提取需要設(shè)計(jì)者具有深厚的專業(yè)背景及實(shí)際操作經(jīng)驗(yàn)。然而，使用深度學(xué)習(xí)的方法能夠直接從原始數(shù)據(jù)中提取特征，LeCun等人[4]提出了卷積神經(jīng)網(wǎng)絡(luò)，使用卷積核對(duì)輸入圖像進(jìn)行多層卷積操作，逐層學(xué)習(xí)并在更高層直接對(duì)抽象的特征進(jìn)行整合，最終通過(guò)圖像的高層表征對(duì)其做出分類。目前優(yōu)秀的深度學(xué)習(xí)分類模型 有 Vgg16[16]、Inception V3[17]、InceptionResnet V2[18]、Resnet50[19]、Densenet169[20]等。以上模型大多使用最后一個(gè)卷積層的feature map 來(lái)進(jìn)行分類，它們的缺點(diǎn)是往往在關(guān)注網(wǎng)絡(luò)最后一層特征時(shí)忽略了其他層的特征。同時(shí)，上述模型在分類任務(wù)中能夠取得較好的結(jié)果，通常是以消耗計(jì)算量和時(shí)間為代價(jià)的，這樣以計(jì)算資源換取效果的策略在實(shí)際應(yīng)用時(shí)常會(huì)受到局限。

有研究證明，深度學(xué)習(xí)模型的各層特征圖側(cè)重于不同類型的信息：由于所經(jīng)過(guò)的卷積網(wǎng)絡(luò)層較少，模型的低層特征圖包含較多邊緣、紋理等信息；在經(jīng)過(guò)更多的卷積操作后，高層特征包含更多抽象的語(yǔ)義信息；結(jié)合淺層特征可以在一定程度上提升模型精度，將不同特征高效融合，是改善模型性能的關(guān)鍵[21]。因此，本文選擇將多個(gè)維度的特征從top-down方向上采樣為同一尺寸后進(jìn)行融合。

1.1 模型架構(gòu)

本文所提出的結(jié)合多維特征的病灶識(shí)別模型結(jié)構(gòu)如圖1所示。

圖1 結(jié)合多維特征的病理圖像病灶識(shí)別模型

圖1 中包含三個(gè)模塊：Bottom-top 特征學(xué)習(xí)模塊、Top-down特征疊加模塊及Modeloutput模型輸出模塊。

Bottom-top特征學(xué)習(xí)模塊主要由普通卷積、深度可分離卷積及殘差學(xué)習(xí)組成，通過(guò)多層卷積自動(dòng)提取多維度特征。在普通卷積后依次添加BN層及線性整流函數(shù)（Rectified Linear Unit，ReLU）。

在對(duì)輸入圖像進(jìn)行兩次普通卷積后，改用深度可分離卷積繼續(xù)提取特征。在一般卷積中，卷積核對(duì)特征圖的三個(gè)維度進(jìn)行學(xué)習(xí)。其中兩個(gè)維度處于特征圖的平面（高和寬），另一個(gè)維度處于特征圖的通道方向（深度），卷積核能同時(shí)學(xué)習(xí)到特征圖的平面相關(guān)性和通道相關(guān)性。將平面相關(guān)性和通道相關(guān)性分離開(kāi)來(lái)，是Inception模塊的重要思想[13]。在深度可分離卷積中，將卷積操作分為兩個(gè)部分：首先將所有2維的卷積作用在特征圖的每個(gè)單層通道上，平面相關(guān)性和通道相關(guān)性即達(dá)到了完全分離的效果，此步驟稱為depth-wise卷積；然后使用1×1的卷積核對(duì)新的特征空間進(jìn)行映射，此步驟被稱為point-wise 卷積，如圖2（a）所示。使用深度可分離卷積能夠降低模型參數(shù)。假設(shè)輸入通道數(shù)為N，長(zhǎng)寬均為Di，且輸出通道數(shù)為M，長(zhǎng)寬均為Do，卷積核的尺寸設(shè)置為k，使用普通卷積時(shí)參數(shù)量為：

在使用深度可分離卷積過(guò)程中，depth-wise 卷積參數(shù)量與point-wise卷積參數(shù)量分別為式（2）、（3）所示：

深度可分離卷積與普通卷積的參數(shù)量之比為：

由式（4）可以看出，兩者的比值與輸出通道及卷積核大小相關(guān)，在本文所使用模型中，M的取值包括128、256、512及1 024，卷積核尺寸k均設(shè)置為3。因此，所使用的的深度可分離卷積參數(shù)量是普通卷積參數(shù)量的0.118、0.115、0.113及0.112倍。較少的參數(shù)量節(jié)省了模型訓(xùn)練及測(cè)試時(shí)間。

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，如果只是簡(jiǎn)單地堆疊網(wǎng)絡(luò)層以增加網(wǎng)絡(luò)深度，容易導(dǎo)致梯度彌散和梯度爆炸。為避免該問(wèn)題的發(fā)生，在本文網(wǎng)絡(luò)模型中增加了BN層及Residual connection。文中所使用的Residual connection 結(jié)構(gòu)如圖2（b）所示。為保證F′(x)與F(x)在相加時(shí)尺寸相同，使用簡(jiǎn)單的1×1 大小卷積層（步長(zhǎng)為2）及全零填充（padding=same）對(duì)F′(x)的通道數(shù)進(jìn)行匹配。在Residual connection中，F(xiàn)(x)是求和前網(wǎng)絡(luò)映射，F(xiàn)′(x)是輸入x的簡(jiǎn)單映射，保留了x的大部分原有信息，三者關(guān)系如下：

Top-down 特征疊加模塊中，在自頂向下的方向?qū)μ卣鬟M(jìn)行上采樣，并與左側(cè)相鄰的殘差輸出進(jìn)行連接，如圖2（c）中的1×1 卷積被使用以匹配特征圖的通道數(shù)量，本文中設(shè)置卷積核個(gè)數(shù)d=512。之所以選擇將每個(gè)殘差塊的輸出作為特征結(jié)合的因子是因?yàn)檫@些輸出具有每個(gè)階段最具代表性的特征，同時(shí)，鄰近的特征較為相似并且重復(fù)使用這些特征會(huì)使得計(jì)算量成倍增長(zhǎng)。由于網(wǎng)絡(luò)的前兩層卷積所包含淺層特征與原始圖像較為相似，且尺寸過(guò)大，故不將其作為特征結(jié)合的因子。

圖2 部分模型結(jié)構(gòu)

特征圖上采樣能夠使卷積核細(xì)致學(xué)習(xí)病理圖像中的小特征。特征圖上采樣的處理可以簡(jiǎn)單理解為增加了特征映射的分辨率，使用相同卷積核在放大后的特征圖進(jìn)行操作時(shí)可以獲取更多關(guān)于小目標(biāo)的信息。

特征相加的方式采用主元素相加（add）而非特征圖堆疊（concat）。add 方式更加節(jié)省參數(shù)和計(jì)算量，如果使用concat，特征圖通道數(shù)會(huì)是add方法的兩倍，如此計(jì)算量會(huì)是一筆較大的開(kāi)銷。

在Modeloutput 模塊中，添加了全局平均池化層（Global Average Pooling，GAP），使用GAP 可以對(duì)前一層的每一個(gè)特征圖求平均值，保留全局信息，同時(shí)避免了全連接層（Fully Connected layer，F(xiàn)C layer）訓(xùn)練參數(shù)過(guò)多，耗時(shí)較長(zhǎng)的缺點(diǎn)。在GAP 層后添加2 維的輸出層，激活函數(shù)使用softmax，softmax的計(jì)算公式如下：

其中，Vi表示前級(jí)第i個(gè)單元的輸出，i表示類別索引，總的類別個(gè)數(shù)為k。Si表示的是當(dāng)前元素的指數(shù)與所有元素指數(shù)和的比值。通過(guò)這種方法，可以將神經(jīng)元的輸出映射到（0，1）區(qū)間內(nèi)，當(dāng)成概率來(lái)理解。對(duì)應(yīng)于softmax，采用交叉熵（CrossEntropy）作為損失函數(shù)，當(dāng)輸出為兩類時(shí)，交叉熵公式如下：

其中，y代表真實(shí)樣本標(biāo)簽，代表樣本標(biāo)簽為1的概率。

表1 給出了本文深度神經(jīng)網(wǎng)絡(luò)主要層的參數(shù)設(shè)定以及輸出。

表1 深度神經(jīng)網(wǎng)絡(luò)每層參數(shù)以及輸出

在每層卷積層后分別包含BN 層，ReLU 及最大池化層。

1.2 整體流程

本文所提出的病理圖像病變區(qū)域檢測(cè)的主要流程如圖3所示。

模型訓(xùn)練階段，計(jì)算機(jī)接收數(shù)字病理圖像，在專家標(biāo)注內(nèi)進(jìn)行圖像切割，隨后對(duì)切割出的圖塊進(jìn)行染色校正的操作，再對(duì)整個(gè)圖塊數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，以提高模型的泛化能力，最后將圖塊數(shù)據(jù)輸入所建CNN 模型進(jìn)行訓(xùn)練。

在對(duì)數(shù)字病理圖像進(jìn)行預(yù)測(cè)的過(guò)程中，首先自適應(yīng)提取感興趣區(qū)（Region of Interests，ROI），在ROI 內(nèi)進(jìn)行圖像切割；再進(jìn)行染色校正操作；然后使用CNN對(duì)各圖塊進(jìn)行預(yù)測(cè)，計(jì)算圖塊屬于病變區(qū)域的概率；最后根據(jù)圖塊坐標(biāo)和預(yù)測(cè)概率在原始數(shù)字病理圖像中進(jìn)行標(biāo)記，輔助醫(yī)生進(jìn)行最終診斷。

圖3 檢測(cè)方法流程圖

自適應(yīng)ROI提取：使用掩膜進(jìn)行分離是提取ROI的一種可靠方法。在本研究中，觀察到不同病理圖像呈現(xiàn)的主體顏色存在差異，因此無(wú)法直接使用固定閾值對(duì)所有圖像進(jìn)行前、背景分離。本研究中采用大津閾值法[22]（Otsu）自適應(yīng)計(jì)算各圖的閾值T,Otsu也稱最大類間方差法，方差是灰度分布均勻性的一種度量，背景和前景之間的類間方差越大，說(shuō)明構(gòu)成圖像的兩部分的差別越大，當(dāng)部分前景錯(cuò)分為背景或部分背景錯(cuò)分為前景都會(huì)導(dǎo)致兩部分差別變小。因此，使類間方差最大的分割意味著錯(cuò)分概率最小。以閾值T作為界限將灰度圖像分為前景和背景。自適應(yīng)計(jì)算方法公式如下：

其中，w0、w1分別代表前景和背景像素占整幅圖像的比例；μ0、μ1、μ分別代表前景、背景和整幅圖像的平均灰度；g表示類間方差。將公式（9）代入公式（10），得到以下公式：

通過(guò)不斷調(diào)整閾值T，使類間方差g獲得最大值，對(duì)圖像進(jìn)行前、背景分離。

自適應(yīng)提取ROI 過(guò)程：計(jì)算原始圖像的灰度圖；使用大津閾值法獲得掩膜；使用形態(tài)學(xué)閉運(yùn)算（先膨脹再腐蝕），祛除掩膜中小黑點(diǎn)；剔除面積占整圖比例較小區(qū)域；獲得ROI。

滑動(dòng)窗圖像切割：在標(biāo)注及ROI 內(nèi)，從上向下依次滑動(dòng)，保存滑動(dòng)窗口內(nèi)的圖塊作為后續(xù)CNN 的輸入數(shù)據(jù)，滑動(dòng)窗口的邊長(zhǎng)與步長(zhǎng)相同，為1 024 像素。如果圖塊處于標(biāo)注的病變區(qū)域內(nèi)，則將其標(biāo)記為陽(yáng)性，標(biāo)簽為1；如果圖塊處于標(biāo)注的正常區(qū)域內(nèi)，則將其標(biāo)注為陰性，標(biāo)簽為0。

數(shù)據(jù)增強(qiáng)：由于期待卷積神經(jīng)網(wǎng)絡(luò)在圖塊中提取的特征應(yīng)該是方位不變的，數(shù)據(jù)增強(qiáng)包括對(duì)圖塊進(jìn)行旋轉(zhuǎn)、水平或垂直翻轉(zhuǎn)、邊緣裁剪和等比例縮放。染色校正會(huì)對(duì)圖像進(jìn)行色彩上的調(diào)整，為保留圖像原本的紋理特征，數(shù)據(jù)增強(qiáng)過(guò)程未對(duì)圖像的亮度和對(duì)比度做任何額外的調(diào)整。

染色校正：染色校正的目的是降低各圖像之間的顏色差異，使得卷積神經(jīng)網(wǎng)絡(luò)著重學(xué)習(xí)病理圖像中細(xì)胞的排列和結(jié)構(gòu)，組織的紋理等特征。本研究中采取Reinhard顏色遷移方法[23]將模板圖像的內(nèi)部顏色特征應(yīng)用于目標(biāo)圖像。RGB 各通道之間存在著一定的相關(guān)性，這意味著，如果要對(duì)圖像的色彩進(jìn)行處理，常常需要對(duì)像素的三個(gè)通道同時(shí)進(jìn)行修改才不會(huì)影響圖像的真實(shí)感，這將大大增加顏色調(diào)整過(guò)程的復(fù)雜性。

因此，在RGB 色彩空間下進(jìn)行色彩變化會(huì)比較復(fù)雜，得到的視覺(jué)效果也不自然。本研究中，首先將各圖像轉(zhuǎn)移到Lab 色彩空間中，Lab 色彩空間不僅基本消除了顏色分量之間的強(qiáng)相關(guān)性，而且有效地將圖像的灰度信息和顏色信息分離開(kāi)來(lái)。所以可以分別對(duì)三個(gè)通道圖像進(jìn)行獨(dú)立的運(yùn)算，而不需要修改另外兩個(gè)通道的信息，從而不會(huì)影響原圖像的自然效果。色彩空間轉(zhuǎn)換過(guò)程如下：

其中，R、G、B代表像素點(diǎn)RGB 通道分量；L、M、S代表像素點(diǎn)LMS 通道分量；l、α、β代表像素點(diǎn)Lab 通道分量。

此方法的主要思想是根據(jù)圖像的統(tǒng)計(jì)分析確定一個(gè)線性變換，使得目標(biāo)圖像和模板圖像在Lab色彩空間中有相同的均值和方差，計(jì)算公式如下：

其中，rl、rα、rβ分別是源圖像Lab通道原有的數(shù)據(jù)，L、A、B分別是變換后得到新的源圖像Lab通道的值，ml、mα、mβ和ml′、mα′、mβ′分別是源圖像和著色圖像的三個(gè)顏色通道的均值，nl、nα、nβ和nl′、nα′、nβ′表示它們的標(biāo)準(zhǔn)方差。在獲得L、A、B后，通過(guò)公式（12）～（14）獲得染色校正后新圖像的RGB通道數(shù)值。

經(jīng)過(guò)染色后的圖像在不改變?cè)屑y理特征的情況下，使得RGB各通道有著更為相似的分布，有著類數(shù)據(jù)歸一化的作用。圖4所示為染色前后的圖像對(duì)比圖。

圖4 染色效果圖

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)時(shí)，所使用的 CPU 型號(hào)為 3.4 GHz、16 核AMD1950x，內(nèi)存容量為 64 GB，GPU 為 12 GB 顯存NVIDIA TITAN-V。軟件方面，使用Python作為設(shè)計(jì)語(yǔ)言，配合openslide、opencv 等視覺(jué)庫(kù)進(jìn)行代碼編寫(xiě)。深度學(xué)習(xí)模型框架使用Keras 以完成對(duì)模型的構(gòu)建、訓(xùn)練與預(yù)測(cè)。

實(shí)驗(yàn)過(guò)程中使用了不同數(shù)據(jù)集對(duì)本研究中的網(wǎng)絡(luò)模型進(jìn)行了驗(yàn)證，包括胃病理數(shù)據(jù)集和TCGA肝癌公開(kāi)數(shù)據(jù)集。為了定量地評(píng)估染色效果及不同算法的性能，采用了以下評(píng)價(jià)指標(biāo)：分類準(zhǔn)確率Accuracy，敏感性Sensitivity，特異性Specificity。

其中，TP為真陽(yáng)性圖塊數(shù)量，TN為真陰性圖塊數(shù)量，F(xiàn)P為假陽(yáng)性圖塊數(shù)量，F(xiàn)N為假陰性圖塊數(shù)量。

2.1 特征可視化

本次研究中，為探究不同維度特征在病灶識(shí)別中的意義，將Bottom-top模塊中常規(guī)卷積層及各殘差塊中最后深度可分離卷積層的輸出特征進(jìn)行可視化，如圖5所示。

圖5 中，左側(cè)為進(jìn)行染色校正后的病理圖塊；右側(cè)為對(duì)當(dāng)前圖塊進(jìn)行不同卷積后的可視化特征圖，每次卷積取兩層特征圖作為示例。為突出特征圖的細(xì)節(jié)，將其顏色風(fēng)格設(shè)置為紫紅色以凸顯對(duì)比度?？梢杂^察到，在Con1、Conv2中，由于卷積處于淺層位置，特征圖中仍能保留原始圖像中的較多信息，大量紋理特征被學(xué)習(xí)；隨著網(wǎng)絡(luò)加深，Block1中特征圖經(jīng)過(guò)下采樣，分辨率降低，但與上層特征仍然較為相似，這也是本文網(wǎng)絡(luò)選擇將此處特征圖作為特征結(jié)合最后一項(xiàng)因子的原因；Block2中，紋理信息淡化，邊緣、輪廓等特征逐漸增強(qiáng)；Block3中基本無(wú)法觀察到紋理信息，細(xì)胞及組織的邊緣、輪廓信息愈加明顯；網(wǎng)絡(luò)不斷加深使得特征更加抽象化，Block5中生成對(duì)分類有較強(qiáng)決策意義的語(yǔ)義特征。

圖5 特征圖可視化

病理醫(yī)生在對(duì)圖像進(jìn)行診斷時(shí)需要不斷地調(diào)整視野及關(guān)注區(qū)域，需對(duì)細(xì)胞的輪廓及大小，組織邊緣的光滑程度，紋理的排列特征等進(jìn)行觀察，最后整合信息形成判斷。從特征可視化圖像可以觀察到，CNN 對(duì)圖像進(jìn)行學(xué)習(xí)的方式與人工判斷的方式有著相似之處，不同維度特征在病灶識(shí)別任務(wù)中具有實(shí)際意義。

2.2 胃病理數(shù)據(jù)集

本次研究中的胃病理數(shù)據(jù)集來(lái)自于國(guó)內(nèi)某三甲醫(yī)院，共包含355 張tif 格式的全視野數(shù)字病理切片（Whole Slide Images，WSIs），所有切片均使用 HE（Hematoxylin-Eosin）染色法進(jìn)行著色，且以40X的倍率進(jìn)行數(shù)字化。專業(yè)病理科醫(yī)生在ASAP 標(biāo)注軟件中進(jìn)行標(biāo)注，所有標(biāo)注經(jīng)過(guò)另一名醫(yī)生復(fù)核。

以8∶2 的比率將WSI 分為兩部分，其中284 張作為訓(xùn)練集的原始數(shù)據(jù)，另外獨(dú)立的71 張作為驗(yàn)證集原始數(shù)據(jù)。經(jīng)過(guò)切割后的圖塊數(shù)據(jù)分布如表2所示。

表2 數(shù)據(jù)分布表 張

訓(xùn)練過(guò)程中，初始學(xué)習(xí)率設(shè)置為0.000 1，使用Adam優(yōu)化器優(yōu)化訓(xùn)練，與其他自適應(yīng)學(xué)習(xí)率算法相比，Adam的收斂速度更快，且能夠避免損失函數(shù)波動(dòng)大的問(wèn)題。Batchsize 設(shè)置為64，即每輪隨機(jī)輸入圖64 張。設(shè)置迭代次數(shù)epoch 值為20。剛開(kāi)始訓(xùn)練的時(shí)候使用較大的學(xué)習(xí)率，能夠避免模型陷入到局部最優(yōu)；在模型的效果趨于平緩后，使用衰減后較小的學(xué)習(xí)率，使模型能夠收斂到最優(yōu)值。

將圖1本文模型的Top-down疊加模塊去除（即Bottomtop 輸出直接連接到 Modeloutput），記為 Modelb。在染色校正后的數(shù)據(jù)集上與本文模型進(jìn)行對(duì)比，對(duì)比效果如表3所示。

表3 特征疊加效果對(duì)比 %

由表3 可知，在添加特征疊加模塊后，預(yù)測(cè)準(zhǔn)確率提高了1.87%，這得益于多維度特征結(jié)合時(shí)對(duì)各層次特征的聯(lián)合學(xué)習(xí)以及上采樣后對(duì)細(xì)小特征的精細(xì)學(xué)習(xí)。

另選取多種主流CNN模型及其他方法進(jìn)行實(shí)驗(yàn)對(duì)比，各模型對(duì)獨(dú)立的驗(yàn)證集圖像進(jìn)行預(yù)測(cè)的信息如表4所示。

表4 染色校正前后各模型效果對(duì)比

可以發(fā)現(xiàn)，在對(duì)病理圖像的圖塊進(jìn)行預(yù)測(cè)時(shí)，各深度學(xué)習(xí)方法都能夠獲得較高的準(zhǔn)確率，均高于95%。在同等條件下，本文所建立的模型能夠獲得更好的預(yù)測(cè)效果，InceptionResnet V2 所達(dá)到的準(zhǔn)確率與本文模型相似，但是訓(xùn)練參數(shù)量卻高達(dá)14 倍之多。表4 中，使用相同的網(wǎng)絡(luò)模型且加入染色校正的預(yù)處理方法后，各性能指標(biāo)均有提升，各模型預(yù)測(cè)準(zhǔn)確率最多提高了3.42%。染色校正能夠降低各圖像之間的顏色差異，使模型能夠著重于學(xué)習(xí)細(xì)胞的形態(tài)、結(jié)構(gòu)和排列等特征。在對(duì)圖塊進(jìn)行預(yù)測(cè)前仍進(jìn)行了染色校正的預(yù)處理操作，所以網(wǎng)絡(luò)查找相關(guān)特征不會(huì)受到顏色差異的影響。使用染色校正方法后，本文模型在驗(yàn)證集上可以獲得最高98.65%的靈敏度，同時(shí)特異性達(dá)到98.69%。雖然特異性沒(méi)有達(dá)到所有模型中的最高，但是靈敏度作為一個(gè)非常重要的指標(biāo)，能夠反映模型檢測(cè)出病變區(qū)域的能力。越高的靈敏度值說(shuō)明漏診率的下降，這對(duì)于病人提早發(fā)現(xiàn)病情，接收早期治療有著重要意義。特異性高說(shuō)明模型未將正常區(qū)域錯(cuò)分為病變區(qū)域。本文模型對(duì)染色校正后的圖塊預(yù)測(cè)準(zhǔn)確率最終為98.67%，這已經(jīng)達(dá)到了相當(dāng)高的準(zhǔn)確率。結(jié)合各模型中最高的敏感性98.65%，本次研究中所應(yīng)用的方法能夠?yàn)椴±砜漆t(yī)生提供可靠的診斷基礎(chǔ)。

本次研究中，在完成每輪（epoch）訓(xùn)練后使用當(dāng)次訓(xùn)練所得參數(shù)對(duì)驗(yàn)證集圖像進(jìn)行測(cè)試。圖6 所示即為染色后的圖塊驗(yàn)證集在各模型上的準(zhǔn)確率-時(shí)間曲線。為直觀體現(xiàn)各模型在耗時(shí)上的對(duì)比，橫軸設(shè)置為時(shí)間軸，代表在整個(gè)過(guò)程中獲得對(duì)應(yīng)坐標(biāo)點(diǎn)所經(jīng)歷的訓(xùn)練與驗(yàn)證時(shí)間總和。對(duì)圖6觀察可知，對(duì)于相同規(guī)模的圖像數(shù)據(jù)集，本文模型在訓(xùn)練及驗(yàn)證時(shí)長(zhǎng)上遠(yuǎn)低于其他模型。本文模型每訓(xùn)練1 個(gè)epoch 約需40 min，其余模型每訓(xùn)練1 個(gè)epoch 的時(shí)間在45～73 min 內(nèi)。由于每個(gè)模型都需要訓(xùn)練多次，因此本文模型能夠減少大量訓(xùn)練時(shí)間。由圖6 可以發(fā)現(xiàn)，本文模型在第11 個(gè)epoch，約440 min時(shí)達(dá)到最佳效果，其余模型中最快在600 min時(shí)才能達(dá)到最高的準(zhǔn)確率。

圖6 染色后圖像驗(yàn)證集準(zhǔn)確率曲線

綜上所述，本文模型在病灶識(shí)別任務(wù)中準(zhǔn)確率高，并且較其他方法有更強(qiáng)的病灶檢出能力，同時(shí)，模型參數(shù)少極大節(jié)省了訓(xùn)練時(shí)間。在圖像不斷累積，模型參數(shù)需要不斷更新的現(xiàn)實(shí)情況下具有實(shí)際應(yīng)用意義。

2.3 TCGA肝癌公開(kāi)數(shù)據(jù)集

為進(jìn)一步驗(yàn)證本文模型在不同種類病理上的適用性，對(duì)肝癌數(shù)據(jù)集進(jìn)行了測(cè)試。癌癥基因組圖譜（The Cancer Genome Atlas，TCGA）收錄了各種人類癌癥的臨床數(shù)據(jù)，選擇其中的肝癌病理圖像作為實(shí)驗(yàn)對(duì)象。TCGA肝癌數(shù)據(jù)集共包含379張svs格式的WSI，所有圖像標(biāo)注由專家提供并復(fù)核。選擇302 張WSI 作為訓(xùn)練集，另外77 張WSI 作為驗(yàn)證集。在標(biāo)注內(nèi)對(duì)圖像進(jìn)行切割后，數(shù)據(jù)分布如表5所示。

表5 數(shù)據(jù)分布表 張

經(jīng)圖像切割后，使用染色校正方法對(duì)數(shù)據(jù)進(jìn)行處理，將染色后的圖塊輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測(cè)。模型參數(shù)設(shè)置與上文相同。對(duì)驗(yàn)證集進(jìn)行預(yù)測(cè)后的混淆矩陣如表6所示。

表6 驗(yàn)證集混淆矩陣

由混淆矩陣可以得出，本文模型在TCGA肝癌數(shù)據(jù)集上的準(zhǔn)確率可以達(dá)到97.4%，敏感性達(dá)到97.3%。數(shù)據(jù)證明，本文方法可以在不同的病理圖像上獲得良好效果。

3 結(jié)論

為了提高病理圖像病灶識(shí)別的準(zhǔn)確率及效率，提出了一種結(jié)合多維度特征的病理圖像病灶識(shí)別方法。本文中的模型以深度可分離卷積為基礎(chǔ)，降低了模型的訓(xùn)練參數(shù)量；在Bottom-top 提取特征后，將多維度特征在Top-down 方向進(jìn)行上采樣并進(jìn)行疊加，使低維特征與高維語(yǔ)義特征進(jìn)行關(guān)聯(lián)，特征上采樣能夠使卷積學(xué)習(xí)到圖像中更精細(xì)的特征，疊加特征可以提高特征利用率；最終獲得的模型在訓(xùn)練參數(shù)量上較主流模型得到大幅降低。同時(shí)，本研究在預(yù)處理過(guò)程中采用染色校正的方法，降低了不同圖像的顏色差異。本文在胃病理數(shù)據(jù)集及TCGA 肝癌公開(kāi)數(shù)據(jù)集上驗(yàn)證了所提模型的性能。實(shí)驗(yàn)結(jié)果表明，所提出的模型與其他方法相比，具有參數(shù)少，訓(xùn)練快，準(zhǔn)確率高的優(yōu)點(diǎn)，能夠更準(zhǔn)更快地實(shí)現(xiàn)病理圖像病灶標(biāo)注。